BeeGFS

BeeGFS
Разработчик(и)	ThinkParQ, Фраунгофера ITWM,
Стабильная версия	7.4.3 / май 2024 г.
Операционная система	Линукс
Тип	Распределенная файловая система
Лицензия	Сервер: собственный , клиент: GPL v2.
Веб-сайт	бигфс .что

BeeGFS (ранее FhGFS) — параллельная файловая система, разработанная для высокопроизводительных вычислений . BeeGFS включает архитектуру распределенных метаданных по соображениям масштабируемости и гибкости. Он специализируется на передаче данных.

BeeGFS была первоначально разработана в Фраунгофера Центре высокопроизводительных вычислений в Германии командой под руководством Свена Бройнера. ^[2] Позже Бройнер стал генеральным директором ThinkParQ (2014–2018), дочерней компании, основанной в 2014 году для поддержки BeeGFS и предложения профессиональных услуг.

Хотя Community Edition BeeGFS можно загрузить и использовать бесплатно, Enterprise Edition необходимо использовать в рамках договора о подписке на профессиональную поддержку. ^[3]

История и использование

BeeGFS стартовала в 2005 году как собственная разработка Фраунгофера Центра HPC . для замены существующей файловой системы в новом вычислительном кластере института и для использования в производственной среде

В 2007 году первая бета-версия программного обеспечения была анонсирована на ISC07 в Дрездене, Германия , и представлена публике на SC07 в Рино, Невада . Год спустя стала доступна первая стабильная основная версия.

В 2014 году Fraunhofer основал новую компанию под названием ThinkParQ. ^[4] для BeeGFS. В ходе этого процесса FhGFS была переименована и стала BeeGFS®. ^[5] Хотя ThinkParQ поддерживает программное обеспечение и предлагает профессиональные услуги, дальнейшая разработка функций будет продолжаться в сотрудничестве ThinkParQ и Fraunhofer.

Поскольку BeeGFS бесплатна, неизвестно, сколько у нее активных установок. Однако в 2014 году уже около 100 клиентов по всему миру использовали BeeGFS при коммерческой поддержке ThinkParQ и Fraunhofer. Среди них академические пользователи, такие как университеты и исследовательские центры. ^[6] а также коммерческие компании в таких областях, как финансы или нефтегазовая промышленность.

Известные установки включают несколько компьютеров TOP500 , таких как Loewe-CSC. ^[7] кластер в Университете Гете во Франкфурте , Германия (№22 по установке), Венский научный кластер ^[8] в Венском университете , Австрия (№ 56 по установке), и Абеля ^[9] кластер в Университете Осло , Норвегия (№96 на установке).

Ключевые понятия и особенности

При разработке BeeGFS Фраунгофер стремился создать программное обеспечение, ориентированное на масштабируемость, гибкость и удобство использования.

BeeGFS работает на любом компьютере с Linux и состоит из нескольких компонентов, включающих службы для клиентов, серверы метаданных и серверы хранения. Кроме того, существует служба для хоста управления, а также служба для графической системы администрирования и мониторинга.

Обзор системы BeeGFS

^[10]

Для запуска BeeGFS требуется как минимум один экземпляр сервера метаданных и сервера хранения. Но BeeGFS позволяет нескольким экземплярам каждого сервиса распределять нагрузку от большого количества клиентов. Масштабируемость каждого компонента обеспечивает масштабируемость самой системы.

Содержимое файлов распределяется по нескольким серверам хранения с помощью чередования, т.е. каждый файл разбивается на фрагменты заданного размера, и эти фрагменты распределяются по существующим серверам хранения. Размер этих фрагментов может определить администратор файловой системы. Кроме того, метаданные распределяются по нескольким серверам метаданных на уровне каталогов, причем каждый сервер хранит часть полного дерева файловой системы. Такой подход обеспечивает быстрый доступ к данным.

Клиенты, а также серверы метаданных или хранения могут быть добавлены в существующую систему без каких-либо простоев. Сам клиент представляет собой облегченный модуль ядра, не требующий каких-либо исправлений ядра. Серверы работают поверх существующей локальной файловой системы. Нет никаких ограничений на тип базовой файловой системы, если она поддерживает POSIX ; рекомендуется использовать ext4 для серверов метаданных и XFS для серверов хранения. Оба сервера работают в пользовательском пространстве.

Кроме того, не существует строгих требований к выделенному оборудованию для отдельных сервисов. Конструкция позволяет администратору файловой системы запускать службы в любой комбинации на заданном наборе машин и расширять их в будущем. Среди пользователей BeeGFS распространенным способом воспользоваться этим является объединение серверов метаданных и серверов хранения на одних и тех же машинах.

BeeGFS поддерживает различные сетевые соединения с динамическим переключением при сбое, такие как Ethernet или Infiniband, а также множество различных дистрибутивов и ядер Linux (от 2.6.16 до последней версии vanilla).Программное обеспечение имеет простой механизм настройки и запуска с использованием сценариев инициализации. Для пользователей, которые предпочитают графический интерфейс командным строкам, доступен графический интерфейс на основе Java (AdMon). Графический интерфейс обеспечивает мониторинг состояния BeeGFS и управление настройками системы. Помимо управления и администрирования установки BeeGFS, этот инструмент также предлагает несколько вариантов мониторинга, которые помогут выявить проблемы с производительностью в системе.

BeeOND (BeeGFS по требованию)

BeeOND (BeeGFS по требованию) позволяет создавать экземпляры файловой системы BeeGFS на наборе узлов с помощью одной единственной командной строки. Возможные варианты использования этого инструмента разнообразны; некоторые из них включают настройку выделенной параллельной файловой системы для задания кластера (часто называемую пакетной буферизацией ), облачные вычисления или быстрые и простые временные настройки для целей тестирования.

BeeGFS и контейнеры

Драйвер интерфейса хранилища контейнеров (CSI) с открытым исходным кодом позволяет использовать BeeGFS с оркестраторами контейнеров, такими как Kubernetes. ^[11] Драйвер предназначен для поддержки сред, в которых контейнеры, работающие в Kubernetes, и задания, выполняемые в традиционных менеджерах рабочих нагрузок HPC, должны иметь общий доступ к одной и той же файловой системе BeeGFS. Драйвер обеспечивает два основных рабочих процесса:

Статическая подготовка позволяет администраторам предоставлять контейнерам доступ к существующим каталогам в BeeGFS.
Динамическое обеспечение позволяет контейнерам запрашивать хранилище BeeGFS по требованию (представленное в виде нового каталога).

Доступ к контейнеру и видимость файловой системы ограничены предполагаемым каталогом. Динамическая подготовка учитывает функции BeeGFS, включая пулы хранения и чередование, при создании соответствующего каталога в BeeGFS. Также представлены общие функции файловой системы POSIX, такие как возможность указывать разрешения для новых каталогов, что упрощает интеграцию глобального общего хранилища и контейнеров. Это заметно упрощает отслеживание и ограничение использования контейнеров общей файловой системы с помощью квот BeeGFS. ^[12]

Тесты

Следующие тесты были выполнены на Fraunhofer Seislab: ^[13] тестово-экспериментальный кластер Fraunhofer ITWM с 25 узлами (20 вычислительных плюс 5 хранилищ) и трехуровневой памятью: 1 ТБ ОЗУ, 20 ТБ SSD, 120 ТБ HDD. Производительность одного узла в локальной файловой системе без BeeGFS составляет 1332 МБ/с (запись) и 1317 МБ/с (чтение).

Узлы оснащены 2 процессорами Intel Xeon X5660, 48 ГБ ОЗУ, 4 твердотельными накопителями Intel 510 Series (RAID 0), Ext4, QDR Infiniband и работают под управлением Scientific Linux 6.3, ядра 2.6.32-279 и FhGFS 2012.10-beta1.

Пропускная способность чтения/записи
Файл создается
операций ввода-вывода в секунду

BeeGFS и эксафлопс

Fraunhofer ITWM участвует в проекте Европейского Союза Dynamic-Exascale Entry Platform – Extended Reach (DEEP-ER), ^[14] который решает проблемы растущего разрыва между скоростью вычислений и пропускной способностью ввода-вывода, а также отказоустойчивостью крупномасштабных систем.

Некоторые из аспектов, над которыми разработчики BeeGFS работают в рамках этого проекта:

поддержка многоуровневого хранения,
Расширения интерфейса POSIX,
отказоустойчивость и высокая доступность (HA), а также
улучшенные инструменты мониторинга и диагностики.

План состоит в том, чтобы сохранить интерфейс POSIX для обеспечения обратной совместимости, но также предоставить приложениям больший контроль над тем, как файловая система обрабатывает такие вещи, как размещение данных и согласованность, посредством расширений API.

См. также

Ссылки

^ «Последняя стабильная версия BeeGFS» . Май 2024.
^ «FhGFS: быстрая и масштабируемая параллельная файловая система | Файловые системы | Столбцы» . www.clustermonkey.net . Проверено 13 января 2019 г.
^ «Лицензионное соглашение с конечным пользователем BeeGFS (EULA)» . Фраунгофера ITWM. 22 февраля 2012 года . Проверено 15 марта 2014 г.
^ «Веб-сайт ThinkParQ» . Проверено 17 марта 2014 г.
^ Рич Брюкнер (13 марта 2014 г.). «Фраунгофер выделит переименованную файловую систему BeeGFS» . внутриHPC . Проверено 17 марта 2014 г.
^ «Высокопроизводительная параллельная файловая система FraunhoferFS» . Электронные новости ClusterVision . Ноябрь 2012. Архивировано из оригинала 17 марта 2014 года . Проверено 17 марта 2014 г.
^ «...И Фраунгофера» . StorageNewsletter.com . 18 июня 2010 года . Проверено 17 марта 2014 г.
^ «ВСК-2» . Список Топ500 . 20 июня 2011 года . Проверено 17 марта 2014 г.
^ «Авель» . Список Топ500 . 18 июня 2012 года . Проверено 17 марта 2014 г.
^ «BeeGFS — ведущая файловая система параллельных кластеров» . BeeGFS . Проверено 7 декабря 2017 г.
^ «Драйверы — документация разработчика Kubernetes CSI» .
^ «Драйвер BeeGFS CSI» . Гитхаб . 11 октября 2021 г.
^ Кристиан, Морбахер (24 сентября 2015 г.). «BeeGFS — не только для HPC» (PDF) .
^ «Сайт проекта DEEP-ER» . Проверено 17 марта 2014 г.

[1] «Последняя стабильная версия BeeGFS» . Май 2024.

[2] «FhGFS: быстрая и масштабируемая параллельная файловая система | Файловые системы | Столбцы» . www.clustermonkey.net . Проверено 13 января 2019 г.

[3] «Лицензионное соглашение с конечным пользователем BeeGFS (EULA)» . Фраунгофера ITWM. 22 февраля 2012 года . Проверено 15 марта 2014 г.

[4] «Веб-сайт ThinkParQ» . Проверено 17 марта 2014 г.

[5] Рич Брюкнер (13 марта 2014 г.). «Фраунгофер выделит переименованную файловую систему BeeGFS» . внутриHPC . Проверено 17 марта 2014 г.

[6] «Высокопроизводительная параллельная файловая система FraunhoferFS» . Электронные новости ClusterVision . Ноябрь 2012. Архивировано из оригинала 17 марта 2014 года . Проверено 17 марта 2014 г.

[7] «...И Фраунгофера» . StorageNewsletter.com . 18 июня 2010 года . Проверено 17 марта 2014 г.

[8] «ВСК-2» . Список Топ500 . 20 июня 2011 года . Проверено 17 марта 2014 г.

[9] «Авель» . Список Топ500 . 18 июня 2012 года . Проверено 17 марта 2014 г.

[10] «BeeGFS — ведущая файловая система параллельных кластеров» . BeeGFS . Проверено 7 декабря 2017 г.

[11] «Драйверы — документация разработчика Kubernetes CSI» .

[12] «Драйвер BeeGFS CSI» . Гитхаб . 11 октября 2021 г.

[13] Кристиан, Морбахер (24 сентября 2015 г.). «BeeGFS — не только для HPC» (PDF) .

[14] «Сайт проекта DEEP-ER» . Проверено 17 марта 2014 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]