ОранжеваяФС

Оригинальный автор(ы)	Клемсонский университет , Аргоннская национальная лаборатория и другие члены сообщества.
Разработчик(и)	Омнибонд, Университет Клемсона , Аргоннская национальная лаборатория и члены сообщества
Первоначальный выпуск	2011
Стабильная версия	ОранжеваяФС 2.10.0 / 4 апреля 2023 г. ; Ядро Linux 5.13+
Репозиторий	github .с /waltligon /orangefs
Написано в	С
Операционная система	Линукс
Лицензия	LGPL
Веб-сайт	www .orangefs .org

OrangeFS — это с открытым исходным кодом параллельная файловая система , следующее поколение параллельной виртуальной файловой системы (PVFS). Параллельная файловая система — это тип распределенной файловой системы , которая распределяет файловые данные по нескольким серверам и обеспечивает одновременный доступ для нескольких задач параллельного приложения. OrangeFS был разработан для использования в крупномасштабных кластерных вычислениях и используется компаниями, университетами, национальными лабораториями и аналогичными объектами по всему миру. ^[1]^[2]^[3]^[4]

Версии и возможности

2.8.5

Инфраструктура межсерверной связи
Опция SSD для хранения распределенных метаданных
Полная поддержка встроенных клиентов Windows.
Репликация неизменяемых файлов

2.8.6

Прямой интерфейс для приложений
Кэширование клиента для прямого интерфейса с согласованностью нескольких процессов и единой системы.
Первоначальный выпуск веб-пакета с поддержкой WebDAV и S3 через модули Apache. ^[5]

2.8.7

Обновления, исправления и улучшения производительности

2.8.8

Обновления, исправления и улучшения производительности, встроенная поддержка Hadoop через прокладку JNI , поддержка новых ядер Linux.

2.9

Распределенные метаданные для записей каталога ^[6]
Безопасность на основе возможностей в 3 режимах
- Стандартная безопасность
- Безопасность на основе ключей
- Безопасность на основе сертификатов с LDAP. поддержкой интерфейса
Расширенная документация

2.10

Исправлены ошибки и внесены изменения в сборку для поддержки последних выпусков.
Клиент исходного ядра Linux является основным методом доступа для Linux, внешний модуль ядра устарел.
Windows-клиент OrangeFS обновлен.

История

OrangeFS возникла как ветка разработки PVFS2, поэтому ее история во многом совпадает с историей PVFS. Обширная история OrangeFS, охватывающая двадцать лет, кратко изложена на временной шкале ниже.

Ветка разработки — это новое направление в развитии. Филиал OrangeFS был основан в 2007 году, когда лидеры сообщества пользователей PVFS2 определили, что:

Многие были удовлетворены целями разработки PVFS2 и нуждались в том, чтобы она оставалась относительно неизменной для будущей стабильности.
Другие рассматривали PVFS2 как основу для построения совершенно нового набора задач проектирования для более продвинутых приложений будущего.

Вот почему OrangeFS часто называют следующим поколением PVFS2.

1993: Параллельная виртуальная файловая система (PVFS) была разработана Уолтом Лигоном и Эриком Блюмером в рамках гранта НАСА для изучения шаблонов ввода-вывода параллельных программ. PVFS версии 0 была основана на параллельной файловой системе Vesta, разработанной в Исследовательском центре Томаса Дж. Уотсона IBM , а ее название произошло от ее разработки для работы на параллельной виртуальной машине (PVM).
1994: Роб Росс переписал PVFS для использования TCP/IP, значительно отступив от оригинального дизайна Vesta. Версия 1 PVFS была предназначена для кластера рабочих станций DEC Alpha на FDDI, предшественнике сети Fast Ethernet. PVFS добилась значительных успехов по сравнению с Vesta в области планирования дискового ввода-вывода, когда несколько клиентов обращаются к общему файлу.
Конец 1994 года: Центр космических полетов Годдарда выбрал PVFS в качестве файловой системы для первого «Беовульфа» (ранних реализаций обычных компьютеров на базе Linux, работающих параллельно). В течение следующих нескольких лет Лигон и Росс работали с ключевыми разработчиками GSFC, включая Томаса Стерлинга, Дональда Беккера, Дэна Риджа и Эрика Хендрикса.
1997: PVFS выпущен как пакет с открытым исходным кодом.
1999: Лигон предложил разработать новую версию PVFS. Первоначально разработанный в Университете Клемсона, проект был завершен совместными усилиями сотрудников Клемсона, Аргоннской национальной лаборатории и Суперкомпьютерного центра Огайо , включая большой вклад Фила Карнса, аспиранта Клемсона.
2003: Выпущена версия PVFS2, включающая объектные серверы, распределенные метаданные, размещение нескольких серверов метаданных, представления файлов на основе MPI (интерфейс передачи сообщений, протокол, оптимизированный для высокопроизводительных вычислений) для нескольких типов сетей, а также гибкую архитектуру для простоты экспериментирования и расширения. PVFS2 становится проектом «Открытого сообщества», в котором участвуют многие университеты и компании по всему миру.
2005: Версия 1 PVFS была прекращена. PVFS2 по-прежнему поддерживается Клемсоном и Аргонном. В последние годы различные участники (многие из них являются дизайнерами и разработчиками уставов) продолжали улучшать производительность PVFS.
2007: Аргоннские национальные лаборатории выбрали PVFS2 для своего суперкомпьютера IBM Blue Gene/P, спонсируемого Министерством энергетики США.
2008: Лигон и другие сотрудники Клемсона начали изучать возможности следующего поколения PVFS в дорожной карте, которая включала растущие потребности основных кластерных вычислений в бизнес-секторе. Когда они начали разрабатывать расширения для поддержки больших каталогов с небольшими файлами, улучшения безопасности и возможностей резервирования, многие из этих целей противоречили разработке Blue Gene. Из-за различных приоритетов исходный код PVFS был разделен на две ветви. Ветка новой дорожной карты получила название «Оранжевая» в честь цветов школы Клемсона, а ветка устаревших систем получила название «Синяя» за ее новаторскую установку среди клиентов в Аргонне. OrangeFS стал новым брендом открытых систем, представляющим эту виртуальную файловую систему следующего поколения с упором на безопасность, избыточность и более широкий спектр приложений.
Осень 2010 г.: OrangeFS стала основным ответвлением PVFS, и Omnibond начал предлагать коммерческую поддержку OrangeFS/PVFS, при этом запросы новых функций от клиентов платной поддержки получали высший приоритет в разработке. Представлен первый производственный выпуск OrangeFS.
Весна 2011 г.: Выпущена OrangeFS 2.8.4
Сентябрь 2011 г.: OrangeFS добавляет клиент Windows
февраль 2012 г.: Выпущена OrangeFS 2.8.5
июнь 2012 г.: Выпущена OrangeFS 2.8.6, предлагающая улучшенную производительность, веб-клиенты и библиотеки прямого интерфейса. Новый веб-пакет OrangeFS обеспечивает интегрированную поддержку WebDAV и S3.
Январь 2013 г.: Выпущена OrangeFS 2.8.7
май 2013 г.: OrangeFS доступен на торговой площадке Amazon Web Services . Доступна бета-версия OrangeFS 2.9, добавляющая два новых режима безопасности и позволяющая распределять записи каталога между несколькими серверами данных.
апрель 2014 г.: Выпущена версия OrangeFS 2.8.8 с добавлением поддержки общего mmap , поддержки JNI для приложений экосистемы Hadoop, поддерживающих прямую замену HDFS.
ноябрь 2014 г.: В OrangeFS 2.9.0 добавлена поддержка распределенных метаданных для записей каталога с использованием расширяемого алгоритма хеширования, смоделированного на основе Giga+, POSIX с обратной совместимостью и базовыми возможностями безопасности, поддерживающими несколько режимов.
Январь 2015 г.: Выпущена OrangeFS 2.9.1
Март 2015 г.: Выпущена OrangeFS 2.9.2
июнь 2015 г.: Выпущена OrangeFS 2.9.3
ноябрь 2015 г.: OrangeFS включен в версию CloudyCluster 1.0 на AWS
май 2016 г.: OrangeFS поддерживается в ядре Linux 4.6. ^[7]^[8]^[9]^[10]
Октябрь 2017 г.: 2.9.6 Выпущено
январь 2018 г.: Выпущена версия 2.9.7. Пакет OrangeFS теперь будет включен в Fedora. дистрибутив ^[11]
февраль 2019 г.: CloudyCluster v2 выпущен на торговой площадке AWS с OrangeFS
июнь 2019 г.: CloudyCluster v2 выпущен на GCP с использованием OrangeFS
июль 2019 г.: OreangeFS интегрирован со страничным кешем Linux в ядре Linux 5.2. ^[12]
январь 2020 г.: Временное исправление OrangeFS для записи после открытых проблем, объединенное с ядром Linux 5.5.
август 2020 г.: Обновление ядра до версии 5.4lts, исправляющее проблемы с нестандартными размерами блоков.
сентябрь 2020 г.: 2.9.8 Выпущено
июнь 2021 г.: Ядро Linux 5.13: упреждающее чтение OrangeFS в ядре Linux было переработано, чтобы использовать преимущества новой логики xarray и readahead_expand. Это значительно улучшило производительность чтения. ^[13]
июль 2021 г.: Ошибка результатов df - df на OrangeFS сообщал о слишком маленьком размере по сравнению с реальностью и вызывал стандартные проблемы с установщиком (и сбивал с толку человека). ^[14] Это было перенесено в несколько предыдущих ядер и добавлено в последнее. ^[15]
Октябрь 2022 г.: (Ядро) измените .iterate на .iterate_shared в Orangefs_dir_operations. Поскольку итерация является устаревшим вызовом.

ноябрь 2022 г.: (Ядро) В ядре ACL были переработаны, а обработка режима OrangeFS была обновлена с учетом этих изменений.

декабрь 2022 г.: (Ядро) исправлены утечки памяти при выходе в коде sysfs и debufs OrangeFS.

февраль 2023 г.: (Ядро) Используйте помощники bvec_set_page и bvec_set_folio для инициализации bvecs. Дополнительно обновлено для использования фолио в коде кэша страниц OrangeFS. «Страница фолио» — это новый основной тип страницы кэша страниц ядра, связанный с составными страницами. Основные разработчики прислали множество патчей, связанных с фолио.

апрель 2023 г.: Была выпущена версия OrangeFS 2.10.0, содержащая множество исправлений ошибок и обновлений для поддержки новейших дистрибутивов, а также обновленный клиент Windows.

Ссылки

^ Андрей Савченк (16 февраля 2013 г.). «Введение в распределенные файловые системы, опыт OrangeFS» (PDF) .
^ Джефф Дарси (24 февраля 2011 г.). «Проверка конкуренции» . Архивировано из оригинала 30 сентября 2012 года.
^ «Параллельная файловая система OrangeFS начинает набирать популярность» . HPCwire. 18 ноября 2011 г.
^ Эрик Слэк (29 июня 2012 г.). «Альтернатива высокопроизводительной файловой системы с открытым исходным кодом» . Архивировано из оригинала 21 мая 2017 года . Проверено 10 сентября 2013 г.
^ Майкл Мур; Дэвид Бонни; Уолт Лигон; Николас Миллс; Шуанъян Ян; Бекки Лигон; Майк Маршалл; Элейн Куорлз; Сэм Сэмпсон; Бойд Уилсон (2011). OrangeFS: Развитие PVFS (PDF) . ФАСТ 2011.
^ Шуанъян Ян. Уолтер Б. Лигон III. Университет Элейн К. Куорлз Клемсон (2011 г.), «Реализация масштабируемого распределенного каталога в файловой системе Orange», SNAPI 2011.
^ «Архив ядра Linux: Linux 4.6-rc1» .
^ «Официально выпущено ядро Linux 4.6, представляет OrangeFS и поддержку USB 3.1 SSP» . 15 мая 2016 г.
^ Бекки Лигон (27 октября 2016 г.). «Анонсируем выпуск OrangeFS 2.9.6» .
^ Майк Маршалл (18 сентября 2016 г.). «Ознакомительные сведения о ядре OrangeFS» .
^ «Анонс пакета Fedora — обновление Fedora 27: Orangefs-2.9.7-1.fc27» .
^ Майк Маршалл (10 мая 2019 г.). «Коммит ядра OrangeFS 5.2» .
^ «Kernel/Git/Torvalds/Linux.git — дерево исходного кода ядра Linux» .
^ «[ИСПРАВЛЕНИЕ 5.12 153/292] OrangeFS: исправлен вывод OrangeFS df. — Грег Кроа-Хартман» .
^ «Патч «orangefs: Исправление вывода OrangeFS df.» был добавлен в дерево стабильных версий 4.19 — «Linux Stable Commits» .

Внешние ссылки

Файловая система Orange — следующее поколение параллельной виртуальной файловой системы
Архитектура параллельной файловой системы следующего поколения. Архивировано 11 января 2015 г. на Wayback Machine ( Видеоархив заархивировано 28 марта 2016 г. на Wayback Machine ).
Реализация масштабируемого распределенного каталога в файловой системе Orange ^{[ постоянная мертвая ссылка ]}
Elasticluster с OrangeFS
OrangeFS на AWS Marketplace

[1] Андрей Савченк (16 февраля 2013 г.). «Введение в распределенные файловые системы, опыт OrangeFS» (PDF) .

[2] Джефф Дарси (24 февраля 2011 г.). «Проверка конкуренции» . Архивировано из оригинала 30 сентября 2012 года.

[3] «Параллельная файловая система OrangeFS начинает набирать популярность» . HPCwire. 18 ноября 2011 г.

[4] Эрик Слэк (29 июня 2012 г.). «Альтернатива высокопроизводительной файловой системы с открытым исходным кодом» . Архивировано из оригинала 21 мая 2017 года . Проверено 10 сентября 2013 г.

[5] Майкл Мур; Дэвид Бонни; Уолт Лигон; Николас Миллс; Шуанъян Ян; Бекки Лигон; Майк Маршалл; Элейн Куорлз; Сэм Сэмпсон; Бойд Уилсон (2011). OrangeFS: Развитие PVFS (PDF) . ФАСТ 2011.

[6] Шуанъян Ян. Уолтер Б. Лигон III. Университет Элейн К. Куорлз Клемсон (2011 г.), «Реализация масштабируемого распределенного каталога в файловой системе Orange», SNAPI 2011.

[7] «Архив ядра Linux: Linux 4.6-rc1» .

[8] «Официально выпущено ядро Linux 4.6, представляет OrangeFS и поддержку USB 3.1 SSP» . 15 мая 2016 г.

[9] Бекки Лигон (27 октября 2016 г.). «Анонсируем выпуск OrangeFS 2.9.6» .

[10] Майк Маршалл (18 сентября 2016 г.). «Ознакомительные сведения о ядре OrangeFS» .

[11] «Анонс пакета Fedora — обновление Fedora 27: Orangefs-2.9.7-1.fc27» .

[12] Майк Маршалл (10 мая 2019 г.). «Коммит ядра OrangeFS 5.2» .

[13] «Kernel/Git/Torvalds/Linux.git — дерево исходного кода ядра Linux» .

[14] «[ИСПРАВЛЕНИЕ 5.12 153/292] OrangeFS: исправлен вывод OrangeFS df. — Грег Кроа-Хартман» .

[15] «Патч «orangefs: Исправление вывода OrangeFS df.» был добавлен в дерево стабильных версий 4.19 — «Linux Stable Commits» .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]