✖


Jump to content

Блеск (файловая система)

(Перенаправлено из кластерных файловых систем )
«Кластерные файловые системы» перенаправляется сюда. Общий термин см. в разделе «Кластерная файловая система» . Чтобы узнать о языке программирования, см. Lustre (язык программирования) .
Первоначальный выпуск 16 декабря 2003 г .; 20 лет назад ( 16 декабря 2003 г. ) [1]
Стабильная версия
2.15.0 (последний основной выпуск), [2]

2.15.5 (последняя версия обслуживания), [3]

/ 28 июня 2024 г .; 35 дней назад ( 28.06.2024 )
Предварительный выпуск
2.15.64 / 2024-06-21
Репозиторий
Написано в С
Операционная система Ядро Linux
Тип Распределенная файловая система
Лицензия Лицензия GPL v2 , LGPL
Веб-сайт www .блеск .org Отредактируйте это в Викиданных
Кластерные файловые системы, Inc.
Тип компании Частный
Основан 2001
Основатель Питер Дж. Браам
Штаб-квартира
Боулдер, Колорадо
Ключевые люди
Андреас Дилгер , Эрик Бартон (HPC) , Фил Шван
Продукты файловая система блеска
Блеск
Представлено Декабрь 2003 г. с Linux.
Структуры
Содержимое каталога Хэш, чередующийся хеш с DNE в версии 2.7+
Тип файла файл, каталог, жесткая ссылка, символическая ссылка, специальный блок, специальный символ, сокет, FIFO
Загрузочный Нет
Пределы
Минимальный размер тома 32 МБ
Максимальный размер тома 700 ПБ (производство), [4] более 16 ЭБ (теоретически)
Максимальный размер файла 32 ПБ (ext4), 16 ЭБ (ZFS)
Детализация размера файла 4 КБ
Макс нет. файлов На цель метаданных (MDT): 4 миллиарда файлов (серверная часть ldiskfs), 256 триллионов файлов (серверная часть ZFS), [5] до 128 MDT на файловую систему
Максимальная длина имени файла 255 байт
Максимальная длина имени каталога 255 байт
Максимальная глубина каталога 4096 байт
Разрешенное имя файла
персонажи 		Все байты, кроме NUL ('\0') и '/', а также специальные имена файлов "." и ".."
Функции
Даты записи модификация (mtime), модификация атрибута (ctime), доступ (atime), удаление (dtime), создание (crtime)
Диапазон дат 2^34 бита (ext4), 2^64 бита (ZFS)
Разрешение даты 1 с
Вилки Нет
Атрибуты 32bitapi, acl, контрольная сумма, стая, lazystatfs, localflock, lruresize, noacl, nochecksum, noflock, nolazystatfs, nolruresize, nouser_fid2path, nouser_xattr, user_fid2path, user_xattr
Файловая система
разрешения 		POSIX , POSIX.1e ACL , SELinux
Прозрачный
сжатие 		Да (только ZFS)
Прозрачный
шифрование 		Да (сеть, хранилище с ZFS 0.8+, fscrypt с Lustre 2.14.0+)
Дедупликация данных Да (только ZFS)
Копирование при записи Да (только ZFS)
Другой
Поддерживается
операционные системы 		Ядро Linux

Lustre — это тип параллельной распределенной файловой системы , обычно используемый для крупномасштабных кластерных вычислений . Имя Lustre — это слово-портмоне, полученное из Linux и кластера . [6] Программное обеспечение файловой системы Lustre доступно по лицензии GNU General Public License (только версия 2) и обеспечивает высокопроизводительные файловые системы для компьютерных кластеров различного размера — от небольших кластеров рабочих групп до крупномасштабных многосайтовых систем. С июня 2005 года Lustre постоянно используется как минимум в половине десяти лучших и более чем в 60 из 100 самых быстрых суперкомпьютеров мира. [7] [8] [9] занявший первое место в мире в рейтинге TOP500 в ноябре 2022 года, включая суперкомпьютер Frontier , [4] а также предыдущие топовые суперкомпьютеры, такие как Fugaku , [10] [11] Титан [12] и Секвойя . [13]

Файловые системы Lustre масштабируемы и могут быть частью нескольких компьютерных кластеров с десятками тысяч клиентских узлов, сотнями петабайт (ПБ) хранилища на сотнях серверов и десятками терабайт в секунду (ТБ/с) совокупного ввода-вывода. пропускная способность . [14] [15] Это делает файловые системы Lustre популярным выбором для предприятий с крупными центрами обработки данных, в том числе в таких отраслях, как метеорология , [16] [17] моделирование , искусственный интеллект и машинное обучение , [18] [19] нефть и газ, [20] наука о жизни , [21] [22] богатые медиа и финансы. [23] Производительность ввода-вывода Lustre оказала широкое влияние на эти приложения и привлекла широкое внимание. [24] [25] [26]

История

[ редактировать ]

Архитектура файловой системы Lustre была начата как исследовательский проект в 1999 году Питером Дж. Браамом работал в Университете Карнеги-Меллона , который в то время (CMU). В 2001 году Брэм основал собственную компанию Cluster File Systems. [27] начиная с работы над файловой системой InterMezzo в проекте Coda в CMU. [28] Lustre был разработан в рамках проекта Accelerated Strategic Computing Initiative Path Forward, финансируемого Министерством энергетики США , в который входили Hewlett-Packard и Intel . [29] В сентябре 2007 года Sun Microsystems приобрела активы Cluster File Systems Inc., включая ее «интеллектуальную собственность». [30] [31] Sun включила Lustre в свои предложения высокопроизводительного вычислительного оборудования с намерением внедрить технологии Lustre в Sun ZFS файловую систему и Solaris операционную систему . В ноябре 2008 года Брэм покинул Sun Microsystems, и управление проектом взяли на себя Эрик Бартон и Андреас Дилгер.В 2010 году корпорация Oracle путем приобретения Sun начала управлять и выпускать Lustre.

В декабре 2010 года Oracle объявила, что прекращает разработку Lustre 2.x и переводит Lustre 1.8 на поддержку только для обслуживания, создавая неопределенность в отношении будущего развития файловой системы. [32] После этого объявления появилось несколько новых организаций, обеспечивающих поддержку и развитие модели развития открытого сообщества, включая Whamcloud, [33] Open Scalable File Systems, Inc. (OpenSFS) , ЕВРОПЕЙСКИЕ открытые файловые системы (EOFS) и другие. К концу 2010 года большинство разработчиков Lustre покинули Oracle. Брэм и несколько его коллег присоединились к компании Xyratex, ориентированной на аппаратное обеспечение , когда она приобрела активы ClusterStor. [34] [35] в то время как Бартон, Дилджер и другие основали стартап по разработке программного обеспечения Whamcloud, где продолжили работу над Lustre. [36]

В августе 2011 года OpenSFS заключила с Whamcloud контракт на разработку функций Lustre. [37] Этот контракт включал завершение функций, включая улучшенное масштабирование производительности метаданных одного сервера, которое позволяет Lustre лучше использовать преимущества многоядерного сервера метаданных; онлайн-проверка распределенной файловой системы Lustre (LFSCK), которая позволяет проверять состояние распределенной файловой системы между серверами данных и метаданных, пока файловая система смонтирована и используется; и среда распределенного пространства имен (DNE), ранее называвшаяся кластерными метаданными (CMD), которая позволяет распределять метаданные Lustre по нескольким серверам. Также продолжалась разработка серверного объектного хранилища на базе ZFS в Ливерморской национальной лаборатории имени Лоуренса . [13] Эти функции были в планах сообщества по выпуску версий Lustre с 2.2 по 2.4. [38] В ноябре 2011 года с Whamcloud был заключен отдельный контракт на сопровождение исходного кода Lustre 2.x, чтобы гарантировать, что код Lustre пройдет достаточное тестирование и исправление ошибок во время разработки новых функций. [39]

В июле 2012 года Whamcloud была приобретена Intel . [40] [41] после того, как Whamcloud выиграла контракт FastForward DOE на подготовку Lustre к использованию с экзафлопсными вычислительными системами в течение 2018 года. [42] Затем OpenSFS передала контракты на разработку Lustre компании Intel.

В феврале 2013 года компания Xyratex Ltd. объявила о приобретении оригинального товарного знака, логотипа, веб-сайта Lustre и связанной с ней интеллектуальной собственности у Oracle. [34] В июне 2013 года Intel начала расширять использование Lustre за пределы традиционных HPC, например, в Hadoop . [43] В целом на 2013 год OpenSFS объявила запрос предложений (RFP) по разработке функций Lustre, инструментам параллельной файловой системы, устранению технического долга Lustre и инкубаторам параллельных файловых систем. [44] OpenSFS также создала портал сообщества Lustre, технический сайт, на котором собрана информация и документация в одной области для справок и рекомендаций для поддержки сообщества открытого исходного кода Lustre. 8 апреля 2014 года Кен Клаффи объявил, что Xyratex/Seagate возвращает домен lustre.org сообществу пользователей. [45] и это было завершено в марте 2015 года.

В июне 2018 года команда и активы Lustre были приобретены у Intel компанией DDN . DDN организовала новое приобретение как независимое подразделение, возродив для нового подразделения название Whamcloud. [46]

В ноябре 2019 года OpenSFS и EOFS объявили на SC19 Lustre BOF, что торговая марка Lustre была передана им совместно от Seagate . [47]

История выпусков

[ редактировать ]

Файловая система Lustre была впервые установлена ​​для производственного использования в марте 2003 года на кластере MCR Linux в Ливерморской национальной лаборатории имени Лоуренса . [48] третий по величине суперкомпьютер в списке Top500 на тот момент. [49]

Lustre 1.0.0 был выпущен в декабре 2003 года. [1] и предоставил базовые функции файловой системы Lustre, включая аварийное переключение и восстановление сервера.

Lustre 1.2.0, выпущенный в марте 2004 года, работал на ядре Linux 2.6 и имел функцию «просмотра размера», позволяющую избежать отмены блокировки файлов, подвергающихся записи, а также учет кэша обратной записи данных на стороне клиента (предоставление).

Lustre 1.4.0, выпущенный в ноябре 2004 года, обеспечивал совместимость протоколов между версиями, мог использовать сети InfiniBand и использовать экстенты/mballoc в ldiskfs дисковой файловой системе .

Версия Lustre 1.6.0, выпущенная в апреле 2007 года, допускала настройку монтирования («mountconf»), позволяя настраивать серверы с помощью «mkfs» и «mount», позволяла динамическое добавление целевых объектов хранения объектов (OST), включала диспетчер распределенных блокировок Lustre (LDLM). ) масштабируемость на серверах симметричной многопроцессорной обработки (SMP) и обеспечение управления свободным пространством для распределения объектов.

В версии Lustre 1.8.0, выпущенной в мае 2009 года, реализован кэш чтения OSS, улучшено восстановление в случае многочисленных сбоев, добавлено базовое управление гетерогенными хранилищами через пулы OST, адаптивные сетевые тайм-ауты и восстановление на основе версий. Это был переходный выпуск, совместимый как с Lustre 1.6, так и с Lustre 2.0. [50]

Версия Lustre 2.0, выпущенная в августе 2010 года, была основана на значительной внутренней реструктуризации кода для подготовки к крупным архитектурным достижениям. Lustre 2.x Клиенты не могут взаимодействовать с серверами версии 1.8 или более ранних версий . Однако клиенты Lustre 1.8.6 и более поздних версий могут взаимодействовать с серверами Lustre 2.0 и более поздних версий. Цель метаданных (MDT) и формат OST на диске версии 1.8 можно обновить до версии 2.0 и более поздних версий без необходимости переформатирования файловой системы.

Версия Lustre 2.1, выпущенная в сентябре 2011 года, была инициативой всего сообщества в ответ на приостановку разработки Oracle версий Lustre 2.x. [51] Добавлена ​​возможность запуска серверов на Red Hat Linux 6 и увеличен максимальный размер OST на основе ext4 с 24 ТБ до 128 ТБ. [52] а также ряд улучшений производительности и стабильности. Серверы Lustre 2.1 оставались совместимыми с клиентами версии 1.8.6 и более поздних версий.

Версия Lustre 2.2, выпущенная в марте 2012 года, ориентирована на улучшение производительности метаданных и новые функции. [53] Он добавил параллельные операции с каталогами, позволяющие нескольким клиентам одновременно просматривать и изменять один большой каталог, более быстрое восстановление после сбоев сервера, увеличенное количество полос для одного файла (до 2000 OST) и улучшенную производительность обхода каталога для одного клиента.

В версии Lustre 2.3, выпущенной в октябре 2012 года, продолжилось улучшение кода сервера метаданных для устранения узких мест внутренней блокировки на узлах с большим количеством ядер ЦП (более 16). В хранилище объектов добавлена ​​предварительная возможность использования ZFS в качестве резервной файловой системы. Функция проверки файловой системы Lustre (LFSCK) может проверять и восстанавливать индекс объекта MDS (OI) во время использования файловой системы, после резервного копирования/восстановления на уровне файлов или в случае повреждения MDS. Статистика ввода-вывода на стороне сервера была улучшена, чтобы обеспечить интеграцию с планировщиками пакетных заданий, такими как SLURM, для отслеживания статистики по каждому заданию. Клиентское программное обеспечение было обновлено для работы с ядрами Linux до версии 3.0.

В версию Lustre 2.4, выпущенную в мае 2013 года, добавлено значительное количество основных функций, многие из которых финансируются непосредственно через OpenSFS . Среда распределенного пространства имен (DNE) обеспечивает горизонтальное масштабирование емкости метаданных и производительности для клиентов 2.4, позволяя размещать деревья подкаталогов одного пространства имен на отдельных MDT. ZFS теперь можно использовать в качестве базовой файловой системы как для хранилища MDT, так и для хранилища OST. Функция LFSCK добавила возможность сканирования и проверки внутренней согласованности атрибутов MDT FID и LinkEA. Планировщик сетевых запросов [54] [55] (NRS) добавляет политики для оптимизации обработки клиентских запросов для упорядочения дисков и обеспечения справедливости. Клиенты могут дополнительно отправлять массовые RPC размером до 4 МБ. Клиентское программное обеспечение было обновлено для работы с ядрами Linux до версии 3.6 и по-прежнему совместимо с клиентами версии 1.8.

В версию Lustre 2.5, выпущенную в октябре 2013 года, добавлена ​​долгожданная функция Hierarchical Storage Management (HSM). HSM является основным требованием в корпоративных средах и позволяет клиентам легко внедрять многоуровневые решения хранения данных в своей операционной среде. Этот выпуск является текущей веткой обслуживания Lustre, назначенной OpenSFS. [56] [57] [58] [59] Самая последняя версия обслуживания — 2.5.3 — была выпущена в сентябре 2014 года. [60]

Lustre 2.6, выпущенная в июле 2014 г. [61] был более скромной функцией выпуска, добавляющей функциональность LFSCK для выполнения локальных проверок согласованности OST, а также проверок согласованности между объектами MDT и OST. Фильтр сегмента токенов NRS [62] (TBF) была добавлена ​​политика. Производительность ввода-вывода для одного клиента была улучшена по сравнению с предыдущими выпусками. [63] В этом выпуске также добавлена ​​предварительная версия чередующихся каталогов DNE, позволяющая хранить отдельные большие каталоги на нескольких MDT для повышения производительности и масштабируемости.

Lustre 2.7, выпущенная в марте 2015 г. [64] добавлена ​​функция LFSCK для проверки согласованности DNE удаленных и чередующихся каталогов между несколькими MDT. Dynamic LNet Config добавляет возможность настраивать и изменять сетевые интерфейсы, маршруты и маршрутизаторы LNet во время выполнения. Была добавлена ​​новая функция оценки для сопоставления UID/GID для клиентов с разными административными доменами, а также улучшена функциональность чередующегося каталога DNE.

Lustre 2.8, выпущенная в марте 2016 г. [65] завершена функция чередования каталогов DNE, включая поддержку миграции каталогов между MDT, а также жесткую связь между MDT и переименование. Кроме того, он включал улучшенную поддержку Security-Enhanced Linux ( SELinux ) на клиенте, аутентификацию Kerberos и шифрование RPC в сети, а также улучшения производительности для LFSCK.

Lustre 2.9 был выпущен в декабре 2016 года. [66] и включал ряд функций, связанных с безопасностью и производительностью. Вариант безопасности с общим секретным ключом использует тот же механизм GSSAPI , что и Kerberos, для обеспечения аутентификации узлов клиента и сервера, а также целостности и безопасности (шифрования) сообщений RPC. Функция Nodemap позволяет классифицировать клиентские узлы по группам, а затем сопоставлять UID/GID для этих клиентов, позволяя удаленно администрируемым клиентам прозрачно использовать общую файловую систему без единого набора UID/GID для всех клиентских узлов. Функция монтирования подкаталога позволяет клиентам монтировать подмножество пространства имен файловой системы из MDS. В этом выпуске также добавлена ​​поддержка до 16 МБ RPC для более эффективной отправки операций ввода-вывода на диск, а также добавлена ​​возможность ladvise интерфейс, позволяющий клиентам предоставлять серверам подсказки по вводу-выводу для предварительной загрузки данных файла в кэш сервера или очистки данных файла из кэша сервера. Была улучшена поддержка указания пулов OST по умолчанию для всей файловой системы, а также улучшено наследование пулов OST в сочетании с другими параметрами макета файла.

Lustre 2.10 был выпущен в июле 2017 года. [67] и имеет ряд существенных улучшений. Функция LNet Multi-Rail (LMR) позволяет объединить несколько сетевых интерфейсов ( InfiniBand , Omni-Path и/или Ethernet ) на клиенте и сервере для увеличения совокупной пропускной способности ввода-вывода. Отдельные файлы могут использовать составные макеты файлов, состоящие из нескольких компонентов, которые представляют собой области файла на основе смещения файла, которые допускают использование различных параметров макета, таких как количество полос, тип пула/хранилища OST и т. д. Прогрессивная компоновка файлов (PFL) — это первая функция для использования составных макетов, но реализация является гибкой для использования с другими макетами файлов, такими как зеркальное отображение и стирающее кодирование. Серверный планировщик NRS Token Bucket Filter (TBF) реализовал новые типы правил, включая планирование типа RPC и возможность указывать несколько параметров, таких как JobID и NID, для сопоставления правил. Были добавлены инструменты для управления снимками ZFS файловых систем Lustre, чтобы упростить создание, монтирование и управление снимками ZFS MDT и OST как отдельными точками монтирования Lustre.

Lustre 2.11 был выпущен в апреле 2018 года. [68] и содержит две важные новые функции и несколько более мелких функций. Функция резервирования на уровне файлов (FLR) расширяет реализацию PFL 2.10, добавляя возможность указывать зеркальные макеты файлов для повышения доступности в случае сбоя хранилища или сервера и/или повышения производительности при высокой степени одновременного чтения. Функция Data-on-MDT (DoM) позволяет хранить небольшие файлы (несколько МиБ) на MDT, чтобы использовать типичное флэш-хранилище RAID-10 для более низкой задержки и уменьшения конфликтов ввода-вывода вместо типичного хранилища RAID-6 на жестком диске. используется в OST. Кроме того, функция динамического обнаружения LNet позволяет автоматически настраивать LNet Multi-Rail между узлами, которые совместно используют сеть LNet. Функция LDLM Lock Ahead позволяет соответствующим образом измененным приложениям и библиотекам предварительно получать блокировки экстентов DLM из OST для файлов, если приложение знает (или прогнозирует), что этот экстент файла будет изменен в ближайшем будущем, что может уменьшить конфликт блокировок для несколько клиентов пишут в один и тот же файл.

Lustre 2.12 вышел 21 декабря 2018 г. [69] и сосредоточился на улучшении удобства использования и стабильности Lustre за счет улучшения производительности и функциональности функций FLR и DoM, добавленных в Lustre 2.11, а также небольших изменений в NRS TBF , HSM и JobStats. Он добавил LNet Network Health, заархивированный 12 февраля 2019 г. на Wayback Machine , чтобы позволить функции LNet Multi-Rail из Lustre 2.10 лучше обрабатывать сбои сети, когда узел имеет несколько сетевых интерфейсов. Ленивый размер на MDT [70] (LSOM) позволяет сохранять оценку размера файла в MDT для использования механизмами политики, сканерами файловой системы и другими инструментами управления, которые могут более эффективно принимать решения о файлах без точного размера файлов или подсчета блоков без необходимости запрашивать ОСТы к этой информации. В этом выпуске также добавлена ​​возможность вручную перераспределить существующий каталог между несколькими MDT, чтобы обеспечить миграцию каталогов с большим количеством файлов для использования емкости и производительности нескольких узлов MDS. В контрольную сумму данных Lustre RPC добавлены SCSI T10-PI. интегрированные контрольные суммы данных [71] от клиента до уровня блоков ядра, хост-адаптера SCSI и жестких дисков с поддержкой T10 .

Lustre 2.13 вышел 5 декабря 2019 г. [72] и добавлены новые функции, связанные с производительностью: постоянный клиентский кэш. [73] (PCC), который позволяет напрямую использовать хранилища NVMe и NVRAM на клиентских узлах, сохраняя при этом файлы частью глобального пространства имен файловой системы, а также перераспределение OST. [74] что позволяет файлам хранить несколько полос в одном OST, чтобы лучше использовать быстрое оборудование OSS. Кроме того, функциональность LNet Multi-Rail Network Health была улучшена для работы с узлами маршрутизатора LNet RDMA. Функциональность PFL была расширена за счет саморасширяющихся макетов. [75] (SEL), чтобы обеспечить динамический размер компонентов файла, чтобы лучше справляться с флэш-файлами OST, которые могут быть намного меньше, чем дисковые OST в той же файловой системе. Релиз также включал ряд небольших улучшений, таких как балансировка создания удаленных каталогов DNE между MDT, использование Lazy-size-on-MDT для уменьшения накладных расходов на поиск lfs, каталоги с 10 миллионами файлов на сегмент для ldiskfs и массовый RPC. размеры до 64 МБ. [76]

Lustre 2.14 вышел 19 февраля 2021 г. [77] и включает в себя три основные функции. Шифрование данных клиента реализует fscrypt, позволяющий шифровать данные файла на клиенте перед передачей по сети и постоянным хранением в OST и MDT. Квоты пула OST расширяют структуру квот, позволяя назначать и применять квоты на основе пулов хранения OST. Автоматическое перераспределение DNE теперь может регулировать количество MDT, по которым чередуется большой каталог, на основе пороговых значений размера, определенных администратором, аналогично прогрессивным макетам файлов для каталогов.

Lustre 2.15 вышел 16 июня 2022 г. [2] и включает в себя три основные функции. Шифрование каталога клиента [78] расширяет шифрование данных fscrypt в версии 2.14, позволяя также шифровать имена файлов и каталогов на клиенте перед передачей по сети и постоянным хранилищем на MDT. Балансировка пространства MDT DNE автоматически балансирует создание новых каталогов между MDT в файловой системе в циклическом порядке и/или на основе доступных индексных дескрипторов и пространства, что, в свою очередь, помогает более равномерно распределять рабочую нагрузку клиентских метаданных по MDT. Для приложений, использующих интерфейс NVIDIA GPU Direct Storage (GDS),Клиент Lustre может выполнять чтение и запись RDMA с нулевым копированием с сервера хранения непосредственно в память графического процессора , чтобы избежать дополнительного копирования данных из памяти процессора и дополнительных затрат на обработку. [79] Пользовательская политика выбора (UDSP) позволяет устанавливать политику выбора интерфейса для узлов с несколькими сетевыми интерфейсами.

Архитектура

[ редактировать ]

Файловая система Lustre состоит из трех основных функциональных блоков:

  • Один или несколько узлов серверов метаданных (MDS) , которые имеют одно или несколько целевых устройств метаданных (MDT) на каждую файловую систему Lustre, в которой хранятся метаданные пространства имен, такие как имена файлов, каталоги, права доступа и макет файла. Данные MDT хранятся в файловой системе локального диска. Однако, в отличие от распределенных файловых систем на основе блоков, таких как GPFS и PanFS , где сервер метаданных контролирует все распределение блоков, сервер метаданных Lustre участвует только в проверке пути и разрешений и не участвует в каких-либо операциях ввода-вывода файлов. , избегая узких мест масштабируемости ввода-вывода на сервере метаданных. Возможность иметь несколько MDT в одной файловой системе — это новая функция в Lustre 2.4, которая позволяет поддеревьям каталогов размещаться во вторичных MDT, а версия 2.7 и более поздние версии также позволяют распределять большие отдельные каталоги по нескольким MDT.
  • Один или несколько узлов сервера хранения объектов (OSS) , которые хранят данные файлов на одном или нескольких целевого хранилища объектов (OST) устройствах . В зависимости от аппаратного обеспечения сервера OSS обычно обслуживает от двух до восьми OST, причем каждый OST управляет одной файловой системой локального диска. Емкость файловой системы Lustre представляет собой сумму емкостей, предоставляемых OST.
  • Клиент(ы), которые получают доступ к данным и используют их. Lustre предоставляет всем клиентам единое пространство имен для всех файлов и данных в файловой системе, используя стандартную семантику POSIX , и обеспечивает одновременный и последовательный доступ для чтения и записи к файлам в файловой системе.

MDT, OST и клиент могут находиться на одном узле (обычно в целях тестирования), но в типичных производственных установках эти устройства находятся на отдельных узлах, обменивающихся данными по сети. Каждый MDT и OST могут быть частью только одной файловой системы, хотя на одном узле может быть несколько MDT или OST, которые являются частью разных файловых систем. Уровень сети Lustre (LNet) может использовать несколько типов сетевых соединений, включая собственные команды InfiniBand , Omni-Path , RoCE и iWARP через OFED , TCP/IP on Ethernet и другие собственные сетевые технологии, такие как межсоединение Cray Gemini. В Lustre 2.3 и более ранних версиях Myrinet , Quadrics также поддерживались сети , Cray SeaStar и RapidArray, но эти сетевые драйверы были признаны устаревшими, когда эти сети больше не были коммерчески доступны, а поддержка была полностью удалена в Lustre 2.8. Lustre будет использовать преимущества передачи удаленного прямого доступа к памяти ( RDMA ), если она доступна, для повышения пропускной способности и снижения использования ЦП.

Хранилище, используемое для файловых систем, поддерживающих MDT и OST, обычно предоставляется аппаратными устройствами RAID , но может работать с любыми блочными устройствами. Начиная с Lustre 2.4, MDT и OST также могут использовать ZFS в качестве резервной файловой системы в дополнение к ext4 , что позволяет им эффективно использовать хранилище JBOD вместо аппаратных RAID-устройств. Серверы Lustre OSS и MDS считывают, записывают и изменяют данные в формате, заданном базовой файловой системой, и возвращают эти данные клиентам. Это позволяет Lustre использовать преимущества и возможности базовой файловой системы, такие как сжатие и контрольные суммы данных в ZFS. Клиенты не имеют прямого доступа к базовому хранилищу, что гарантирует, что неисправный или вредоносный клиент не сможет повредить структуру файловой системы.

OST — это выделенная файловая система, которая экспортирует интерфейс в диапазоны байтов файловых объектов для операций чтения/записи с блокировкой экстентов для защиты согласованности данных. MDT — это выделенная файловая система, которая хранит индексные дескрипторы, каталоги, POSIX и расширенные атрибуты файлов , управляет разрешениями доступа к файлам/ списками ACL и сообщает клиентам структуру объектов, составляющих каждый обычный файл. MDT и OST в настоящее время используют либо расширенную версию ext4, называемую ldiskfs , либо ZFS /DMU для внутреннего хранения данных для хранения файлов/объектов. [80] используя порт ZFS-on-Linux с открытым исходным кодом. [81]

Клиент монтирует файловую систему Lustre локально с помощью драйвера VFS для ядра Linux , который соединяет клиента с сервером(ами). При первоначальном монтировании клиенту предоставляется идентификатор файла (FID) для корневого каталога точки монтирования. Когда клиент обращается к файлу, он выполняет поиск имени файла в MDS . Когда поиск имени файла MDS завершен и пользователь и клиент имеют разрешение на доступ и/или создание файла, либо макет существующего файла возвращается клиенту, либо новый файл создается от имени клиента, если это требуется. Для операций чтения или записи клиент затем интерпретирует структуру файла на уровне тома логических объектов (LOV) , который сопоставляет логическое смещение и размер файла с одним или несколькими объектами . Затем клиент блокирует диапазон файлов, с которым работает, и выполняет одну или несколько параллельных операций чтения или записи непосредственно на узлах OSS, которые содержат объекты данных. При таком подходе устраняются узкие места для связи между клиентом и OSS, поэтому общая пропускная способность, доступная клиентам для чтения и записи данных, масштабируется почти линейно с количеством OST в файловой системе.

После первоначального поиска макета файла MDS обычно не участвует в операциях ввода-вывода файла, поскольку все распределение блоков и ввод данных управляются внутри OST. Клиенты не изменяют напрямую объекты или данные в файловых системах OST, а вместо этого делегируют эту задачу узлам OSS. Такой подход обеспечивает масштабируемость для крупномасштабных кластеров и суперкомпьютеров, а также повышенную безопасность и надежность. Напротив, общие блочные файловые системы, такие как GPFS и OCFS, обеспечивают прямой доступ к базовому хранилищу для всех клиентов файловой системы, что требует большой внутренней сети SAN, подключенной ко всем клиентам, и увеличивает риск повреждения файловой системы из-за плохое поведение/неполноценные клиенты.

Выполнение

[ редактировать ]

При типичной установке Lustre на клиенте Linux модуль драйвера файловой системы Lustre загружается в ядро, и файловая система монтируется, как любая другая локальная или сетевая файловая система. Клиентские приложения используют единую файловую систему, даже если она может состоять из десятков и тысяч отдельных серверов и файловых систем MDT/OST.

В некоторых установках с массово-параллельным процессором (MPP) вычислительные процессоры могут получить доступ к файловой системе Lustre, перенаправляя свои запросы ввода-вывода на выделенный узел ввода-вывода, настроенный как клиент Lustre. Этот подход используется в Blue Gene. установке [82] в Ливерморской национальной лаборатории имени Лоуренса .

Другой подход, использовавшийся в первые годы существования Lustre, — это библиотека liblustre на Cray XT3 с использованием операционной системы Catamount в таких системах, как Sandia Red Storm , [83] который предоставил приложениям пользовательского пространства прямой доступ к файловой системе. Liblustre представляла собой библиотеку пользовательского уровня, которая позволяла вычислительным процессорам монтировать и использовать файловую систему Lustre в качестве клиента. Используя liblustre, вычислительные процессоры могут получить доступ к файловой системе Lustre, даже если служебный узел, на котором было запущено задание, не является клиентом Linux. Liblustre позволял перемещать данные непосредственно между пространством приложений и OSS Lustre, не требуя промежуточного копирования данных через ядро, обеспечивая тем самым доступ вычислительных процессоров к файловой системе Lustre непосредственно в ограниченной операционной среде. Функциональность liblustre была удалена из Lustre 2.7.0 после того, как она была отключена начиная с Lustre 2.6.0, и не тестировалась начиная с Lustre 2.3.0.

В Linux Kernel версии 4.18 неполный порт клиента Lustre был удален из промежуточной области ядра, чтобы ускорить разработку и портирование на более новые ядра. [84] Внешние клиент и сервер Lustre по-прежнему доступны для ядер дистрибутивов RHEL, SLES и Ubuntu, а также для ванильных ядер.

Объекты данных и чередование файлов

[ редактировать ]

В традиционной дисковой файловой системе Unix структура данных inode содержит основную информацию о каждом файле, например, о том, где хранятся данные, содержащиеся в файле. Файловая система Lustre также использует индексные дескрипторы, но индексные дескрипторы в MDT указывают на один или несколько объектов OST, связанных с файлом, а не на блоки данных. Эти объекты реализованы в виде файлов в OST. Когда клиент открывает файл, операция открытия файла передает набор идентификаторов объектов и их макет из MDS клиенту, так что клиент может напрямую взаимодействовать с узлами OSS, которые содержат объект(ы). Это позволяет клиентам выполнять ввод-вывод параллельно для всех объектов OST в файле без дальнейшего взаимодействия с MDS, избегая конфликтов со стороны централизованного управления блоками и блокировками.

Если с индексным дескриптором MDT связан только один объект OST, этот объект содержит все данные в файле Lustre. Когда с файлом связано более одного объекта, данные в файле «распределяются» порциями в циклическом порядке по объектам OST, аналогично RAID 0 , порциями, обычно размером 1 МБ или больше. Распределение файла по нескольким объектам OST обеспечивает значительный выигрыш в производительности, если требуется высокоскоростной доступ к одному большому файлу. При использовании чередования максимальный размер файла не ограничивается размером одной цели. Емкость и совокупная пропускная способность ввода-вывода масштабируются в зависимости от количества OST, по которым чередуется файл. Кроме того, поскольку блокировка каждого объекта управляется независимо для каждого OST, добавление дополнительных полос (по одной на каждый OST) пропорционально масштабирует способность блокировки ввода-вывода файла. Каждый файл, созданный в файловой системе, может указывать различные параметры макета, такие как количество полос (количество объектов OST, составляющих этот файл), размер полосы (единица данных, хранящихся в каждом OST перед переходом к следующему) и выбор OST, поэтому что производительность и емкость можно оптимально настроить для каждого файла. Когда множество потоков приложения параллельно читают или записывают отдельные файлы, оптимально иметь одну полосу для каждого файла, поскольку приложение обеспечивает собственный параллелизм. Когда множество потоков одновременно читают или записывают один большой файл, оптимально иметь хотя бы одну полосу в каждом OST, чтобы максимизировать производительность и емкость этого файла.

В версии Lustre 2.10 была добавлена ​​возможность указывать составные макеты , позволяющие файлам иметь разные параметры макета для разных областей файла. Функция Progressive File Layout (PFL) использует составные макеты для повышения производительности ввода-вывода файлов в более широком диапазоне рабочих нагрузок, а также для упрощения использования и администрирования. Например, небольшой PFL-файл может иметь одну полосу на флэш-памяти для снижения затрат на доступ, в то время как файлы большего размера могут иметь много полос для высокой совокупной пропускной способности и лучшей балансировки нагрузки OST. В версии 2.11 составные макеты дополнительно улучшены за счет функции избыточности на уровне файла (FLR), которая позволяет файлу иметь несколько перекрывающихся макетов для файла, обеспечивая избыточность RAID 0+1 для этих файлов, а также улучшенную производительность чтения. В выпуске Lustre 2.11 также добавлена ​​функция Data-on-Metadata (DoM), которая позволяет первый хранить компонент файла PFL непосредственно в MDT с помощью индексного дескриптора. Это снижает накладные расходы на доступ к небольшим файлам как с точки зрения использования пространства (объект OST не требуется), так и использования сети (для доступа к данным требуется меньше RPC). DoM также повышает производительность для небольших файлов, если MDT На основе SSD , а OST — на дисках. В Lustre 2.13 функция Overstriping OST позволяет одному компоненту иметь несколько полос в одном OST для дальнейшего улучшения параллелизма блокировок, а функция Self-Extending Layout позволяет размеру компонента быть динамическим во время записи, чтобы он мог обрабатывать отдельные (флэш-памяти) ) В OST-файлах заканчивается место раньше, чем во всей файловой системе закончится место.

Объекты метаданных и удаленные или чередующиеся каталоги DNE.

[ редактировать ]

Когда клиент первоначально монтирует файловую систему, ему предоставляется 128-битный идентификатор файла Lustre (FID, состоящий из 64-битного порядкового номера, 32-битного идентификатора объекта и 32-битной версии) корневого каталога для точки монтирования. При выполнении поиска по имени файла клиент выполняет поиск каждого компонента пути путем сопоставления порядкового номера FID родительского каталога с конкретным MDT через базу данных местоположения FID (FLDB), а затем выполняет поиск в MDS, управляющем этим MDT, с помощью родительского файла. FID и имя файла. MDS вернет FID для запрошенного компонента пути вместе с блокировкой DLM . После определения MDT последнего каталога в пути дальнейшие операции с каталогами (для каталогов без чередования) обычно выполняются на этом MDT, что позволяет избежать конкуренции между MDT.

Для чередующихся каталогов DNE макет каждого каталога, хранящийся в родительском каталоге, предоставляет хеш-функцию и список FID каталогов MDT, по которым распределяется каталог. Том логических метаданных (LMV) на клиенте хэширует имя файла и сопоставляет его с определенным сегментом каталога MDT , который будет обрабатывать дальнейшие операции с этим файлом так же, как и с каталогом без чередования. Для операций readdir() записи из каждого сегмента каталога возвращаются клиенту, отсортированные в хеш-порядке локального каталога MDT, и клиент выполняет сортировку слиянием, чтобы чередовать имена файлов в хеш-порядке, чтобы можно было создать один 64-битный файл cookie. используется для определения текущего смещения внутри каталога.

В Lustre 2.15 клиентский LMV реализует циклическую и сбалансированную по пространству структуру каталогов по умолчанию, так что клиенты могут более эффективно использовать большое количество MDT в одной файловой системе. Когда новые подкаталоги создаются рядом с корнем файловой системы (по умолчанию 3 верхних уровня каталогов), они автоматически создаются как удаленные каталоги одного из доступных MDT (выбираются в последовательном порядке), чтобы сбалансировать использование пространства и нагрузку на серверы. . Если свободное пространство на MDT становится несбалансированным (разница между свободным пространством и индексными узлами более 5%), то клиенты будут смещать создание нового подкаталога в сторону MDT с большим количеством свободного места, чтобы восстановить баланс. [85]

Блокировка

[ редактировать ]

Lustre Менеджер распределенных блокировок (LDLM), реализованный в стиле OpenVMS , защищает целостность данных и метаданных каждого файла. Доступ и изменение файла Lustre полностью согласованы с кэшем всех клиентов. Блокировками метаданных управляет MDT, который хранит индексный дескриптор файла, используя FID в качестве имени ресурса. Блокировки метаданных разделены на отдельные биты, которые защищают поиск файла (владелец и группа файла, разрешения и режим, список управления доступом (ACL)), состояние индексного дескриптора (размер каталога, содержимое каталога, количество ссылок, временные метки). ), макет (чередование файлов, начиная с Lustre 2.4) и расширенные атрибуты (xattrs, начиная с Lustre 2.5). Клиент может получить несколько битов блокировки метаданных для одного индексного дескриптора с помощью одного запроса RPC, но в настоящее время ему предоставляется только блокировка чтения для индексного дескриптора. MDS управляет всеми изменениями индексного дескриптора, чтобы избежать конкуренции за ресурсы блокировки , и в настоящее время является единственным узлом, который получает блокировки записи на индексные дескрипторы.

Блокировки данных файла управляются OST, в котором чередуется каждый объект файла, с использованием блокировок экстентов в диапазоне байтов . Клиентам могут быть предоставлены перекрывающиеся блокировки экстентов чтения для части или всего файла, что позволяет одновременно выполнять несколько операций чтения одного и того же файла, и/или неперекрывающиеся блокировки экстентов записи для независимых областей файла. Это позволяет многим клиентам Lustre одновременно получать доступ к одному файлу как для чтения, так и для записи, избегая узких мест во время файлового ввода-вывода. На практике, поскольку клиенты Linux управляют своим кэшем данных в единицах страниц , клиенты будут запрашивать блокировки, которые всегда кратны размеру страницы (4096 байт для большинства клиентов). Когда клиент запрашивает блокировку экстента, OST может предоставить блокировку большего экстента, чем первоначально запрошено, чтобы уменьшить количество запросов на блокировку, которые делает клиент. Фактический размер предоставленной блокировки зависит от нескольких факторов, в том числе от количества предоставленных в данный момент блокировок для этого объекта, наличия конфликтующих блокировок записи для запрошенного экстента блокировки и количества ожидающих запросов на блокировку для этого объекта. Предоставляемая блокировка никогда не может быть меньше первоначально запрошенного экстента. Блокировки экстентов OST используют Lustre FID объекта в качестве имени ресурса для блокировки. Поскольку количество серверов блокировки экстентов масштабируется вместе с количеством OST в файловой системе, это также масштабирует совокупную производительность блокировки файловой системы и отдельного файла, если он чередуется по нескольким OST.

сеть

[ редактировать ]

Связь между клиентами и серверами Lustre реализована с помощью Lustre Networking (LNet), которая изначально была основана на Sandia интерфейсе прикладного программирования сетевых приложений Portals . Дисковое хранилище подключается к серверным узлам Lustre MDS и OSS с использованием технологий хранения с прямым подключением ( SAS , FC , iSCSI ) или традиционной сети хранения данных (SAN), которая не зависит от сети клиент-сервер.

LNet может использовать многие часто используемые типы сетей, такие как сети InfiniBand и TCP (обычно Ethernet ), и обеспечивает одновременную доступность нескольких типов сетей с маршрутизацией между ними. Удаленный прямой доступ к памяти (RDMA) используется для передачи данных и метаданных между узлами, если это обеспечивается базовыми сетями, такими как InfiniBand, RoCE , iWARP и Omni-Path , а также собственными высокоскоростными сетями, такими как Cray Aries и Gemini. и Атос BXI. Функции высокой доступности и восстановления обеспечивают прозрачное восстановление в сочетании с серверами аварийного переключения.

Начиная с Lustre 2.10 появилась функция LNet Multi-Rail (MR). [86] позволяет агрегировать каналы двух или более сетевых интерфейсов между клиентом и сервером для улучшения пропускной способности. Типы интерфейсов LNet не обязательно должны быть одного и того же типа сети. В версии 2.12 Multi-Rail был улучшен для повышения отказоустойчивости, если между узлами доступно несколько сетевых интерфейсов.

LNet обеспечивает сквозную пропускную способность в сетях Gigabit Ethernet , превышающую 100 МБ/с. [87] пропускная способность до 11 ГБ/с при использовании каналов с повышенной скоростью передачи данных (EDR) InfiniBand и пропускная способность более 11 ГБ/с через интерфейсы 100 Gigabit Ethernet . [88]

Высокая доступность

[ редактировать ]

Функции обеспечения высокой доступности файловой системы Lustre включают надежный механизм аварийного переключения и восстановления, который делает сбои и перезагрузки серверов прозрачными. Совместимость версий между последовательными второстепенными версиями программного обеспечения Lustre позволяет обновить сервер, отключив его (или переключив на резервный сервер), выполнив обновление и перезапустив его, в то время как все активные задания продолжают выполняться с задержкой. в то время как резервный сервер берет на себя хранение.

Lustre MDS настраиваются как активная/пассивная пара, экспортирующая один MDT, или одна или несколько пар активный/активный MDS с DNE, экспортирующим два или более отдельных MDT, тогда как OSS обычно развертываются в активной/активной конфигурации, экспортирующей отдельные OST для обеспечения избыточности. без дополнительных затрат на систему. В файловых системах с одним MDT резервным MDS для одной файловой системы является MGS и/или узел мониторинга или активным MDS для другой файловой системы, поэтому в кластере нет простаивающих узлов.

HSM (иерархическое управление хранилищем)

[ редактировать ]

Lustre предоставляет возможность иметь несколько уровней хранения в одном пространстве имен файловой системы. Это позволяет традиционным функциям HSM копировать (архивировать) файлы из основной файловой системы на дополнительный уровень хранения архивов. Уровень архива обычно представляет собой ленточную систему, перед которой часто располагается дисковый кэш. После того как файл заархивирован, его можно удалить из основной файловой системы, оставив только заглушку, ссылающуюся на архивную копию. Если выпущенный файл открыт, координатор блокирует открытие, отправляет запрос на восстановление инструменту копирования, а затем завершает открытие, как только инструмент копирования завершит восстановление файла.

В дополнение к многоуровневому внешнему хранилищу в одном пространстве имен файловой системы можно иметь несколько уровней хранения. OST разных типов (например, HDD и SSD) могут быть объявлены в именованных пулах хранения. Пулы OST можно выбрать при указании макетов файлов, а в одном макете файла PFL можно использовать разные пулы. Файлы можно переносить между уровнями хранения вручную или под контролем Policy Engine. Начиная с версии Lustre 2.11, также можно зеркально отображать файл в разные пулы OST с помощью макета файла FLR, например, для предварительной подготовки файлов во флэш-памяти для вычислительных задач.

HSM включает в себя некоторые дополнительные компоненты Lustre для управления интерфейсом между основной файловой системой и архивом:

  • Координатор: получает запросы на архивирование и восстановление и отправляет их агентским узлам.
  • Агент: запускает инструмент копирования для копирования данных из основного хранилища в архив и наоборот.
  • Copytool: обрабатывает перемещение данных и обновление метаданных. Существуют разные инструменты копирования для взаимодействия с разными архивными системами. Общий инструмент копирования POSIX доступен для архивов, которые предоставляют внешний интерфейс, подобный POSIX. Copytools также доступны для высокопроизводительной системы хранения данных. [89] (HPSS), Tivoli Storage Manager [90] (ТСМ), Amazon S3 , [91] и Google Диск . [92]
  • Механизм политики: отслеживает журналы изменений файловой системы на предмет новых файлов для архивирования, применяет политики для выпуска файлов в зависимости от возраста или использования пространства и обменивается данными с MDT и координатором. Policy Engine также может инициировать такие действия, как миграция, очистка и удаление. Наиболее часто используемым механизмом политики является RobinHood , но можно использовать и другие механизмы политики.

HSM также определяет новые состояния файлов, включая: [93]

  • Существовать: в HSM существует некоторая копия, возможно, неполная.
  • Архив: Полная копия находится в архиве HSM.
  • Грязный: основная копия файла была изменена и отличается от архивной копии.
  • Выпущено: в MDT существует заглушка inode, но объекты данных были удалены, и в архиве существует единственная копия.
  • Потерян: архивная копия файла утеряна и не подлежит восстановлению.
  • No Release: файл не должен быть выпущен из файловой системы.
  • Нет архива: файл не следует архивировать.

Развертывания

[ редактировать ]

Lustre используется многими суперкомпьютерами из ТОП500 и крупными мультикластерными сайтами. Шесть из 10 лучших и более 60 из 100 лучших суперкомпьютеров используют файловые системы Lustre. К ним относятся файловая система Orion емкостью 700 ПБ и производительностью 13 ТБ/с для суперкомпьютера Frontier в Национальной лаборатории Ок-Ридж (ORNL), [4] [94] Фугаку и К. Компьютер [13] в RIKEN Передовом институте вычислительных наук , Tianhe-1A в Национальном суперкомпьютерном центре в Тяньцзине, Китай , LUMI в CSC , Jaguar и Titan в ORNL, Blue Waters в Университете Иллинойса и Sequoia and Blue Gene /L в Лоуренсе Ливерморе Национальная лаборатория (ЛЛНЛ).

Большие файловые системы Lustre также имеются в Национальном научно-вычислительном центре энергетических исследований , Тихоокеанской северо-западной национальной лаборатории , Техасском центре перспективных вычислений , Бразильской национальной лаборатории научных вычислений , [95] и НАСА [96] в Северной Америке, в Азии в Токийском технологическом институте , [97] в Европе в CEA , [98] [99] и многие другие.

Коммерческая техническая поддержка

[ редактировать ]

Коммерческая техническая поддержка Lustre часто поставляется вместе с компьютерной системой или оборудованием хранения данных, продаваемым поставщиком. Некоторые поставщики включают Hewlett-Packard (как масштабируемый файловый ресурс HP StorageWorks, примерно с 2004 по 2008 год), [100] АТОС , Фуджицу . [101] Поставщики, продающие оборудование для хранения данных с включенной поддержкой Lustre, включают Hitachi Data Systems (2012), [102] Сети DataDirect (DDN), [103] Aeon Computing и другие. Также можно получить только программную поддержку файловых систем Lustre от некоторых поставщиков, включая Whamcloud. [104]

Amazon Web Services предлагает Amazon FSx для Lustre, [105] полностью управляемый сервис, упрощающий и экономичный запуск высокопроизводительных файловых систем в облаке.

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Jump up to: а б Корбет, Джонатон (17 декабря 2003 г.). «Выпущена версия Lustre 1.0» . Еженедельные новости Linux . LWN.net . Проверено 15 марта 2015 г.
  2. ^ Jump up to: а б «Выпуск 2.15.0» . Блеск вики . ОпенСФС . 16 июня 2022 г. . Проверено 17 июня 2022 г.
  3. ^ «Выпущена версия Lustre 2.15.5» . lustre.org . 28 июня 2024 г. Проверено 28 июня 2024 г.
  4. ^ Jump up to: а б с «Суперкомпьютер Frontier дебютирует как самый быстрый в мире, преодолевающий экзафлопсный барьер» . Окриджская национальная лаборатория. 30 мая 2022 г.
  5. ^ Корпорация Oracle/Корпорация Intel (4 августа 2002 г.). «Руководство по эксплуатации программного обеспечения Lustre* версии 2.x» (PDF) . Руководство по эксплуатации . Интел . Проверено 25 июня 2024 г.
  6. ^ «Блестящий дом» . Архивировано из оригинала 31 марта 2001 года . Проверено 23 сентября 2013 г.
  7. ^ «Выпущена файловая система Lustre, версия 2.4» . Открытые масштабируемые файловые системы . Проверено 18 октября 2014 г.
  8. ^ «Lustre с открытым исходным кодом получает одобрение суперкомпьютеров» . Проверено 18 октября 2014 г.
  9. ^ «Ксиратекс отражает блеск Oracle» . HPCWire. 21 февраля 2013 года . Проверено 18 октября 2014 г.
  10. ^ «Информация Пост-К (Фугаку)» . Фуджицу. Архивировано из оригинала 8 июня 2020 г. Проверено 23 июня 2020 г.
  11. ^ «Суперкомпьютер Фугаку» (PDF) . Фуджицу.
  12. ^ «Обзор системы Титан» . Окриджская национальная лаборатория. Архивировано из оригинала 13 февраля 2018 г. Проверено 19 сентября 2013 г.
  13. ^ Jump up to: а б с Брайан Белендорф. «ZFS в Linux для Lustre» (PDF) . Ливерморская национальная лаборатория Лоуренса. Архивировано из оригинала (PDF) 31 октября 2014 г. Проверено 23 июня 2020 г.
  14. ^ «Орион: огромная файловая система Frontier» . внутриHPC. 03.04.2023.
  15. ^ Андреас Дилгер, Whamcloud (20 июня 2019 г.). «Блеск: следующие 20 лет» (PDF) . HPCIODC.
  16. ^ «Cray предоставит NOAA два суперкомпьютера на базе процессоров AMD» . Провод HPC. 24 февраля 2020 г.
  17. ^ Юлиан Кункель, ДКРЗ (15 июня 2017 г.). «Блеск на ДКРЗ» (PDF) . ОпенСФС.
  18. ^ Крис Меллор (2 мая 2023 г.). «Суперкомпьютер Nvidia AI демонстрирует свой блеск в облаке Oracle» . Блоки и файлы.
  19. ^ Джули Бернауэр, Претви Кашинкунти, NVIDIA (20 мая 2021 г.). «Масштабное ускорение искусственного интеллекта с помощью Selene DGXA100 SuperPOD и хранилища параллельных файловых систем Lustre» (PDF) . ОпенСФС. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  20. ^ Радж Гаутам (15 мая 2019 г.). «Междугородная связь с блеском» (PDF) . Эксон Мобил.
  21. ^ Кембридж-1: История успеха NVIDIA на YouTube.
  22. ^ Джеймс Бил, Павлос Антониу, Институт Сэнгера (20 мая 2021 г.). «Обновление информации о Secure Lustre» (PDF) . ОпенСФС. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  23. ^ Стив Крузан, Брок Джонсон, Hudson River Trading (10 мая 2022 г.), Lust in Finance (PDF) , OpenSFS {{citation}}: CS1 maint: несколько имен: список авторов ( ссылка )
  24. ^ Ван, Дэн; Бина, Сурен; Локвуд, Гленн К.; Снайдер, Шейн; Карнс, Филип; Ким, Сунгон; Райт, Николас Дж. (май 2019 г.). «Увеличенный анализ журналов ввода-вывода для выявления коренных причин узких мест в производительности ввода-вывода». 2019 19-й Международный симпозиум IEEE/ACM по кластерным, облачным и грид-вычислениям (CCGRID) . IEEE. стр. 102–111. дои : 10.1109/CCGRID.2019.00021 . ISBN  978-1-7281-0912-1 . S2CID   195832257 .
  25. ^ Гунасекаран, Рагул; Орал, Сарп; Хилл, Джейсон; Миллер, Росс; Ван, Фейи; Леверман, Дастин (ноябрь 2015 г.). «Сравнительная характеристика рабочей нагрузки ввода-вывода двух кластеров хранения данных лидерского класса» (PDF) . Материалы 10-го семинара по параллельному хранению данных . АКМ. стр. 31–36. дои : 10.1145/2834976.2834985 . ISBN  9781450340083 . S2CID   15844745 .
  26. ^ Шайни, Субхаш; Рэппли, Джейсон; Чанг, Джонни; Баркер, Дэвид; Мехротра, Пиюш; Бисвас, Рупак (декабрь 2012 г.). «Характеристика производительности ввода-вывода приложений Lustre и НАСА на Плеядах». 19-я Международная конференция по высокопроизводительным вычислениям, 2012 г. (PDF) . IEEE. стр. 1–10. дои : 10.1109/HiPC.2012.6507507 . hdl : 2060/20130001600 . ISBN  978-1-4673-2371-0 . S2CID   14323627 .
  27. ^ "Компания" . старый веб-сайт . Cluster File Systems, Inc. Архивировано из оригинала 12 августа 2007 года. {{cite web}}: CS1 maint: bot: исходный статус URL неизвестен ( ссылка )
  28. ^ Питер Дж. Браам (4 августа 2002 г.). «Блеск, Межгалактическая файловая система» (PDF) . Слайды презентации . Ливерморская национальная лаборатория Лоуренса . Архивировано из оригинала (PDF) 15 мая 2013 года . Проверено 23 сентября 2013 г.
  29. ^ Р. Кент Кенингер (июнь 2003 г.). «Сверхмасштабируемая файловая система HPTC Lustre» (PDF) . Слайды для презентации на Cluster World 2003 . Проверено 23 сентября 2013 г.
  30. ^ Бритта Вюльфинг (13 сентября 2007 г.). «Sun ассимилирует файловую систему Lustre» . Журнал Линукс . Проверено 23 сентября 2013 г.
  31. ^ «Sun Microsystems расширяет портфель высокопроизводительных вычислений, заключив окончательное соглашение о приобретении активов кластерных файловых систем, включая файловую систему Lustre» . Пресс-релиз . Сан Микросистемс. 12 сентября 2007 года. Архивировано из оригинала 2 октября 2007 года . Проверено 23 сентября 2013 г.
  32. ^ «Oracle отбросил блеск на обочину» . Внутри HPC. 10 января 2011 г.
  33. ^ Дж. Лейдель (20 августа 2010 г.). «Цель Whamcloud — обеспечить будущее Lustre в сфере высокопроизводительных вычислений» . Внутри HPC . Проверено 23 сентября 2013 г.
  34. ^ Jump up to: а б «Xyratex продвигает инициативу Lustre® и принимает на себя право собственности на сопутствующие активы» . Пресс-релиз . Ксиратекс. 19 февраля 2013. Архивировано из оригинала 7 сентября 2016 года . Проверено 18 сентября 2013 г.
  35. ^ Рич Брюкнер (9 ноября 2010 г.). «Бояник и Брэм снова собираются вместе в группе Luster в Xyratex» . Внутри HPC . Проверено 23 сентября 2013 г.
  36. ^ Рич Брюкнер (4 января 2011 г.). «Сотрудники Whamcloud готовы к более яркому сиянию» . Внутри HPC . Проверено 18 сентября 2013 г.
  37. ^ «Whamcloud подписывает многолетний контракт на разработку Lustre с OpenSFS» . Пресс-релиз . Провод HPC. 16 августа 2011. Архивировано из оригинала 25 января 2013 года . Проверено 23 сентября 2013 г.
  38. ^ Гален Шипман (18 ноября 2011 г.). «Обновление OpenSFS» (PDF) . Слайды к презентации Supercomputing 2011 . Открытые масштабируемые файловые системы . Проверено 23 сентября 2013 г.
  39. ^ Whamcloud (15 ноября 2011 г.). «OpenSFS и Whamcloud подписывают соглашение о разработке дерева сообщества Lustre» . Пресс-релиз . Архивировано из оригинала 27 апреля 2012 года . Проверено 23 сентября 2013 г.
  40. ^ Джоав Джексон (16 июля 2012 г.). «Intel покупает поставщика Lustre Whamcloud» . Мир ПК.
  41. ^ Тимоти Прикетт Морган (16 июля 2012 г.). «Intel поглощает эксперта по файловым системам Lustre Whamcloud» . Регистр.
  42. ^ Тимоти Прикетт Морган (11 июля 2012 г.). «Министерство энергетики выделяет деньги AMD и Whamcloud на экзафлопсные исследования» . Регистр.
  43. ^ Николь Хемсот (12 июня 2013 г.). «Intel прокладывает путь к массовому рынку ради блеска» . Провод HPC . Проверено 23 сентября 2013 г.
  44. ^ Брюкнер, Рич (21 февраля 2013 г.). «В рамках нового запроса предложений OpenSFS инвестирует в критически важные технологии с открытым исходным кодом для высокопроизводительных вычислений» . внутриHPC . Проверено 1 октября 2013 г.
  45. ^ «Seagate возвращает Lustre.org сообществу пользователей» . Проверено 9 сентября 2014 г.
  46. ^ Дэниел Робинсон (27 июня 2018 г.). «DDN вдыхает новую жизнь в файловую систему Lustre» .
  47. ^ «Товарный знак Lustre доступен сообществу пользователей» . ВнутриHPC. 24 ноября 2019 года . Проверено 5 декабря 2019 г.
  48. ^ «Lustre помогает обеспечить питание третьего по скорости суперкомпьютера» . ДССтар. Архивировано из оригинала 3 февраля 2013 г.
  49. ^ «MCR Linux Cluster Xeon 2,4 ГГц – Quadrics» . Топ500.Орг. Архивировано из оригинала 20 апреля 2012 г. Проверено 14 декабря 2023 г.
  50. ^ Питер Боянич (15 июня 2008 г.). «Дорожная карта Lustre и планы на будущее» (PDF) . Презентация для консорциума Sun HPC . Сан Микросистемс . Проверено 23 сентября 2013 г.
  51. ^ «OpenSFS объявляет о совместных усилиях по поддержке распространения Lustre 2.1 среди сообщества» . Открытые масштабируемые файловые системы. 8 февраля 2011. Архивировано из оригинала 23 мая 2011 года . Проверено 13 декабря 2016 г.
  52. ^ «Выпущена версия Lustre 2.1» . Проверено 2 февраля 2012 г.
  53. ^ «Выпущена версия Lustre 2.2» . Yahoo! Финансы . Проверено 8 мая 2012 г.
  54. ^ «Новый планировщик сетевых запросов для крупномасштабной системы хранения» (PDF) . Блеск вики . ОпенСФС . Июнь 2009 года.
  55. ^ «Новый планировщик сетевых запросов для крупномасштабной системы хранения» . Блеск вики . ОпенСФС . Июнь 2009 года.
  56. ^ Прикетт Морган, Тимоти (5 ноября 2013 г.). «OpenSFS объявляет о доступности Lustre 2.5» . ЭнтерпрайзТех.
  57. ^ Брюкнер, Рич. «Видео: новая версия Lustre 2.5 предлагает возможности HSM» . Внутри больших данных. Архивировано из оригинала 8 декабря 2013 года . Проверено 11 декабря 2013 г.
  58. ^ Хемсот, Николь. «Lustre получает повышение до бизнес-класса с помощью HSM» . HPCwire. Архивировано из оригинала 17 декабря 2013 года . Проверено 11 декабря 2013 г.
  59. ^ «Блеск 2,5» . Мир научных вычислений. 12 ноября 2013 года . Проверено 11 декабря 2013 г.
  60. ^ Джонс, Питер (9 сентября 2014 г.). «Выпущена версия Lustre 2.5.3» . HPDD-архив списка рассылки обсуждений . Архивировано из оригинала 17 октября 2014 года . Проверено 21 октября 2014 г. Морроне, Крис (7 декабря 2015 г.). «Терминология устаревших версий» . Блеск вики . Проверено 18 января 2016 г.
  61. ^ «Выпущена версия Lustre 2.6.0» . HPDD-архив списка рассылки обсуждений . 30 июля 2014. Архивировано из оригинала 17 октября 2014 года . Проверено 21 октября 2014 г.
  62. ^ Ихара, Шуичи (14 октября 2014 г.). «Lustre QoS на основе политики NRS для фильтра сегментов токенов» (PDF) .
  63. ^ Уселтон, Эндрю. «Демонстрация улучшения производительности одного клиента Lustre с версии 1.8 до версии 2.6» (PDF) . Проверено 18 октября 2014 г.
  64. ^ Джонс, Питер (13 марта 2015 г.). «Выпущена версия Lustre 2.7.0» . HPDD-архив списка рассылки обсуждений . Архивировано из оригинала 2 апреля 2015 года . Проверено 15 марта 2015 г.
  65. ^ Джонс, Питер (16 марта 2016 г.). «Выпущена версия Lustre 2.8.0» . Архив списка рассылки Lustre-anounce . ОпенСФС . Проверено 28 марта 2016 г.
  66. ^ «Журнал изменений Lustre 2.9.0» . Блеск вики . ОпенСФС . 7 декабря 2016 года . Проверено 8 декабря 2016 г.
  67. ^ «Журнал изменений Lustre 2.10.0» . Блеск вики . ОпенСФС . 13 июля 2017 г. Проверено 3 октября 2017 г.
  68. ^ «Выпуск 2.11.0» . Блеск вики . ОпенСФС . 3 апреля 2018 года . Проверено 4 апреля 2018 г.
  69. ^ «Выпуск 2.12.0» . Блеск вики . ОпенСФС . 21 декабря 2018 года . Проверено 11 февраля 2019 г.
  70. ^ Ли Си, DDN (июнь 2018 г.). «Ленивый размер на MDS» (PDF) . Блеск вики . Проверено 5 декабря 2019 г.
  71. ^ Шуичи Ихара, DDN (июнь 2018 г.). «Сквозная защита целостности данных T10PI для Lustre» (PDF) . Блеск вики . Проверено 5 декабря 2019 г.
  72. ^ «Выпуск 2.13.0» . Блеск вики . ОпенСФС . 5 декабря 2019 года . Проверено 5 декабря 2019 г.
  73. ^ Ли Си, Whamcloud (июнь 2018 г.). «Постоянный клиентский кэш Lustre» (PDF) . Блеск вики . Проверено 5 декабря 2019 г.
  74. ^ Патрик Фаррелл, Whamcloud (апрель 2019 г.). «Перечеркивание: максимальное повышение производительности общих файлов» (PDF) . Блеск вики . Проверено 5 декабря 2019 г.
  75. ^ Патрик Фаррелл, Крей (15 марта 2019 г.). «Дополнительное пространство: саморасширяющиеся макеты HLD» (PDF) . Проверено 5 декабря 2019 г.
  76. ^ «Журнал изменений Lustre 2.13.0» . Блеск вики . 5 декабря 2019 г.
  77. ^ «Выпуск 2.14.0» . Блеск вики . ОпенСФС . 19 февраля 2021 г. . Проверено 19 февраля 2021 г.
  78. ^ Себастьен Бюиссон (11 мая 2022 г.). «Шифрование данных клиента» (PDF) . Блеск вики . ОпенСФС . Проверено 17 июня 2022 г.
  79. ^ «Обзорное руководство по хранилище NVIDIA Magnum IO GPUDirect» . NVIDIA . Проверено 17 июня 2022 г.
  80. ^ «Lustre для работы на ZFS» . Правительственные компьютерные новости. 26 октября 2008 г. Архивировано из оригинала 2 октября 2012 г. Проверено 23 февраля 2011 г.
  81. ^ «ЗФС на Люстре» . 10 мая 2011 г. Архивировано из оригинала 5 декабря 2011 г. Проверено 25 ноября 2011 г.
  82. ^ «DataDirect выбран в качестве технологии хранения данных, лежащей в основе BlueGene/L» . Провод HPC . 15 октября 2004 года. Архивировано из оригинала 14 июня 2013 года . Проверено 9 мая 2012 г.
  83. ^ Сюзанна М. Келли (2006). «Архитектура программного обеспечения Catamount с двухъядерными расширениями» (PDF) . Проверено 16 февраля 2016 г.
  84. ^ «Примечания к выпуску ядра Linux 4.18rc1» .
  85. ^ Андреас Дилгер (20 мая 2021 г.). «Lustre 2.15 и далее» (PDF) . Открытые масштабируемые файловые системы.
  86. ^ Шехата, Амир. «Multi-Rail LNet для блеска» (PDF) . Группа пользователей Lustre, апрель 2016 г.
  87. ^ Лафукрьер, Жак-Шарль. «Опыт блеска в CEA/DIF» (PDF) . Форум HEPiX, апрель 2007 г. Архивировано из оригинала (PDF) 8 февраля 2012 г.
  88. ^ Колдуэлл, Блейн (9 марта 2016 г.). «Сетевые технологии Lustre: Ethernet против Infiniband» (PDF) . Центр передового опыта OLCF Luster . Проверено 6 декабря 2019 г.
  89. ^ Орельен Дегремон (17 сентября 2013 г.). «ПРЕКРАЩЕНИЕ БЛЕСК/HSM ЕСТЬ!» (PDF) .
  90. ^ Томас Стибор (20 сентября 2016 г.). «TSM Copytool для Lustre HSM» (PDF) .
  91. ^ Роберт Рид (24 марта 2015 г.). «Lustre HSM в облаке» (PDF) .
  92. ^ Стефан Тиль (11 апреля 2021 г.). «Инструмент копирования Google Диска Lustre/HSM» . Гитхаб .
  93. ^ Орельен Дегремон; Томас Лейбовичи (16 апреля 2009 г.). «Проект Lustre HSM — семинары для продвинутых пользователей Lustre» (PDF) . Архивировано (PDF) из оригинала 25 мая 2010 г. Проверено 5 мая 2018 г.
  94. ^ «Файловая система Orion: конфигурация и производительность» (PDF) . Окриджская национальная лаборатория. 3 мая 2023 г.
  95. ^ «LNCC – Национальная научно-вычислительная лаборатория» . Lncc.br. ​Проверено 27 мая 2015 г.
  96. ^ «Суперкомпьютер Плеяды» . www.nas.nasa.gov. 18 августа 2008 г.
  97. ^ «Список ТОП500 – ноябрь 2006 г.» . ТОП500.Орг. Архивировано из оригинала 10 мая 2012 г. Проверено 29 августа 2008 г.
  98. ^ «Список ТОП500 – июнь 2006 г.» . ТОП500.Орг. Архивировано из оригинала 12 мая 2012 г. Проверено 29 августа 2008 г.
  99. ^ «Французская группа по атомной энергии расширяет файловую систему HPC до 11 петабайт» . HPCwire.com. 15 июня 2012 г. Архивировано из оригинала 4 февраля 2012 г. Проверено 15 июня 2012 г.
  100. ^ «Масштабируемая общая папка HP StorageWorks» . Хьюлетт-Паккард. Архивировано из оригинала 12 июня 2008 года . Проверено 13 декабря 2016 г.
  101. ^ «Fujitsu выпускает самую высокопроизводительную файловую систему в мире — программное обеспечение масштабируемой файловой системы FEFS для передовых кластерных систем HPC x86» . 13 июня 2015 г.
  102. ^ «Решения для хранения данных с высокой пропускной способностью и блеском» . 14 апреля 2015 г. Архивировано из оригинала 27 июня 2015 г. Проверено 14 апреля 2015 г.
  103. ^ «Exascaler: масштабируемое, высокопроизводительное устройство файловой системы Lustre» . 14 апреля 2015 г.
  104. ^ «Поддержка блеска» . 27.11.2018.
  105. ^ «Amazon FSx для блеска» . 11.06.2019.
[ редактировать ]

Документация

[ редактировать ]

Информационные вики

[ редактировать ]

Общественные фонды

[ редактировать ]

Поставщики оборудования/программного обеспечения

[ редактировать ]
  1. ^ Блэк, Дуг (28 июля 2017 г.). «Cray переходит к приобретению линейки Seagate ClusterStor» . HPCWire . Проверено 1 декабря 2017 г.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Lustre_(file_system)&oldid=1231560165"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 353249082517f9f2ef5ec29b7f71df3f__1719608160
URL1:https://arc.ask3.ru/arc/aa/35/3f/353249082517f9f2ef5ec29b7f71df3f.html
Заголовок, (Title) документа по адресу, URL1:
Lustre (file system) - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)