Распределенная файловая система OneFS
| Разработчик(и) | Системы Исилон |
|---|---|
| Полное имя | OneFS |
| Представлено | 2003 год с OneFS 1.0 -- на базе FreeBSD |
| Структуры | |
| Содержимое каталога | B+ деревья |
| Распределение файлов | B+ деревья |
| Пределы | |
| Максимальный размер тома | 66ПБ+ (144+ узлов по 470ТБ+ каждый); [ 1 ] Теоретический предел 65535 узлов |
| Максимальный размер файла | 16 ТБ |
| Макс нет. файлов | Зависит от размера кластера |
| Максимальная длина имени файла | 255 байт |
| Максимальная глубина каталога | 509 (рекомендуется, чтобы соответствовать PATH_MAX, равному 1023) [ 1 ] |
| Разрешенное имя файла персонажи | Многие (UTF-8, EUC-JP, CP932, CP1252, ISO-8859-*, EUC-KR, CP949). Кодирование выполняется для каждой записи каталога, а не для каждой файловой системы. Таким образом, в одном томе можно использовать несколько кодировок. UTF-8 приветствуется как нормативный. NUL и / не допускаются в отдельных записях каталога ни в какой кодировке. |
| Функции | |
| Даты записи | Создать время, переименовать время, mtime, ctime, atime |
| Диапазон дат | 1970–2038 гг. |
| Разрешение даты | наносекунда |
| Вилки | Да (расширенные атрибуты и альтернативные потоки данных ) |
| Файловая система разрешения | Да ( разрешения POSIX и NTFS списки ACL ) |
| Прозрачный сжатие | Да [ 2 ] |
| Прозрачный шифрование | Интегрирован с дисками с самошифрованием для шифрования « хранящихся данных ». [ 3 ] |
| Дедупликация данных | Только офлайн |
| Копирование при записи | Да (для снимков) |
| Другой | |
| Поддерживается операционные системы | OneFS |
— Файловая система OneFS это параллельная распределенная сетевая файловая система, разработанная Isilon Systems и лежащая в основе горизонтально масштабируемой платформы хранения данных Isilon . [ 3 ] Файловая система OneFS контролируется и управляется операционной системой OneFS , вариантом FreeBSD . [ 3 ]
Структура на диске
[ редактировать ]Все структуры данных в файловой системе OneFS сохраняют собственную защитную информацию. Это означает, что в одной и той же файловой системе один файл может быть защищен со степенью +1 (базовая защита по четности), в то время как другой может быть защищен со степенью +4 (устойчивость к четырем сбоям), а еще один файл может быть защищен со степенью 2x ( зеркалирование ); эта функция называется FlexProtect. [ 4 ] FlexProtect также отвечает за автоматическое восстановление данных в случае сбоя. Доступные уровни защиты основаны на количестве узлов в кластере и следуют алгоритму Рида-Соломона . Блоки отдельного файла распределены по узлам. Это позволяет целым узлам выходить из строя без потери доступа к каким-либо данным. файлов Метаданные , каталоги, моментальных снимков структуры , структуры квот и структура сопоставления логических индексных дескрипторов основаны на зеркальных деревьях B+ . Адреса блоков — это обобщенные 64-битные указатели (узел, диск, blknum) , которые ссылаются на кортежи . Собственный размер блока составляет 8192 байта; Индексные дескрипторы имеют размер 512 байт на диске (для дисков с секторами по 512 байт) или 8 КБ (для дисков с секторами по 4 КБ).
Одной из отличительных особенностей OneFS является то, что метаданные равномерно распределяются по узлам. Выделенных серверов метаданных нет. Единственная часть метаданных, которая реплицируется на каждом узле, — это список адресов корневых блоков btree структуры сопоставления индексных узлов. Все остальное можно найти из этой отправной точки, следуя обобщенным 64-битным указателям.
Кластеризация
[ редактировать ]Совокупность компьютерных хостов, составляющих систему OneFS, называется « кластером ». Хост-компьютер, входящий в кластер OneFS, называется « узлом » (множественное число « узлы »).
Узлы, составляющие систему OneFS, должны быть соединены высокопроизводительной внутренней сетью с малой задержкой для обеспечения оптимальной производительности. OneFS 1.0–3.0 использовал Gigabit Ethernet в качестве внутренней сети. Начиная с OneFS 3.5, Isilon предлагала InfiniBand модели . Примерно с 2007 года до середины 2018 года все проданные узлы использовали серверную часть InfiniBand. Начиная с моделей OneFS 8.1.0 и Gen6, Isilon снова предлагает внутреннюю сеть Ethernet (10, 25, 40 или 100 гигабит). [ 5 ]
Данные, метаданные, блокировки, транзакции, управление группами, распределение и трафик событий передаются с помощью механизма RPC , перемещающегося по внутренней сети кластера OneFS. Все передачи данных и метаданных выполняются без копирования . Все операции модификации структур на диске являются транзакционными и протоколируются .
Протоколы
[ редактировать ]OneFS поддерживает доступ к хранимым файлам с использованием распространенных сетевых протоколов компьютера, включая NFS , CIFS/SMB , FTP , HTTP и HDFS . [ 3 ] Он может использовать нелокальную аутентификацию, такую как Active Directory , LDAP и NIS . Он способен взаимодействовать с внешними устройствами резервного копирования и приложениями, использующими протокол NDMP . [ 3 ]
Операционная система OneFS
[ редактировать ]Файловая система OneFS — это собственная файловая система, которой можно управлять и контролировать только операционную систему OneFS , производную от FreeBSD . [ 3 ]
zsh — это оболочка входа по умолчанию в операционной системе OneFS. OneFS представляет собой специализированный набор команд для администрирования файловой системы OneFS. [ 6 ] Большинство специализированных программ оболочки начинаются с букв isi . Заметными исключениями являются расширения Isilon для FreeBSD. ls и chmod программы. [ 7 ]
Версии
[ редактировать ]- 1,0 «Белл», 2,0 «Халапеньо», 3,0 «Серрано», 3,5 «Табаско».
- 4,0 «Поблано», 4,1 «Анахайм», 4,5 «Тайский», 4,6 «Анчо»
- 4.7 «Чилтепин»
- от 4.7.1 до .11
- 5.0 «Ямайский»
- от 5.0.0 до .8
- 5.5 «Шотландский капот» (на основе FreeBSD 6.1) [ 8 ] [ 9 ]
- 5.5.1 до .2
- 5.5.3 - Обновления ОС с постепенными перезагрузками отдельных узлов.
- 5.5.4 — Добавляет iSCSI
- от 5.5.5 до 0,7
- 6.0 "Habanero" - До 10,4 ПБ в одной файловой системе
- от 6.0.1 до .4
- 6.5 «Чопу» (на базе FreeBSD 7.3) [ 8 ]
- от 6.5.1 до 0,5
- 7.0 «Маверикс» — выпущена в ноябре 2012 г.; [ 10 ] (на основе FreeBSD 7.4-СТАБИЛЬНАЯ) [ 8 ]
- от 7.0.1 до .2
- 7.1 «Вайкики» — выпущена в октябре 2013 г. [ 11 ]
- 7.1.1 «Челюсти» — выпущена в июле 2014 г. [ 12 ]
- 7.2 «Моби» — выпущен в ноябре 2014 г. [ 13 ]
- 7.2.0, 7.2.1 «Косатка»
- 8.0 «Riptide» (на базе FreeBSD 10) — выпущена в феврале 2016 г. [ 14 ] - iSCSI устарел
- 8.0.1 «Халфпайп» — выпущена в октябре 2016 г. [ 15 ]
- 8.1 «Грузовые поезда» - выпущено в июне 2017 г. [ 16 ]
- 8.2.0 «Конвейер» (на базе FreeBSD 11) — выпущен в мае 2019 г. [ 20 ]
- 9.0.0 «Каскады» — выпущено в июне 2020 г.
- 9.1.0 «Деккан» — выпущено в октябре 2020 г. [ 23 ]
- 9.2.0 «Империя» — выпущено в апреле 2021 г. [ 24 ]
- 9.2.1 «Летучий шотландец» — выпущен в мае 2021 г. [ 24 ]
- 9.3 «Готэм» — выпущен в октябре 2021 г. [ 24 ]
- 9.4 «Хекси» — выпущено в апреле 2022 г. [ 24 ]
- 9.5 «Айлендер» — выпущен в январе 2023 г. [ 24 ]
- 9.6 «Реактивная ракета» — выпущена в мае 2023 г. [ 25 ]
- 9.7 «Ки-Уэст» — выпущен в декабре 2023 г. [ 26 ]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: а б «Isilon OneFS и IsilonSD Edge: Руководство по техническим характеристикам» (PDF) . Dell Inc., июнь 2018 г.
- ^ Адам Армстронг (12 февраля 2019 г.). «Dell EMC представляет All-Flash Isilon F810» . Компания «Летающая свинья».
- ^ Jump up to: а б с д и ж «Операционная система Dell EMC Isilon OneFS — основа горизонтально масштабируемой платформы хранения данных Isilon» (PDF) . 9.0. Dell Inc., февраль 2019 г.
- ^ «Защита и резервное копирование данных» [ мертвая ссылка ]
- ^ «Производительность Isilon Gen6» (PDF) . Делл Инк.
- ^ «Справочник по командной строке OneFS» « . [ мертвая ссылка ]
- ^ Акиб Кази (ноябрь 2018 г.). «Аутентификация, управление идентификацией и авторизация Isilon OneFS — многопротокольный доступ к данным с единой моделью безопасности» (PDF) . Делл ЭМС.
- ^ Jump up to: а б с Определяется
__FreeBSD_versionопределение в/usr/include/sys/param.h. смотрите в Руководстве по портированию FreeBSD . Дополнительную информацию - ^ Проект документации FreeBSD. «18». Справочник портировщика FreeBSD . Проверено 1 декабря 2011 г.
- ^ Патель, Мона (16 ноября 2012 г.). «EMC Isilon OneFS 7.0: объединение больших данных и предприятия» . Блог EMC о больших данных . Архивировано из оригинала 12 февраля 2013 года . Проверено 18 января 2013 г.
- ^ Грокотт, Сэм (30 октября 2013 г.). «Наконец-то появилась масштабируемая система хранения данных Isilon OneFS 7.1!» . Блог EMC Pulse . Проверено 30 октября 2013 г.
- ^ Хьюз, Кэролайн (8 июля 2014 г.). « Счастливого запуска, @EMCIsilon! Две фантастические новые платформы, флеш-память в качестве кэша, новая HDFS и невероятная производительность OneFS 7.1.1 «Челюсти!» Молодец, команда!" " . @carolyn_hugs Твиттер . Проверено 2 сентября 2014 г.
- ^ «Выпуск OneFS 7.2.x» . Dell Inc., 31 октября 2014 г.
- ^ Галант, Риса (1 февраля 2016 г.). «Анонс OneFS 8.0.0» .
- ^ Ной, Дэвид (25 октября 2016 г.). «Анонсируем Isilon OneFS 8.0.1» .
- ^ Джолли, Тодд (21 июня 2017 г.). «Dell EMC объявляет о выпуске платформы Isilon поколения 6 и OneFS 8.1» . Делл Инк.
- ^ Стивенсон, Расс (29 января 2018 г.). «Поддержка OneFS 8.1.1.0 и Cloudera CDH 5.13+ для Cloudera Navigator» .
- ^ «Примечания к выпуску Isilon OneFS версии 8.1.1» (PDF) . Dell Inc., 1 января 2018 г.
- ^ «Документация OneFS 8.1.2 — Isilon Info Hub» . Dell Inc., 3 августа 2018 г.
- ^ «Примечания к выпуску OneFS 8.2.0» (PDF) . Dell Inc., 3 мая 2019 г.
- ^ «Примечания к выпуску OneFS 8.2.1» (PDF) . Делл. 6 сентября 2019 г.
- ^ «Примечания к выпуску OneFS 8.2.2» (PDF) . Делл. 16 января 2020 г.
- ^ Малфорд, Хуан (08 октября 2020 г.). «Выпущена PowerScale OneFS 9.1 от Dell Technologies» . Обзор хранилища .
- ^ Jump up to: а б с д и Тримби, Ник (январь 2023 г.). «Dell PowerScale OneFS: Содержание выпуска» . Делл Инк.
- ^ «Примечания к выпуску PowerScale OneFS 9.6.xx» . Dell Inc., май 2023 г.
- ^ Тримби, Ник (13 декабря 2023 г.). «PowerScale OneFS 9.7» .