Файловая система Moose

Файловая система Moose
Разработчик(и)	Якуб Крушона-Завадски / Основная технология
Первоначальный выпуск	30 мая 2008 г .; 16 лет назад (v. 1.5.0 )
Стабильная версия	3.0.116-1 / 12 августа 2021 г .; 2 года назад
Предварительный выпуск	3.0.116-1 / 12 августа 2021 г .; 2 года назад
Репозиторий	github .с /moosefs /moosefs ;
Операционная система	Linux , FreeBSD , NetBSD , macOS , Solaris , OpenIndiana ,
Тип	Распределенная файловая система
Лицензия	GPLv2 / собственная
Веб-сайт	https://moosefs.com

Файловая система Moose ( MooseFS ) — это с открытым исходным кодом , совместимая с POSIX, распределенная файловая система разработанная Core Technology. MooseFS стремится стать отказоустойчивой , высокодоступной, высокопроизводительной, масштабируемой сетевой распределенной файловой системой общего назначения для центров обработки данных . Изначально являвшееся проприетарным программным обеспечением, оно было выпущено для публики с открытым исходным кодом 30 мая 2008 года.

В настоящее время доступны две редакции MooseFS:

MooseFS — выпущен под лицензией GPLv2,
MooseFS Professional Edition (MooseFS Pro) — выпуск под проприетарной лицензией в виде бинарных пакетов.

Дизайн

MooseFS следует тем же принципам проектирования, что и Fossil (файловая система) , Google File System , Lustre или Ceph . Файловая система состоит из трех компонентов:

Сервер метаданных (MDS) — управляет расположением (разметкой) файлов, доступом к файлам и иерархией пространств имен. Текущая версия MooseFS поддерживает несколько серверов метаданных и автоматическое переключение при сбое . Клиенты обращаются к MDS только для получения/обновления макета и атрибутов файла; сами данные передаются напрямую между клиентами и серверами фрагментов. пользовательского пространства Сервер метаданных — это демон ; метаданные хранятся в памяти и лениво сохраняются на локальном диске.
Сервер Metalogger — периодически извлекает метаданные из MDS, чтобы сохранить их для резервного копирования. Начиная с версии 1.6.5, это дополнительная функция.
Серверы фрагментов (CSS) — хранят данные и при необходимости реплицируют их между собой. Их может быть много, хотя предел масштабируемости не опубликован. Самый большой кластер, о котором сообщалось на данный момент, состоит из 160 серверов. ^[9] пользовательского пространства Сервер Chunk также является демоном , который использует базовую локальную файловую систему для управления реальным хранилищем.
Клиенты — общайтесь как с MDS, так и с CSS. Клиенты MooseFS монтируют файловую систему в пользовательское пространство через FUSE .

Функции

Для достижения высокой надежности и производительности MooseFS предлагает следующие возможности:

Отказоустойчивость — MooseFS использует репликацию , данные могут реплицироваться между серверами фрагментов, коэффициент репликации (N) устанавливается для каждого файла/каталога. Если (N-1) реплики выйдут из строя, данные все равно будут доступны. На данный момент MooseFS не предлагает никаких других методов обеспечения отказоустойчивости . Таким образом, отказоустойчивость для очень больших файлов требует огромного объема пространства — N*filesize вместо размера файла+(N*stripesize), как это было бы в случае RAID 4 , RAID 5 или RAID 6 . Версия 4.x PRO MooseFS реализует 8+n Erasure Coding .
Чередование — большие файлы делятся на фрагменты (до 64 мегабайт ), которые могут храниться на разных серверах фрагментов для достижения более высокой совокупной пропускной способности.
Балансировка нагрузки — MooseFS пытается равномерно использовать ресурсы хранения, текущий алгоритм, похоже, учитывает только потребляемое пространство.
Безопасность . Помимо классических разрешений файлов POSIX , начиная с версии 1.6 MooseFS предлагает простую, подобную NFS, аутентификацию / авторизацию .
Последовательные снимки . Быстрые снимки с минимальными затратами.
Прозрачная «корзина для мусора» — удаленные файлы сохраняются в течение настраиваемого периода времени.
Многоуровневое хранение данных/классы хранения. Возможность «маркировать» серверы, создавать определения меток, называемые «классами хранения», и решать, на каких типах серверов будут храниться данные. ^[10]
квот «Проекта» Поддержка
Блокировки POSIX, поддержка блокировок Flock

Аппаратное обеспечение, программное обеспечение и сеть

Как и другие файловые системы на основе кластеров, MooseFS использует обычное оборудование под управлением операционной системы, совместимой с POSIX . TCP/IP используется в качестве межсоединения.

MooseFS в цифрах ^[11]

Размер хранилища до: 2 ⁶⁴ Байты = 16 EiB = 16 384 PiB
Размер одного файла: до: 2 ⁵⁷ Байты = 128 ПиБ
Количество файлов до: 2 ³¹ = 2.1 × 10 ⁹
Количество активных клиентов не ограничено и зависит от количества файловых дескрипторов в системе.

См. также

Ссылки

^ Участники moosefs/moosefs · GitHub
^ «О нас — Core Technology — отказоустойчивая сетевая распределенная файловая система MooseFS» . Основная технология.
^ «Дата первого публичного выпуска: 30 мая 2008 г.» https://github.com/moosefs/moosefs/blob/master/README.md
^ "MooseFS 1.5 (30 мая 2008 г.)" https://github.com/moosefs/moosefs/blob/master/NEWS
^ Jump up to: ^а ^б «Поддержка – документация, статус и лучшие практики – MooseFS» .
^ Jump up to: ^а ^б "moosefs/NEWS at master · moosefs/moosefs" . Гитхаб . 14 июля 2022 г.
^ Jump up to: ^а ^б «Релизы · moosefs/moosefs» . Гитхаб .
^ «Мы также успешно скомпилировали MooseFS из исходников OpenIndiana Hipster». https://moosefs.com/download.html. Архивировано 23 марта 2016 г. на Wayback Machine.
^ Мариуш Гондаровский (01 апреля 2010 г.). «MooseFS: безопасная и распределенная файловая система» (PDF) (на польском языке). Журнал Linux, Польша .
^ Руководство по классам хранилища MooseFS 3.0 https://moosefs.com/Content/Downloads/moosefs-storage-classes-manual.pdf
^ Информационный бюллетень MooseFS

Внешние ссылки

[1] Участники moosefs/moosefs · GitHub

[2] «О нас — Core Technology — отказоустойчивая сетевая распределенная файловая система MooseFS» . Основная технология.

[3] «Дата первого публичного выпуска: 30 мая 2008 г.» https://github.com/moosefs/moosefs/blob/master/README.md

[4] "MooseFS 1.5 (30 мая 2008 г.)" https://github.com/moosefs/moosefs/blob/master/NEWS

[MooseFS_Support_Status-5] Jump up to: ^а ^б «Поддержка – документация, статус и лучшие практики – MooseFS» .

[Latest_changes_in_MooseFS_on_GitHub-6] Jump up to: ^а ^б "moosefs/NEWS at master · moosefs/moosefs" . Гитхаб . 14 июля 2022 г.

[MooseFS_releases_on_GitHub-7] Jump up to: ^а ^б «Релизы · moosefs/moosefs» . Гитхаб .

[8] «Мы также успешно скомпилировали MooseFS из исходников OpenIndiana Hipster». https://moosefs.com/download.html. Архивировано 23 марта 2016 г. на Wayback Machine.

[lmp-9] Мариуш Гондаровский (01 апреля 2010 г.). «MooseFS: безопасная и распределенная файловая система» (PDF) (на польском языке). Журнал Linux, Польша .

[10] Руководство по классам хранилища MooseFS 3.0 https://moosefs.com/Content/Downloads/moosefs-storage-classes-manual.pdf

[11] Информационный бюллетень MooseFS

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]