Сравнение распределенных файловых систем
В вычислительной технике распределенная файловая система (DFS) или сетевая файловая система — это любая файловая система , которая обеспечивает доступ к файлам с нескольких хостов , совместно используемых через компьютерную сеть . Это позволяет нескольким пользователям на нескольких машинах совместно использовать файлы и ресурсы хранения.
Распределенные файловые системы различаются по своей производительности, изменчивости содержимого, обработке одновременных записей, обработке постоянной или временной потери узлов или хранилища, а также политике хранения содержимого.
Локальное управление
[ редактировать ]ФОСС
[ редактировать ]| Клиент | Написано в | Лицензия | Доступ к API | Высокая доступность | Осколки | Эффективное резервирование | Детализация избыточности | Первый год выпуска | Требования к памяти (ГБ) |
|---|---|---|---|---|---|---|---|---|---|
| Alluxio (виртуальная распределенная файловая система) | Ява | Лицензия Апач 2.0 | HDFS , ПРЕДОХРАНИТЕЛЬ , HTTP/ REST , S3 | горячий резерв | Нет | Репликация [1] | Файл [2] | 2013 | |
| Цеф | С++ | LGPL | библиотеки (C, C++, Python, Ruby), S3 , Swift, FUSE | Да | Да | Сменные коды стирания [3] | Бассейн [4] | 2010 | 1 на ТБ хранилища |
| Кода | С | лицензия GPL | С | Да | Да | Репликация | Объем [5] | 1987 | |
| ГлюстерФС | С | лицензия GPLv3 | libglusterfs, FUSE , NFS, SMB, Swift, libgfapi | зеркало | Да | Рид-Соломон [6] | Объем [7] | 2005 | |
| HDFS | Ява | Лицензия Апач 2.0 | Клиент Java и C, HTTP, FUSE [8] | прозрачное мастер-переключение при отказе | Нет | Рид-Соломон [9] | Файл [10] | 2005 | |
| ИПФС | Идти | Апач 2.0 или MIT | HTTP-шлюз , FUSE , клиент Go , клиент Javascript , инструмент командной строки | Да | с кластером IPFS | Репликация [11] | Блокировать [12] | 2015 [13] | |
| СокФС | Идти | Лицензия Апач 2.0 | POSIX , ПРЕДОХРАНИТЕЛЬ , HDFS , S3 | Да | Да | Рид-Соломон | Объект | 2021 | |
| Кертиш-ДФС | Идти | лицензия GPLv3 | HTTP(REST), CLI, клиент C#, клиент Go | Да | Репликация | 2020 | |||
| ЯщерицаFS | С++ | лицензия GPLv3 | POSIX , FUSE , NFS-Ganesha , Ceph FSAL (через libcephfs) | владелец | Нет | Рид-Соломон [14] | Файл [15] | 2013 | |
| Блеск | С | лицензия GPLv2 | POSIX , NFS-Ганеша , NFS , SMB | Да | Да | Нет избыточности [16] [17] | Нет избыточности [18] [19] | 2003 | |
| МинИО | Идти | AGPL3.0 | API AWS S3 , FTP , SFTP | Да | Да | Рид-Соломон [20] | Объект [21] | 2014 | |
| MooseFS | С | лицензия GPLv2 | POSIX , ПРЕДОХРАНИТЕЛЬ | владелец | Нет | Репликация [22] | Файл [23] | 2008 | |
| ОпенАФС | С | Публичная лицензия IBM | Виртуальная файловая система , Устанавливаемая файловая система | Репликация | Объем [24] | 2000 [25] | |||
| OpenIO [26] | С | AGPLv3/LGPLv3 | Собственный ( Python , C , Java ), HTTP / REST , S3 , Swift , FUSE ( POSIX , NFS , SMB , FTP ) | Да | Сменные коды стирания [27] | Объект [28] | 2015 | 0.5 | |
| или [29] | С, С++ | С | libori, ПРЕДОХРАНИТЕЛЬ | Репликация | Файловая система [30] | 2012 | |||
| Файловая система Quantcast | С | Лицензия Апач 2.0 | Клиент C++, FUSE (сервер C++: MetaServer и ChunkServer оба написаны на C++) | владелец | Нет | Рид-Соломон [31] | Файл [32] | 2012 | |
| РозоФС | С, Питон | лицензия GPLv2 | FUSE , SMB , NFS , ключ/значение | Да | Моджетт [33] | Объем [34] | 2011 [35] | ||
| Морские водорослиFS | Иди, Ява | Лицензия Апач 2.0 | HTTP ( REST ), POSIX , FUSE , S3 , HDFS | требуется CockroachDB, недокументированная конфигурация | Рид-Соломон [36] | Объем [37] | 2015 | ||
| История | Идти | Лицензия Apache 2.0, Стандартная общественная лицензия Affero v3 | HTTP ( REST ), S3 , собственный ( Go , C , Python , Java ) | Да | Рид-Соломон [38] | Объект [38] | 2018 | ||
| Тахо-ЛАФС | Питон | GNU GPL [39] | HTTP (браузер или CLI ), SFTP , FTP , FUSE через SSHFS , pyfilesystem | Рид-Соломон [40] | Файл [41] | 2007 | |||
| XtreemFS | Ява, С++ | Лицензия БСД | libxtreemfs (Java, C++), FUSE | Репликация [42] | Файл [43] | 2009 |
| Клиент | Написано в | Лицензия | Доступ к API |
|---|---|---|---|
| BeeGFS | С/С++ | ФРАУНГОФЕР FS (FhGFS) ЛСКП, [44] клиент GPLv2 | ПОСИКС |
| ЦельFS [45] | С | Собственный | POSIX , ПРЕДОХРАНИТЕЛЬ |
| Спектральная шкала (GPFS) | С, С++ | Собственный | POSIX , NFS, SMB , Swift, S3 , HDFS |
| МапР-ФС | С, С++ | Собственный | POSIX , NFS , FUSE , S3 , HDFS , CLI |
| ПанФС | С, С++ | Собственный | DirectFlow , POSIX , NFS , SMB/CIFS , HTTP , CLI |
| бесконечный [46] | С++ | Собственный (с открытым исходным кодом) [47] | FUSE , Устанавливаемая файловая система , NFS / SMB , POSIX , CLI , SDK (libinfinit) |
| Исилон OneFS | С/С++ | Собственный | POSIX , NFS , SMB/CIFS , HDFS , HTTP , FTP , объект SWIFT, CLI , Rest API |
| Кумуло | С/С++ | Собственный | POSIX , NFS , SMB/CIFS , CLI , S3 , Rest API |
| Масштабность | С | Собственный | ПРЕДОХРАНИТЕЛЬ , НФС , ОТДЫХ , АВС С3 |
| Квобайт | Ява, С++ | Собственный | POSIX , FUSE , NFS , SMB/CIFS , HDFS , AWS S3 , плагин TensorFlow , CLI , Rest API |
Удаленный доступ
[ редактировать ]| Имя | Управляется | Доступ к API |
|---|---|---|
| Амазонка S3 | Amazon.com | HTTP ( REST / SOAP ) |
| Облачное хранилище Google | HTTP ( ОТДЫХ ) | |
| SWIFT (часть OpenStack ) | Rackspace , Hewlett-Packard и другие. | HTTP ( ОТДЫХ ) |
| Microsoft Azure | Майкрософт | HTTP ( ОТДЫХ ) |
| Облачное объектное хранилище IBM | IBM (ранее Cleversafe ) [48] | HTTP ( ОТДЫХ ) |
Сравнение
[ редактировать ]Некоторые исследователи провели функциональный и экспериментальный анализ нескольких распределенных файловых систем, включая HDFS, Ceph, Gluster, Lustre и старую (1.6.x) версию MooseFS, хотя этот документ датирован 2013 годом и большая часть информации устарела (например, у MooseFS была на тот момент не было высокой доступности для сервера метаданных). [49]
Облачные удаленные распределенные хранилища от основных поставщиков имеют разные API и разные модели согласованности. [50]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ «Кэширование: управление репликацией данных в Alluxio» .
- ^ «Кэширование: управление репликацией данных в Alluxio» .
- ^ «Профили кода стирания» .
- ^ «Бассейны» .
- ^ Сатьянараянан, Махадев; Кистлер, Джеймс Дж.; Кумар, Пунит; Окасаки, Мария Э.; Сигел, Эллен Х.; Стир, Дэвид К. «Coda: высокодоступная файловая система для среды распределенных рабочих станций» (PDF) .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ «Реализация стирающего кодирования» . Гитхаб . 2 ноября 2021 г.
- ^ «Настройка томов GlusterFS» .
- ^ «МаунтаблеHDFS» .
- ^ «Поддержка стирающего кодирования HDFS-7285 внутри HDFS» .
- ^ «Apache Hadoop: настройка» .
- ^ План стирающего кодирования: «Слой Рида-Соломона поверх IPFS № 196» . Гитхаб . , «Уровень стирающего кодирования №6» . Гитхаб .
- ^ «Команды CLI: список желаний ipfs bitswap» .
- ^ «Почему Интернету нужна IPFS, пока не стало слишком поздно» . 4 октября 2015 г.
- ^ «Настройка режимов репликации» .
- ^ «Настройка режимов репликации: установка и отображение цели файла/каталога» .
- ^ «Руководство по эксплуатации Lustre: что такое файловая система Lustre (и чем она не является)» .
- ^ Рид-Соломон в процессе: «LU-10911 FLR2: Стирающее кодирование» .
- ^ «Руководство по эксплуатации блеска: особенности блеска» .
- ^ План резервирования на уровне файлов: «Архитектура решения резервирования на уровне файлов» .
- ^ «Краткое руководство по коду стирания MinIO» .
- ^ «Краткое руководство по использованию классов хранения MinIO» . Гитхаб .
- ^ Доступно только в собственной версии 4.x. «[функция] стирающее кодирование №8» . Гитхаб .
- ^ "мфсгоал(1)" .
- ^ «Репликация томов (создание томов только для чтения)» .
- ^ «ОпенАФС» .
- ^ «Документация OpenIO SDS» . docs.openio.io .
- ^ «Стирающее кодирование» .
- ^ «Объявить политику хранения» .
- ^ «Ори: безопасная распределенная файловая система» .
- ^ Маштизаде, Али Хосе; Биттау, Андреа; Хуан, Ифэн Франк; Мазьер, Давид. «Репликация, история и прививка в файловой системе Ori» (PDF) .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ «Файловая система Quantcast» (PDF) .
- ^ «qfs/src/cc/tools/cptoqfs_main.cc» . Гитхаб . 8 декабря 2021 г.
- ^ «О RozoFS: Mojette Transform» .
- ^ «Настройка RozoFS: файл конфигурации Exportd» .
- ^ «Первоначальная фиксация» . Гитхаб .
- ^ «Стирающее кодирование для теплого хранения» . Гитхаб .
- ^ «Репликация» . Гитхаб .
- ^ Jump up to: а б «Storj: платформа децентрализованной облачной сети хранения данных, версия 3.0» (PDF) . 30 октября 2018 г.
- ^ «О Тахо-ЛАФС» . Гитхаб . 24 февраля 2022 г.
- ^ «zfec — быстрая реализация стирающего кодирования Рида-Соломона на языке C» . Гитхаб . 24 февраля 2022 г.
- ^ «Архитектура Tahoe-LAFS: кодирование файлов» .
- ^ «Под капотом: репликация файлов» .
- ^ «Краткое руководство: репликация файла» .
- ^ «ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ С КОНЕЧНЫМ ПОЛЬЗОВАТЕЛЕМ FRAUNHOFER FS (FhGFS)» . Общество Фраунгофера . 22 февраля 2012 г.
- ^ «Официальный сайт ObjectiveFS» .
- ^ «Платформа хранения Infinit» .
- ^ «Проекты Infinit с открытым исходным кодом» . 13 августа 2019 г.
- ^ «IBM планирует приобрести Cleversafe для объектного хранения в облаке» . www-03.ibm.com . 05.10.2015 . Проверено 6 мая 2019 г.
- ^ Сеген, Сирил; Депардон, Бенджамин; Ле Махек, Гаэль. «Анализ шести распределенных файловых систем» (PDF) . ХЭЛ .
- ^ «Модели согласованности данных общедоступных облачных служб хранения: Amazon S3, Google Cloud Storage и Windows Azure Storage» . Системные учебники . 4 февраля 2014 года . Проверено 19 июня 2017 г.
 | Эта компьютерных хранилищах статья о незавершена . Вы можете помочь Википедии, расширив ее . |