МапР ФС

Возможности MapR FS
Разработчик(и)	КартаR
Полное имя	МапР ФС
Представлено	2011 год с Linux
Структуры
Содержимое каталога	B-дерево
Распределение файлов	Многоуровневое B-дерево
Пределы
Максимальный размер тома	неограниченный
Максимальный размер файла	16 ЭйБ
Макс нет. файлов	неограниченный
Функции
Файловая система ; разрешения	Стандартный Unix, выражения контроля доступа
Прозрачный ; сжатие	Да
Прозрачный ; шифрование	Да
Другой
Поддерживается ; операционные системы	Линукс

Файловая система MapR ( MapR FS ) — это кластерная файловая система , которая поддерживает как оченькрупномасштабное и высокопроизводительное использование. ^[1] MapR FS поддерживает множество интерфейсов, включаяобычный доступ к файлам для чтения/записи через NFS и интерфейс FUSE, а также через интерфейс HDFS, используемыймногие системы, такие как Apache Hadoop и Apache Spark . ^[2]^[3] Помимо файлово-ориентированного доступа,MapR FS поддерживает доступ к таблицам и потокам сообщений с помощью API-интерфейсов Apache HBase и Apache Kafka , а также через интерфейс базы данных документов.

Впервые выпущенный в 2010 году, ^[4] MapR FS теперь обычно называют платформой конвергентных данных MapR.добавлению табличных интерфейсов и интерфейсов обмена сообщениями. Однако та же основная технология используется дляреализовать все эти формы постоянного хранения данных, и все интерфейсы в конечном итоге будутподдерживается теми же серверными процессами. Чтобы различать различные возможности общегоплатформа данных, термин MapR FS используется более конкретно для обозначения файлово-ориентированных интерфейсов,MapR DB или MapR JSON DB используется для обращения к табличным интерфейсам, а MapR Streams используется дляописать возможности потоковой передачи сообщений.

MapR FS — это кластерная файловая система, обеспечивающая единый доступ файлов к другим объектам.такие как таблицы, используемые в качестве универсального пространства имен, доступного из любого клиента системы. Контроль доступатакже предоставляется для файлов, таблиц и потоков, используемых в качестве выражений управления доступом , что являетсярасширение более распространенного (и ограниченного) списка контроля доступа , который разрешает разрешения отсоставили списки разрешенных пользователей или групп, но вместо этого логические значения допускают комбинацииидентификатор пользователя и группы.

История

MapR FS была разработана в 2009 году компанией MapR Technologies для расширения возможностей Apache Hadoop , предоставляя более производительную и стабильную платформу. Конструкция MapR FSпод влиянием различных других систем, таких как файловая система Эндрю (AFS). КонцепцияТома в AFS имеют сильное сходство с точки зрения пользователей, хотяреализация в MapR FS совершенно другая. Одним из основных различий между AFS и MapR FS являетсячто последний использует модель строгой согласованности, тогда как AFS обеспечивает только слабую согласованность.

Для достижения первоначальных целей поддержки программ Hadoop MapR FS поддерживает HDFS API путемпреобразование вызовов функций HDFS во внутренний API на основе специального механизма удаленного вызова процедур (RPC). Обычная модель HDFS с однократной записью заменена вMapR FS с помощью полностью изменяемой файловой системы даже при использовании HDFS API. Возможность поддержки файловмутация позволяет реализовать сервер NFS, который преобразует операции NFS во внутренниеMapR RPC-вызовы. Аналогичные механизмы используются для разрешения интерфейса файловой системы в пространстве пользователя (FUSE).и примерная эмуляция API Apache HBase .

Архитектура

Файлы в MapR FS внутренне реализуются путем разделения содержимого файла на фрагменты .обычно каждый имеет размер 256 МБ, хотя размер индивидуален для каждого файла. Каждый фрагмент записывается в контейнеры , являющиеся элементом репликации в кластере. Контейнеры реплицируются ирепликация выполняется либо линейным способом, при котором каждая реплика пересылает операции записи наследующая реплика в очереди или по схеме «звезда» , в которой главная реплика пересылает операции записико всем остальным репликам одновременно. Записи подтверждаются главной репликой, когда все записичтобы все реплики были полными. Внутри контейнеры реализуют B-деревья , которые используются в несколькихуровни, такие как сопоставление смещения файла с фрагментом внутри файла или сопоставление смещения файла с правильными 8 КБ.блок внутри чанка.

Эти B-деревья также используются для реализации каталогов. Длинный хэш каждого имени файла или каталога вкаталог используется для поиска дочернего файла или таблицы каталогов.

Том — это специальная структура данных, во многом похожая на каталог, за исключением того, что она позволяетдополнительные операции по контролю и управлению доступом. Примечательной особенностью томов является то, чтоузлы, на которых может находиться том в кластере, могут быть ограничены для контроля производительности,особенно в сильно конкурирующих многопользовательских системах, в которых используется широкий спектррабочие нагрузки.

В MapR FS используется собственная технология для реализации транзакций в контейнерах и достиженияпоследовательное восстановление после сбоя.

Другие особенности файловой системы включают в себя: ^[5]

Метаданные распределенного кластера, включая расположение всех контейнеров и их расположение в цепочках репликации.
Распределенные метаданные, включая дерево каталогов. Все каталоги полностью реплицируются, и ни один узел не содержит всех метаданных кластера.
Эффективное использование B-деревьев для достижения высокой производительности даже при работе с очень большими каталогами.
Толерантность к разделам. Кластер можно разделить без потери согласованности, хотя доступность может быть нарушена. Репликация с ограниченной согласованностью между несколькими кластерами также поддерживается с использованием зеркал томов и репликации таблиц и потоков практически в реальном времени.
Постоянное многопоточное обновление. Файлы могут обновляться или читаться очень многими потоками управления одновременно без необходимости использования глобальных структур блокировки.
Последовательные обновления и онлайн-обслуживание файловой системы. Почти все виды обслуживания, включая обновления основных версий, могут выполняться, пока кластер продолжает работать почти на полной скорости.

См. также

Ссылки

^ Бреннан, Боб. «Саммит флэш-памяти» . ютуб . Samsung . Проверено 21 июня 2016 г.
^ Даннинг, Тед; Фридман, Эллен (январь 2015 г.). «Глава 3: Понимание распространения MapR для Apache Hadoop». Реальный мир Hadoop (первое изд.). Севастополь, Калифорния: O'Reilly Media, Inc., стр. 23–28. ISBN 978-1-491-92395-5 . Проверено 21 июня 2016 г.
^ Перес, Николас. «Как MapR повышает нашу производительность и упрощает проектирование» . Середина . Середина . Проверено 21 июня 2016 г.
^ «Примечания к выпуску MapR 1.0» . Документация MapR . КартаР . Проверено 21 июня 2016 г.
^ Шривас, MC. «Файловая система MapR» . Саммит Hadoop 2011 . Хортонворкс . Проверено 21 июня 2016 г.

[samsung-performance-1] Бреннан, Боб. «Саммит флэш-памяти» . ютуб . Samsung . Проверено 21 июня 2016 г.

[real-world-hadoop-2] Даннинг, Тед; Фридман, Эллен (январь 2015 г.). «Глава 3: Понимание распространения MapR для Apache Hadoop». Реальный мир Hadoop (первое изд.). Севастополь, Калифорния: O'Reilly Media, Inc., стр. 23–28. ISBN 978-1-491-92395-5 . Проверено 21 июня 2016 г.

[perez-3] Перес, Николас. «Как MapR повышает нашу производительность и упрощает проектирование» . Середина . Середина . Проверено 21 июня 2016 г.

[4] «Примечания к выпуску MapR 1.0» . Документация MapR . КартаР . Проверено 21 июня 2016 г.

[maprfs-video-5] Шривас, MC. «Файловая система MapR» . Саммит Hadoop 2011 . Хортонворкс . Проверено 21 июня 2016 г.

[1]

[2]

[3]

[4]

[5]