Кластерная файловая система Blue Whale

Кластерная файловая система Blue Whale ( BWFS ) — это файловая система общего диска (также называемая кластерной файловой системой , файловой системой общего хранения или файловой системой SAN ), созданная компанией Tianjin Zhongke Blue Whale Information Technologies в Китае .

Обзор

BWFS обеспечивает одновременный доступ к файлам на разнородных платформах, а также высокопроизводительное создание, хранение и обмен файлами. BWFS устанавливается на хосты, подключенные к одному и тому же дисковому массиву в сети хранения данных (SAN). Клиентским системам не обязательно использовать одну и ту же операционную систему для доступа к общей файловой системе, содержащей данные StorNext. По состоянию на январь 2010 года операционными системами с доступным клиентским программным обеспечением являются Microsoft Windows , Linux и Mac OS X.

BWFS может преобразовать множество дисковых массивов FibreChannel или iSCSI в кластер хранения данных, который поддерживает несколько серверов для параллельной обработки, обеспечивает высокопроизводительную и расширяемую службу совместного использования файлов, а также поддерживает рабочие процессы или приложения с несколькими компьютерами в среде кластера.

Файловая система BWFS реализована в режиме прямого доступа к данным. Данные общего файла напрямую получают доступ к дисковому массиву FC или iSCSI через сеть SAN для передачи данных, минуя файловый сервер или головку NAS, что в полной мере демонстрирует преимущество высокой пропускной способности среды SAN. BWFS позволяет значительно улучшить возможности системы по одновременной обработке файлов без изменения среды внешних приложений и состояния внутренней сети SAN.

BWFS поддерживает MDC с избыточной структурой (Meta Data Controller), обеспечивая превосходную производительность и возможности высокой доступности в сочетании с инфраструктурой SAN для обеспечения надежности системы и безопасности данных для хранения на уровне предприятия.

Процесс доступа к данным

BWFS поддерживает гетерогенную платформу с несколькими операционными системами, позволяя нескольким серверам одновременно получать доступ к одному и тому же набору дисков и файлов, не обращая внимания на тип их соответствующей файловой системы. В настоящее время BWFS поддерживает различные платформы Linux корпоративного класса, а также Windows 2000, Windows XP и Windows 2003. Ориентируясь на разные операционные системы, BWFS имеет разные клиентские программы, некоторые из которых способны идентифицировать и предоставлять доступ к общей файловой системе BWFS. и обеспечить согласованное представление файловой системы в разных операционных системах. Запросы ввода-вывода могут обрабатываться должным образом.

Когда несколько серверов одновременно обращаются к одной и той же файловой системе, необходим определенный механизм, предотвращающий запись двумя серверами в одно и то же место на диске. Также следует гарантировать, что определенный сервер не будет читать другое содержимое файла чтения, пока другой сервер обновляет этот файл. В BWFS такой механизм и функция обеспечивается контроллером метаданных.

MDC отвечает за координацию доступа сервера к файловой системе BWFS, расположенной за пределами пути чтения и записи файловых данных. Клиент связывается через отдельные IP-каналы и MDC, чтобы получить информацию о местоположении файлов и распределении ресурсов блока данных. А затем через сеть SAN диск напрямую читается и записывается в блочном режиме. Такая конструкция архитектуры в техническом плане называется «кадром внеполосной передачи» или «асимметричной архитектурой»:

Процесс доступа к данным можно разделить следующим образом:

Прикладная программа выдает запрос на запись
Клиент BWFS отправляет рабочий запрос в MDC через локальную сеть.
MDC обрабатывает этот запрос и отвечает клиенту, для которого блоки диска могут быть прочитаны в данных через локальную сеть.
Клиент BWFS напрямую записывает данные в файловую систему со скоростью линии.

BWFS разработана на основе среды SAN, что позволяет большому количеству серверов или рабочих станций, подключающихся к FC SAN или IP SAN (iSCSI), иметь прямой доступ к одной и той же файловой системе. BWFS FC может использовать один или несколько каналов FC для доступа к дисковым ресурсам, так что производительность ввода-вывода одного сервера можно увеличить до нескольких ГБ/с со скорости более 100 МБ/с путем простого увеличения карты FC HBA.

Конечно, общая производительность системы связана не только с производительностью хоста и сети, но также зависит от производительности диска, составляющего файловую систему. Таким образом, файловая система BWFS может быть структурирована по LUN из нескольких дисковых массивов. Это эквивалент еще одного уровня RAID, структурированного между несколькими дисковыми массивами, который максимизирует производительность дисковых массивов.

Еще одним фактором производительности, который следует учитывать, является расположение метаданных. Файл состоит из реальных данных и метаданных. Фактические данные — это содержимое файла, а метаданные включают атрибуты файла, разрешения и т. д. Когда файл создается, изменяется или удаляется, информация метаданных должна быть изменена, что означает, что файл обрабатывается путем чтения как данных файла, так и метаданных. Обычно большой файл читается и записывается непрерывно, а метаданные читаются путем перемещения головки магнитного диска в другое место. Для диска режим чтения и записи намного выше степени случайности. Если данные и метаданные сохраняются на одном и том же диске (режим большинства файловых систем), степень случайности большого файла будет соответственно увеличена, чтобы снизить производительность чтения и записи. По этой причине файловая система BWFS запоминает метаданные на разных дисках или томах в макете, так что непрерывное чтение и запись файла разделяется случайностью метаданных. Они не подвержены взаимному влиянию, чтобы обеспечить максимально высокую пропускную способность ввода-вывода.

Кроме того, после разделения данных и метаданных данные и метаданные могут обрабатываться независимо на разных хостах, не занимая полосу пропускания канала данных, что может улучшить параллелизм данных и метаданных для дальнейшего повышения производительности файловой системы.

Коммерциализация

за 2006 год В публикации Gartner говорилось:

«BWFS, кластерная файловая система (CFS) Интернет-протокола (IP), вышла за пределы исследовательской лаборатории и перешла на стадию коммерциализации и теперь успешно применяется в различных отраслях, включая энергетику, автомобилестроение, военную промышленность и средства массовой информации. Успех демонстрирует сильные стороны китайских исследовательских институтов в технологической сфере, несмотря на их относительную нехватку коммерческого опыта и инвестиционных ресурсов по сравнению со многими западными поставщиками технологий. Хотя CFS еще не распространены на массовом рынке хранения данных, для некоторых пользователей требуется очень высокий уровень ввода. /выходная производительность ввода-вывода — особенно в передовых приложениях, таких как нефть и газ, биотехнологии и автоматизированное проектирование (САПР). BWFS предлагает хорошее решение по соотношению цена/производительность. Если вы ищете более дешевый CFS, пользователям следует также рассмотреть BWFS. Пользователям, которым нужно более коммерциализированное решение или которым нравится иметь более «нестандартный» интерфейс, следует рассмотреть возможность использования других поставщиков, таких как Panasas, Isilon и Ibrix, а не BWFS». ^[1]

BWFS была разработана в Национальном исследовательском центре высокопроизводительных компьютеров Китайской академии наук . В 2007 году FalconStor объявила о создании совместного предприятия по продаже программного обеспечения. ^[2] Совместное предприятие получило название Tianjin Zhongke Blue Whale Information Technologies Company и расположено в Тяньцзине , Китай . ^[3] Венчурная компания VantagePoint Capital также сделала инвестиции. ^[4] Было объявлено, что BWFS будет использоваться для видеосъемки со спутника, предназначенного для освещения летних Олимпийских игр 2008 года . ^[5]

См. также

Список файловых систем

Ссылки

^ Джимми Чанг (28 сентября 2006 г.). «Dataquest Insight: практический пример китайской исследовательской лаборатории показывает преимущества «доморощенных» передовых технологий» . Идентификационный номер: G00142484 . Гартнер . п. 2. Архивировано из оригинала 27 сентября 2012 года.
^ Джеймс Роджерс (27 октября 2007 г.). «FalconStor запускает предприятие в Китае» . Сетевые вычисления . Архивировано из оригинала 19 марта 2012 года . Проверено 15 июля 2011 г.
^ «CAS объединяет усилия с FalconStor» . Выпуск новостей . 26 октября 2007 г. Архивировано из оригинала 19 марта 2012 г. Проверено 15 июля 2011 г.
^ «Синий Кит» . Портфолио: Азия . VantagePoint Capital Partners. Архивировано из оригинала 2 октября 2011 года . Проверено 15 июля 2011 г.
^ «Файловая система Blue Whale будет использоваться для олимпийского спутника » . Китайская академия наук. 21 июня 2006 г. Архивировано из оригинала 27 сентября 2011 г. . Проверено 15 июля 2011 г.

Дальнейшее чтение

Чжэньхан Лю, Сяосюань Мэн, Лу Сюй. Управление блокировками в файловой системе синего кита. В материалах 2-й Международной конференции по наукам о взаимодействии: информационные технологии, культура и человек (ICIS 2009).
Чжэньхан Лю; Сяосюань Мэн; Лу Сюй (2009). «Оптимизация производительности при рабочих нагрузках с интенсивным использованием небольших файлов в BWFS». 2009 Международная конференция по параллельным и распределенным вычислениям, приложениям и технологиям . стр. 154–159. дои : 10.1109/PDCAT.2009.60 . ISBN 978-0-7695-3914-0 . S2CID 13918605 .
Лю Ши; Цзинлян Чжан; Лу Сюй (2010). «Клиентская изоляция данных файловой системы Blue Whale в нелинейном поле редактирования». 2010 12-я Международная конференция IEEE по высокопроизводительным вычислениям и коммуникациям (HPCC) . стр. 49–54. дои : 10.1109/HPCC.2010.39 . ISBN 978-1-4244-8335-8 . S2CID 2233801 .
Распределитель сегментов хранилища для управления дисковыми хранилищами в файловой системе[Q],NAS'09,2009
Лу Сюй, Хунъюань Ма, Чжэньцзюнь Лю, Хуан Чжан, Шуо Фэн, Сяомин Хан, «Опыт поддержки управления иерархическим хранилищем в файловой системе Blue Whale», pdcat, стр. 369–374, Международная конференция по параллельным и распределенным вычислениям, приложениям 2010 г. и технологии, 2010.

Внешние ссылки

«Поставщик высокопроизводительных продуктов и решений для хранения больших объемов данных» оригинала Официальный веб-сайт (на китайском языке). Архивировано из 20 августа 2011 г. Проверено 15 июля 2011 г. .

[1] Джимми Чанг (28 сентября 2006 г.). «Dataquest Insight: практический пример китайской исследовательской лаборатории показывает преимущества «доморощенных» передовых технологий» . Идентификационный номер: G00142484 . Гартнер . п. 2. Архивировано из оригинала 27 сентября 2012 года.

[2] Джеймс Роджерс (27 октября 2007 г.). «FalconStor запускает предприятие в Китае» . Сетевые вычисления . Архивировано из оригинала 19 марта 2012 года . Проверено 15 июля 2011 г.

[3] «CAS объединяет усилия с FalconStor» . Выпуск новостей . 26 октября 2007 г. Архивировано из оригинала 19 марта 2012 г. Проверено 15 июля 2011 г.

[4] «Синий Кит» . Портфолио: Азия . VantagePoint Capital Partners. Архивировано из оригинала 2 октября 2011 года . Проверено 15 июля 2011 г.

[5] «Файловая система Blue Whale будет использоваться для олимпийского спутника » . Китайская академия наук. 21 июня 2006 г. Архивировано из оригинала 27 сентября 2011 г. . Проверено 15 июля 2011 г.

[1]

[2]

[3]

[4]

[5]