Высокопроизводительная система хранения данных

Высокопроизводительная система хранения данных
Разработчик(и)	Сотрудничество HPSS ( IBM , LANL , LBNL , LLNL , ORNL , SNL )
Стабильная версия	10.3 / сентябрь 2023 г.
Операционная система	Линукс
Тип	Иерархическое управление хранилищем
Лицензия	Собственный
Веб-сайт	hpss-сотрудничество

Высокопроизводительная система хранения данных ( HPSS ) — это гибкий, масштабируемый , основанный на политиках и программно определяемый продукт для управления иерархическим хранилищем , разработанный HPSS Collaboration . Он обеспечивает масштабируемое иерархическое управление хранилищем (HSM), архивирование и услуги файловой системы с использованием кластера, LAN и SAN. ^{[ нужны разъяснения ]} технологии для объединения емкости и производительности множества компьютеров, дисков, дисковых систем, ленточных накопителей и ленточных библиотек. ^{[ 1 ]}

Архитектура

HPSS поддерживает различные методы доступа и создания данных. Среди них поддержка FTP , параллельного FTP, FUSE (Linux), а также надежный клиентский API с поддержкой параллельного ввода-вывода.

Начиная с версии 7.5, HPSS имеет полную поддержку в Linux . Клиентский API HPSS поддерживается в AIX , Linux и Solaris . ^{[ 1 ]}

Реализация построена на основе IBM Db2 , масштабируемой системы управления реляционными базами данных .

Сотрудничество HPSS

В начале 1992 года несколько Министерства энергетики США (DOE) национальных лабораторий — Лоуренс Ливермор (LLNL), Лос-Аламос (LANL), Ок-Ридж (ORNL) и Сандия (SNL) — объединились с IBM, чтобы сформировать Национальную лабораторию хранения данных (National Storage Laboratory). НСЛ). ^{[ 2 ]} Целью NSL была коммерциализация программных и аппаратных технологий, которые позволили бы преодолеть узкие места вычислений и хранения данных. ^{[ 3 ]} Исследования NSL в области хранения данных положили начало сотрудничеству, которое привело к созданию HPSS. Это сотрудничество началось осенью 1992 года. ^{[ 4 ]} и привлекли IBM Лоуренс Houston Global Services и пять национальных лабораторий Министерства энергетики ( Беркли [LBL], LLNL, LANL, ORNL и SNL). ^{[ 1 ]} В то время группа разработчиков HPSS в национальных лабораториях Министерства энергетики и IBM осознала, что произойдет взрывной рост объемов хранения данных, вызванный ростом вычислительной мощности до терафлопс / петафлопс, что потребует увеличения объема данных, хранящихся в HSM, до петабайт и выше, скорости передачи данных с помощью HSM. подняться до гигабайт/с и выше, а суточная пропускная способность с HSM — в десятки терабайт в сутки. Таким образом, сотрудничество было направлено на разработку и развертывание системы, которая будет масштабироваться в 1000 или более раз и развиваться от базовой базы к этим ожидаемым целям и даже дальше. ^{[ 5 ]}

Сотрудничество HPSS основано на предпосылке, что ни одна организация не имеет опыта и ресурсов для решения всех проблем, связанных с растущим дисбалансом между вычислительной мощностью и возможностями сбора данных, а также вводом-выводом, емкостью и функциональностью системы хранения. Более двадцати организаций по всему миру, включая промышленность, Министерство энергетики США (DOE), другие федеральные лаборатории, университеты, суперкомпьютерные центры Национального научного фонда (NSF), Французский комиссариат по атомной энергии (CEA) и Gleicher Enterprises, внесли свой вклад в различные аспекты это усилие.

По состоянию на 2022 год основная группа разработчиков HPSS состоит из:

Заметные достижения

По состоянию на 7 декабря 2016 года на двух крупных сайтах HPSS, ECMWF и Метеорологическом бюро Великобритании , в одном экземпляре HPSS и пространстве имен хранилось 217 и 99 петабайт данных. ^{[ 5 ]}
14 ноября 2007 года Суперкомпьютерный центр Сан-Диего вместе с IBM , DataDirect и Brocade продемонстрировал тест «Миллиард файлов», в ходе которого было успешно выполнено резервное копирование миллиарда файлов из GPFS в HPSS. ^{[ 6 ]}
В мае 2013 года установка HPSS объемом 380 петабайт была введена в эксплуатацию в Национальном центре суперкомпьютерных приложений (NCSA) Университета Иллинойса в Урбана-Шампейн . ^{[ 7 ]}

Ссылки

^ Jump up to: ^а ^б ^с «Официальный веб-сайт сотрудничества HPSS» . ИБМ.
^ «Высокопроизводительная система хранения данных в долгосрочной перспективе» . str.llnl.gov . Проверено 29 марта 2023 г.
^ Уотсон, RW; Койн, РА (июнь 1994 г.). «Национальная лаборатория хранения (NSL): обзор и состояние» . Материалы Тринадцатого симпозиума IEEE по системам хранения данных. На пути к распределенным системам хранения и управления данными . стр. 39–43. дои : 10.1109/MASS.1994.373025 . ISBN 0-8186-5580-1 . S2CID 206444692 .
^ «HPSS в LLNL» . ЛЛНЛ.
^ Jump up to: ^а ^б Крупнейшие сайты HPSS 1+ петабайт
↑ HPCWire, 15 ноября 2007 г. Архивировано 17 ноября 2007 г., в Wayback Machine.
^ «NCSA запускает в производство крупнейшую в мире высокопроизводительную систему хранения данных» . 30 мая 2013 г. Проверено 30 августа 2014 г.

[hpss_collab-1] Jump up to: ^а ^б ^с «Официальный веб-сайт сотрудничества HPSS» . ИБМ.

[2] «Высокопроизводительная система хранения данных в долгосрочной перспективе» . str.llnl.gov . Проверено 29 марта 2023 г.

[3] Уотсон, RW; Койн, РА (июнь 1994 г.). «Национальная лаборатория хранения (NSL): обзор и состояние» . Материалы Тринадцатого симпозиума IEEE по системам хранения данных. На пути к распределенным системам хранения и управления данными . стр. 39–43. дои : 10.1109/MASS.1994.373025 . ISBN 0-8186-5580-1 . S2CID 206444692 .

[hpss_llnl-4] «HPSS в LLNL» . ЛЛНЛ.

[petabyte-5] Jump up to: ^а ^б Крупнейшие сайты HPSS 1+ петабайт

[sdsc-6] HPCWire, 15 ноября 2007 г. Архивировано 17 ноября 2007 г., в Wayback Machine.

[7] «NCSA запускает в производство крупнейшую в мире высокопроизводительную систему хранения данных» . 30 мая 2013 г. Проверено 30 августа 2014 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]