Высокопроизводительная система хранения данных
В этой статье есть несколько проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти шаблонные сообщения )
|
Разработчик(и) | Сотрудничество HPSS ( IBM , LANL , LBNL , LLNL , ORNL , SNL ) |
---|---|
Стабильная версия | 10.3
/ сентябрь 2023 г. |
Операционная система | Линукс |
Тип | Иерархическое управление хранилищем |
Лицензия | Собственный |
Веб-сайт | hpss-сотрудничество |
Высокопроизводительная система хранения данных ( HPSS ) — это гибкий, масштабируемый , основанный на политиках и программно определяемый продукт для управления иерархическим хранилищем , разработанный HPSS Collaboration . Он обеспечивает масштабируемое иерархическое управление хранилищем (HSM), архивирование и услуги файловой системы с использованием кластера, LAN и SAN. [ нужны разъяснения ] технологии для объединения емкости и производительности множества компьютеров, дисков, дисковых систем, ленточных накопителей и ленточных библиотек. [ 1 ]
Архитектура
[ редактировать ]HPSS поддерживает различные методы доступа и создания данных. Среди них поддержка FTP , параллельного FTP, FUSE (Linux), а также надежный клиентский API с поддержкой параллельного ввода-вывода.
Начиная с версии 7.5, HPSS имеет полную поддержку в Linux . Клиентский API HPSS поддерживается в AIX , Linux и Solaris . [ 1 ]
Реализация построена на основе IBM Db2 , масштабируемой системы управления реляционными базами данных .
Сотрудничество HPSS
[ редактировать ]В начале 1992 года несколько Министерства энергетики США (DOE) национальных лабораторий — Лоуренс Ливермор (LLNL), Лос-Аламос (LANL), Ок-Ридж (ORNL) и Сандия (SNL) — объединились с IBM, чтобы сформировать Национальную лабораторию хранения данных (National Storage Laboratory). НСЛ). [ 2 ] Целью NSL была коммерциализация программных и аппаратных технологий, которые позволили бы преодолеть узкие места вычислений и хранения данных. [ 3 ] Исследования NSL в области хранения данных положили начало сотрудничеству, которое привело к созданию HPSS. Это сотрудничество началось осенью 1992 года. [ 4 ] и привлекли IBM Лоуренс Houston Global Services и пять национальных лабораторий Министерства энергетики ( Беркли [LBL], LLNL, LANL, ORNL и SNL). [ 1 ] В то время группа разработчиков HPSS в национальных лабораториях Министерства энергетики и IBM осознала, что произойдет взрывной рост объемов хранения данных, вызванный ростом вычислительной мощности до терафлопс / петафлопс, что потребует увеличения объема данных, хранящихся в HSM, до петабайт и выше, скорости передачи данных с помощью HSM. подняться до гигабайт/с и выше, а суточная пропускная способность с HSM — в десятки терабайт в сутки. Таким образом, сотрудничество было направлено на разработку и развертывание системы, которая будет масштабироваться в 1000 или более раз и развиваться от базовой базы к этим ожидаемым целям и даже дальше. [ 5 ]
Сотрудничество HPSS основано на предпосылке, что ни одна организация не имеет опыта и ресурсов для решения всех проблем, связанных с растущим дисбалансом между вычислительной мощностью и возможностями сбора данных, а также вводом-выводом, емкостью и функциональностью системы хранения. Более двадцати организаций по всему миру, включая промышленность, Министерство энергетики США (DOE), другие федеральные лаборатории, университеты, суперкомпьютерные центры Национального научного фонда (NSF), Французский комиссариат по атомной энергии (CEA) и Gleicher Enterprises, внесли свой вклад в различные аспекты это усилие.
По состоянию на 2022 год основная группа разработчиков HPSS состоит из:
- IBM Global Business Services ( Хьюстон , Техас )
- Лос-Аламосская национальная лаборатория ( Лос-Аламос , Нью-Мексико )
- Ливерморская национальная лаборатория Лоуренса ( Ливермор , Калифорния )
- имени Лоуренса Беркли Национальный центр энергетических исследований ( Беркли , Калифорния )
- Ок-Риджская национальная лаборатория ( Ок-Ридж , Теннесси )
- Национальная лаборатория Сандия ( Альбукерке , Нью-Мексико )
Заметные достижения
[ редактировать ]- По состоянию на 7 декабря 2016 года на двух крупных сайтах HPSS, ECMWF и Метеорологическом бюро Великобритании , в одном экземпляре HPSS и пространстве имен хранилось 217 и 99 петабайт данных. [ 5 ]
- 14 ноября 2007 года Суперкомпьютерный центр Сан-Диего вместе с IBM , DataDirect и Brocade продемонстрировал тест «Миллиард файлов», в ходе которого было успешно выполнено резервное копирование миллиарда файлов из GPFS в HPSS. [ 6 ]
- В мае 2013 года установка HPSS объемом 380 петабайт была введена в эксплуатацию в Национальном центре суперкомпьютерных приложений (NCSA) Университета Иллинойса в Урбана-Шампейн . [ 7 ]
Ссылки
[ редактировать ]- ^ Jump up to: а б с «Официальный веб-сайт сотрудничества HPSS» . ИБМ.
- ^ «Высокопроизводительная система хранения данных в долгосрочной перспективе» . str.llnl.gov . Проверено 29 марта 2023 г.
- ^ Уотсон, RW; Койн, РА (июнь 1994 г.). «Национальная лаборатория хранения (NSL): обзор и состояние» . Материалы Тринадцатого симпозиума IEEE по системам хранения данных. На пути к распределенным системам хранения и управления данными . стр. 39–43. дои : 10.1109/MASS.1994.373025 . ISBN 0-8186-5580-1 . S2CID 206444692 .
- ^ «HPSS в LLNL» . ЛЛНЛ.
- ^ Jump up to: а б Крупнейшие сайты HPSS 1+ петабайт
- ↑ HPCWire, 15 ноября 2007 г. Архивировано 17 ноября 2007 г., в Wayback Machine.
- ^ «NCSA запускает в производство крупнейшую в мире высокопроизводительную систему хранения данных» . 30 мая 2013 г. Проверено 30 августа 2014 г.