свет

свет
Разработчик(и)	Эгейское море
Стабильная версия	3.2 / 23 марта 2009 г.
Операционная система	Научный Linux 3, 4, 5
Тип	Грид-вычисления
Лицензия	Сотрудничество с EGEE, 2004 г.
Веб-сайт	соскальзывать .cern .ч

gLite (произносится как «gee-lite») — это проект программного обеспечения промежуточного программного обеспечения для грид-вычислений, используемый в экспериментах CERN LHC и других научных областях. Он был реализован совместными усилиями более 80 человек в 12 различных академических и промышленных исследовательских центрах Европы. gLite предоставляет основу для создания приложений, использующих распределенные вычислительные ресурсы и ресурсы хранения данных в Интернете . Сервисы gLite были внедрены более чем в 250 вычислительных центрах и использованы более чем 15 000 исследователями в Европе и по всему миру.

История

После этапов создания прототипов в 2004 и 2005 годах конвергенция с дистрибутивом LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда был выпущен gLite 3.0, который стал официальным промежуточным программным обеспечением Enabling Grids for E-scienceE (EGEE). проект, завершившийся в 2010 году.

Затем разработку промежуточного программного обеспечения gLite взяла на себя European Middleware Initiative , и теперь оно поддерживается как часть программного стека EMI.

Инфраструктура распределенных вычислений, созданная EGEE, теперь поддерживается Европейской Grid-инфраструктурой . Он использует промежуточное программное обеспечение Grid, созданное «Европейской инициативой по промежуточному программному обеспечению», многие компоненты которого взяты из промежуточного программного обеспечения gLite.

Описание промежуточного программного обеспечения

Безопасность

Сообщество пользователей gLite сгруппировано в виртуальные организации (ВО). ^[1] Пользователь должен присоединиться к VO, которая поддерживается инфраструктурой, на которой работает gLite, чтобы пройти аутентификацию и авторизоваться на использование ресурсов Grid.

Инфраструктура безопасности Grid (GSI) в WLCG /EGEE обеспечивает безопасную аутентификацию и связь через открытую сеть. ^[2] GSI основан на шифровании с открытым ключом, сертификатах X.509 и протоколе связи Secure Sockets Layer (SSL) с расширениями для единого входа и делегирования.

Для аутентификации пользователю необходимо иметь цифровой сертификат X.509, выданный центром сертификации (CA), которому доверяет инфраструктура, на которой работает промежуточное программное обеспечение.

Авторизация пользователя на конкретном грид-ресурсе может осуществляться двумя разными способами. Первый проще и основан на механизме Grid-Mapfile. Второй способ основан на службе членства в виртуальной организации (VOMS) и механизме LCAS/LCMAPS, которые позволяют более детально определять привилегии пользователя.

Пользовательский интерфейс

Точкой доступа к gLite Grid является пользовательский интерфейс (UI). Это может быть любой компьютер, на котором пользователи имеют личную учетную запись и где установлен их сертификат пользователя. Из пользовательского интерфейса пользователь может пройти аутентификацию и авторизоваться на использование ресурсов WLCG/EGEE, а также получить доступ к функциям, предлагаемым системами управления информацией, рабочей нагрузкой и данными. Он предоставляет инструменты CLI для выполнения некоторых основных операций с Grid:

перечислить все ресурсы, подходящие для выполнения данной работы ;
отправлять задания на исполнение;
отменить задания;
получить результаты завершенных работ;
показывать статус отправленных работ;
получить журнальную и бухгалтерскую информацию о заданиях;
копировать, реплицировать и удалять файлы из Grid;
получать статус различных ресурсов из информационной системы.

Вычислительный элемент

Вычислительный элемент (CE) в терминологии Grid — это некоторый набор вычислительных ресурсов, локализованных на узле (т. е. кластере, вычислительной ферме). CE включает в себя Grid Gate (GG), который действует как общий интерфейс с кластером; систему управления локальными ресурсами (LRMS) (иногда называемую пакетной системой) и сам кластер, совокупность рабочих узлов (WN), узлов, на которых выполняются задания.

В gLite 3.1 есть две реализации CE: LCG CE, разработанный EDG и используемый в LCG-22, и gLite CE, разработанный EGEE. Сайты могут выбирать, что устанавливать, а некоторые из них предоставляют оба типа. GG отвечает за прием заданий и отправку их на выполнение в WN через LRMS.

В gLite 3.1 поддерживаемыми типами LRMS были OpenPBS /PBSPro, Platform LSF , Maui/Torque, BQS и Condor , а также Sun Grid Engine . ^[3]

Элемент хранения

Элемент хранения (SE) обеспечивает унифицированный доступ к ресурсам хранения данных. Элемент хранения может управлять простыми дисковыми серверами, большими дисковыми массивами или ленточными системами хранения данных (MSS). Большинство сайтов WLCG/EGEE предоставляют хотя бы один SE.

Элементы хранения могут поддерживать различные протоколы и интерфейсы доступа к данным. Проще говоря, GSIFTP (GSI-защищенный FTP) — это протокол для передачи целых файлов, а локальный и удаленный доступ к файлам осуществляется с использованием RFIO или gsidcap.

Большинство ресурсов хранения управляются диспетчером ресурсов хранения (SRM), службой промежуточного программного обеспечения, предоставляющей такие возможности, как прозрачная миграция файлов с диска на ленту, закрепление файлов, резервирование пространства и т. д. Однако разные SE могут поддерживать разные версии протокола SRM. и возможности могут быть разными.

Существует ряд реализаций SRM с различными возможностями. Disk Pool Manager (DPM) используется для довольно небольших SE только с дисковым хранилищем, тогда как CASTOR предназначен для управления крупномасштабными MSS с внешними дисками и внутренним ленточным хранилищем. dCache предназначен как для MSS, так и для крупномасштабных систем хранения данных с дисковыми массивами. Другие реализации SRM находятся в разработке, и сама спецификация протокола SRM также развивается.

Классические SE, не имеющие интерфейса SRM, предоставляют простую модель дискового хранилища. Они находятся в стадии вывода из эксплуатации. ^{[ когда? ]}

Информационная служба

Информационная служба (IS) предоставляет информацию о ресурсах WLCG/EGEE Grid и их состоянии. Эта информация важна для работы всей Грид, поскольку именно через ИС обнаруживаются ресурсы. Опубликованная информация также используется в целях мониторинга и учета.

Большая часть данных, публикуемых в ИС, соответствует схеме GLUE. ^[4] который определяет общую концептуальную модель данных, которая будет использоваться для мониторинга и обнаружения ресурсов Grid.

Информационная система, используемая в gLite 3.1, унаследовала свои основные концепции от службы мониторинга и обнаружения Globus (MDS). ^[5] Однако GRIS и GIIS в MDS были заменены информационным индексом базы данных Беркли (BDII), который по сути представляет собой сервер OpenLDAP , обновляемый внешним процессом.

Управление рабочей нагрузкой

Назначение системы управления рабочей нагрузкой (WMS) ^[6] заключается в том, чтобы принимать пользовательские задания, назначать их наиболее подходящему вычислительному элементу, записывать их статус и получать результаты. Брокер ресурсов (RB) — это машина, на которой работают службы WMS.

Отправляемые задания описываются с использованием языка описания заданий (JDL), который определяет, например, какой исполняемый файл запускать и его параметры, файлы, которые необходимо перемещать на рабочий узел и обратно на рабочий узел, на котором выполняется задание, необходимые входные файлы Grid. и любые требования к CE и рабочему узлу.

Выбор CE, которому отправляется задание, осуществляется в процессе, называемом сопоставлением, который сначала выбирает среди всех доступных CE те, которые соответствуют требованиям, выраженным пользователем, и которые близки к указанным входным файлам Grid. Затем он выбирает CE с наивысшим рангом, величиной, полученной из информации о состоянии CE, которая выражает качество CE (обычно является функцией количества запущенных и поставленных в очередь заданий).

RB находит входные файлы Grid, указанные в описании задания, с помощью службы, называемой интерфейсом расположения данных (DLI), который обеспечивает общий интерфейс для каталога файлов. Таким образом, брокер ресурсов может взаимодействовать с каталогами файлов, отличными от LFC (при условии, что они имеют интерфейс DLI).

Самая последняя реализация WMS от EGEE позволяет отправлять не только отдельные задания, но и коллекции заданий (возможно, с зависимостями между ними) гораздо более эффективным способом, чем старая WMS LCG-2, и имеет множество других новых возможностей. .

Наконец, Служба регистрации и бухгалтерского учета (LB). ^[7] отслеживает задания, управляемые WMS. Он собирает события от многих компонентов WMS и записывает статус и историю задания.

Ссылки

^ Фостер, Кессельман, Туке, Анатомия сети: обеспечение масштабируемых виртуальных организаций. Архивировано 10 марта 2009 г. в Wayback Machine , Int. J. Приложение для высокопроизводительных вычислений, 2001 г.
^ Globus Toolkit 4.0, Обзор инфраструктуры безопасности Grid, заархивировано 20 апреля 2008 г. в Wayback Machine.
^ Опыт CESGA с пакетной системой Grid Engine
^ Функции OGF MDS 2.2, заархивированные 13 декабря 2012 г. на Wayback Machine в выпуске Globus Toolkit 2.2.
^ Рабочая группа GLUE (КЛЕЙ)
^ Ф. Пачини, Руководство пользователя EGEE, Сервис WMS , DATAMAT, 2005 г.
^ Руководство пользователя EGEE, Журналирование и учет услуг (L&B) , CESNET, 2005 г.

Внешние ссылки

[1] Фостер, Кессельман, Туке, Анатомия сети: обеспечение масштабируемых виртуальных организаций. Архивировано 10 марта 2009 г. в Wayback Machine , Int. J. Приложение для высокопроизводительных вычислений, 2001 г.

[2] Globus Toolkit 4.0, Обзор инфраструктуры безопасности Grid, заархивировано 20 апреля 2008 г. в Wayback Machine.

[3] Опыт CESGA с пакетной системой Grid Engine

[4] Функции OGF MDS 2.2, заархивированные 13 декабря 2012 г. на Wayback Machine в выпуске Globus Toolkit 2.2.

[5] Рабочая группа GLUE (КЛЕЙ)

[6] Ф. Пачини, Руководство пользователя EGEE, Сервис WMS , DATAMAT, 2005 г.

[7] Руководство пользователя EGEE, Журналирование и учет услуг (L&B) , CESNET, 2005 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]