проект ШИВА

Проект SHIWA (совместное использование совместимых рабочих процессов для крупномасштабного научного моделирования на доступных DCI) в рамках сетевых вычислений был проектом, возглавляемым LPDS (Лабораторией параллельных и распределенных систем) Научно-исследовательского института компьютеров и автоматизации MTA . Координатором проекта был профессор доктор Петер Качук . Он начался 1 июля 2010 года и продлился два года. SHIWA (проект номер 261585) был поддержан грантом конкурса FP7 INFRASTRUCTURES-2010-2 Европейской Комиссии в рамках грантового соглашения № 261585.

В рамках проекта SHIWA была разработана и развернута платформа моделирования SHIWA (SSP), обеспечивающая инфраструктуры и рабочих процессов совместимость на двух уровнях:

крупномасштабная совместимость, подразумевающая вложение различных систем рабочих процессов для достижения совместимости сред выполнения.
детальная совместимость, относящаяся к представлениям рабочих процессов преобразования для обеспечения миграции рабочих процессов из одной системы в другую.

После завершения проекта технология SHIWA была заменена проектом поддержки ER-flow, чтобы обеспечить устойчивость и расширить базу сообщества пользователей.

Предыстория и мотивация

Ученые всех дисциплин вложили огромные усилия в использование распределенных вычислительных инфраструктур (DCI) за их способность поддерживать интенсивные вычислительные эксперименты in silico и виртуальные организации. За последнее десятилетие появилось множество DCI с большими сообществами пользователей, например, Распределенная европейская инфраструктура для суперкомпьютерных приложений (DEISA), ^[1] EGEE Grid (Гриды для электронной науки), ^[2] немецкая инициатива D-Grid (D-Grid), ^[3] Национальная сетевая служба Великобритании (NGS), ^[4] и Североамериканская TeraGrid (TG). ^[5] Они основаны на различных стеках промежуточного программного обеспечения , которые обеспечивают уровень абстракции между компьютерными ресурсами и приложениями. Например, NGS и TeraGrid построены на Globus Toolkit. ^[6] EGEE на gLite, ^[7] DEISA использует как Globus Toolkit, так и Unicore . ^[8] в то время как D-Grid выполняется под gLite, Globus Toolkit и Unicore . В Европе этот импульс достигает кульминации в 2010 году с появлением Европейской грид-инициативы (EGI), которая объединит все основные европейские организации, связанные с распределенными вычислениями, и национальные грид-инициативы (NGI). В своих усилиях по созданию общеевропейской DCI следующего поколения компания EGI столкнется с беспрецедентными проблемами, связанными с неоднородностью национальных сетевых инфраструктур, ресурсов и действующего промежуточного программного обеспечения. Производственные DCI обычно строятся на большом количестве компонентов, таких как ресурсы данных, каталоги метаданных , методы аутентификации и авторизации, а также репозитории программного обеспечения. Следовательно, управление выполнением приложений на DCI является сложной задачей. Более того, решения, разработанные для одного конкретного Grid, сложно портировать на другие инфраструктуры. Чтобы скрыть эту сложность от исследователей и облегчить разработку экспериментов in silico, системы рабочих процессов широко используются в качестве уровня виртуализации поверх базовой инфраструктуры. Они стали необходимы для интеграции знаний как о приложении (домен пользователя), так и в DCI (домен инфраструктуры), чтобы оптимизировать и поддерживать исследования научного вычислительного сообщества. В нынешней ситуации с несколькими DCI пользователям необходим доступ к различным инфраструктурам, чтобы расширять и расширять разнообразие используемых ресурсов, а также совместно использовать и повторно использовать ресурсы, специфичные для предметной области. Однако совместимость между DCI вряд ли достигается на уровне промежуточного программного обеспечения. SHIWA считает производственную инфраструктуру EGI основным DCI, представляющим большой интерес для европейских ученых для разработки и моделирования экспериментов in silico. Он напрямую решает проблемы, связанные с (i) планированием научных экспериментов посредством описания рабочих процессов моделирования и (ii) неоднородностями промежуточного программного обеспечения, возникающими среди многих существующих DCI, посредством методов взаимодействия рабочих процессов. ^{[ нужна ссылка ]}

Концепции и цели проекта

SHIWA нацелена на улучшение опыта виртуальных исследовательских сообществ , которые активно используют DCI для своих научных экспериментов. Благодаря недавнему увеличению усилий, направленных на создание электронных инфраструктур , научное моделирование теперь может извлечь выгоду из наличия массивных вычислительных средств и средств хранения данных для решения междисциплинарных научных задач. Побочным эффектом является сосуществование множества несовместимых технологий, позволяющих использовать вычислительную инфраструктуру для экспериментов in-silico. В Европе этот импульс достигает кульминации с появлением EGI, который объединит все основные европейские организации, связанные с распределенными вычислениями и NGI. Следовательно, европейские исследования в области моделирования в настоящее время затруднены рядом проблем совместимости, которые снижают их эффективность, ограничивая обмен знаниями и опытом между научными сообществами. SHIWA был задуман как ориентированный на пользователя проект, направленный на снижение барьеров между научными сообществами путем предоставления услуг, решающих проблемы совместимости. В частности, рабочая программа SHIWA сосредоточена на повышении эффективности экспериментов in silico на основе рабочего процесса, преследуя следующие три цели: ^{[ нужна ссылка ]}

Цель 1: разработать рабочие процессы и обмен опытом между виртуальными исследовательскими сообществами.
Задача 2: обеспечить межсистемное управление рабочими процессами моделирования в Scientific Gateways .
Цель 3: поддержать виртуальные исследовательские сообщества в разработке и реализации экспериментов in silico.
Цель 4: улучшить взаимодействие между DCI.
Задача 5: упростить доступ к множеству DCI для виртуальных исследовательских сообществ.
Задача 6: содействовать использованию европейской электронной инфраструктуры среди пользователей моделирования из различных дисциплин.

Совместимость рабочих процессов

Совместимость рабочих процессов позволяет выполнять рабочие процессы различных систем рабочих процессов, которые могут охватывать несколько гетерогенных инфраструктур (DCI). Это может облегчить миграцию приложений благодаря развитию инфраструктуры, услуг и систем рабочих процессов. Функциональная совместимость рабочих процессов позволяет совместно использовать рабочие процессы для поддержки и содействия внедрению общих методологий исследований, повышения эффективности и надежности исследований за счет повторного использования этих общих методологий, увеличения срока службы рабочих процессов и сокращения времени разработки новых рабочих процессов. Функциональная совместимость между системами рабочих процессов не только позволяет разрабатывать и внедрять крупномасштабные и комплексные рабочие процессы, но также уменьшает существующий разрыв между различными DCI и, следовательно, способствует сотрудничеству между исследовательскими сообществами, использующими эти DCI. Поскольку системы рабочих процессов позволяют исследователям создавать комплексные приложения рабочих процессов для DCI, консорциум проекта определил совместимость рабочих процессов как наиболее многообещающий подход к устранению существующих пробелов между DCI. Совместимость рабочих процессов и DCI имеет первостепенное значение для повышения качества и эффективности научных приложений, ориентированных на DCI, которые обеспечивают расширенные функции, ранее недоступные: ^{[ нужна ссылка ]}

Возможность использования специфических особенностей систем документооборота с учетом требований приложений и возможностей DCI.
Обмен рабочими процессами, опубликованными исследовательскими сообществами, для поддержки сотрудничества, повторного использования проверенных методологий и передачи знаний.
Запуск приложений рабочих процессов на нескольких гетерогенных DCI.
Упрощение обслуживания миграции приложений на основе рабочих процессов.
Оптимизация экспериментов за счет использования наиболее подходящей системы рабочего процесса и/или DCI.

Компания SHIWA разработала решения по обеспечению совместимости рабочих процессов для нескольких систем рабочих процессов, а именно ASKALON , ^[9] ДВИГАТЕЛЬ ^[10] Пегас , ^[11] ПГРАД , ^[12] Galaxy, GWES, Kepler, LONI Pipeline, Taverna, ProActive и Triana. ^[13] При этом он предоставит доступ к Grids, построенным на промежуточном программном обеспечении gLite и Globus, для создания сервисов производственного уровня для запуска крупномасштабного моделирования на основе рабочих процессов. Целевое промежуточное программное обеспечение и системы рабочих процессов изображены компонентами с жирными границами на рисунке 1.1.1. В проекте будут использоваться существующие решения по совместимости промежуточного программного обеспечения Grid, обеспечивающие доступ к Gridм на базе gLite и Globus, таким как Austrian Grid, D-Grid, EGEE и NGS. Консорциум проекта также рассмотрит возможность поддержки поддерживаемого EMI Advanced Resource Connector (ARC) Nordugrid. ^[14] и Юникор.

Партнеры проекта

Институт компьютерных наук и управления (SZTAKI) Венгерской академии наук
Университет Инсбрука
Шарите - Университетская медицина в Берлине
Французский национальный центр научных исследований
Вестминстерский университет
Кардиффский университет
Академический медицинский центр Амстердамского университета
Университет Южной Калифорнии

Субподрядчики

АктивЭон САС
МААТ Франция
ООО «Корреляционные системы»
ETH Цюрих, Институт биологии молекулярных систем
Национальный исследовательский совет, Институт биомедицинских технологий

Ссылки

Официальная веб-страница

http://www.erflow.eu/

Внешние ссылки

МТА СЗТАКИ Лаборатория параллельных и распределенных систем

[FOOTNOTENiederbergerMextorf2005-1] Нидербергер и Мексторф (2005) .

[FOOTNOTEEGEEn.d.-2] EGEE (nd) .

[FOOTNOTEGentzsch2006-3] Генч (2006) .

[FOOTNOTENGSn.d.-4] НГС (nd) .

[FOOTNOTETeraGridn.d.-5] TeraGrid (nd) .

[FOOTNOTEFoster2006-6] Фостер (2006) .

[FOOTNOTEgLiten.d.-7] Lite (nd) .

[FOOTNOTEErwinSnelling2002-8] Эрвин и Снеллинг (2002) .

[FOOTNOTEFahringer,_et_al.2005-9] Фарингер и др. (2005) .

[FOOTNOTEGlatard,_et_al.2008-10] Глатхард и др. (2008) .

[FOOTNOTEDeelman2005-11] Дилман (2005) .

[FOOTNOTEKacsuk,_et_al.2003-12] Качук и др. (2003) .

[FOOTNOTEMajithia_et_al.2004-13] Маджития и др. (2004) .

[FOOTNOTEM.Ellert2007-14] М. Эллерт (2007) .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]