Интерфейс передачи сообщений

Интерфейс передачи сообщений ( MPI ) — это стандартизированный и переносимый стандарт передачи сообщений, предназначенный для работы в параллельных вычислительных архитектурах . Стандарт MPI определяет синтаксис и семантику библиотечных процедур , которые полезны широкому кругу пользователей, пишущих переносимые программы передачи сообщений на C , C++ и Fortran . Существует несколько с открытым исходным кодом MPI реализаций , которые способствовали развитию индустрии параллельного программного обеспечения и стимулировали разработку портативных и масштабируемых крупномасштабных параллельных приложений.

История

Разработка интерфейса для передачи сообщений началась летом 1991 года, когда небольшая группа исследователей начала дискуссии на горном курорте в Австрии. Результатом этой дискуссии стал семинар по стандартам передачи сообщений в среде с распределенной памятью, состоявшийся 29–30 апреля 1992 года в Вильямсбурге, штат Вирджиния . Участники Вильямсбурга обсудили основные функции, необходимые для стандартного интерфейса передачи сообщений, и создали рабочую группу для продолжения процесса стандартизации. Джек Донгарра , Тони Хей и Дэвид У. Уокер выдвинули предварительный проект предложения «MPI1» в ноябре 1992 года. В ноябре 1992 года в Миннеаполисе состоялось заседание рабочей группы MPI, на котором было решено поставить процесс стандартизации на более высокий уровень. формальная основа. Рабочая группа MPI собиралась каждые 6 недель в течение первых 9 месяцев 1993 года. Проект стандарта MPI был представлен на конференции Supercomputing '93 в ноябре 1993 года. После периода публичных комментариев, которые привели к некоторым изменениям в MPI, в июне 1994 года была выпущена версия 1.0 MPI. Эти встречи и обсуждение по электронной почте вместе образовали Форум MPI, членство в котором было открыто для всех членов высокого уровня . сообщество производительных вычислений .

В работе MPI приняли участие около 80 человек из 40 организаций, в основном в США и Европе. Большинство крупных производителей одновременных компьютеров приняли участие в проекте MPI, сотрудничая с исследователями из университетов, правительственных лабораторий и промышленности .

MPI предоставляет производителям параллельного оборудования четко определенный базовый набор подпрограмм, которые можно эффективно реализовать. В результате производители аппаратного обеспечения могут использовать этот набор стандартных низкоуровневых процедур для создания процедур более высокого уровня для среды связи с распределенной памятью, поставляемой с их параллельными машинами . MPI предоставляет простой в использовании портативный интерфейс для обычного пользователя, но при этом достаточно мощный, чтобы позволить программистам использовать высокопроизводительные операции передачи сообщений, доступные на продвинутых машинах.

Стремясь создать универсальный стандарт передачи сообщений, исследователи не основывали его на одной системе, а включили в него наиболее полезные функции нескольких систем, в том числе разработанных IBM, Intel , nCUBE , PVM, Express, P4 и PARMACS. . Парадигма передачи сообщений привлекательна благодаря широкой переносимости и может использоваться для связи для мультипроцессоров с распределенной и общей памятью, сетей рабочих станций и комбинаций этих элементов. Эту парадигму можно применять в различных условиях, независимо от скорости сети или архитектуры памяти.

Поддержка совещаний MPI частично осуществлялась DARPA США и Национальным научным фондом (NSF) в рамках гранта ASC-9310330, соглашения о сотрудничестве Центра науки и технологий NSF номер CCR-8809615, а также Европейской комиссией через проект Esprit P6643. Университет Теннесси также внес финансовый вклад в Форум MPI.

Обзор

MPI — это протокол связи для программирования. параллельные компьютеры . Поддерживается как двухточечная, так и коллективная связь. MPI «представляет собой интерфейс прикладного программиста для передачи сообщений вместе с протокольными и семантическими спецификациями того, как его функции должны вести себя в любой реализации». Целями MPI являются высокая производительность, масштабируемость и переносимость. MPI остается доминирующей моделью, используемой сегодня в высокопроизводительных вычислениях .

MPI не одобрен каким-либо крупным органом по стандартизации; тем не менее, он стал де-факто стандартом для взаимодействия между процессами, которые моделируют параллельную программу , работающую в системе с распределенной памятью . Настоящие суперкомпьютеры с распределенной памятью, такие как компьютерные кластеры, часто запускают такие программы.

Основная модель MPI-1 не имеет концепции общей памяти , а MPI-2 имеет только ограниченную концепцию распределенной общей памяти . Тем не менее, программы MPI регулярно запускаются на компьютерах с общей памятью, и как MPICH , так и Open MPI могут использовать общую память для передачи сообщений, если она доступна. Разработка программ на основе модели MPI (в отличие от явных моделей общей памяти ) имеет преимущества при работе на архитектурах NUMA , поскольку MPI поощряет локальность памяти . Явное программирование общей памяти было представлено в MPI-3.

Хотя MPI относится к уровням 5 и выше эталонной модели OSI , реализации могут охватывать большинство уровней, при этом сокеты и протокол управления передачей на транспортном уровне используются (TCP).

Большинство реализаций MPI состоят из определенного набора подпрограмм, которые можно напрямую вызывать из C , C++ , Fortran (т. е. API) и любого языка, способного взаимодействовать с такими библиотеками, включая C# , Java или Python . Преимущества MPI перед более старыми библиотеками передачи сообщений заключаются в переносимости (поскольку MPI реализован практически для каждой архитектуры распределенной памяти) и скорости (поскольку каждая реализация в принципе оптимизирована для оборудования, на котором она работает).

MPI использует языко-независимые спецификации (LIS) для вызовов и языковых привязок. Первый стандарт MPI определял привязки ANSI C и Fortran-77 вместе с LIS. Проект был представлен на Supercomputing 1994 (ноябрь 1994 г.). и вскоре после этого был завершен. Около 128 функций составляют стандарт MPI-1.3, который был выпущен как заключительная часть серии MPI-1 в 2008 году.

В настоящее время стандарт имеет несколько версий: версия 1.3 (обычно сокращенно MPI-1 ), в которой особое внимание уделяется передаче сообщений и имеет статическую среду выполнения, MPI-2.2 (MPI-2), которая включает в себя новые функции, такие как параллельный ввод-вывод, динамическое управление процессами и удаленные операции с памятью, и MPI-3.1 (MPI-3), который включает расширения коллективных операций с неблокирующими версиями и расширения односторонних операций. LIS MPI-2 определяет более 500 функций и обеспечивает привязки языков для ISO C , ISO C++ и Fortran 90 . Также была добавлена ​​совместимость объектов, чтобы упростить программирование передачи сообщений на смешанных языках. Побочным эффектом стандартизации MPI-2, завершившейся в 1996 году, стало уточнение стандарта MPI-1 и создание MPI-1.2.

MPI-2 по большей части является расширенным набором MPI-1, хотя некоторые функции устарели. Программы MPI-1.3 по-прежнему работают в реализациях MPI, соответствующих стандарту MPI-2.

MPI-3 включает новые привязки Fortran 2008, но при этом удаляет устаревшие привязки C++, а также множество устаревших подпрограмм и объектов MPI.

MPI часто сравнивают с параллельной виртуальной машиной (PVM), которая представляет собой популярную распределенную среду и систему передачи сообщений, разработанную в 1989 году и которая была одной из систем, обусловивших необходимость стандартной параллельной передачи сообщений. Модели программирования с поточной общей памятью (такие как Pthreads и OpenMP ) и программирование передачи сообщений (MPI/PVM) можно считать взаимодополняющими и время от времени использовались вместе, например, на серверах с несколькими большими узлами с общей памятью.

Функциональность

Интерфейс MPI предназначен для обеспечения необходимой виртуальной топологии, синхронизации и функций связи между набором процессов (которые были сопоставлены с узлами/серверами/экземплярами компьютеров) независимым от языка способом с специфичным для языка синтаксисом (привязками). плюс несколько особенностей языка. Программы MPI всегда работают с процессами, но программисты обычно называют процессы процессорами. Обычно для достижения максимальной производительности каждому процессору (или ядру многоядерной машины) назначается только один процесс. Это назначение происходит во время выполнения через агент, запускающий программу MPI, обычно называемый mpirun или mpiexec.

Функции библиотеки MPI включают, помимо прочего, операции отправки/приема типа «точка-точка», выбор между декартовой или графической топологией логического процесса, обмен данными между парами процессов (операции отправки/приема), объединение частичных результаты вычислений (операции сбора и сокращения), синхронизация узлов (операция барьера), а также получение информации, связанной с сетью, такой как количество процессов в вычислительном сеансе, идентификатор текущего процессора, которому сопоставлен процесс, соседние процессы, доступные в логическая топология и так далее. Операции «точка-точка» бывают синхронными , асинхронными , буферизованными и готовыми формами, что позволяет обеспечить как относительно более сильную, так и более слабую семантику для аспектов синхронизации при отправке рандеву. Многие выдающиеся в большинстве реализаций операции возможны в асинхронном режиме.

Оба MPI-1 и MPI-2 позволяют реализовать реализации, которые перекрывают связь и вычисления, но практика и теория различаются. MPI также определяет потокобезопасные интерфейсы, которые имеют стратегии сцепления и связи , которые помогают избежать скрытого состояния внутри интерфейса. Написать многопоточный MPI-код «точка-точка» относительно легко, и некоторые реализации поддерживают такой код. Многопоточную коллективную связь лучше всего осуществлять с помощью нескольких копий коммуникаторов, как описано ниже.

Концепции

MPI предоставляет несколько функций. Следующие концепции предоставляют контекст для всех этих возможностей и помогают программисту решить, какую функциональность использовать в своих прикладных программах. Четыре из восьми основных концепций MPI уникальны для MPI-2.

Коммуникатор

Объекты Communicator соединяют группы процессов в сеансе MPI. Каждый коммуникатор присваивает каждому содержащемуся в нем процессу независимый идентификатор и упорядочивает содержащиеся в нем процессы в упорядоченной топологии . В MPI также есть явные группы, но они в основном хороши для организации и реорганизации групп процессов перед созданием другого коммуникатора. MPI понимает операции одиночной группы внутрикоммуникатора и двустороннюю связь между коммуникаторами. В MPI-1 наиболее распространены одиночные групповые операции. Двусторонние операции чаще всего появляются в MPI-2, где они включают коллективное общение и динамическое управление в процессе.

Коммуникаторы можно разделить с помощью нескольких команд MPI. Эти команды включают в себя MPI_COMM_SPLIT, где каждый процесс присоединяется к одному из нескольких цветных субкоммуникаторов, заявляя, что имеет этот цвет.

Основы двухточечного соединения

Ряд важных функций MPI предполагает связь между двумя конкретными процессами. Популярным примером является MPI_Send, что позволяет одному указанному процессу отправить сообщение второму указанному процессу. Операции «точка-точка», как их называют, особенно полезны при шаблонной или нерегулярной связи, например, в архитектуре с параллельными данными , в которой каждый процессор регулярно обменивается областями данных с определенными другими процессорами между этапами вычислений, или в мастер-процессах. ведомая архитектура, в которой ведущий отправляет подчиненному устройству новые данные задачи всякий раз, когда завершается предыдущая задача.

MPI-1 определяет механизмы как для блокирующих , так и для неблокирующих механизмов связи «точка-точка», а также так называемый механизм «готовой отправки», при котором запрос на отправку может быть сделан только тогда, когда соответствующий запрос на получение уже сделан. .

Коллективные основы

Коллективные функции включают взаимодействие между всеми процессами в группе процессов (что может означать весь пул процессов или определенное программой подмножество). Типичная функция – это MPI_Bcastзвонок (сокращение от « трансляция »). Эта функция берет данные с одного узла и отправляет их всем процессам в группе процессов. Обратная операция – это MPI_Reduce вызов, который берет данные от всех процессов в группе, выполняет операцию (например, суммирование) и сохраняет результаты на одном узле. MPI_Reduce часто бывает полезен в начале или конце больших распределенных вычислений, где каждый процессор обрабатывает часть данных, а затем объединяет их в результат.

Другие операции выполняют более сложные задачи, такие как MPI_Alltoall который переупорядочивает n элементов данных так, что n- й узел получает от каждого n- й элемент данных.

Производные типы данных

Многие функции MPI требуют указания типа данных, которые передаются между процессами. Это связано с тем, что MPI направлен на поддержку гетерогенных сред, в которых типы могут быть представлены по-разному на разных узлах. (например, они могут использовать разные архитектуры ЦП с разным порядком байтов ), и в этом случае реализации MPI могут выполнять преобразование данных . Поскольку язык C не позволяет передавать тип в качестве параметра, MPI предопределяет константы. MPI_INT, MPI_CHAR, MPI_DOUBLE переписываться с int, char, double, и т. д.

Вот пример на C, который передает массивы ints от всех процессов к одному. Один принимающий процесс называется «корневым» процессом, и это может быть любой назначенный процесс, но обычно это процесс 0. Все процессы запрашивают отправку своих массивов в корень с помощью MPI_Gather, что эквивалентно вызову каждого процесса (включая сам корень) MPI_Send и корень составляет соответствующее количество упорядоченных MPI_Recv вызовы для сборки всех этих массивов в один больший:

интервал   send_array  [  100  ]; 
  int   корень   =   0  ;    /* или что-то еще */ 
 int   num_procs  ,   *  Recv_array  ; 
  MPI_Comm_size  (  comm  и   )  num_procs  ; 
  Recv_array   =   malloc  (  num_procs   *   sizeof  (  send_array  )); 
  MPI_Gather  (  send_array  ,   sizeof  (  send_array  )   /   sizeof  (  *  send_array  ),   MPI_INT  , 
            Recv_array  ,   sizeof  (  send_array  )   /   sizeof  (  *  send_array  ),   MPI_INT  , 
            root  ,   comm  ); 

Однако вместо этого вы можете захотеть отправить данные одним блоком, а не 100. intс. Для этого определите производный тип данных «непрерывный блок»:

MPI_Datatype   новый тип  ; 
  MPI_Type_contigious  (  100  ,   MPI_INT  и   ;  newtype  ) 
  MPI_Type_commit  (  &  новый тип  ); 
  MPI_Gather  (  массив  ,   1  ,   новый тип  ,   get_array  ,   1  ,   новый тип  ,   корень  ,   связь  ); 

Для передачи класса или структуры данных, MPI_Type_create_struct создает производный тип данных MPI из MPI_predefined типы данных, а именно:

int   MPI_Type_create_struct  (  int   count  , 
                            int   *  blocklen  , 
                            MPI_Aint   *  disp  , 
                            MPI_Datatype   *  type  , 
                            MPI_Datatype   *  newtype  ) 

где:

• count представляет собой количество блоков и определяет длину (в элементах) массивов. blocklen, disp, и type.
• blocklen содержит количество элементов в каждом блоке,
• disp содержит байтовые смещения каждого блока,
• type содержит типы элементов в каждом блоке.
• newtype (выходные данные) содержит новый производный тип, созданный этой функцией

The dispМассив (смещения) необходим для выравнивания структуры данных , поскольку компилятор может дополнять переменные в классе или структуре данных. Самый безопасный способ найти расстояние между различными полями — получить их адреса в памяти. Это делается с MPI_Get_address, что обычно совпадает с C & оператор, но это может быть неверно при работе с сегментацией памяти .

Передача структуры данных в виде одного блока происходит значительно быстрее, чем передача одного элемента за раз, особенно если операцию необходимо повторить. Это связано с тем, что блоки фиксированного размера не требуют сериализации во время передачи.

Учитывая следующие структуры данных:

структура   А   { 
     интервал   ж  ; 
      короткий    п 
  }; 

  структура   B   { 
     структура   А   а  ; 
      интервал   пп  ,   вп  ; 
  }; 

Вот код C для создания типа данных, производного от MPI:

static   const   int   Blocklen  []   =   {  1  ,   1  ,   1  ,   1  }; 
  static   const   MPI_Aint   disp  []   =   { 
     offsetof  (  struct   B  ,   a  )   +   offsetof  (  struct   A  ,   f  ), 
     offsetof  (  struct   B  ,   a  )   +   offsetof  (  struct   A  ,   p  ), 
     offsetof  (  struct   B  ,   pp  ), 
     offsetof  (  структура   B  ,   vp  ) 
 }; 
  статический   MPI_Datatype   тип  []   =   {  MPI_INT  ,   MPI_SHORT  ,   MPI_INT  ,   MPI_INT  }; 
  MPI_Datatype   новый тип  ; 
  MPI_Type_create_struct  (  sizeof  (  type  )   /   sizeof  (  *  type  ),   blocklen  ,   disp  ,   type  и   newtype  ;  ) 
  MPI_Type_commit  (  &  новый тип  ); 

Концепции MPI-2

Одностороннее общение

MPI-2 определяет три односторонние операции связи: MPI_Put, MPI_Get, и MPI_Accumulate, то есть запись в удаленную память, чтение из удаленной памяти и операция сокращения одной и той же памяти для ряда задач соответственно. Также определены три различных метода синхронизации этой связи (глобальная, парная и удаленная блокировки), поскольку спецификация не гарантирует, что эти операции были выполнены до точки синхронизации.

Эти типы вызовов часто могут быть полезны для алгоритмов, в которых синхронизация была бы неудобной (например, умножение распределенных матриц ) или где желательно, чтобы задачи могли балансировать свою нагрузку, пока другие процессоры работают с данными.

Динамическое управление процессами

Ключевым аспектом является «способность процесса MPI участвовать в создании новых процессов MPI или устанавливать связь с процессами MPI, которые были запущены отдельно». Спецификация MPI-2 описывает три основных интерфейса, с помощью которых процессы MPI могут динамически устанавливать связь: MPI_Comm_spawn, MPI_Comm_accept/ MPI_Comm_connect и MPI_Comm_join. MPI_Comm_spawnИнтерфейс позволяет процессу MPI создавать несколько экземпляров именованного процесса MPI. Недавно созданный набор процессов MPI образует новый MPI_COMM_WORLD интракоммуникатор, но может взаимодействовать с родителем и интеркоммуникатором, который возвращает функция. MPI_Comm_spawn_multiple — это альтернативный интерфейс, который позволяет различным создаваемым экземплярам быть разными двоичными файлами с разными аргументами.

Ввод/

Функцию параллельного ввода-вывода иногда называют MPI-IO. и относится к набору функций, предназначенных для абстрагирования управления вводом-выводом в распределенных системах от MPI и обеспечения легкого доступа к файлам шаблонным способом с использованием существующих функций производных типов данных.

Небольшое исследование, проведенное по этой функции, показывает, что получить высокий прирост производительности с помощью MPI-IO может быть непросто. Например, реализация разреженного матрично-векторного умножения с использованием библиотеки ввода-вывода MPI демонстрирует в целом незначительный прирост производительности, но эти результаты неубедительны. Не было пока идея коллективного ввода-вывода реализованный в MPI-IO, MPI-IO начал получать широкое распространение. Коллективный ввод-вывод существенно увеличивает пропускную способность приложений, заставляя процессы коллективно преобразовывать небольшие и несмежные операции ввода-вывода в большие и последовательные, тем самым уменьшая накладные расходы на блокировку и поиск на диске. Благодаря своим огромным преимуществам в производительности MPI-IO также стал базовым уровнем ввода-вывода для многих современных библиотек ввода-вывода, таких как HDF5 и Parallel NetCDF . Его популярность также послужила толчком к исследованию коллективных оптимизаций ввода-вывода, таких как ввод-вывод с учетом макета. и межфайловое агрегирование.

Официальные реализации

• Первоначальной реализацией стандарта MPI 1.x был MPICH от Аргоннской национальной лаборатории (ANL) и Университета штата Миссисипи . IBM также была одним из первых разработчиков, и большинство суперкомпьютерных компаний начала 90-х годов либо коммерциализировали MPICH, либо создали свои собственные реализации. LAM/MPI от Суперкомпьютерного центра Огайо был еще одной ранней открытой реализацией. ANL продолжает разработку MPICH более десяти лет и теперь предлагает MPICH-3.2, реализуя стандарт MPI-3.1.
• Open MPI (не путать с OpenMP ) образовался в результате слияния FT-MPI, LA-MPI, LAM/MPI и PACX-MPI и встречается во многих ТОП-500 суперкомпьютерах .

Многие другие разработки являются производными от MPICH, LAM и других разработок, включая, помимо прочего, коммерческие реализации от HPE , Intel , Microsoft и NEC .

Хотя спецификации требуют наличия интерфейса C и Fortran, язык, используемый для реализации MPI, не ограничен соответствием языку или языкам, которые он стремится поддерживать во время выполнения. Большинство реализаций сочетают в себе C, C++ и язык ассемблера и предназначены для программистов C, C++ и Fortran. Привязки доступны для многих других языков, включая Perl, Python, R, Ruby, Java и CL (см. #Languagebindings ).

ABI реализаций MPI примерно разделен между производными MPICH и Open MPI , так что библиотека из одного семейства работает как замена библиотеки из того же семейства, но прямая замена между семействами невозможна. Французский CEA поддерживает интерфейс-оболочку для облегчения таких переключений.

Аппаратное обеспечение

Исследования аппаратного обеспечения MPI сосредоточены на реализации MPI непосредственно в аппаратном обеспечении, например, посредством процессора в памяти , встраивая операции MPI в микросхемы микросхем ОЗУ в каждом узле. Подразумевается, что этот подход не зависит от языка, операционной системы и процессора, но его нельзя легко обновить или удалить.

Другой подход заключался в добавлении аппаратного ускорения к одной или нескольким частям операции, включая аппаратную обработку очередей MPI и использование RDMA для прямой передачи данных между памятью и контроллером сетевого интерфейса без вмешательства ЦП или ядра ОС.

Обертки компилятора

mpicc (и аналогично mpic++ , mpif90 и т. д.) — это программа, которая оборачивает существующий компилятор для установки необходимых флагов командной строки при компиляции кода, использующего MPI. Обычно он добавляет несколько флагов, которые позволяют скомпилировать код и связать его с библиотекой MPI.

Языковые привязки

Привязки — это библиотеки, которые расширяют поддержку MPI на другие языки, оборачивая существующую реализацию MPI, такую ​​как MPICH или Open MPI.

Общеязыковая

Две управляемые реализации Common Language Infrastructure .NET — это Pure Mpi.NET. и MPI.NET, исследовательская работа в Университете Индианы, лицензированная по лицензии BSD . Он совместим с Mono и может в полной мере использовать базовые сетевые структуры MPI с малой задержкой.

Ява

Хотя Java не имеет официальной привязки MPI, несколько групп пытаются соединить их с разной степенью успеха и совместимости. Одной из первых попыток была mpiJava Брайана Карпентера. по сути, это набор оболочек Java Native Interface (JNI) для локальной библиотеки C MPI, что приводит к гибридной реализации с ограниченной переносимостью, которую также необходимо скомпилировать с использованием конкретной используемой библиотеки MPI.

Однако этот оригинальный проект также определил API mpiJava. ( де-факто MPI API для Java, который точно соответствует эквивалентным привязкам C++), который был принят другими последующими проектами Java MPI. Одним из менее используемых API является MPJ API, который был разработан как более объектно-ориентированный и ближе к соглашениям о кодировании Sun Microsystems . Помимо API, библиотеки Java MPI могут либо зависеть от локальной библиотеки MPI, либо реализовывать функции передачи сообщений в Java, в то время как некоторые, такие как P2P-MPI, также обеспечивают одноранговую функциональность и позволяют работать на смешанной платформе.

Некоторые из наиболее сложных частей Java/MPI возникают из-за таких характеристик Java, как отсутствие явных указателей и линейное адресное пространство памяти для объектов, что делает передачу многомерных массивов и сложных объектов неэффективной. Обходные пути обычно включают передачу одной строки за раз и/или выполнение явной десериализации и приведения типов как на отправительной, так и на принимающей стороне, моделирование массивов, подобных C или Fortran, с использованием одномерного массива и указателей на примитивные типы с помощью использование одноэлементных массивов, что приводит к тому, что стили программирования весьма далеки от соглашений Java.

Другая система передачи сообщений Java — MPJ Express. Последние версии могут быть выполнены в кластерных и многоядерных конфигурациях. В конфигурации кластера он может выполнять параллельные приложения Java в кластерах и облаках. Здесь сокеты Java или специализированные соединения ввода-вывода, такие как Myrinet, могут поддерживать обмен сообщениями между процессами MPJ Express. Он также может использовать собственную реализацию MPI на языке C, используя свое собственное устройство. В многоядерной конфигурации параллельное Java-приложение выполняется на многоядерных процессорах. В этом режиме процессы MPJ Express представлены потоками Java.

Julia

существует языковая оболочка Julia . Для MPI

МАТЛАБ

Существует несколько академических реализаций MPI с использованием MATLAB . MATLAB имеет собственную библиотеку параллельных расширений, реализованную с использованием MPI и PVM .

OCaml

Модуль OCamlMPI реализует большое подмножество функций MPI и активно используется в научных вычислениях. из 11 000 строк Программа OCaml была «модифицирована с помощью MPI» с использованием этого модуля, с дополнительными 500 строками кода и небольшой реструктуризацией и работала с отличными результатами на 170 узлах суперкомпьютера.

ПАРИ/GP

PARI/GP может быть построен использовать MPI в качестве многопоточного механизма, позволяющего запускать параллельные программы PARI и GP на кластерах MPI без изменений.

Питон

Реализации MPI в Python включают: pyMPI , mpi4py, пипар, МИМПИ, и подмодуль MPI в ScientificPython . pyMPI примечателен тем, что это вариант интерпретатора Python, тогда как pypar, MYMPI и модуль ScientificPython являются модулями импорта. Они возлагают на программиста задачу решить, куда следует обращаться. MPI_Init принадлежит.

В 2006 году Библиотеки Boost C++ приобрели Boost:MPI, который включал привязки MPI Python. Это особенно полезно при смешивании C++ и Python. По состоянию на октябрь 2016 г. Boost: привязки Python MPI по-прежнему имеют неисправленные ошибки упаковки в CentOS .

Р

R -привязки MPI включают Rmpi и пбдМПИ , где Rmpi ​​фокусируется на менеджер-работник параллелизме , а pbdMPI фокусируется на параллелизме SPMD . Обе реализации полностью поддерживают Open MPI или MPICH2 .

Пример программы

Вот «Привет, мир!» программа на MPI, написанная на C. В этом примере мы отправляем сообщение «привет» каждому процессору, манипулируем им тривиально, возвращаем результаты основному процессу и печатаем сообщения.

/* 
 Тестовая программа MPI «Hello World» 
 */ 
 #include   <assert.h> 
 #include   <stdio.h> 
 #include   <string.h> 
 #include   <mpi.h> 

 int   main  (  int   argc  ,   char   **  argv  ) 
 { 
     char   buf  [  256  ]; 
      int   my_rank  ,   num_procs  ; 

      /* Инициализируем инфраструктуру, необходимую для связи */ 
     MPI_Init  (  &  argc  ,   &  argv  ); 

      /* Идентифицируем этот процесс */ 
     MPI_Comm_rank  (  MPI_COMM_WORLD  ,   &  my_rank  ); 

      /* Узнайте, сколько всего процессов активно */ 
     MPI_Comm_size  (  MPI_COMM_WORLD  ,   &  num_procs  ); 

      /* До этого момента все программы работали одинаково. 
 чтобы различать роли программ */ 
     if   (  my_rank   ==   0  )   { 
         intother_rank   ;   Здесь мы проверяем ранг , 
          printf  (  "У нас есть процессы %i.  \n  "  ,   num_procs  ); 

          /* Отправляем сообщения всем остальным процессам */ 
         for   (  other_rank   =   1  ;   other_rank   <   num_procs  ;   other_rank  ++  ) 
         { 
             sprintf  (  buf  ,   "Hello %i!"  ,   other_rank  ); 
              MPI_Send  (  buf  ,   256  ,   MPI_CHAR  ,   other_rank  , 
                      0  ,   MPI_COMM_WORLD  ); 
          } 

         /* Получаем сообщения от всех остальных процессов */ 
         for   (  other_rank   =   1  ;   other_rank   <   num_procs  ;   other_rank  ++  ) 
         { 
             MPI_Recv  (  buf  ,   256  ,   MPI_CHAR  ,   other_rank  , 
                      0  ,   MPI_COMM_WORLD  ,   MPI_STATUS_IGNORE  ); 
              printf  (  "%s  \n  "  ,   buf  ); 
          } 

     }  else   { 

         /* Получаем сообщение от процесса №0 */ 
         MPI_Recv  (  buf  ,   256  ,   MPI_CHAR  ,   0  , 
                  0  ,   MPI_COMM_WORLD  ,   MPI_STATUS_IGNORE  ); 
          Assert  (  memcmp  (  buf  ,   «Привет»  ,   6  )   ==   0  ); 

          /* Отправляем сообщение процессу №0 */ 
         sprintf  (  buf  ,   "Процесс %i явился на дежурство."  ,   my_rank  ); 
          MPI_Send  (  buf  ,   256  ,   MPI_CHAR  ,   0  , 
                  0  ,   MPI_COMM_WORLD  ); 

      } 

     /* Разрушение коммуникационной инфраструктуры */ 
     MPI_Finalize  (); 
      вернуть   0  ; 
  } 

При запуске с четырьмя процессами он должен выдать следующий результат:

$ mpicc example.c && mpiexec -n 4 ./a.out
 У нас есть 4 процесса.
 Процесс 1 отчетность по дежурству.
 Процесс 2 – отчет о дежурстве.
 Процесс 3 – отчетность по дежурству.
 

Здесь, mpiexec — это команда, используемая для выполнения примера программы с 4 процессами , каждый из которых является независимым экземпляром программы во время выполнения и имеет присвоенные ранги (т. е. числовые идентификаторы) 0, 1, 2 и 3. Имя mpiexec рекомендуется стандартом MPI, хотя некоторые реализации предоставляют аналогичную команду под названием mpirun. MPI_COMM_WORLD является коммуникатором, состоящим из всех процессов.

Таким образом, модель программирования «одна программа и несколько данных» ( SPMD ) облегчается, но не является обязательной; многие реализации MPI позволяют запускать несколько разных исполняемых файлов в одном задании MPI. Каждый процесс имеет свой собственный ранг, общее количество процессов в мире и возможность взаимодействия между ними либо посредством двухточечной связи (отправка/получение), либо посредством коллективной связи между группой. MPI достаточно предоставить программе в стиле SPMD MPI_COMM_WORLD, собственный ранг и размер мира, позволяющие алгоритмам решать, что делать. В более реалистичных ситуациях ввод-вывод управляется более тщательно, чем в этом примере. MPI не определяет, как стандартный ввод-вывод (stdin, stdout, stderr) должен работать в данной системе. Обычно он работает так, как и ожидалось, в процессе ранга 0, а некоторые реализации также захватывают и направляют выходные данные других процессов.

MPI использует понятие процесса, а не процессора. Копии программ сопоставляются MPI с процессорами средой выполнения . В этом смысле параллельная машина может соответствовать одному физическому процессору или N процессорам, где N — количество доступных процессоров, или даже чему-то промежуточному. Для максимального ускорения параллельного выполнения используется больше физических процессоров. В этом примере его поведение адаптируется к размеру мира N , поэтому он также пытается масштабироваться до конфигурации среды выполнения без компиляции для каждого варианта размера, хотя решения во время выполнения могут варьироваться в зависимости от этого абсолютного объема доступного параллелизма.

2

Принятие MPI-1.2 было универсальным, особенно в кластерных вычислениях, но принятие MPI-2.1 было более ограниченным. Проблемы включают в себя:

1. Реализации MPI-2 включают ввод-вывод и динамическое управление процессами, а размер промежуточного программного обеспечения существенно больше. Большинство сайтов, использующих системы пакетного планирования, не могут поддерживать динамическое управление процессами. Параллельный ввод-вывод MPI-2 хорошо принят.
2. Многие программы MPI-1.2 были разработаны до MPI-2. Проблемы с переносимостью первоначально замедлили внедрение, хотя более широкая поддержка уменьшила этот эффект.
3. Многие приложения MPI-1.2 используют только подмножество этого стандарта (16–25 функций) без реальной необходимости в функциональности MPI-2.

Будущее

Некоторые аспекты будущего MPI кажутся убедительными; другие в меньшей степени. Форум MPI вновь собрался в 2007 году, чтобы прояснить некоторые проблемы MPI-2 и изучить разработки для возможного MPI-3, в результате чего были созданы версии MPI-3.0 (сентябрь 2012 г.) и MPI-3.1 (июнь 2015 г.).

Архитектуры меняются: увеличивается внутренний параллелизм ( многоядерность ), улучшается детальный контроль параллелизма (потоки, сходство) и появляется больше уровней иерархии памяти . Многопоточные программы могут легче воспользоваться преимуществами этих разработок, чем однопоточные приложения. Это уже привело к появлению отдельных дополнительных стандартов для симметричной многопроцессорной обработки , а именно OpenMP . MPI-2 определяет, как реализации, соответствующие стандартам, должны решать проблемы многопоточности, но не требует, чтобы реализации были многопоточными или даже потокобезопасными. MPI-3 добавляет возможность использовать параллелизм с общей памятью внутри узла. Реализации MPI, такие как адаптивный MPI, гибридный MPI, мелкозернистый MPI, MPC и другие, предлагают расширения стандарта MPI, которые решают различные проблемы MPI.

Астрофизик Джонатан Дурси написал статью, в которой назвал MPI устаревшим, указав на новые технологии, такие как язык Chapel , Unified Parallel C , Hadoop , Spark и Flink . В то же время почти все проекты Exascale Computing Project основаны исключительно на MPI; В начале 2020-х годов было показано, что MPI масштабируется до самых больших машин, и многие считают, что он останется актуальным еще долгое время.

См. также

• Модель актера
• Массовая синхронная параллель
• Космический куб Калифорнийского технологического института
• Очарование++
• Совместный массив Фортран
• Глобальные массивы
• Интерфейс передачи сообщений Microsoft
• МВАПИЧ
• OpenHMPP
• Параллельная виртуальная машина (PVM)
• Разделенное глобальное адресное пространство
• Унифицированный параллельный C
• X10 (язык программирования)

Дальнейшее чтение

• Эта статья основана на материалах, взятых из интерфейса передачи сообщений в Бесплатном онлайн-словаре вычислительной техники до 1 ноября 2008 г. и включенных в соответствии с условиями «повторного лицензирования» GFDL версии 1.3 или более поздней.
• Аояма, Юкия; Накано, июнь (1999) RS/6000 SP: Практическое программирование MPI , ITSO
• Фостер, Ян (1995) Проектирование и создание параллельных программ (онлайн) Аддисон-Уэсли ISBN   0-201-57594-9 , глава 8. Интерфейс передачи сообщений.
• Виджесурия, Вирадж Брайан (29 декабря 2010 г.) Daniweb: Пример кода для умножения матриц с использованием подхода параллельного программирования MPI
• Использование серии MPI:
  • Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (1994). Использование MPI: портативное параллельное программирование с интерфейсом передачи сообщений . Кембридж, Массачусетс, США: MIT Press Серия научных и инженерных вычислений . ISBN  978-0-262-57104-3 .
  • Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (1999a). Использование MPI, 2-е издание: Портативное параллельное программирование с интерфейсом передачи сообщений . Кембридж, Массачусетс, США: MIT Press Серия научных и инженерных вычислений . ISBN  978-0-262-57132-6 .
  • Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (1999b). Использование MPI-2: расширенные возможности интерфейса передачи сообщений . МТИ Пресс . ISBN  978-0-262-57133-3 .
  • Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (2014). Использование MPI, 3-е издание: Портативное параллельное программирование с интерфейсом передачи сообщений . Кембридж, Массачусетс, США: MIT Press Серия научных и инженерных вычислений . ISBN  978-0-262-52739-2 .
• Гропп, Уильям; Ласк, Юинг; Скьеллум, Энтони (1996). «Высокопроизводительная портативная реализация интерфейса передачи сообщений MPI». Параллельные вычисления . 22 (6): 789–828. CiteSeerX   10.1.1.102.9485 . дои : 10.1016/0167-8191(96)00024-5 .
• Пачеко, Питер С. (1997) Параллельное программирование с помощью MPI . [1] 500 стр. Морган Кауфманн. ISBN   1-55860-339-5 .
• MPI — серия «Полный справочник» :
  • Снир, Марк; Отто, Стив В.; Хасс-Ледерман, Стивен; Уокер, Дэвид В.; Донгарра, Джек Дж. (1995) MPI: Полный справочник . MIT Press Кембридж, Массачусетс, США. ISBN   0-262-69215-5
  • Снир, Марк; Отто, Стив В.; Хасс-Ледерман, Стивен; Уокер, Дэвид В.; Донгарра, Джек Дж. (1998) MPI — Полный справочник: Том 1, Ядро MPI . MIT Press, Кембридж, Массачусетс. ISBN   0-262-69215-5
  • Гропп, Уильям; Хасс-Ледерман, Стивен; Ламсдейн, Эндрю; Ласк, Юинг; Ницберг, Билл; Сапфир, Уильям; и Снир, Марк (1998) MPI — Полный справочник: Том 2, Расширения MPI-2 . MIT Press, Кембридж, Массачусетс ISBN   978-0-262-57123-4
• Фирузиаан, Мохаммед; Номменсен, О. (2002) Параллельная обработка через MPI и OpenMP , Linux Enterprise, 10/2002.
• Ваннески, Марко (1999) Параллельные парадигмы для научных вычислений в трудах Европейской школы вычислительной химии (1999, Перуджа, Италия), номер 75 в конспектах лекций по химии , страницы 170–183. Спрингер, 2000 г.
• Бала, Брук, Сайфер, Элустондо, А. Хо, К. Т. Хо, Кипнис, Снир (1995) « Портативная и настраиваемая библиотека коллективного общения для масштабируемых параллельных компьютеров » в «Транзакциях IEEE в параллельных и распределенных системах», т. 6, № 2 , стр. 154–164, февраль 1995 г.

Внешние ссылки

• Официальный веб-сайт
• Официальный стандарт MPI-3.1 ( неофициальная версия HTML )
• Интерфейс передачи сообщений в Curlie
• Учебное пособие по MPI: интерфейс передачи сообщений
• Руководство пользователя по MPI
• Учебное пособие: Введение в MPI (для самостоятельного обучения, включает самотестирование и упражнения)