Одна программа, несколько данных

В вычислениях одна программа , несколько данных ( SPMD ) — это термин, который использовался для обозначения вычислительных моделей использования параллелизма , при котором несколько процессоров взаимодействуют при выполнении программы для более быстрого получения результатов.

Термин SPMD был введен в 1983 году и использовался для обозначения двух разных вычислительных моделей:

1. Мишель Оген (Университет Ниццы София-Антиполис) и Франсуа Ларбей (Томсон/Синтра), как подход « разветвления и объединения » и параллельных данных, при котором параллельные задачи («одна программа») разделяются и выполняются одновременно синхронно на нескольких SIMD-процессорах с разными входами, и
2. Фредерика Дарема (IBM), где « (процессоры) все процессы начинают выполнять одну и ту же программу... но посредством директив синхронизации... самопланируют себя для выполнения разных инструкций и обработки разных данных » и позволяют распараллеливать MIMD данной программы, и является более общим подход, чем параллелизм данных , и более эффективен, чем метод fork-and-join, для параллельного выполнения на мультипроцессорах общего назначения.

(IBM) SPMD — это наиболее распространенный стиль параллельного программирования, который можно рассматривать как подкатегорию MIMD, поскольку он относится к MIMD-выполнению заданной («единственной») программы. Это также является предпосылкой для исследовательских концепций, таких как активные сообщения и распределенная общая память .

SPMD против SIMD

Пример «Одна программа, несколько данных».

При параллельном выполнении SPMD несколько автономных процессоров одновременно выполняют одну и ту же программу в независимых точках, а не в синхронном режиме , который SIMD или SIMT навязывают различным данным. С помощью SPMD задачи можно выполнять на процессорах общего назначения . В SIMD одна и та же операция (инструкция) применяется к нескольким данным для управления потоками данных (версия SIMD — это векторная обработка , при которой данные организованы как векторы). Другой класс процессоров, графические процессоры, обеспечивает обработку нескольких потоков SIMD. Обратите внимание, что SPMD и SIMD не являются взаимоисключающими; Параллельное выполнение SPMD может включать SIMD, векторную обработку или подобработку на графическом процессоре. SPMD использовался для параллельного программирования машинной архитектуры как с передачей сообщений, так и с общей памятью.

Распределенная память

В компьютерных архитектурах с распределенной памятью реализации SPMD обычно используют передачи сообщений программирование . Компьютер с распределенной памятью состоит из набора взаимосвязанных независимых компьютеров, называемых узлами. Для параллельного выполнения каждый узел запускает свою собственную программу и взаимодействует с другими узлами, отправляя и получая сообщения, вызывая для этой цели процедуры отправки/получения. Другие директивы распараллеливания, такие как Barrier синхронизация , также могут быть реализованы посредством сообщений. Сообщения могут отправляться с помощью ряда механизмов связи, таких как TCP/IP через Ethernet или специализированных высокоскоростных межсоединений, таких как Myrinet и Supercomputer Interconnect. Для сред с распределенной памятью последовательные разделы программы могут быть реализованы путем идентичного вычисления последовательного раздела на всех узлах, а не путем вычисления результата на одном узле и отправки его другим, если это повышает производительность за счет снижения накладных расходов на связь.

В настоящее время программист изолирован от деталей передачи сообщений с помощью стандартных интерфейсов, таких как PVM и MPI .

Распределенная память — это стиль программирования, используемый на параллельных суперкомпьютерах, от отечественных кластеров Beowulf до крупнейших кластеров Teragrid , а также на современных графических процессоров суперкомпьютерах на базе .

Общая память

На машине с общей памятью (компьютер с несколькими взаимосвязанными процессорами , имеющими доступ к одному и тому же пространству памяти) совместное использование может быть реализовано в контексте либо физически общей памяти, либо логически общей (но физически распределенной) памяти; Помимо общей памяти, процессоры компьютерной системы также могут включать в себя локальную (или частную) память. Для любого из этих контекстов синхронизация может быть включена с помощью аппаратных примитивов (таких как сравнение и замена или выборка и добавление ). Для машин, которые не имеют такой аппаратной поддержки, можно использовать блокировки и «обменять» данные. » между процессорами (или, в более общем плане, процессами или потоками ) путем размещения разделяемых данных в области общей памяти. Когда оборудование не поддерживает разделяемую память, упаковка данных в виде «сообщения» часто является наиболее эффективным способом программирования ( логически) компьютеры с общей памятью с большим количеством процессоров, где физическая память является локальной для процессоров и доступ к памяти другого процессора занимает больше времени. SPMD на машине с общей памятью может быть реализован с помощью стандартных процессов (тяжеловесных) или потоков (облегченных).

с общей памятью Многопроцессорная обработка (как симметричная многопроцессорная обработка , SMP, так и неоднородный доступ к памяти , NUMA) предоставляет программисту общее пространство памяти и возможность распараллеливания выполнения. В модели SPMD (IBM) взаимодействующие процессоры (или процессы) проходят разные пути в программе, используя параллельные директивы ( директивы распараллеливания и синхронизации ), которые могут использовать операции сравнения и замены, а также операции выборки и сложения над переменными синхронизации общей памяти. ) и выполнять операции с данными в общей памяти («общие данные»); процессоры (или процессы) также могут иметь доступ и выполнять операции с данными в своей локальной памяти («частные данные»). В отличие от этого, при использовании подходов fork-and-join программа начинает выполнение на одном процессоре, а выполнение разделяется на параллельную область, которая запускается при обнаружении параллельных директив; в параллельной области процессоры выполняют параллельную задачу с разными данными. Типичным примером является параллельный цикл DO, где разные процессоры работают над отдельными частями массивов, участвующих в цикле. В конце цикла выполнение синхронизируется (с мягкими или жесткими барьерами). ), а процессоры (процессы) переходят к следующему доступному разделу программы для выполнения. (IBM) SPMD был реализован в текущем стандартном интерфейсе многопроцессорной обработки с общей памятью OpenMP , который использует многопоточность, обычно реализуемую облегченными процессами, называемыми потоками .

Сочетание уровней параллелизма

Современные компьютеры позволяют одновременно использовать множество параллельных режимов для достижения максимального совокупного эффекта. Программа с распределенной памятью, использующая MPI, может работать на наборе узлов. Каждый узел может представлять собой компьютер с общей памятью и выполняться параллельно на нескольких процессорах с использованием OpenMP. В каждом ЦП векторные инструкции SIMD (обычно генерируемые автоматически компилятором) и выполнение суперскалярных инструкций (обычно прозрачно обрабатываемые самим ЦП), такие как конвейерная обработка и использование нескольких параллельных функциональных блоков, используются для максимальной скорости одного ЦП.

История

Аббревиатура SPMD, означающая «одна программа, множественные данные», использовалась для описания двух различных вычислительных моделей для использования параллельных вычислений, и это связано с тем, что оба термина являются естественным расширением таксономии Флинна. Две соответствующие группы исследователей не знали об использовании друг другом термина SPMD для независимого описания различных моделей параллельного программирования.

Термин SPMD был впервые предложен в 1983 году Мишелем Огеном (Университет Ниццы, София-Антиполис) и Франсуа Ларби (Томсон/Синтра) в контексте параллельного компьютера OPSILA, а также в контексте параллельных вычислений по принципу разветвления и объединения и обработки данных. модельный подход. Этот компьютер состоял из ведущего (процессора-контроллера) и SIMD-процессоров (или режима векторного процессора, как предложил Флинн). В модели SPMD Огена одна и та же (параллельная) задача (« одна и та же программа ») выполняется на разных (SIMD) процессорах (« работающих в синхронном режиме »). действие на часть («срез») вектора данных. В частности, в своей статье 1985 г. (и аналогично в ) указано: « Мы рассматриваем режим работы SPMD (Одна программа, несколько данных). Этот режим позволяет одновременно выполнять одну и ту же задачу (по одной на процессор), но предотвращает обмен данными между процессорами. Обмен данными осуществляется только в режиме SIMD посредством векторных присвоений. Мы предполагаем, что синхронизация сводится к переключениям (sic) между режимами работы SIMD и SPMD (sic) с использованием глобальных примитивов fork-join ».

Примерно в тот же период (конец 1983 - начало 1984 года) термин SPMD был предложен Фредерикой Дарема (в то время работавшей в IBM и входившей в группу RP3) для определения другой предложенной ею вычислительной модели SMPD: как модель программирования, которая за прошедшие годы была применена к широкому спектру высокопроизводительных компьютеров общего назначения (включая RP3 - 512-процессорный прототип параллельного процессора IBM Research) и привела к нынешним стандартам параллельных вычислений. Модель программирования (IBM) SPMD предполагает наличие множества процессоров, которые работают совместно, выполняя одну и ту же программу, но могут использовать разные пути выполнения программы на основе директив распараллеливания, встроенных в программу; и, в частности, как указано в « все процессы, участвующие в параллельных вычислениях, создаются в начале выполнения и продолжают существовать до конца », (процессоры/процессы) « выполняют разные инструкции и действуют с разными данными », « задание (работа) должно быть выполнено ». выполняемые каждым процессом, распределяются динамически », то есть процессы « самопланируют себя для выполнения разных инструкций и действий с разными данными », таким образом, самоназначаются для совместной работы при выполнении последовательных и параллельных задач (а также репликации задач). в программе. Понятие «процесс» использовалось как обобщение термина «процессор» в том смысле, что на процессоре может выполняться несколько процессов (например, для использования большей степени параллелизма для большей эффективности и балансировки нагрузки). Модель (IBM) SPMD была предложена Даремой как подход, отличный и более эффективный, чем подход «разветвление и объединение», который применялся всеми остальными членами сообщества в то время; она также является более общей, чем просто вычислительная модель с «параллельными данными», и может включать в себя fork&join (в качестве реализации подкатегории). Исходным контекстом SPMD (IBM) был компьютер RP3 (прототип параллельного процессора IBM Research с 512 процессорами), который поддерживал вычисления общего назначения как с распределенной, так и (логически) разделяемой памятью. Модель (IBM) SPMD была реализована Даремой и коллегами из IBM в EPEX (Среда для параллельного выполнения), одной из первых прототипных сред программирования. Эффективность SPMD (IBM) была продемонстрирована для широкого класса приложений. и в 1988 году был реализован в IBM FORTRAN, первый продукт в области параллельного программирования; а также в MPI (1991 г. и позже), OpenMP (1997 г. и позже) и других средах, которые приняли и цитируют вычислительную модель (IBM) SPMD.

К концу 1980-х годов существовало множество распределенных компьютеров с собственными библиотеками передачи сообщений. Первым стандартом SPMD был PVM . Текущий стандарт де-факто — MPI .

Параллельные директивы Cray были прямыми предшественниками OpenMP .

Внешние ссылки

• Параллельное управление заданиями и передача сообщений
• Одна программа, несколько потоков данных. Архивировано 4 июня 2004 г. на Wayback Machine.
• СПМД
• Программирование с распределенной памятью. Архивировано 13 декабря 2013 г. на Wayback Machine.