Кластер Беовульф

Борг, скопление Беовульфа из 52 узлов, используемое Университета Макгилла группой пульсаров для поиска пульсаций двойных пульсаров.

Внешний образ

Оригинальное скопление Беовульф, построенное в 1994 году Томасом Стерлингом и Дональдом Беккером из НАСА . Кластер состоит из 16 настольных компьютеров «белого ящика», каждый из которых оснащен процессором i486 DX4 с тактовой частотой 100 МГц, каждый из которых содержит жесткий диск емкостью 500 МБ и каждый из них имеет 16 МБ оперативной памяти между ними, что в общей сложности дает примерно 8 ГБ фиксированного дискового пространства и 256 МБ оперативной памяти, совместно используемой внутри кластера, и контрольная производительность 500 МФЛОПС .

Кластер Беовульфа — это компьютерный кластер, состоящий из обычно идентичных компьютеров обычного уровня, объединенных в небольшую локальную сеть с установленными библиотеками и программами, которые позволяют распределять обработку между ними. В результате получается высокопроизводительный кластер параллельных вычислений на базе недорогого оборудования персонального компьютера .

Первоначально «Беовульф» имел в виду конкретный компьютер, созданный в 1994 году Томасом Стерлингом и Дональдом Беккером в НАСА . Они назвали его в честь древнеанглийской эпической поэмы «Беовульф» .

Ни одна конкретная часть программного обеспечения не определяет кластер как Беовульф. Обычно только бесплатное программное обеспечение с открытым исходным кодом используется , как для экономии средств, так и для обеспечения возможности настройки. Большинство кластеров Beowulf работают под управлением Unix-подобной операционной системы, такой как BSD , Linux или Solaris . Обычно используемые библиотеки параллельной обработки включают интерфейс передачи сообщений (MPI) и параллельную виртуальную машину (PVM). Оба они позволяют программисту разделить задачу между группой сетевых компьютеров и собрать результаты обработки. Примеры программного обеспечения MPI включают Open MPI или MPICH . Доступны дополнительные реализации MPI.

Системы «Беовульф» работают по всему миру, в основном для поддержки научных вычислений . С 2017 года каждая система из списка Top500 самых быстрых суперкомпьютеров мира использует программные методы Beowulf и операционную систему Linux . Однако на этом уровне большинство из них ни в коем случае не являются просто сборками обычного оборудования; Часто требуется индивидуальное проектирование узлов (часто блейд-серверов ), сетей и систем охлаждения.

Развитие

Деталь первого кластера «Беовульф» в суперкомпьютерном центре Барселоны

Описание кластера Беовульф из оригинального руководства, опубликованного Яцеком Радаевски и Дугласом Идлайном в рамках проекта документации Linux в 1998 году:

Беовульф — это многокомпьютерная архитектура , которую можно использовать для параллельных вычислений . Это система, которая обычно состоит из одного серверного узла и одного или нескольких клиентских узлов, подключенных через Ethernet или другую сеть. Это система, построенная с использованием обычных аппаратных компонентов, как и любой ПК, способный работать под управлением Unix-подобной операционной системы, со стандартными адаптерами Ethernet и коммутаторами. Он не содержит каких-либо специальных аппаратных компонентов и легко воспроизводим. Беовульф также использует стандартное программное обеспечение, такое как операционная система FreeBSD, Linux или Solaris, параллельная виртуальная машина ( PVM ) и интерфейс передачи сообщений ( MPI ). Серверный узел управляет всем кластером и передает файлы клиентским узлам. Это также консоль кластера и шлюз во внешний мир. Большие машины Beowulf могут иметь более одного серверного узла и, возможно, другие узлы, предназначенные для конкретных задач, например консоли или станции мониторинга. В большинстве случаев клиентские узлы в системе «Беовульф» тупы, и чем тупее, тем лучше. Узлы настраиваются и контролируются серверным узлом и делают только то, что им говорят. В бездисковой конфигурации клиента клиентский узел даже не знает своего IP-адрес или имя, пока сервер не сообщит об этом.

Одно из основных различий между «Беовульфом» и кластером рабочих станций (COW) заключается в том, что «Беовульф» ведет себя скорее как одна машина, а не как множество рабочих станций. В большинстве случаев клиентские узлы не имеют клавиатур или мониторов, и доступ к ним осуществляется только через удаленный вход в систему или, возможно, через последовательный терминал. Узлы Beowulf можно рассматривать как пакет ЦП + память, который можно подключить к кластеру точно так же, как ЦП или модуль памяти можно подключить к материнской плате.

«Беовульф» — это не специальный программный пакет, новая топология сети или последняя версия ядра. Беовульф — это технология кластеризации компьютеров в параллельный виртуальный суперкомпьютер. Хотя существует множество пакетов программного обеспечения, таких как модификации ядра, библиотеки PVM и MPI, а также инструменты настройки, которые делают архитектуру Beowulf более быстрой, простой в настройке и гораздо более удобной в использовании, можно построить машину класса Beowulf, используя стандартный дистрибутив Linux без каких-либо дополнительных программное обеспечение. Если у вас есть два сетевых компьютера, которые используют как минимум /home файловую систему через NFS и доверять друг другу выполнение удаленных оболочек ( rsh ), то можно утверждать, что у вас есть простая двухузловая машина Beowulf.

Операционные системы

Самодельный кластер Beowulf, состоящий из «белого ящика» компьютеров

По состоянию на 2014 год ряд дистрибутивов Linux и как минимум один BSD предназначены для построения кластеров Beowulf. К ним относятся:

• MOSIX , ориентированный на ресурсоемкие приложения с малым количеством операций ввода-вывода.
• Распределение кластеров Rocks , последняя версия 2017 г.
• ОС DragonFly BSD , последняя версия 2022 г.
• Последняя версия Quantian OS 2006 года, концертный DVD с научными приложениями, обновленный от Knoppix.
• Кентукки Linux Athlon Testbed , физическая установка в Университете Кентукки

Следующие пункты больше не поддерживаются:

• Керригед (EOL: 2013)
• OpenMosix (EOL: 2008), ответвление MOSIX
• ОС ClusterKnoppix , ответвление ОС Knoppix , ответвление OpenMosix
• ОС PelicanHPC последней версии 2016 г., основанная на Debian Live

Кластер можно настроить с помощью загрузочных компакт-дисков Knoppix в сочетании с OpenMosix . Компьютеры будут автоматически соединяться друг с другом без необходимости сложных конфигураций, образуя кластер Beowulf, используя все процессоры и оперативную память кластера. Кластер Beowulf масштабируется практически на неограниченное количество компьютеров, ограниченное только нагрузкой на сеть.

Предоставление операционных систем и другого программного обеспечения для кластера Беовульф можно автоматизировать с помощью программного обеспечения, такого как ресурсы приложения кластера с открытым исходным кодом . OSCAR устанавливается поверх стандартной установки поддерживаемого дистрибутива Linux на головном узле кластера.

См. также

• Медленный кластер
• ХТКондор
• Грид-вычисления
• Тестовый стенд Linux Athlon в Кентукки
• Планировщик кластеров Мауи
• Ресурсы кластерных приложений с открытым исходным кодом
• Каменный суперкомпьютер
• Грид-движок Oracle

Библиография

• Кластерные вычисления «Беовульф» с Windows , Томас Лоуренс Стерлинг, 2001 г. ISBN   0262692759 MIT Press
• Кластерные вычисления «Беовульф» с Linux , Томас Лоуренс Стерлинг, 2001 г. ISBN   0262692740 С прессой

Внешние ссылки

• Место скопления Беовульфа
• Параллельные вычисления Беовульфа в Керли
• Подробное описание построения кластера Беовульф