Апач Хама
 | |
| Разработчик(и) | Фонд программного обеспечения Apache |
|---|---|
| Предварительный выпуск | 0.7.1 / 14 марта 2016 г |
| Репозиторий | Репозиторий Хама |
| Написано в | Ява |
| Операционная система | Кросс-платформенный |
| Тип | Распределенные вычисления , массовая синхронная параллель |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | брат |
Apache Hama — это среда распределенных вычислений, основанная на методах массовых синхронных параллельных вычислений для массовых научных вычислений, например матричных , графовых и сетевых алгоритмов. [1] Первоначально это подпроект Hadoop был . [2] в 2012 году он стал проектом высшего уровня Apache Software Foundation. Его создал Эдвард Дж. Юн, [3] кто назвал это (сокращение от Hadoop Matrix Algebra), [4] а Хама также означает бегемот на родном корейском языке Юна (하마), [5] следуя тенденции называть проекты Apache в честь животных и зоологии (например, Apache Pig ). Хама был вдохновлен Google, описанной в 2010 году. крупномасштабной инфраструктурой графовых вычислений Pregel от [6] При выполнении графовых алгоритмов Hama показал пятидесятикратный прирост производительности по сравнению с Hadoop. [7]
Уволен на пенсию в апреле 2020 года. [8] Ресурсы проекта доступны как часть Apache Attic. Юн упомянул проблемы установки , масштабируемости и сложную модель программирования. [9] из-за его отсутствия принятия.
Архитектура
[ редактировать ]Hama состоит из трех основных компонентов: BSPmaster, GroomServers и Zookeeper. [10]
BSPМастер
[ редактировать ]BSPmaster несет ответственность за:
- Поддержание статуса грум-сервера
- Управление супершагами в кластере
- Ведение информации о ходе выполнения работ
- Планирование заданий и назначение задач на подготовленные серверы
- Распространение класса выполнения по серверам-подготовщикам
- Контроль неисправности
- Предоставление пользователям интерфейса управления кластером.
По сценарию запускаются BSP Master и несколько грумов. Затем запускается мастер bsp с сервером RPC для ведомых серверов. Серверы Groom запускаются с экземпляром BSPeer и прокси-сервером RPC для связи с мастером bsp. После запуска каждый жених периодически отправляет контрольное сообщение, в котором указывается состояние его готового сервера, включая максимальную емкость задачи, неиспользуемую память и т. д.
Каждый раз, когда главный BSP получает сообщение тактового сигнала, он передает актуальный статус ведомого сервера (ведущий BSP использует статус ведомых серверов для эффективного назначения задач простаивающим ведомым серверам) и возвращает ответный тактовый ответ, который содержит назначенные задачи и другие действия, которые должен выполнять грум-сервер. На данный момент у нас есть планировщик заданий FIFO и очень простые алгоритмы назначения задач.
ГрумСервер
[ редактировать ]Сервер-подготовщик (сокращенно называемый «подготовка») — это процесс, выполняющий задачи BSP, назначенные BSPmaster. Каждый конюх связывается с BSPMaster, он выполняет назначенные задачи и сообщает о своем статусе посредством периодической связи с BSPMaster. Каждый жених предназначен для работы с HDFS или другими распределенными хранилищами. По сути, главный сервер и узел данных должны работать на одном физическом узле.
смотритель зоопарка
[ редактировать ]Zookeeper используется для управления эффективной барьерной синхронизацией BSPeers.
См. также
[ редактировать ]
Ссылки
[ редактировать ]- ^ «Апач Хама» . Веб-сайт проекта . Проверено 20 сентября 2013 г.
- ^ Со, Санвон; Юн, Эдвард (2010). Хама: Эффективное матричное вычисление с помощью платформы Mapreduce (PDF) . 2010 Вторая международная конференция IEEE по технологиям и науке облачных вычислений. ИИЭЭ .
- ^ Предложение Apache Hama
- ^ Ди, Липинг (24 июля 2023 г.). Большие данные дистанционного зондирования . Спрингер Природа . п. 180. ИСБН 9783031339325 .
- ^ «Гиппопотам — Викисловарь» . ko.wiktionary.org (на корейском языке) . Проверено 21 февраля 2019 г.
- ^ Гжегож Малевич; Мэтью Х. Остерн; Аарт Дж. К. Бик; Джеймс К. Денерт; Илан Хорн; Нати Лейзер; Гжегож Чайковский (2010). «Прегель: система крупномасштабной обработки графов». Материалы Международной конференции ACM SIGMOD 2010 по управлению данными . стр. 135–146. дои : 10.1145/1807167.1807184 . ISBN 9781450300322 .
- ^ Эльзер, Бенедикт; Монтрезор, Альберто (2013). Оценочное исследование инфраструктур больших данных для обработки графов (PDF) . Международная конференция IEEE по большим данным 2013 г. ИИЭЭ .
- ^ Апач Хама - Апачский чердак
- ^ Юнгблут, Томас; Юн, Эдвард; Линь, Цзя-Хун Линь (14 ноября 2020 г.). «Apache Hama — почему он не добился успеха» . thomasjungblut.com . Проверено 14 декабря 2023 г.
- ^ Архитектура Apache Хама
