Медленный кластер
 | Эта статья нуждается в дополнительных цитатах для проверки . ( сентябрь 2014 г. ) |
Кластер Aiyara — это маломощный компьютерный кластер, специально разработанный для обработки больших данных . Кластерную модель Айяра можно рассматривать как специализацию кластера Беовульф в том смысле, что Айяра также построена из обычного аппаратного обеспечения, а не из недорогих персональных компьютеров , а компьютерных плат типа «система на кристалле». В отличие от «Беовульфа», приложения кластера Aiyara предназначены только для области больших данных, а не для научных высокопроизводительных вычислений . Еще одним важным свойством кластера Aiyara является его малое энергопотребление. Он должен быть построен с использованием такого класса процессоров, который производит меньше тепла.
Название Aiyara первоначально относилось к первому кластеру на базе ARM , созданному Вичаем Срисуруком и Чанвитом Каевкаси в Технологическом университете Суранари . Название «Aiyara» произошло от тайского слова, буквально « слон» , что отражает его стек программного обеспечения, которым является Apache Hadoop .
Как и «Беовульф», кластер Aiyara не определяет конкретный программный стек, который будет работать поверх него. Кластер обычно работает под управлением варианта операционной системы Linux . Обычно используемые стеки программного обеспечения для работы с большими данными — это Apache Hadoop и Apache Spark .
Разработка
[ редактировать ]Отчет об аппаратном обеспечении Aiyara, успешно обработавшем нетривиальный объем больших данных, был опубликован в Proceedings of ICSEC 2014. [1] Aiyara Mk-I , второй кластер Aiyara, состоит из 22 Cubieboards . Это первый известный ARM -кластер на базе SoC , который способен успешно обрабатывать большие данные с использованием стека Spark и HDFS . [2]
Модель кластера Aiyara, техническое описание, объясняющее, как построить кластер Aiyara, позже было опубликовано Чанвитом Каевкаси в «Руководстве по большим данным» DZone за 2014 год. [3] Дальнейшие результаты и методы оптимизации кластера, которые позволяют повысить скорость обработки кластера до 0,9 ГБ/мин, сохраняя при этом низкое энергопотребление, были представлены в Proceeding of IEEE's TENCON 2014. [4]
Вся архитектура программного стека, включая среду выполнения, проверку целостности данных и сжатие данных, изучается и совершенствуется. Работа, описанная в этой статье, достигла скорости обработки почти 0,9 ГБ/мин и успешно обработала те же тесты из предыдущей работы примерно за 38 минут.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ К. Каевкаси и В. Срисурук. Исследование ограничений обработки больших данных в маломощном кластере Hadoop . Материалы 18-й сессии ICSEC, 2014 г., стр. 308-313.
- ^ Первый кластер Spark/Hadoop ARM работает на Cubieboards , 8 апреля 2014 г., на Cubieboard.org.
- ^ Чанвит Каевкаси. Кластер больших данных DIY . DZone Big Data Guide 2014. 22 сентября 2014 г., стр. 20–21.
- ^ К. Каевкаси и В. Срисурук. Оптимизация производительности и энергопотребления для кластера больших данных на базе ARM . Материалы конференции IEEE Region 10 2014 г., 2014 г., стр. 1–6.
| Общий | |
|---|---|
| Уровни | |
| Многопоточность | |
| Теория | |
| Элементы | |
| Координация | |
| Программирование | |
| Аппаратное обеспечение | |
| API | |
| Проблемы | |
