Апач Импала
 | |
| Разработчик(и) | Фонд программного обеспечения Apache |
|---|---|
| Первоначальный выпуск | 28 апреля 2013 г |
| Стабильная версия | 4.1.0 / 28 июня 2022 г [1] |
| Репозиторий | Репозиторий Импалы |
| Написано в | С++ , Ява |
| Операционная система | Кросс-платформенный |
| Тип | Реляционная Hadoop -аналитика |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | импала |
Apache Impala — это (MPP) с открытым исходным кодом механизм запросов SQL с массово-параллельной обработкой для данных, хранящихся в компьютерном кластере под управлением Apache Hadoop . [2] Impala описывается как эквивалент Google F1 с открытым исходным кодом , который вдохновил его на разработку в 2012 году. [3]
Описание
[ редактировать ]Apache Impala — это механизм запросов, работающий на Apache Hadoop. Проект был анонсирован в октябре 2012 года с публичным бета-тестированием раздачи. [4] [5] и стал общедоступным в мае 2013 года. [6]
Impala внедряет в Hadoop технологию масштабируемой параллельной базы данных , позволяя пользователям выполнять SQL- запросы с малой задержкой к данным, хранящимся в HDFS и Apache HBase, без необходимости перемещения или преобразования данных. Impala интегрирована с Hadoop и позволяет использовать те же форматы файлов и данных, метаданные, системы безопасности и управления ресурсами, которые используются MapReduce , Apache Hive , Apache Pig и другим программным обеспечением Hadoop.
Impala предназначена для аналитиков и специалистов по обработке данных, позволяющих выполнять анализ данных, хранящихся в Hadoop, с помощью SQL или инструментов бизнес-аналитики . В результате крупномасштабная обработка данных (через MapReduce) и интерактивные запросы могут выполняться в одной системе с использованием одних и тех же данных и метаданных, что устраняет необходимость переноса наборов данных в специализированные системы и/или собственные форматы просто для выполнения анализа.
Особенности включают в себя:
- Поддерживает HDFS , S3 , ABFS , Apache HBase и Apache Kudu . хранилища
- Читает форматы файлов Hadoop, включая текст, LZO , SequenceFile , Avro , RCFile , Parquet и ORC.
- Поддерживает безопасность Hadoop ( аутентификация Kerberos , Ldap ),
- Детализированная авторизация на основе ролей с помощью Apache Sentry и Apache ranger
- Использует метаданные, драйвер ODBC и синтаксис SQL из Apache Hive .
В начале 2013 года был анонсирован формат файлов с колоночной ориентацией под названием Parquet для архитектур, включая Impala. [7] В декабре 2013 года Amazon Web Services объявила о поддержке Impala. [8] В начале 2014 года MapR добавила поддержку Impala. [9] еще один формат под названием Kudu В 2015 году был анонсирован , который Cloudera предложила пожертвовать Apache Software Foundation вместе с Impala. [10] 28 ноября 2017 года Импала перешла в проект верхнего уровня Apache (TLP). [11]
См. также
[ редактировать ]- Apache Drill — аналогичный проект с открытым исходным кодом, вдохновленный Dremel.
- Dremel — аналогичный инструмент от Google
- Trino — механизм запросов SQL с открытым исходным кодом, созданный создателями Presto.
- Presto — механизм запросов SQL с открытым исходным кодом, созданный Facebook и поддерживаемый Teradata.
Ссылки
[ редактировать ]- ^ @ApacheImpala (27 июня 2022 г.). «Команда Apache Impala рада объявить о выпуске Impala 4.1.0» ( твит ) – через Twitter .
- ^ «Апач Импала» . Проверено 15 сентября 2017 г.
- ^ Кейд Мец (24 октября 2012 г.). «Человек вырвался из Google и перестроил сверхсекретную машину запросов» . Проводной журнал . Проверено 10 октября 2016 г.
- ^ Ларри Дигна (24 октября 2012 г.). «Cloudera стремится перенести запросы в реальном времени в Hadoop и большие данные» . Блог между строк . ЗДНет . Проверено 20 января 2014 г.
- ^ Эндрю Браст (25 октября 2012 г.). «Impala от Cloudera переносит Hadoop в SQL и BI» . ЗДНет . Проверено 20 января 2014 г.
- ^ Марсель Корнакер, Джастин Эриксон (1 мая 2013 г.). «Cloudera Impala 1.0: она здесь, она реальна, она уже является стандартом для SQL в Hadoop» . Архивировано из оригинала 13 апреля 2014 года . Проверено 10 апреля 2014 г.
- ^ «Паркет: столбчатое хранилище для Hadoop» . Веб-сайт проекта . 2013 . Проверено 20 января 2014 г.
- ^ «Объявление о поддержке Impala с помощью Amazon Elastic MapReduce» . Amazon.com. 12 декабря 2013 года . Проверено 20 января 2014 г.
- ^ «Импала для MapR» . MapR.com. 2 февраля 2014 года . Проверено 10 апреля 2014 г.
- ^ Дэвид Рамель (18 ноября 2015 г.). «Cloudera передаст Apache проекты больших данных Impala и Kudu» . Тенденции разработки приложений . Проверено 10 октября 2016 г.
- ^ «Фонд программного обеспечения Apache объявляет Apache Impala проектом высшего уровня» . 28 ноября 2017 г. Проверено 30 ноября 2017 г.
Внешние ссылки
[ редактировать ]- Apache Impala Сайт проекта
- Impala на GitHub Исходный код проекта
