Апач Айсберг
 | |
| Оригинальный автор(ы) | Райан Блю, Дэниэл Уикс |
|---|---|
| Первоначальный выпуск | 10 августа 2017 г |
| Написано в | Ява , Питон |
| Операционная система | Кросс-платформенный |
| Тип | Хранилище данных , озеро данных |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | |
Apache Iceberg — это с открытым исходным кодом высокопроизводительный формат для огромных аналитических таблиц . Iceberg позволяет использовать таблицы SQL для больших данных, в то же время позволяя таким механизмам, как Spark , Trino , Flink , Presto , Hive , Impala , StarRocks, Doris и Pig , безопасно работать с одними и теми же таблицами в одно и то же время. [1] Iceberg выпускается под лицензией Apache . [2] Iceberg решает проблемы производительности и удобства использования таблиц Apache Hive в больших и требовательных средах озер данных. [3] Поставщики, которые в настоящее время поддерживают таблицы Apache Iceberg в своих продуктах, включают CelerData, Cloudera , Dremio, IOMETE, Snowflake , Starburst, Tabular, [4] и АВС . [5]
История
[ редактировать ]Проект «Айсберг» был запущен в Netflix Райаном Блю и Дэном Уиксом. Hive использовался множеством различных сервисов и движков в инфраструктуре Netflix. Hive никогда не мог гарантировать корректность и не обеспечивал стабильных атомарных транзакций . [3] Многие в Netflix избегали использования этих сервисов и внесения изменений в данные, чтобы предотвратить непредвиденные последствия формата Hive. [3] Создав Iceberg, Райан Блю решил решить три проблемы, с которыми столкнулся стол Hive: [3]
- Обеспечьте правильность данных и поддержите транзакции ACID .
- Повышайте производительность, позволяя выполнять более детальные операции с точностью до уровня файла для оптимальной записи.
- Упростить и запутать [ нужна ссылка ] общая эксплуатация и обслуживание столов.
Разработка Айсберга началась в 2017 году. [6] Проект был открыт с открытым исходным кодом и передан в дар Apache Software Foundation в ноябре 2018 года. [7] В мае 2020 года проект Iceberg стал проектом Apache высшего уровня. [7]
Iceberg используется несколькими компаниями, включая Airbnb , [8] Яблоко , [3] Экспедиа , [9] Линкедин , [10] Adobe , [11] Лифт и многие другие. [12]
См. также
[ редактировать ]
Ссылки
[ редактировать ]- ^ «Апач Айсберг» . айсберг.apache.org . Проверено 5 октября 2022 г.
- ^ «Лицензия Apache/айсберг GitHub» . Фонд программного обеспечения Apache. 5 октября 2022 г. Проверено 5 октября 2022 г.
- ^ Jump up to: а б с д и Вуди, Алекс (8 февраля 2021 г.). «Айсберг Apache: центр развивающейся экосистемы служб данных?» . Датанами .
- ^ «Продавцы» . айсберг.apache.org . Проверено 5 мая 2023 г.
- ^ «Использование таблиц Apache Iceberg – Amazon Athena» . Amazon Веб-сервисы, Inc.
- ^ «Первоначальный публичный выпуск в Apache/айсберге» . Гитхаб . Проверено 5 октября 2022 г.
- ^ Jump up to: а б «Шаблон статуса инкубации — инкубатор Apache» . incubator.apache.org .
- ^ Чжу, Ронни (26 сентября 2022 г.). «Модернизация инфраструктуры хранилища данных в Airbnb» . Технический блог Airbnb .
- ^ Матисен, Кристина (26 января 2021 г.). «Краткое введение в Apache Iceberg» . Технология группы Expedia . Проверено 5 октября 2022 г.
- ^ «FastIngest: Gobblin с малой задержкой с Apache Iceberg и форматом ORC» . Engineering.linkedin.com .
- ^ Бремнер, Джаеми (3 декабря 2020 г.). «Айсберг в Adobe» . Середина .
- ^ Совет, Данные. «Изюминка открытого исходного кода: Apache Iceberg» . www.datacouncil.ai . Проверено 5 октября 2022 г.