Апач воздушный поток
 | |
| Оригинальный автор(ы) | Максим Бошемен / Airbnb |
|---|---|
| Разработчик(и) | Фонд программного обеспечения Apache |
| Первоначальный выпуск | 3 июня 2015 г |
| Стабильная версия | 2.8.2 [1]  (26 февраля 2024 г ) [±] |
| Репозиторий | |
| Написано в | Питон |
| Операционная система | Windows , macOS , Linux |
| Тип | Платформа управления рабочим процессом |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | расход воздуха |
Apache Airflow — это с открытым исходным кодом платформа управления рабочими процессами для конвейеров обработки данных. Все началось на Airbnb в октябре 2014 года. [2] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать рабочие процессы, а также отслеживать их через встроенный пользовательский интерфейс Airflow . [3] [4] С самого начала проект был открыт с открытым исходным кодом, став проектом Apache Incubator в марте 2016 года и проектом верхнего уровня Apache Software Foundation в январе 2019 года.
Airflow написан на Python , а рабочие процессы создаются с помощью скриптов Python. Воздушный поток спроектирован по принципу «конфигурация как код». В то время как существуют другие платформы рабочих процессов «конфигурация как код», использующие языки разметки, такие как XML , использование Python позволяет разработчикам импортировать библиотеки и классы, чтобы помочь им создавать свои рабочие процессы.
Обзор
[ редактировать ]Airflow использует направленные ациклические графы (DAG) для управления оркестрацией рабочих процессов . Задачи и зависимости определяются в Python, а затем Airflow управляет планированием и выполнением. Группы обеспечения доступности баз данных могут запускаться либо по определенному расписанию (например, ежечасно или ежедневно), либо на основе триггеров внешних событий (например, появления файла в Hive). [5] ). Предыдущие планировщики на основе DAG, такие как Oozie и Azkaban, обычно полагались на несколько файлов конфигурации и деревьев файловой системы для создания DAG, тогда как в Airflow группы DAG часто можно записать в один файл Python. [6]
Управляемые поставщики
[ редактировать ]Три известных поставщика предлагают вспомогательные услуги для основного проекта с открытым исходным кодом. Astronomer создал инструмент SaaS и развертываемый стек Airflow в Kubernetes , который помогает в мониторинге, оповещении, DevOps и управлении кластером. [7] Cloud Composer — это управляемая версия Airflow, которая работает на Google Cloud Platform (GCP) и хорошо интегрируется с другими сервисами GCP. [8] Начиная с ноября 2020 года Amazon Web Services предлагает управляемые рабочие процессы для Apache Airflow. [9]
Ссылки
[ редактировать ]- ^ https://airflow.apache.org/docs/apache-airflow/stable/release_notes.html#airflow-2-8-2-2024-02-26 .
{{cite web}}: Отсутствует или пусто|title=( помощь ) - ^ «Апач Эйрфлоу» . Апач Эйрфлоу . Архивировано из оригинала 12 августа 2019 года . Проверено 30 сентября 2019 г.
- ^ Бошемен, Максим (2 июня 2015 г.). «Airflow: платформа управления рабочим процессом» . Середина . Архивировано из оригинала 13 августа 2019 года . Проверено 30 сентября 2019 г.
- ^ "Расход воздуха" . Архивировано из оригинала 6 июля 2019 года . Проверено 30 сентября 2019 г.
- ^ Тренчень, Мартон (16 января 2016 г.). «Обзор воздушного потока» . БайтПаун . Архивировано из оригинала 28 февраля 2019 года . Проверено 1 октября 2019 г.
- ^ «Предложение по воздушному потоку» . Фонд программного обеспечения Apache . 28 марта 2019 года . Проверено 1 октября 2019 г.
- ^ Липп, Кэсси (13 июля 2018 г.). «Астроном теперь является компанией Apache Airflow» . американиноно . Проверено 18 сентября 2019 г.
- ^ «Google запускает Cloud Composer, новый инструмент автоматизации рабочих процессов для разработчиков» . ТехКранч . Проверено 18 сентября 2019 г.
- ^ «Представляем управляемые рабочие процессы Amazon для Apache Airflow (MWAA)» . Веб-сервисы Amazon . 24.11.2020 . Проверено 17 декабря 2020 г.
