Кубефлоу
 | Судя по всему, основной автор этой статьи тесно связан с ее предметом. ( сентябрь 2022 г. ) |
 | |
| Оригинальный автор(ы) | |
|---|---|
| Разработчик(и) | Участники Kubeflow [1] - AWS , Bloomberg , Google , IBM , NVIDIA , Nutanix , Red Hat , Arrikto и другие. |
| Первоначальный выпуск | 5 апреля 2018 г [2] |
| Стабильная версия | 1.8 [3] / 1 ноября 2023 г |
| Репозиторий | github |
| Написано в | Иди , Питон |
| Платформа | Кубернетес |
| Тип | Платформа машинного обучения |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | кубефлоу |
Kubeflow — это платформа с открытым исходным кодом для машинного обучения и MLOps в Kubernetes, представленная Google . Различные этапы типичного жизненного цикла машинного обучения представлены различными программными компонентами в Kubeflow, включая разработку моделей ( Kubeflow Notebooks). [4] ) , обучение модели ( Kubeflow Pipelines , [5] Оператор обучения Kubeflow [6] ) , обслуживание модели ( KServe [а] [7] ) и автоматизированное машинное обучение ( Katib [8] ) .
Каждый компонент Kubeflow можно развернуть отдельно, и развертывание каждого компонента не является обязательным. [9]
История [ править ]
Проект Kubeflow был впервые анонсирован на KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Льюи и Вишну Каннаном. [10] чтобы решить проблему отсутствия гибких вариантов создания готовых к использованию систем машинного обучения. [11] В проекте также заявлено, что он начался как способ для Google открыть исходный код того, как они запускают TensorFlow внутри компании. [12]
Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на KubeCon + CloudNativeCon Europe 2018. [13] . [14] Kubeflow 1.0 был выпущен в марте 2020 года в публичном сообщении в блоге, в котором сообщалось, что многие компоненты Kubeflow переходят в «стабильный статус», что указывает на то, что теперь они готовы к использованию в производстве. [15]
В октябре 2022 года Google объявила, что проект Kubeflow подал заявку на вступление в Cloud Native Computing Foundation . [16] [17] В июле 2023 года фонд проголосовал за принятие Kubeflow в качестве проекта на инкубационной стадии. [18] [19]
Компоненты [ править ]
Блокноты Kubeflow для разработки моделей [ править ]
Модели машинного обучения разрабатываются в компоненте блокнотов под названием Kubeflow Notebooks . Компонент запускает веб-среды разработки внутри кластера Kubernetes с встроенной поддержкой Jupyter Notebook , Visual Studio Code и RStudio . [20]
Kubeflow Pipelines для обучения моделей [ править ]
После разработки модели обучаются в компоненте Kubeflow Pipelines . Компонент выступает в качестве платформы для создания и развертывания переносимых , масштабируемых рабочих процессов машинного обучения на основе контейнеров Docker. [21] Google Cloud Platform внедрила Kubeflow Pipelines DSL в свой продукт Vertex AI Pipelines . [22]
Оператор обучения Kubeflow для обучения моделей [ править ]
Для некоторых моделей и библиотек машинного обучения компонент Kubeflow Training Оператор обеспечивает поддержку пользовательских ресурсов Kubernetes . Компонент запускает распределенные или нераспределенные задания обучения TensorFlow , PyTorch , Apache MXNet , XGBoost и MPI в Kubernetes. [6]
KServe для обслуживания моделей [ править ]
Компонент KServe (ранее называвшийся KFServing [23] ) предоставляет специальные ресурсы Kubernetes для обслуживания моделей машинного обучения в произвольных платформах, включая TensorFlow , XGBoost , scikit-learn , PyTorch и ONNX . [24] KServe был разработан совместно Google , IBM , Bloomberg , NVIDIA и Seldon . [23] В число публично раскрытых пользователей KServe входят Bloomberg , [25] Гойек , [26] и другие. [27]
Катиб для автоматизированного машинного обучения [ править ]
Наконец, Kubeflow включает в себя компонент для автоматизированного обучения и разработки моделей машинного обучения — компонент Katib . Он описывается как нативный для Kubernetes проект и включает настройку гиперпараметров , раннюю остановку и поиск нейронной архитектуры . [28]
График выпуска [ править ]
Примечания [ править ]
Ссылки [ править ]
- ^ «Сайт Kubeflow — Рабочие группы» .
- ↑ Перейти обратно: Перейти обратно: а б «Kubeflow 0.1 — Тег выпуска» . Гитхаб .
- ↑ Перейти обратно: Перейти обратно: а б «Kubeflow 1.8 — Информация о выпуске» .
- ^ «Веб-сайт Kubeflow — Блокноты Kubeflow» .
- ^ «Веб-сайт Kubeflow — Трубопроводы Kubeflow» .
- ↑ Перейти обратно: Перейти обратно: а б «Kubeflow GitHub — оператор обучения Kubeflow» . Гитхаб .
- ^ «Веб-сайт Kubeflow — KServe» .
- ^ «Веб-сайт Kubeflow — Катиб» .
- ^ «Веб-сайт Kubeflow — Установка Kubeflow» .
- ^ « Хот-доги или нет» — в масштабе с Kubernetes [I] — Виш Каннан и Дэвид Арончик, Google» . Ютуб .
- ^ «Представляем Kubeflow — составной, портативный, масштабируемый стек машинного обучения, созданный для Kubernetes» . 21 декабря 2017 г.
- ^ «Сайт Kubeflow — История» .
- ^ «Машинное обучение для Kubernetes под руководством Google Kubeflow начинает обретать форму» . 4 мая 2018 г.
- ^ «Анонсируем Kubeflow 0.1» . 4 мая 2018 г.
- ^ «Kubeflow 1.0: облачное машинное обучение для всех» . 2 марта 2020 г.
- ^ Ламкин, Тея (24 октября 2022 г.). «Kubeflow подал заявку на участие в инкубационном проекте CNCF» . Кубефлоу . Проверено 2 ноября 2023 г.
- ^ «Kubeflow подает заявку на статус инкубационного проекта CNCF» . Блог Google с открытым исходным кодом . 24 октября 2022 г. Проверено 2 ноября 2023 г.
- ^ «Kubeflow приносит MLOps в инкубатор CNCF» . Фонд облачных вычислений . 25 июля 2023 г. Проверено 2 ноября 2023 г.
- ^ «Kubeflow присоединяется к семье CNCF» . Блог Google с открытым исходным кодом . 25 июля 2023 г. Проверено 2 ноября 2023 г.
- ^ «Веб-сайт Kubeflow — Обзор ноутбуков Kubeflow» .
- ^ «Веб-сайт Kubeflow — Введение в конвейеры Kubeflow» .
- ^ «Vertex AI — Построение конвейера» .
- ↑ Перейти обратно: Перейти обратно: а б с «KServe: следующее поколение KFServing» . 27 сентября 2021 г.
- ^ «KServe GitHub» . Гитхаб .
- ^ «Путь к созданию платформы вывода ML Bloomberg с использованием KServe (ранее KFServing)» . Блумберг ЛП . 12 октября 2021 г.
- ^ «Мерлин: как сделать развертывание моделей машинного обучения волшебным» .
- ^ «Веб-сайт KServe — пользователи KServe» .
- ^ «Kubeflow GitHub — Катиб» . Гитхаб .
- ^ «Kubeflow 0.2 — Тег выпуска» . Гитхаб .
- ^ «Kubeflow 0.3 — Тег выпуска» . Гитхаб .
- ^ «Kubeflow 0.4 — Тег выпуска» . Гитхаб .
- ^ «Kubeflow 0.5 — Тег выпуска» . Гитхаб .
- ^ «Kubeflow 0.6 — Информация о выпуске» .
- ^ «Kubeflow 0.7 — Информация о выпуске» .
- ^ «Kubeflow 1.0 — Информация о выпуске» .
- ^ «Kubeflow 1.1 — Информация о выпуске» .
- ^ «Kubeflow 1.2 — Информация о выпуске» .
- ^ «Kubeflow 1.3 — Информация о выпуске» .
- ^ «Kubeflow 1.4 — Информация о выпуске» .
- ^ «Kubeflow 1.5 — Информация о выпуске» .
- ^ «Kubeflow 1.6 — Информация о выпуске» .
- ^ «Kubeflow 1.7 — Информация о выпуске» .
Внешние ссылки [ править ]
- программное обеспечение 2018 года
- Облачная инфраструктура
- Программное обеспечение для интеллектуального анализа данных и машинного обучения
- Программное обеспечение, использующее лицензию Apache
- Бесплатное программное обеспечение, написанное на Python.
- Бесплатное программное обеспечение, написанное на Go.