МЛОпс
MLOps или ML Ops — это парадигма, целью которой является надежное и эффективное развертывание и поддержание моделей машинного обучения в производстве. Это слово представляет собой смесь слов «машинное обучение» и практики непрерывной доставки (CI/CD) DevOps в области программного обеспечения. Модели машинного обучения тестируются и разрабатываются в изолированных экспериментальных системах. Когда алгоритм готов к запуску, специалисты по данным, DevOps и инженеры по машинному обучению практикуют MLOps для переноса алгоритма в производственные системы. [1] Подобно подходам DevOps или DataOps , MLOps стремится повысить уровень автоматизации и улучшить качество производственных моделей, уделяя при этом внимание бизнес-требованиям и нормативным требованиям. Хотя MLOps начинались как набор лучших практик, они постепенно превращаются в независимый подход к управлению жизненным циклом машинного обучения. MLOps применяется ко всему жизненному циклу — от интеграции с генерацией модели ( жизненный цикл разработки программного обеспечения , непрерывная интеграция / непрерывная доставка ), оркестрации и развертывания до работоспособности, диагностики, управления и бизнес-показателей.
Определение
[ редактировать ]MLOps — это парадигма, включающая такие аспекты, как лучшие практики, наборы концепций, а также культура разработки, когда речь идет о сквозной концептуализации, реализации, мониторинге, развертывании и масштабируемости продуктов машинного обучения. Прежде всего, это инженерная практика, которая использует три способствующие дисциплины: машинное обучение, разработку программного обеспечения (особенно DevOps) и разработку данных. MLOps нацелен на создание систем машинного обучения путем преодоления разрыва между разработкой (Dev) и эксплуатацией (Ops). По сути, MLOps призван облегчить создание продуктов машинного обучения, используя следующие принципы: автоматизация CI/CD, оркестровка рабочих процессов, воспроизводимость; управление версиями данных, модели и кода; сотрудничество; непрерывное обучение и оценка ОД; Отслеживание и регистрация метаданных машинного обучения; постоянный мониторинг; и петли обратной связи. [2]
История
[ редактировать ]Проблемы постоянного использования машинного обучения в приложениях были освещены в статье 2015 года. [3] Прогнозируемый рост машинного обучения включал предполагаемое удвоение пилотных проектов и внедрений ML с 2017 по 2018 год, а затем с 2018 по 2020 год. [4] MLOps быстро начали набирать популярность среди экспертов AI/ML, компаний и технологических журналистов как решение, которое может решить проблему сложности и роста машинного обучения в бизнесе. [5]
Отчеты показывают, что большинство (до 88%) корпоративных инициатив в области машинного обучения с трудом выходят за рамки испытаний. [2] Однако те организации, которые действительно внедрили машинное обучение в производство, получили увеличение прибыли на 3–15 %. [6] Рынок MLOps оценивался в 23,2 миллиарда долларов в 2019 году и, по прогнозам, к 2025 году достигнет 126 миллиардов долларов из-за быстрого внедрения.
Архитектура
[ редактировать ]Системы машинного обучения можно разделить на восемь различных категорий: сбор данных , обработка данных , разработка функций , маркировка данных , проектирование моделей, обучение и оптимизация моделей , развертывание конечных точек и мониторинг конечных точек. Каждый шаг жизненного цикла машинного обучения построен в отдельной системе, но требует взаимосвязи. Это минимальные системы, необходимые предприятиям для масштабирования машинного обучения внутри своей организации.
Цели
[ редактировать ]Предприятия хотят достичь ряда целей с помощью систем MLOps, успешно внедряющих машинное обучение на предприятии, в том числе: [7]
- Развертывание и автоматизация [8]
- Воспроизводимость моделей и прогнозов [9]
- Диагностика [9]
- Управление и соблюдение нормативных требований [10]
- Масштабируемость [11]
- Сотрудничество [12]
- Использование в бизнесе [13]
- Мониторинг и управление [14]
Стандартная практика, такая как MLOps, учитывает каждую из вышеупомянутых областей, что может помочь предприятиям оптимизировать рабочие процессы и избежать проблем во время внедрения.
Общая архитектура системы MLOps будет включать в себя платформы обработки данных, на которых строятся модели, и аналитические механизмы, на которых выполняются вычисления, а инструмент MLOps организует перемещение моделей машинного обучения, данных и результатов между системами. [7]
См. также
[ редактировать ]- ModelOps , согласно Gartner , MLOps является подмножеством ModelOps . MLOps ориентирован на внедрение моделей машинного обучения, а ModelOps охватывает внедрение всех типов моделей искусственного интеллекта.
- AIOps — похожее название, но другая концепция — использование искусственного интеллекта (ML) в ИТ и эксплуатации.
Ссылки
[ редактировать ]- ^ Талагала, Ниша. «Почему MLOps (а не только ML) — это новый рубеж конкурентоспособности вашего бизнеса» . AITrends . Проверено 30 января 2018 г.
- ^ Jump up to: а б Кройцбергер, Доминик; Кюль, Никлас; Хиршль, Себастьян (2023). «Операции машинного обучения (MLOps): обзор, определение и архитектура» . Доступ IEEE . 11 : 31866–31879. arXiv : 2205.02302 . Бибкод : 2023IEEA..1131866K . дои : 10.1109/ACCESS.2023.3262138 . ISSN 2169-3536 . S2CID 248524628 .
- ^ Скалли, Д.; Холт, Гэри; Головин, Даниил; Давыдов, Евгений; Филлипс, Тодд; Эбнер, Дитмар; Чаудхари, Винай; Янг, Майкл; Креспо, Жан-Франсуа; Деннисон, Дэн (7 декабря 2015 г.). «Скрытый технический долг в системах машинного обучения» (PDF) . Труды НИПС (2015) . Проверено 14 ноября 2017 г.
- ^ Салломи, Пол; Ли, Пол. «Прогнозы Deloitte в области технологий, медиа и телекоммуникаций на 2018 год» (PDF) . Делойт . Проверено 13 октября 2017 г.
- ^ https://www.meetup.com/MLOps-Silicon-Valley/?_cookie-check=o1SkbKRfUlSuQoT3
- ^ Бюген, Жак; Хазан, Эрик; Рамасвами, Шри; Чуй, Майкл; Аллас, Тера; Дальстрем, Питер; Хенке, Николаус; Тренч, Моника. «Искусственный интеллект: следующий цифровой рубеж?» . Маккинси . Глобальный институт McKinsey . Проверено 1 июня 2017 г.
- ^ Jump up to: а б Уолш, Ник. «Рост квантово-ориентированных разработчиков и необходимость в стандартизированных MLOps» . Слайды . Ник Уолш . Проверено 1 января 2018 г.
- ^ «Написание кода для машинного обучения, готового к использованию, за 4 шага» . Блог DAGsHub . 03 февраля 2021 г. Проверено 19 февраля 2021 г.
- ^ Jump up to: а б Смотритель, Пит. «Кризис воспроизводимости машинного обучения» . Блог Пита Уордена . Пит Уорден . Проверено 19 марта 2018 г.
- ^ Вон, Джек. «Алгоритмы машинного обучения соответствуют управлению данными» . Управление данными поиска . ТехТаржет . Проверено 1 сентября 2017 г.
- ^ Лорика, Бен. «Как обучать и развертывать глубокое обучение в больших масштабах» . О'Рейли . Проверено 15 марта 2018 г.
- ^ Гарда, Натали. «Интернет вещей и машинное обучение: почему сотрудничество имеет решающее значение» . Выставка Интернета вещей . Медиа Группа Энкор . Проверено 12 октября 2017 г.
- ^ Маньика, Джеймс. «Что сейчас и что будет в будущем в области аналитики, искусственного интеллекта и автоматизации» . Маккинси . Глобальный институт McKinsey . Проверено 1 мая 2017 г.
- ^ Хавив, Ярон. «Проблемы, решения и будущие тенденции MLOps» . Игуацио . Проверено 19 февраля 2020 г.