Jump to content

МЛОпс

MLOps — это набор практик на стыке машинного обучения, DevOps и инженерии данных.

MLOps или ML Ops — это парадигма, целью которой является надежное и эффективное развертывание и поддержание моделей машинного обучения в производстве. Это слово представляет собой смесь слов «машинное обучение» и практики непрерывной доставки (CI/CD) DevOps в области программного обеспечения. Модели машинного обучения тестируются и разрабатываются в изолированных экспериментальных системах. Когда алгоритм готов к запуску, специалисты по данным, DevOps и инженеры по машинному обучению практикуют MLOps для переноса алгоритма в производственные системы. [1] Подобно подходам DevOps или DataOps , MLOps стремится повысить уровень автоматизации и улучшить качество производственных моделей, уделяя при этом внимание бизнес-требованиям и нормативным требованиям. Хотя MLOps начинались как набор лучших практик, они постепенно превращаются в независимый подход к управлению жизненным циклом машинного обучения. MLOps применяется ко всему жизненному циклу — от интеграции с генерацией модели ( жизненный цикл разработки программного обеспечения , непрерывная интеграция / непрерывная доставка ), оркестрации и развертывания до работоспособности, диагностики, управления и бизнес-показателей.

Определение

[ редактировать ]

MLOps — это парадигма, включающая такие аспекты, как лучшие практики, наборы концепций, а также культура разработки, когда речь идет о сквозной концептуализации, реализации, мониторинге, развертывании и масштабируемости продуктов машинного обучения. Прежде всего, это инженерная практика, которая использует три способствующие дисциплины: машинное обучение, разработку программного обеспечения (особенно DevOps) и разработку данных. MLOps нацелен на создание систем машинного обучения путем преодоления разрыва между разработкой (Dev) и эксплуатацией (Ops). По сути, MLOps призван облегчить создание продуктов машинного обучения, используя следующие принципы: автоматизация CI/CD, оркестровка рабочих процессов, воспроизводимость; управление версиями данных, модели и кода; сотрудничество; непрерывное обучение и оценка ОД; Отслеживание и регистрация метаданных машинного обучения; постоянный мониторинг; и петли обратной связи. [2]

Проблемы постоянного использования машинного обучения в приложениях были освещены в статье 2015 года. [3] Прогнозируемый рост машинного обучения включал предполагаемое удвоение пилотных проектов и внедрений ML с 2017 по 2018 год, а затем с 2018 по 2020 год. [4] MLOps быстро начали набирать популярность среди экспертов AI/ML, компаний и технологических журналистов как решение, которое может решить проблему сложности и роста машинного обучения в бизнесе. [5]

Отчеты показывают, что большинство (до 88%) корпоративных инициатив в области машинного обучения с трудом выходят за рамки испытаний. [2] Однако те организации, которые действительно внедрили машинное обучение в производство, получили увеличение прибыли на 3–15 %. [6] Рынок MLOps оценивался в 23,2 миллиарда долларов в 2019 году и, по прогнозам, к 2025 году достигнет 126 миллиардов долларов из-за быстрого внедрения.

Архитектура

[ редактировать ]

Системы машинного обучения можно разделить на восемь различных категорий: сбор данных , обработка данных , разработка функций , маркировка данных , проектирование моделей, обучение и оптимизация моделей , развертывание конечных точек и мониторинг конечных точек. Каждый шаг жизненного цикла машинного обучения построен в отдельной системе, но требует взаимосвязи. Это минимальные системы, необходимые предприятиям для масштабирования машинного обучения внутри своей организации.

Предприятия хотят достичь ряда целей с помощью систем MLOps, успешно внедряющих машинное обучение на предприятии, в том числе: [7]

  • Развертывание и автоматизация [8]
  • Воспроизводимость моделей и прогнозов [9]
  • Диагностика [9]
  • Управление и соблюдение нормативных требований [10]
  • Масштабируемость [11]
  • Сотрудничество [12]
  • Использование в бизнесе [13]
  • Мониторинг и управление [14]

Стандартная практика, такая как MLOps, учитывает каждую из вышеупомянутых областей, что может помочь предприятиям оптимизировать рабочие процессы и избежать проблем во время внедрения.

Общая архитектура системы MLOps будет включать в себя платформы обработки данных, на которых строятся модели, и аналитические механизмы, на которых выполняются вычисления, а инструмент MLOps организует перемещение моделей машинного обучения, данных и результатов между системами. [7]

См. также

[ редактировать ]
  • ModelOps , согласно Gartner , MLOps является подмножеством ModelOps . MLOps ориентирован на внедрение моделей машинного обучения, а ModelOps охватывает внедрение всех типов моделей искусственного интеллекта.
  • AIOps — похожее название, но другая концепция — использование искусственного интеллекта (ML) в ИТ и эксплуатации.
  1. ^ Талагала, Ниша. «Почему MLOps (а не только ML) — это новый рубеж конкурентоспособности вашего бизнеса» . AITrends . Проверено 30 января 2018 г.
  2. ^ Jump up to: а б Кройцбергер, Доминик; Кюль, Никлас; Хиршль, Себастьян (2023). «Операции машинного обучения (MLOps): обзор, определение и архитектура» . Доступ IEEE . 11 : 31866–31879. arXiv : 2205.02302 . Бибкод : 2023IEEA..1131866K . дои : 10.1109/ACCESS.2023.3262138 . ISSN   2169-3536 . S2CID   248524628 .
  3. ^ Скалли, Д.; Холт, Гэри; Головин, Даниил; Давыдов, Евгений; Филлипс, Тодд; Эбнер, Дитмар; Чаудхари, Винай; Янг, Майкл; Креспо, Жан-Франсуа; Деннисон, Дэн (7 декабря 2015 г.). «Скрытый технический долг в системах машинного обучения» (PDF) . Труды НИПС (2015) . Проверено 14 ноября 2017 г.
  4. ^ Салломи, Пол; Ли, Пол. «Прогнозы Deloitte в области технологий, медиа и телекоммуникаций на 2018 год» (PDF) . Делойт . Проверено 13 октября 2017 г.
  5. ^ https://www.meetup.com/MLOps-Silicon-Valley/?_cookie-check=o1SkbKRfUlSuQoT3
  6. ^ Бюген, Жак; Хазан, Эрик; Рамасвами, Шри; Чуй, Майкл; Аллас, Тера; Дальстрем, Питер; Хенке, Николаус; Тренч, Моника. «Искусственный интеллект: следующий цифровой рубеж?» . Маккинси . Глобальный институт McKinsey . Проверено 1 июня 2017 г.
  7. ^ Jump up to: а б Уолш, Ник. «Рост квантово-ориентированных разработчиков и необходимость в стандартизированных MLOps» . Слайды . Ник Уолш . Проверено 1 января 2018 г.
  8. ^ «Написание кода для машинного обучения, готового к использованию, за 4 шага» . Блог DAGsHub . 03 февраля 2021 г. Проверено 19 февраля 2021 г.
  9. ^ Jump up to: а б Смотритель, Пит. «Кризис воспроизводимости машинного обучения» . Блог Пита Уордена . Пит Уорден . Проверено 19 марта 2018 г.
  10. ^ Вон, Джек. «Алгоритмы машинного обучения соответствуют управлению данными» . Управление данными поиска . ТехТаржет . Проверено 1 сентября 2017 г.
  11. ^ Лорика, Бен. «Как обучать и развертывать глубокое обучение в больших масштабах» . О'Рейли . Проверено 15 марта 2018 г.
  12. ^ Гарда, Натали. «Интернет вещей и машинное обучение: почему сотрудничество имеет решающее значение» . Выставка Интернета вещей . Медиа Группа Энкор . Проверено 12 октября 2017 г.
  13. ^ Маньика, Джеймс. «Что сейчас и что будет в будущем в области аналитики, искусственного интеллекта и автоматизации» . Маккинси . Глобальный институт McKinsey . Проверено 1 мая 2017 г.
  14. ^ Хавив, Ярон. «Проблемы, решения и будущие тенденции MLOps» . Игуацио . Проверено 19 февраля 2020 г.
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 67d7d2850d3c9b13948a8f15af1bfd5f__1722517920
URL1:https://arc.ask3.ru/arc/aa/67/5f/67d7d2850d3c9b13948a8f15af1bfd5f.html
Заголовок, (Title) документа по адресу, URL1:
MLOps - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)