Модельные операции
ModelOps ( операции модели или операционализация модели), по определению Gartner , «ориентирована в первую очередь на управление и управление жизненным циклом широкого спектра операционализированного искусственного интеллекта (ИИ) и моделей принятия решений , включая машинное обучение , графики знаний , правила, оптимизацию, лингвистические и агентные модели ». [1] «ModelOps лежит в основе любой корпоративной стратегии искусственного интеллекта». [2] Он координирует жизненные циклы всех моделей в производстве по всему предприятию: от запуска модели в производство, затем оценки и обновления полученного приложения в соответствии с набором правил управления, включая как технические, так и ключевые бизнес-показатели эффективности (KPI). Оно предоставляет экспертам в области бизнеса возможность оценивать модели ИИ в производстве независимо от специалистов по данным . [3]
В статье Forbes рекламировалась ModelOps: «Поскольку предприятия расширяют свои инициативы в области ИИ, чтобы стать настоящей корпоративной ИИ-организацией, наличие полностью реализованных аналитических возможностей ставит ModelOps в центр, объединяя как DataOps , так и DevOps ». [4]
История
[ редактировать ]В опросе Gartner 2018 года 37% респондентов сообщили, что они в той или иной форме внедрили ИИ; однако Gartner отметила, что предприятия все еще далеки от внедрения ИИ, сославшись на проблемы с внедрением. [5] Предприятия накапливали неразвернутые, неиспользуемые и необновленные модели и развертывали вручную, часто на уровне бизнес-подразделений, увеличивая подверженность рискам всего предприятия. [6] Независимая аналитическая фирма Forrester также затронула эту тему в отчете о поставщиках машинного обучения и прогнозной аналитики за 2018 год: «Ученые, работающие с данными, регулярно жалуются, что их модели используются лишь иногда или никогда не используются. Большая часть проблемы — это организационный хаос в понимании того, как применять модели и разрабатывать их в приложениях. Но еще одна большая часть проблемы — это технологии. Модели не похожи на программный код, потому что они требуют управления моделями». [7]
В декабре 2018 года Вальдемар Хаммер и Винод Мутусами из IBM Research AI предложили ModelOps как «модель программирования для многоразовых, платформо-независимых и компонуемых рабочих процессов ИИ» в День языков программирования IBM. [8] В своей презентации они отметили разницу между жизненным циклом разработки приложений, представленным DevOps , и жизненным циклом приложений ИИ. [9]
Целью разработки ModelOps было устранение разрыва между развертыванием моделей и управлением моделями, гарантируя, что все модели работают в рабочей среде с надежным управлением, согласованным с техническими и бизнес-ключевыми показателями эффективности, при одновременном управлении рисками. В своей презентации Хаммер и Мутхусами описали программное решение для поэтапного развертывания с поддержкой ИИ и компонентов многократного использования, которые позволят версиям моделей соответствовать бизнес-приложениям и будут включать такие концепции моделей ИИ, как мониторинг модели, обнаружение отклонений и активное обучение. Решение также устранит противоречие между производительностью модели и бизнес-ключевыми показателями эффективности, журналами приложений и моделей, а также прокси-серверами моделей и развивающимися политиками. В предложение входили различные облачные платформы. В июне 2019 года Хаммер, Мутусами, Томас Рауш, Париджат Дубе и Каутар Эль Маграуи представили доклад на Международной конференции IEEE 2019 года по облачной инженерии (IC2E). [10] В документе расширена презентация 2018 года, в которой предлагается ModelOps в качестве облачной среды и платформы для комплексной разработки и управления жизненным циклом приложений искусственного интеллекта (ИИ). Вкратце они заявили, что эта структура покажет, как можно расширить принципы управления жизненным циклом программного обеспечения, чтобы обеспечить автоматизацию, доверие, надежность, отслеживаемость, контроль качества и воспроизводимость конвейеров моделей ИИ. [11] В марте 2020 года компания ModelOp, Inc. опубликовала первое подробное руководство по методологии ModelOps. Целью этой публикации было предоставить обзор возможностей ModelOps, а также технических и организационных требований для реализации практик ModelOps. [12]
Варианты использования
[ редактировать ]Одним из типичных вариантов использования ModelOps является сектор финансовых услуг, где временных рядов используются сотни моделей , чтобы сосредоточиться на строгих правилах предвзятости и проверяемости. В этих случаях справедливость и надежность моделей имеют решающее значение, то есть модели должны быть справедливыми и точными, а также должны надежно работать. ModelOps автоматизирует жизненный цикл моделей в производстве. Такая автоматизация включает в себя разработку жизненного цикла модели, включая технические, бизнес-ключевые показатели и пороговые значения для обеспечения соответствия требованиям, для управления и мониторинга модели во время ее работы, мониторинг моделей на предмет предвзятости и других технических и бизнес-аномалий, а также обновление модели по мере необходимости без нарушения работы модели. приложения. ModelOps — это диспетчер, который следит за тем, чтобы все поезда ходили вовремя и по правильному пути, обеспечивая контроль рисков, соблюдение требований и эффективность бизнеса.
Другой вариант использования — мониторинг уровня сахара в крови диабетика на основе данных пациента в режиме реального времени. Модель, которая может прогнозировать гипогликемию, должна постоянно обновляться текущими данными, бизнес-ключевые показатели эффективности и аномалии должны постоянно отслеживаться и должны быть доступны в распределенной среде, чтобы информация была доступна на мобильном устройстве, а также передавалась в более крупную систему. Оркестровка, управление, переобучение, мониторинг и обновление выполняются с помощью ModelOps.
Процесс ModelOps
[ редактировать ]Процесс ModelOps направлен на автоматизацию управления, управления и мониторинга моделей в производстве на предприятии, что позволяет разработчикам ИИ и приложений легко подключать возможности жизненного цикла (такие как обнаружение смещений, надежность и надежность, обнаружение отклонений, технические, бизнес-процессы и соответствие требованиям). ключевые показатели эффективности, нормативные ограничения и потоки одобрений) для запуска моделей ИИ в производство в качестве бизнес-приложений. Процесс начинается со стандартного представления моделей-кандидатов для производства, которое включает метамодель (спецификацию модели) со всеми компонентами и зависимыми частями, которые используются при построении модели, такими как данные, аппаратная и программная среда, классификаторы, и плагины кода, и, что наиболее важно, ключевые показатели эффективности бизнеса и соответствия требованиям/рискам.
ModelOps: эволюция MLOps
[ редактировать ]MLOps (операции машинного обучения) — это дисциплина, которая позволяет ученым, работающим с данными, и ИТ-специалистам сотрудничать и общаться при автоматизации алгоритмов машинного обучения. Он расширяет и расширяет принципы DevOps для поддержки автоматизации разработки и развертывания моделей и приложений машинного обучения. [13] На практике MLOps включает в себя рутинные модели машинного обучения (ML). Однако разнообразие и использование моделей изменились и теперь включают модели оптимизации решений, модели оптимизации и модели трансформации , которые добавляются в приложения. ModelOps — это эволюция MLOps, которая расширяет свои принципы и включает не только рутинное развертывание моделей машинного обучения, но и постоянное переобучение, автоматическое обновление, а также синхронизированную разработку и развертывание более сложных моделей машинного обучения. [14] ModelOps относится к практической реализации всех моделей искусственного интеллекта, включая модели машинного обучения, с которыми связан MLOps. [15]
Ссылки
[ редактировать ]- ^ Бретену, Эрик. «Глоссарий Гартнера» . Гартнер . Проверено 16 декабря 2020 г.
- ^ Чоудхари, Фархан. «Глоссарий Гартнера» . Гартнер . Проверено 6 августа 2020 г. [ мертвая ссылка ]
- ^ Барот, Сойеб. «Руководство по внедрению машинного обучения» . Гартнер . Проверено 6 августа 2020 г. [ мертвая ссылка ]
- ^ Ву, Джун. «ModelOps — ключ к корпоративному ИИ» . Форбс . Проверено 5 февраля 2021 г.
- ^ «Опрос Gartner показывает, что 37 процентов организаций внедрили ИИ в той или иной форме». Отдел новостей Gartner . 21 января 2018 г.
- ^ Ву, Джун (2020 г.), ModelOps — ключ к корпоративному ИИ. (опубликовано 31 марта 2020 г.)
- ^ «Мультимодальная прогнозная аналитика и решения машинного обучения, третий квартал 2018 г.» (PDF) . ИБМ .
- ^ «День языков программирования IBM» .
- ^ Вальдемар Хаммер и Винод Мутусами. Модель программирования для многоразовых, платформонезависимых и компонуемых рабочих процессов ИИ . IBM Research AI, 10 декабря 2018 г.
- ^ «Международная конференция IEEE по облачной инженерии (IC2E)» .
- ^ Хаммер, Вальдемар; Мутусами, Винод. ModelOps: облачное управление жизненным циклом для надежного и заслуживающего доверия искусственного интеллекта . Международная конференция IEEE по облачной инженерии. Париджат Дубе, Каутар Эль Маграуи. п. 1.
- ^ «Основы ModelOps: лучшие практики для достижения успеха с корпоративным ИИ» (PDF) . МодельОп . Проверено 7 августа 2020 г.
- ^ Талагала, Ниша (30 января 2018 г.). «Почему MLOps (а не только ML) — это новый рубеж конкурентоспособности вашего бизнеса». AITrends .
- ^ «Создание ModelOps с интеллектуальной автоматизацией для облачных приложений ускоряет рост благодаря инициативам цифровой трансформации». 451 Исследования .
- ^ Барот, Сойеб. «Модель управления: важнейший инструмент успеха в бизнесе» .