Адаптация домена

Различие между обычным машинным обучением и трансферным обучением , а также позиционирование адаптации предметной области

Адаптация домена — это область, связанная с машинным обучением и трансферным обучением . Этот сценарий возникает, когда мы стремимся изучить модель на основе распределения исходных данных и применить эту модель к другому (но связанному) целевому распределению данных. Например, одна из задач общей задачи фильтрации спама состоит в адаптации модели от одного пользователя (исходная рассылка) к новому пользователю, который получает существенно отличающиеся электронные письма (целевая рассылка). Также было показано, что адаптация предметной области полезна для изучения несвязанных источников. Обратите внимание: когда доступно более одного исходного дистрибутива, проблема называется адаптацией домена с несколькими источниками.

Обзор

Адаптация предметной области — это способность применять алгоритм, обученный в одном или нескольких «исходных доменах», к другому (но связанному) «целевому домену». Адаптация предметной области — это подкатегория трансферного обучения. При адаптации предметной области исходный и целевой домены имеют одинаковое пространство объектов (но разные распределения); Напротив, трансферное обучение включает случаи, когда пространство признаков целевого домена отличается от пространства или пространств исходного объекта.

Сдвиг домена

домена Смена , или сдвиг распределения , — это изменение в распределении данных между набором обучающих данных алгоритма и набором данных, с которым он сталкивается при развертывании. Подобные сдвиги предметной области часто встречаются в практических применениях искусственного интеллекта. Традиционные алгоритмы машинного обучения часто плохо адаптируются к изменениям в предметной области. Современное сообщество машинного обучения имеет множество различных стратегий, направленных на лучшую адаптацию к предметной области.

Примеры

• Алгоритму, обученному на новостных лентах, возможно, придется адаптироваться к новому набору данных биомедицинских документов.
• Спам-фильтр, обученный в ходе обучения на определенной группе пользователей электронной почты, при развертывании должен адаптироваться к новому целевому пользователю.
• Применение диагностических алгоритмов искусственного интеллекта, обученных на размеченных данных, связанных с предыдущими заболеваниями, к новым неразмеченным данным, связанным с пандемией COVID-19 .
• Внезапные социальные изменения, такие как вспышка пандемии, могут представлять собой сдвиг в сфере деятельности и привести к сбою алгоритмов машинного обучения, обученных на уже устаревших данных о потребителях, и потребуется вмешательство.

Другие приложения включают обнаружение локализации Wi-Fi и многие аспекты компьютерного зрения .

Формализация

Позволять $X$ быть входным пространством (или пространством описания) и пусть $Y$ быть выходным пространством (или пространством меток). Целью алгоритма машинного обучения является изучение математической модели (гипотезы). $h:X\to Y$ возможность прикрепить метку из $Y$ к примеру из $X$. Эта модель изучается на обучающем образце. $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$.

Обычно при обучении с учителем (без адаптации предметной области) мы предполагаем, что примеры $(x_{i},y_{i})\in S$ взяты iid из дистрибутива $D_{S}$ поддержки $X\times Y$ (неизвестно и исправлено). Тогда цель состоит в том, чтобы научиться $h$ (от $S$), так что он допускает как можно меньше ошибок при маркировке новых примеров, поступающих из дистрибутива. $D_{S}$.

Основное различие между обучением с учителем и адаптацией предметной области состоит в том, что в последней ситуации мы изучаем два разных (но связанных) распределения. $D_{S}$ и $D_{T}$ на $X\times Y$. Тогда задача адаптации предметной области состоит в передаче знаний из исходной предметной области. $D_{S}$ к целевому $D_{T}$. Цель состоит в том, чтобы научиться $h$ (из меченых или немаркированных образцов, поступающих из двух доменов), чтобы в целевом домене совершалось как можно меньше ошибок. $D_{T}$.

Основная проблема заключается в следующем: если модель изучается из исходной области, какова ее способность правильно маркировать данные, поступающие из целевой области?

Различные типы адаптации домена

Существует несколько контекстов адаптации предметной области. Они различаются информацией, учитываемой для целевой задачи.

1. Адаптация неконтролируемой области : обучающая выборка содержит набор помеченных исходных примеров, набор неразмеченных исходных примеров и набор неразмеченных целевых примеров.
2. : Адаптация полуконтролируемой области в этой ситуации мы также рассматриваем «маленький» набор помеченных целевых примеров.
3. Адаптация контролируемой области : все рассмотренные примеры должны быть помечены.

Четыре алгоритмических принципа

Алгоритмы повторного взвешивания

Цель состоит в том, чтобы повторно взвесить выборку с маркировкой источника так, чтобы она «выглядела» как целевая выборка (с точки зрения рассматриваемой меры ошибки).

Итерационные алгоритмы

Метод адаптации заключается в итеративном «автоматическом присвоении меток» целевым примерам. Принцип прост:

1. модель $h$ усваивается из отмеченных примеров;
2. $h$ автоматически помечает некоторые целевые примеры;
3. новая модель изучается на основе новых помеченных примеров.

Обратите внимание, что существуют и другие итеративные подходы, но для них обычно нужны примеры с пометкой целей.

Поиск общего пространства представления

Цель состоит в том, чтобы найти или построить общее пространство представления для двух областей. Цель состоит в том, чтобы получить пространство, в котором домены будут расположены близко друг к другу, сохраняя при этом хорошие результаты при выполнении задачи маркировки источника. Этого можно достичь за счет использования методов состязательного машинного обучения , в которых представления функций из образцов в разных областях должны быть неотличимы.

Иерархическая байесовская модель

Цель состоит в том, чтобы построить байесовскую иерархическую модель. $p(n)$, что по сути является моделью факторизации для подсчетов $n$, для получения скрытых представлений, зависящих от предметной области, позволяющих использовать как специфичные для предметной области, так и глобально общие скрытые факторы.

Программное обеспечение

За последние десятилетия было реализовано несколько компиляций алгоритмов адаптации предметной области и трансферного обучения:

• АДАПТ (Питон)
• TLlib (Питон)
• Панель инструментов адаптации домена (Малаб)