Многозадачное обучение

Многозадачное обучение (MTL) — это область машинного обучения , в которой одновременно решаются несколько задач обучения, при этом используются общие черты и различия между задачами. Это может привести к повышению эффективности обучения и точности прогнозирования для моделей, ориентированных на конкретные задачи, по сравнению с обучением моделей по отдельности. Ранние версии MTL назывались «подсказками».

В широко цитируемой статье 1997 года Рич Каруана дал следующую характеристику:

Многозадачное обучение — это подход к индуктивному переносу , который улучшает обобщение за счет использования информации о предметной области, содержащейся в обучающих сигналах связанных задач, в качестве индуктивного смещения . Это достигается путем параллельного изучения задач при использовании общего представления ; то, что изучено для каждой задачи, может помочь лучше выучить другие задачи.

В контексте классификации MTL направлен на повышение производительности нескольких задач классификации путем их совместного изучения. Одним из примеров является спам-фильтр, который можно рассматривать как отдельные, но связанные задачи классификации для разных пользователей. Чтобы сделать это более конкретным, учтите, что разные люди имеют разное распределение функций, которые отличают спам-сообщения от законных. Например, англоговорящий человек может обнаружить, что все электронные письма на русском языке являются спамом, но не для русскоязычных. Тем не менее, существует определенная общность в этой задаче классификации среди пользователей, например, одной общей чертой может быть текст, связанный с денежным переводом. Совместное решение проблемы классификации спама каждого пользователя с помощью MTL может позволить решениям информировать друг друга и повысить производительность. Дополнительные примеры настроек для MTL включают многоклассовую классификацию и классификацию по нескольким меткам .

Многозадачное обучение работает, потому что регуляризация , вызванная требованием, чтобы алгоритм хорошо выполнял соответствующую задачу, может превосходить регуляризацию, которая предотвращает переобучение путем равномерного наказания за всю сложность. Одна из ситуаций, в которой MTL может оказаться особенно полезным, — это если задачи имеют значительные общие черты и, как правило, выборка немного недостаточна. Однако, как обсуждается ниже, MTL также оказался полезен для изучения несвязанных задач.

Методы

Ключевая проблема в многозадачном обучении заключается в том, как объединить обучающие сигналы из нескольких задач в единую модель. Это может сильно зависеть от того, насколько разные задачи согласуются друг с другом или противоречат друг другу. Есть несколько способов решения этой задачи:

Группировка задач и дублирование

В рамках парадигмы MTL информация может распределяться между некоторыми или всеми задачами. В зависимости от структуры связи задач может потребоваться выборочное разделение информации между задачами. Например, задачи могут быть сгруппированы, существовать в иерархии или быть связаны по какой-то общей метрике. Предположим, как это будет более формально описано ниже, что вектор параметров, моделирующий каждую задачу, представляет собой линейную комбинацию некоторого базиса. Сходство по этому признаку может указывать на родственность задач. Например, при разреженности перекрытие ненулевых коэффициентов между задачами указывает на общность. Группировка задач тогда соответствует тем задачам, которые лежат в подпространстве, созданном некоторым подмножеством базовых элементов, где задачи в разных группах могут быть непересекающимися или перекрываться произвольно с точки зрения их базисов. Связность задач может быть задана априори или изучена на основе данных. Иерархическую связь задач также можно использовать неявно, без явного предположения об априорных знаниях или отношениях обучения. Например, явное изучение релевантности выборки для разных задач может быть сделано, чтобы гарантировать эффективность совместного обучения в нескольких областях.

Использование несвязанных задач

Можно попытаться изучить группу основных задач, используя группу вспомогательных задач, не связанных с основными. Во многих приложениях может оказаться полезным совместное изучение несвязанных задач, в которых используются одни и те же входные данные. Причина в том, что предварительные знания о связи задач могут привести к более разреженным и информативным представлениям для каждой группы задач, по существу, за счет выявления особенностей распределения данных. Были предложены новые методы, которые основываются на предшествующей методологии многозадачности, отдавая предпочтение общему низкоразмерному представлению внутри каждой группы задач. Программист может налагать штрафы на задачи из разных групп, что способствует ортогонализации двух представлений . Эксперименты на синтетических и реальных данных показали, что включение несвязанных задач может привести к значительным улучшениям по сравнению со стандартными методами многозадачного обучения.

Передача знаний

С многозадачным обучением связана концепция передачи знаний. В то время как традиционное многозадачное обучение подразумевает, что общее представление создается одновременно для всех задач, передача знаний предполагает последовательное совместное представление. Крупномасштабные проекты машинного обучения, такие как глубокая сверточная нейронная сеть GoogLeNet , Классификатор объектов на основе изображений может создавать надежные представления, которые могут быть полезны для дальнейших алгоритмов, изучающих связанные задачи. Например, предварительно обученную модель можно использовать в качестве средства извлечения признаков для выполнения предварительной обработки для другого алгоритма обучения. Или предварительно обученную модель можно использовать для инициализации модели с аналогичной архитектурой, которая затем настраивается для изучения другой задачи классификации.

Множественные нестационарные задачи

Традиционно многозадачное обучение и передача знаний применяются в условиях стационарного обучения. Их распространение на нестационарные среды называется групповым онлайн-адаптивным обучением (ЦЕЛЬ). Обмен информацией может быть особенно полезен, если учащиеся работают в постоянно меняющихся условиях, поскольку учащийся может извлечь выгоду из предыдущего опыта другого учащегося, чтобы быстро адаптироваться к новой среде. Такое групповое адаптивное обучение имеет множество применений: от прогнозирования финансовых временных рядов через системы рекомендаций по контенту до визуального понимания для адаптивных автономных агентов.

Многозадачная оптимизация

Многозадачная оптимизация . В некоторых случаях одновременное обучение, казалось бы, связанных задач может снизить производительность по сравнению с однозадачными моделями. Обычно модели MTL используют модули для конкретных задач поверх общего представления функций, полученного с использованием общего модуля. Поскольку это совместное представление должно охватывать полезные функции всех задач, MTL может препятствовать выполнению отдельных задач, если разные задачи требуют противоречивого представления, т. е. градиенты разных задач указывают на противоположные направления или значительно различаются по величине. Это явление обычно называют отрицательным переносом. Чтобы решить эту проблему, были предложены различные методы оптимизации MTL. Обычно градиенты для каждой задачи объединяются в совместное направление обновления с помощью различных алгоритмов агрегирования или эвристики. Эти методы включают вычитание проекции конфликтующих градиентов, применение методов теории игр, и использование байесовского моделирования для получения распределения по градиентам.

Математика

Воспроизведение гильбертова пространства векторнозначных функций (RKHSvv)

Задачу MTL можно поставить в контексте RKHSvv ( полное внутреннее пространство оснащенное векторных функций, воспроизводящим ядром ). В частности, в последнее время основное внимание уделялось случаям, когда структуру задачи можно определить с помощью разделимого ядра, описанного ниже. Представленная здесь презентация взята из Ciliberto et al., 2015.

Концепции RKHSvv

Предположим, что набор обучающих данных ${\mathcal {S}}_{t}=\{(x_{i}^{t},y_{i}^{t})\}_{i=1}^{n_{t}}$, с $x_{i}^{t}\in {\mathcal {X}}$, $y_{i}^{t}\in {\mathcal {Y}}$, где t индексирует задачу, а $t\in 1,...,T$. Позволять $n=\sum _{t=1}^{T}n_{t}$. В этом случае имеется согласованное пространство ввода и вывода и одна и та же функция потерь. ${\mathcal {L}}:\mathbb {R} \times \mathbb {R} \rightarrow \mathbb {R} _{+}$ для каждой задачи: . Это приводит к регуляризованной задаче машинного обучения:

$$\min _{f\in {\mathcal {H}}}\sum _{t=1}^{T}{\frac {1}{n_{t}}}\sum _{i=1}^{n_{t}}{\mathcal {L}}(y_{i}^{t},f_{t}(x_{i}^{t}))+\lambda ||f||_{\mathcal {H}}^{2}$$

( 1 )

где ${\mathcal {H}}$ является векторным, воспроизводящим ядерное гильбертово пространство с функциями $f:{\mathcal {X}}\rightarrow {\mathcal {Y}}^{T}$ наличие компонентов $f_{t}:{\mathcal {X}}\rightarrow {\mathcal {Y}}$.

Воспроизводящее ядро ​​пространства ${\mathcal {H}}$ функций $f:{\mathcal {X}}\rightarrow \mathbb {R} ^{T}$ представляет собой симметричную матрицу-функцию $\Gamma :{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} ^{T\times T}$ , такой, что $\Gamma (\cdot ,x)c\in {\mathcal {H}}$ и следующие воспроизводящие свойства:

$$\langle f(x),c\rangle _{\mathbb {R} ^{T}}=\langle f,\Gamma (x,\cdot )c\rangle _{\mathcal {H}}$$

( 2 )

Воспроизводящее ядро ​​приводит к теореме о представителе, показывающей, что любое решение уравнения 1 имеет вид:

$$f(x)=\sum _{t=1}^{T}\sum _{i=1}^{n_{t}}\Gamma (x,x_{i}^{t})c_{i}^{t}$$

( 3 )

Отделимые ядра

Форма ядра Γ обеспечивает как представление пространства признаков , так и структурирование результатов по задачам. Естественным упрощением является выбор сепарабельного ядра, которое разлагается на отдельные ядра на входном пространстве X и на задачах $\{1,...,T\}$. В этом случае ядро, связывающее скалярные компоненты $f_{t}$ и $f_{s}$ дается ${\textstyle \gamma ((x_{i},t),(x_{j},s))=k(x_{i},x_{j})k_{T}(s,t)=k(x_{i},x_{j})A_{s,t}}$. Для векторных функций $f\in {\mathcal {H}}$ мы можем написать $\Gamma (x_{i},x_{j})=k(x_{i},x_{j})A$, где k — скалярное воспроизводящее ядро, а A — симметричный положительно полуопределенный $T\times T$ матрица. В дальнейшем обозначаем $S_{+}^{T}=\{{\text{PSD matrices}}\}\subset \mathbb {R} ^{T\times T}$ .

Это свойство факторизации, разделимость, подразумевает, что представление входного пространства признаков не меняется в зависимости от задачи. То есть нет взаимодействия между входным ядром и ядром задачи. Структура по задачам представлена A. ​​исключительно Методы для неразделимых ядер Γ — современная область исследований.

Для сепарабельного случая теорема о представлении сводится к ${\textstyle f(x)=\sum _{i=1}^{N}k(x,x_{i})Ac_{i}}$. Выходные данные модели для обучающих данных тогда будут KCA , где K — это $n\times n$ эмпирическая матрица ядра с записями ${\textstyle K_{i,j}=k(x_{i},x_{j})}$, а C – это $n\times T$ матрица строк $c_{i}$.

При наличии сепарабельного ядра уравнение 1 можно переписать как

$$\min _{C\in \mathbb {R} ^{n\times T}}V(Y,KCA)+\lambda tr(KCAC^{\top })$$

( П )

где V — это (взвешенное) среднее значение L, по входу примененное к Y и KCA . (Вес равен нулю, если $Y_{i}^{t}$ это недостающее наблюдение).

Обратите внимание, что второй член в P можно получить следующим образом:

${\begin{aligned}\|f\|_{\mathcal {H}}^{2}&=\left\langle \sum _{i=1}^{n}k(\cdot ,x_{i})Ac_{i},\sum _{j=1}^{n}k(\cdot ,x_{j})Ac_{j}\right\rangle _{\mathcal {H}}\\&=\sum _{i,j=1}^{n}\langle k(\cdot ,x_{i})Ac_{i},k(\cdot ,x_{j})Ac_{j}\rangle _{\mathcal {H}}&{\text{(bilinearity)}}\\&=\sum _{i,j=1}^{n}\langle k(x_{i},x_{j})Ac_{i},c_{j}\rangle _{\mathbb {R} ^{T}}&{\text{(reproducing property)}}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})c_{i}^{\top }Ac_{j}=tr(KCAC^{\top })\end{aligned}}$

Известная структура задачи

Представления структуры задач

Существует три во многом эквивалентных способа представления структуры задачи: через регуляризатор; через выходную метрику и через выходное отображение.

Регуляризатор . С помощью отделимого ядра можно показать (ниже), что ${\textstyle ||f||_{\mathcal {H}}^{2}=\sum _{s,t=1}^{T}A_{t,s}^{\dagger }\langle f_{s},f_{t}\rangle _{{\mathcal {H}}_{k}}}$, где $A_{t,s}^{\dagger }$ это $t,s$ элемент псевдообратного $A$, и ${\mathcal {H}}_{k}$ это RKHS на основе скалярного ядра $k$, и ${\textstyle f_{t}(x)=\sum _{i=1}^{n}k(x,x_{i})A_{t}^{\top }c_{i}}$. Эта формулировка показывает, что $A_{t,s}^{\dagger }$ контролирует тяжесть наказания, связанного с ${\textstyle \langle f_{s},f_{t}\rangle _{{\mathcal {H}}_{k}}}$. (Обратите внимание, что ${\textstyle \langle f_{s},f_{t}\rangle _{{\mathcal {H}}_{k}}}$ возникает из ${\textstyle ||f_{t}||_{{\mathcal {H}}_{k}}=\langle f_{t},f_{t}\rangle _{{\mathcal {H}}_{k}}}$.)

Доказательство

${\begin{aligned}\|f\|_{\mathcal {H}}^{2}&=\left\langle \sum _{i=1}^{n}\gamma ((x_{i},t_{i}),\cdot )c_{i}^{t_{i}},\sum _{j=1}^{n}\gamma ((x_{j},t_{j}),\cdot )c_{j}^{t_{j}}\right\rangle _{\mathcal {H}}\\&=\sum _{i,j=1}^{n}c_{i}^{t_{i}}c_{j}^{t_{j}}\gamma ((x_{i},t_{i}),(x_{j},t_{j}))\\&=\sum _{i,j=1}^{n}\sum _{s,t=1}^{T}c_{i}^{t}c_{j}^{s}k(x_{i},x_{j})A_{s,t}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})\langle c_{i},Ac_{j}\rangle _{\mathbb {R} ^{T}}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})\langle c_{i},AA^{\dagger }Ac_{j}\rangle _{\mathbb {R} ^{T}}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})\langle Ac_{i},A^{\dagger }Ac_{j}\rangle _{\mathbb {R} ^{T}}\\&=\sum _{i,j=1}^{n}\sum _{s,t=1}^{T}(Ac_{i})^{t}(Ac_{j})^{s}k(x_{i},x_{j})A_{s,t}^{\dagger }\\&=\sum _{s,t=1}^{T}A_{s,t}^{\dagger }\langle \sum _{i=1}^{n}k(x_{i},\cdot )(Ac_{i})^{t},\sum _{j=1}^{n}k(x_{j},\cdot )(Ac_{j})^{s}\rangle _{{\mathcal {H}}_{k}}\\&=\sum _{s,t=1}^{T}A_{s,t}^{\dagger }\langle f_{t},f_{s}\rangle _{{\mathcal {H}}_{k}}\end{aligned}}$

Выходная метрика — альтернативная выходная метрика на ${\mathcal {Y}}^{T}$ может быть вызвано внутренним произведением $\langle y_{1},y_{2}\rangle _{\Theta }=\langle y_{1},\Theta y_{2}\rangle _{\mathbb {R} ^{T}}$. С квадратом потерь существует эквивалентность между сепарабельными ядрами $k(\cdot ,\cdot )I_{T}$ по альтернативной метрике, и $k(\cdot ,\cdot )\Theta$, по канонической метрике.

Сопоставление выходов . Выходы можно сопоставить как $L:{\mathcal {Y}}^{T}\rightarrow {\mathcal {\tilde {Y}}}$ в пространство более высокой размерности для кодирования сложных структур, таких как деревья, графы и строки. Для линейных отображений L при соответствующем выборе сепарабельного ядра можно показать, что $A=L^{\top }L$.

Примеры структуры задач

С помощью формулировки регуляризатора можно легко представить различные структуры задач.

• Сдача в аренду ${\textstyle A^{\dagger }=\gamma I_{T}+(\gamma -\lambda ){\frac {1}{T}}\mathbf {1} \mathbf {1} ^{\top }}$ (где $I_{T}$ - единичная матрица T x T , и ${\textstyle \mathbf {1} \mathbf {1} ^{\top }}$ — матрица единиц T x T ) эквивалентно тому, что Γ контролирует дисперсию ${\textstyle \sum _{t}||f_{t}-{\bar {f}}||_{{\mathcal {H}}_{k}}}$ задач от их среднего значения ${\textstyle {\frac {1}{T}}\sum _{t}f_{t}}$. Например, уровни некоторых биомаркеров в крови можно измерить у Т. пациентов с $n_{t}$ моменты времени в течение дня, и интерес может заключаться в упорядочении дисперсии прогнозов у ​​разных пациентов.
• Сдача в аренду $A^{\dagger }=\alpha I_{T}+(\alpha -\lambda )M$ , где $M_{t,s}={\frac {1}{|G_{r}|}}\mathbb {I} (t,s\in G_{r})$ эквивалентно тому, чтобы позволить $\alpha$ контролировать дисперсию, измеренную относительно группового среднего: $\sum _{r}\sum _{t\in G_{r}}||f_{t}-{\frac {1}{|G_{r}|}}\sum _{s\in G_{r})}f_{s}||$. (Здесь $|G_{r}|$ мощность группы r и $\mathbb {I}$ – индикаторная функция). Например, люди из разных политических партий (групп) могут быть упорядочены вместе с целью прогнозирования рейтинга благосклонности того или иного политика. Обратите внимание, что этот штраф уменьшается до первого, когда все задачи находятся в одной группе.
• Сдача в аренду $A^{\dagger }=\delta I_{T}+(\delta -\lambda )L$, где $L=D-M$ – лапласиан графа с матрицей смежности M, дающей попарное сходство задач. Это эквивалентно увеличению штрафа за расстояние, разделяющее задачи t и s, когда они более похожи (в соответствии с весом $M_{t,s}$,) т.е. $\delta$ упорядочивает $\sum _{t,s}||f_{t}-f_{s}||_{{\mathcal {H}}_{k}}^{2}M_{t,s}$.
• Все вышеперечисленные варианты выбора A также приводят к появлению дополнительного члена регуляризации ${\textstyle \lambda \sum _{t}||f||_{{\mathcal {H}}_{k}}^{2}}$ что наказывает сложность в f в более широком смысле.

Учебные задачи вместе с их структурой

Задачу обучения P можно обобщить, включив в нее матрицу задач обучения A, следующим образом:

$$\min _{C\in \mathbb {R} ^{n\times T},A\in S_{+}^{T}}V(Y,KCA)+\lambda tr(KCAC^{\top })+F(A)$$

( В )

Выбор $F:S_{+}^{T}\rightarrow \mathbb {R} _{+}$ должен быть предназначен для изучения матриц A заданного типа. См. «Особые случаи» ниже.

Оптимизация Q

Ограничиваясь случаем выпуклых потерь и принудительных санкций, Ciliberto et al. показали, что, хотя Q не является совместно выпуклой в C и A, родственная проблема является совместно выпуклой.

Конкретно на выпуклом множестве ${\mathcal {C}}=\{(C,A)\in \mathbb {R} ^{n\times T}\times S_{+}^{T}|Range(C^{\top }KC)\subseteq Range(A)\}$, эквивалентная задача

$$\min _{C,A\in {\mathcal {C}}}V(Y,KC)+\lambda tr(A^{\dagger }C^{\top }KC)+F(A)$$

( Р )

является выпуклым с тем же минимальным значением. И если $(C_{R},A_{R})$ является минимизатором для R, тогда $(C_{R}A_{R}^{\dagger },A_{R})$ является минимизатором для Q .

R можно решить барьерным методом на замкнутом множестве, введя следующее возмущение:

$$\min _{C\in \mathbb {R} ^{n\times T},A\in S_{+}^{T}}V(Y,KC)+\lambda tr(A^{\dagger }(C^{\top }KC+\delta ^{2}I_{T}))+F(A)$$

( С )

Возмущение через барьер $\delta ^{2}tr(A^{\dagger })$ заставляет целевые функции быть равными $+\infty$ на границе $R^{n\times T}\times S_{+}^{T}$ .

S можно решить с помощью метода спуска блочных координат, чередуя C и A. В результате получается последовательность минимизаторов. $(C_{m},A_{m})$ в S, которое сходится к решению в R как $\delta _{m}\rightarrow 0$, и, следовательно, дает решение Q .

Особые случаи

Спектральные штрафы - Диннузо и др. предложил установить F как норму Фробениуса. ${\sqrt {tr(A^{\top }A)}}$. Они оптимизировали Q напрямую, используя блочный спуск по координатам, не учитывая трудности на границе $\mathbb {R} ^{n\times T}\times S_{+}^{T}$.

Обучение кластерным задачам - Джейкоб и др. предложил изучать A в условиях, когда T задач организованы в R непересекающихся кластеров. В этом случае пусть $E\in \{0,1\}^{T\times R}$ быть матрицей с $E_{t,r}=\mathbb {I} ({\text{task }}t\in {\text{group }}r)$. Параметр $M=I-E^{\dagger }E^{T}$, и $U={\frac {1}{T}}\mathbf {11} ^{\top }$, матрица задач $A^{\dagger }$ может быть параметризован как функция $M$: $A^{\dagger }(M)=\epsilon _{M}U+\epsilon _{B}(M-U)+\epsilon (I-M)$ , с условиями, которые наказывают среднее значение дисперсии между кластерами и дисперсии внутри кластеров соответственно прогнозов задачи. М не выпуклая, но имеется выпуклая релаксация ${\mathcal {S}}_{c}=\{M\in S_{+}^{T}:I-M\in S_{+}^{T}\land tr(M)=r\}$. В этой формулировке $F(A)=\mathbb {I} (A(M)\in \{A:M\in {\mathcal {S}}_{C}\})$.

Обобщения

Невыпуклые штрафы . Штрафы могут быть построены так, что A ограничено лапласианом графа или что A имеет факторизацию низкого ранга. Однако эти штрафы не являются выпуклыми, и анализ барьерного метода, предложенного Ciliberto et al. в этих случаях не проходит.

Неразделимые ядра . Разделимые ядра ограничены, в частности, они не учитывают структуры в пространстве взаимодействия между входными и выходными доменами совместно. Необходима дальнейшая работа по разработке моделей для этих ядер.

Пакет программного обеспечения

Пакет Matlab под названием «Многозадачное обучение посредством структурной регуляризации» (MALSAR). реализует следующие алгоритмы многозадачного обучения: Средне-регуляризованное многозадачное обучение, Многозадачное обучение с совместным выбором функций, Надежное многозадачное обучение, Регуляризованное многозадачное обучение Trace-Norm, Поочередная структурная оптимизация, Некогерентное низкоранговое и разреженное обучение, Надежное многозадачное обучение низкого ранга, кластерное многозадачное обучение, Многозадачное обучение с графовыми структурами.

См. также

• Искусственный интеллект
• Искусственная нейронная сеть
• Автоматизированное машинное обучение (AutoML)
• Эволюционные вычисления
• Общая игра
• Генетический алгоритм, основанный на человеке
• Методы ядра для векторного вывода
• Многозадачная оптимизация
• Обучение роботов
• Трансферное обучение

Внешние ссылки

• Группа биосигналов в UIUC
• Вашингтонский университет в Сент-Луисе. Отделение. компьютерных наук

Программное обеспечение

• Многозадачное обучение с помощью пакета структурной регуляризации
• Набор инструментов для многозадачного онлайн-обучения (OMT). Универсальный набор инструментов для многозадачного онлайн-обучения, основанный на моделях условных случайных полей и обучении стохастическому градиентному спуску ( C# , .NET ).