Структурированная регуляризация разреженности

Структурированная регуляризация разреженности — это класс методов и область исследований в теории статистического обучения , которые расширяют и обобщают методы обучения регуляризации разреженности. ^[1] Методы регуляризации как разреженности, так и структурированной разреженности стремятся использовать предположение о том, что выходная переменная $Y$ (т. е. ответ или зависимая переменная ), которую необходимо изучить, может быть описана уменьшенным количеством переменных во входном пространстве. $X$ (т. е. область , пространство признаков или независимых переменных ). Методы регуляризации разреженности фокусируются на выборе входных переменных, которые лучше всего описывают выходные данные. Методы структурированной регуляризации разреженности обобщают и расширяют методы регуляризации разреженности, позволяя осуществлять оптимальный выбор среди таких структур, как группы или сети входных переменных. $X$ . ^[2]^[3]

Распространенной мотивацией для использования методов структурированной разреженности являются интерпретируемость модели, многомерное обучение (где размерность $X$ может быть больше, чем количество наблюдений $n$ ) и снижение вычислительной сложности . ^[4] Более того, методы структурированной разреженности позволяют включать предварительные предположения о структуре входных переменных, таких как перекрывающиеся группы, ^[2] непересекающиеся группы и ациклические графы. ^[3] Примеры использования методов структурированной разреженности включают распознавание лиц, ^[5] магнитно-резонансных изображений (МРТ) , обработка ^[6] социолингвистический анализ обработки естественного языка, ^[7] и анализ генетической экспрессии при раке молочной железы. ^[8]

Определение и связанные с ним понятия

Регуляризация разреженности

с линейным ядром Рассмотрим регуляризованную задачу минимизации эмпирического риска и функцией потерь $V(y_{i},f(x))$ и $\ell _{0}$ «норма» как штраф за регуляризацию:

\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},\langle w,x_{i}\rangle )+\lambda \|w\|_{0},

где $x,w\in \mathbb {R^{d}}$ , и $\|w\|_{0}$ обозначает $\ell _{0}$ «норма», определяемая как количество ненулевых элементов вектора. $w$ . $f(x)=\langle w,x_{i}\rangle$ называется разреженным, если $\|w\|_{0}=s<d$ . Это означает, что вывод $Y$ может быть описан небольшим подмножеством входных переменных.

В более общем смысле, предположим, что словарь $\phi _{j}:X\rightarrow \mathbb {R}$ с $j=1,...,p$ задана такая, что целевая функция $f(x)$ задачи обучения можно записать так:

f(x)=\sum _{j=1}^{p}\phi _{j}(x)w_{j}

,

\forall x\in X

The $\ell _{0}$ норма $\|f\|_{0}=\|w\|_{0}$ как количество ненулевых компонентов $w$ определяется как

\|w\|_{0}=|\{j|w_{j}\neq 0,j\in \{1,...,p\}\}|

, где

|A|

мощность множества

A

.

$f$ называется разреженным, если $\|f\|_{0}=\|w\|_{0}=s<d$ .

Однако при использовании $\ell _{0}$ норма регуляризации отдает предпочтение более редким решениям, ее сложно использовать в вычислительном отношении, и, кроме того, она не является выпуклой. Более осуществимой в вычислительном отношении нормой, которая отдает предпочтение более разреженным решениям, является $\ell _{1}$ норма; Было показано, что это по-прежнему благоприятствует более разреженным решениям и, кроме того, является выпуклым. ^[4]

Структурированная регуляризация разреженности

Структурированная регуляризация разреженности расширяет и обобщает проблему выбора переменных, которая характеризует регуляризацию разреженности. ^[2]^[3] Рассмотрим приведенную выше регуляризованную задачу минимизации эмпирического риска с общим ядром и связанной с ним картой признаков. $\phi _{j}:X\rightarrow \mathbb {R}$ с $j=1,...,p$ .

\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},\langle w,\Phi (x_{i})\rangle )+\lambda \|w\|_{0},

Срок регуляризации $\lambda \|w\|_{0}$ наказывает каждого $w_{j}$ компонент независимо, что означает, что алгоритм будет подавлять входные переменные независимо друг от друга.

В некоторых ситуациях мы можем захотеть ввести больше структуры в процесс регуляризации, чтобы, например, входные переменные подавлялись в соответствии с заранее определенными группами. Методы регуляризации структурированной разреженности позволяют навязать такую структуру, добавляя структуру к нормам, определяющим термин регуляризации.

Структуры и нормы

Непересекающиеся группы: группа «Лассо»

Случай непересекающейся группы — это самый простой пример структурированной разреженности. В нем априорное разбиение вектора коэффициентов $w$ в $G$ предполагается непересекающиеся группы. Позволять $w_{g}$ быть вектором коэффициентов в группе $g$ мы можем определить термин регуляризации и его групповую норму как

\lambda R(w)=\lambda \sum _{g=1}^{G}\|w_{g}\|_{g}

,

где $\|w_{g}\|_{g}$ это группа $\ell _{2}$ норма $\|w_{g}\|_{g}={\sqrt {\sum _{j=1}^{|G_{g}|}(w_{g}^{j})^{2}}}$ , $G_{g}$ это группа $g$ , и $w_{g}^{j}$ — j-й компонент группы $G_{g}$ .

Вышеуказанную норму еще называют групповым лассо . ^[2] Этот регуляризатор будет стремиться к нулю целых групп коэффициентов, а не отдельных коэффициентов. Поскольку группы непересекающиеся, набор ненулевых коэффициентов можно получить как объединение групп, которые не были установлены в ноль, и наоборот для набора нулевых коэффициентов.

Перекрывающиеся группы

Перекрывающиеся группы — это случай разреженности структуры, когда переменная может принадлежать более чем одной группе. $g$ . Этот случай часто представляет интерес, поскольку он может представлять более общий класс отношений между переменными, чем непересекающиеся группы, такие как древовидные структуры или другие типы графов. ^[3]^[8]

Существует два типа подходов к регуляризации перекрывающейся групповой разреженности, которые используются для моделирования различных типов отношений входных переменных:

Пересечение дополнений: группа Лассо

Подход пересечения дополнений используется в тех случаях, когда мы хотим выбрать только те входные переменные, которые имеют положительные коэффициенты во всех группах, к которым они принадлежат. Рассмотрим еще раз групповое Лассо для регуляризованной эмпирической задачи минимизации риска :

\lambda R(w)=\lambda \sum _{g=1}^{G}\|w_{g}\|_{g}

,

где $\|w_{g}\|_{g}$ это группа $\ell _{2}$ норма, $G_{g}$ это группа $g$ , и $w_{g}^{j}$ — j-й компонент группы $G_{g}$ .

Как и в случае с непересекающимися группами, регуляризатор группового Лассо потенциально обнуляет целые группы коэффициентов. Выбраны переменные с коэффициентами $w_{j}>0$ . Однако, поскольку в этом случае группы могут перекрываться, мы берем пересечение дополнений тех групп, которые не равны нулю.

Это пересечение критериев выбора дополнений подразумевает выбор моделирования, согласно которому мы допускаем некоторые коэффициенты внутри определенной группы. $g$ быть установлено на ноль, в то время как другие в той же группе $g$ может оставаться положительным. Другими словами, коэффициенты внутри группы могут различаться в зависимости от принадлежности к нескольким группам, которые может иметь каждая переменная внутри группы.

Объединение групп: латентная группа Лассо

Другой подход заключается в рассмотрении объединения групп для выбора переменных. Этот подход отражает ситуацию моделирования, когда переменные могут быть выбраны, если они принадлежат хотя бы к одной группе с положительными коэффициентами. Эта перспектива моделирования подразумевает, что мы хотим сохранить структуру группы.

Формулировка подхода объединения групп также называется Лассо скрытой группы и требует изменения группы. $\ell _{2}$ норму, рассмотренную выше, и введем следующий регуляризатор ^[3]

R(w)=inf\left\{\sum _{g}\|w_{g}\|_{g}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}

где $w\in {\mathbb {R^{d}} }$ , $w_{g}\in G_{g}$ – вектор коэффициентов группы g, а ${\bar {w}}_{g}\in {\mathbb {R^{d}} }$ вектор с коэффициентами $w_{g}^{j}$ для всех переменных $j$ в группе $g$ , и $0$ во всех остальных, т.е. ${\bar {w}}_{g}^{j}=w_{g}^{j}$ если $j$ в группе $g$ и ${\bar {w}}_{g}^{j}=0$ в противном случае.

Этот регуляризатор можно интерпретировать как эффективное копирование переменных, принадлежащих более чем одной группе, что позволяет сохранить структуру группы. По замыслу подхода объединения групп, требующего $w=\sum _{g=1}^{G}{\bar {w}}_{g}$ создает вектор весов w, который эффективно суммирует веса всех переменных во всех группах, к которым они принадлежат.

Проблемы с регуляризацией Group Lasso и альтернативными подходами

Целевая функция, использующая групповое лассо, состоит из функции ошибок, которая обычно должна быть выпуклой, но не обязательно сильно выпуклой, и групповой функции. $\ell _{1}$ срок регуляризации. Проблема с этой целевой функцией заключается в том, что она выпуклая, но не обязательно сильно выпуклая, и поэтому обычно не приводит к уникальным решениям. ^[9]

Пример способа исправить это — ввести квадрат $\ell _{2}$ норма весового вектора в качестве дополнительного члена регуляризации при сохранении $\ell _{1}$ термин регуляризации из подхода группового лассо. ^[9] Если коэффициент при квадрате $\ell _{2}$ Нормативный член больше, чем $0$ , то поскольку квадрат $\ell _{2}$ Нормальный член сильно выпуклый, то результирующая целевая функция также будет сильно выпуклой. ^[9] При условии, что $\ell _{2}$ коэффициент достаточно мал, но все же положителен, весовой вектор, минимизирующий результирующую целевую функцию, обычно очень близок к весовому вектору, который минимизирует целевую функцию, которая возникнет в результате удаления группы. $\ell _{2}$ член регуляризации полностью отличается от исходной целевой функции; последний сценарий соответствует подходу группового лассо. ^[9] Таким образом, этот подход позволяет упростить оптимизацию при сохранении разреженности. ^[9]

Нормы, основанные на структуре входных переменных

См.: Функция субмодульного набора.

Помимо норм, обсуждавшихся выше, другие нормы, используемые в методах структурированной разреженности, включают иерархические нормы и нормы, определенные на сетках. Эти нормы возникают из субмодулярных функций и позволяют включать предварительные предположения о структуре входных переменных. В контексте иерархических норм эта структура может быть представлена как ориентированный ациклический граф над переменными, тогда как в контексте норм, основанных на сетке, структура может быть представлена с использованием сетки. ^[10]^[11]^[12]^[13]^[14]^[15]

Иерархические нормы

См.: Обучение без учителя.

Методы обучения без учителя часто используются для изучения параметров моделей со скрытыми переменными . Модели со скрытыми переменными — это статистические модели, в которых помимо наблюдаемых переменных существует также набор скрытых переменных, которые не наблюдаются. Часто в таких моделях предполагаются «иерархии» между переменными системы; эту систему иерархий можно представить с помощью ориентированных ациклических графов.

Иерархии скрытых переменных стали естественной структурой в нескольких приложениях, особенно для моделирования текстовых документов. ^[11] Иерархические модели с использованием байесовских непараметрических методов использовались для изучения тематических моделей . ^[10] которые представляют собой статистические модели для обнаружения абстрактных «тем», встречающихся в коллекции документов. Иерархии также рассматривались в контексте методов ядра. ^[13] Иерархические нормы были применены к биоинформатике. ^[12] компьютерное зрение и тематические модели. ^[14]

Нормы, определенные на сетках

Если предполагаемая структура переменных имеет форму 1D, 2D или 3D сетки, то субмодулярные функции, основанные на перекрывающихся группах, можно рассматривать как нормы, приводящие к стабильным множествам, равным прямоугольным или выпуклым формам. ^[13] Такие методы имеют применение в компьютерном зрении. ^[15]

Алгоритмы вычислений

Задача выбора лучшего подмножества

Проблему выбора наилучшего подмножества входных переменных можно естественным образом сформулировать в рамках системы штрафов следующим образом: ^[4]

\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+\lambda \|w\|_{0},

Где $\|w\|_{0}$ обозначает $\ell _{0}$ «норма», определяемая как количество ненулевых элементов вектора. $w$ .

Хотя эта формулировка имеет смысл с точки зрения моделирования, она неосуществима с вычислительной точки зрения, поскольку эквивалентна исчерпывающему перебору с оценкой всех возможных подмножеств переменных. ^[4]

Двумя основными подходами к решению задачи оптимизации являются: 1) жадные методы, такие как пошаговая регрессия в статистике или поиск совпадений при обработке сигналов ; и 2) подходы к формулированию выпуклой релаксации и методы оптимизации проксимального градиента .

Выпуклая релаксация

Естественным приближением для задачи выбора лучшего подмножества является $\ell _{1}$ регуляризация нормы: ^[4]

\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+\lambda \|w\|_{1}

Такая схема называется преследованием базиса или Лассо , которое заменяет $\ell _{0}$ «норма» для выпуклого, недифференцируемого $\ell _{1}$ норма.

Методы проксимального градиента

Методы проксимального градиента , также называемые расщеплением вперед-назад, представляют собой методы оптимизации, полезные для минимизации функций с выпуклым и дифференцируемым компонентом, а также выпуклым потенциально недифференцируемым компонентом.

Таким образом, методы проксимального градиента полезны для решения проблем регуляризации разреженности и структурированной разреженности. ^[9] следующей формы:

\min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+R(w)

Где $V(y_{i},w,x_{i})$ является выпуклой и дифференцируемой функцией потерь, такой как квадратичная потеря , и $R(w)$ является выпуклым потенциально недифференцируемым регуляризатором, таким как $\ell _{1}$ норма.

Связи с другими областями машинного обучения

Подключение к обучению с несколькими ядрами

Регуляризацию структурированной разреженности можно применять в контексте множественного обучения ядра . ^[16] Множественное обучение ядер относится к набору методов машинного обучения, которые используют заранее определенный набор ядер и изучают оптимальную линейную или нелинейную комбинацию ядер как часть алгоритма.

В упомянутых выше алгоритмах учитывалось сразу все пространство и разбивалось на группы, т.е. подпространства. Дополнительная точка зрения состоит в том, чтобы рассмотреть случай, когда различные пространства объединяются для получения нового. Полезно обсудить эту идею, рассматривая конечные словари. Конечные словари с линейно независимыми элементами (эти элементы также известны как атомы) относятся к конечным наборам линейно независимых базисных функций, линейные комбинации которых определяют пространства гипотез. Как будет показано, для определения конкретных ядер можно использовать конечные словари. ^[16] Предположим в этом примере, что рассматривается не один словарь, а несколько конечных словарей.

Для простоты рассмотрим случай, когда имеется только два словаря. $A=\{a_{j}:X\rightarrow \mathbb {R} ,j=1,...,p\}$ и $B=\{b_{t}:X\rightarrow \mathbb {R} ,t=1,...,q\}$ где $q$ и $p$ являются целыми числами, будут считаться. Атомы в $A$ а также атомы в $B$ предполагаются линейно независимыми. Позволять $D=\{d_{k}:X\rightarrow \mathbb {R} ,k=1,...,p+q\}=A\cup B$ быть объединением двух словарей. Рассмотрим линейное пространство функций $H$ заданные линейными комбинациями вида

$f(x)=\sum _{i=1}^{p+q}{w^{j}d_{j}(x)}=\sum _{j=1}^{p}{w_{A}^{j}a_{j}(x)}+\sum _{t=1}^{q}{w_{B}^{t}b_{t}(x)},x\in X$

для некоторых векторов коэффициентов $w_{A}\in \mathbb {R} ^{p},w_{B}\in \mathbb {R} ^{q}$ , где $w=(w_{A},w_{B})$ . Предположим, что атомы в $D$ оставаться линейно независимым или, что то же самое, что отображение $w=(w_{A},w_{B})\mapsto f$ это один в один. Функции в пространстве $H$ можно рассматривать как сумму двух компонентов, один из которых находится в пространстве $H_{A}$ , линейные комбинации атомов в $A$ и один в $H_{B}$ , линейные комбинации атомов в $B$ .

Один из вариантов нормы в этом пространстве: $||f||=||w_{A}||+||w_{B}||$ . Обратите внимание, что теперь мы можем просмотреть $H$ как функциональное пространство, в котором $H_{A}$ , $H_{B}$ являются подпространствами. Ввиду предположения линейной независимости $H$ можно отождествить с $\mathbb {R} ^{p+q}$ и $H_{A},H_{B}$ с $\mathbb {R} ^{p},\mathbb {R} ^{q}$ соответственно. Упомянутую выше норму можно рассматривать как групповую норму в $H$ связанный с подпространствами $H_{A}$ , $H_{B}$ , обеспечивая связь со структурированной регуляризацией разреженности.

Здесь, $H_{A}$ , $H_{B}$ и $H$ можно рассматривать как воспроизводящее ядро гильбертова пространства с соответствующими картами признаков. $\Phi _{A}:X\rightarrow \mathbb {R} ^{p}$ , заданный $\Phi _{A}(x)=(a_{1}(x),...,a_{p}(x))$ , $\Phi _{B}:X\rightarrow \mathbb {R} ^{q}$ , заданный $\Phi _{B}(x)=(b_{1}(x),...,b_{q}(x))$ , и $\Phi :X\rightarrow \mathbb {R} ^{p+q}$ , заданный конкатенацией $\Phi _{A},\Phi _{B}$ , соответственно.

В подходе структурированной регуляризации разреженности к этому сценарию соответствующие группы переменных, которые рассматривают групповые нормы, соответствуют подпространствам $H_{A}$ и $H_{B}$ . Этот подход способствует установке нулевых групп коэффициентов, соответствующих этим подпространствам, а не только отдельных коэффициентов, способствуя разреженному множественному обучению ядра.

Приведенные выше рассуждения напрямую распространяются на любое конечное число словарей или карт объектов. Его можно расширить, чтобы включить в него карты признаков, вызывающие гипотезу бесконечного измерения.

пространства. ^[16]

Когда полезно разреженное множественное обучение ядра

Рассмотрение разреженного множественного обучения ядра полезно в нескольких ситуациях, включая следующие:

Слияние данных: когда каждое ядро соответствует различному типу модальности/функции.
Нелинейный выбор переменных: рассмотрим ядра $K_{g}$ зависит только от одного измерения входных данных.

Как правило, разреженное обучение с несколькими ядрами особенно полезно, когда ядер много, а выбор модели и ее интерпретируемость важны. ^[16]

Дополнительные варианты использования и применения

Методы структурированной регуляризации разреженности использовались в ряде случаев, когда желательно наложить априорную структуру входных переменных на процесс регуляризации. Вот некоторые из таких приложений:

Компрессионное зондирование в магнитно-резонансной томографии (МРТ), восстановление МР-изображений на основе небольшого количества измерений, что потенциально приводит к значительному сокращению времени МР-сканирования. ^[6]
Надежное распознавание лиц при наличии смещения, окклюзии и изменения освещенности ^[5]
Выявление социолингвистических ассоциаций между лексическими частотами, используемыми авторами Твиттера, и социально-демографическими переменными их географических сообществ. ^[7]
Анализ выбора генов данных о раке молочной железы с использованием априорных данных перекрывающихся групп, например, биологически значимых наборов генов. ^[8]

См. также

Ссылки

^ Росаско, Лоренцо; Поджо, Томассо (декабрь 2014 г.). Экскурсия по машинному обучению по регуляризации, конспекты лекций MIT-9.520 .
^ Jump up to: ^а ^б ^с ^д Юань, М.; Лин, Ю. (2006). «Выбор модели и оценка в регрессии с сгруппированными переменными». JR Стат. Соц. Б. 68 (1): 49–67. CiteSeerX 10.1.1.79.2062 . дои : 10.1111/j.1467-9868.2005.00532.x . S2CID 6162124 .
^ Jump up to: ^а ^б ^с ^д ^и Обозинский, Г.; Лоран, Дж.; Верт, Ж.-П. (2011). «Групповое лассо с перекрытиями: подход скрытого группового лассо». arXiv : 1110.0413 [ stat.ML ].
^ Jump up to: ^а ^б ^с ^д ^и Л. Росаско. Лекция 10 из конспектов лекций по курсу 9.520: Статистическая теория обучения и ее приложения. Массачусетский технологический институт, осень 2014 г. Доступно по адресу https://www.mit.edu/~9.520/fall14/slides/class18/class18_sparsity.pdf.
^ Jump up to: ^а ^б Цзя, Куй; и др. (2012). «Надежное и практичное распознавание лиц с помощью структурированной разреженности». У Эндрю Фитцгиббона; Светлана Лазебник; Пьетро Перона; Йоичи Сато; Корделия Шмид (ред.). Компьютерное зрение – ECCV 2012: 12-я Европейская конференция по компьютерному зрению, Флоренция, Италия, 7–13 октября 2012 г., Материалы, Часть IV .
^ Jump up to: ^а ^б Чен, Чен; и др. (2012). «МРТ с компрессионным зондированием и разреженностью дерева вейвлетов» . Материалы 26-й ежегодной конференции по нейронным системам обработки информации . Том. 25. Карран Ассошиэйтс. стр. 1115–1123.
^ Jump up to: ^а ^б Эйзенштейн, Джейкоб; и др. (2011). «Обнаружение социолингвистических ассоциаций со структурированной разреженностью». Материалы 49-го ежегодного собрания Ассоциации компьютерной лингвистики .
^ Jump up to: ^а ^б ^с Джейкоб, Лоран; и др. (2009). «Групповое лассо с перекрытием и графическое лассо». Материалы 26-й Международной конференции по машинному обучению .
^ Jump up to: ^а ^б ^с ^д ^и ^ж Вилла, С.; Росаско, Л.; Моски, С.; Верри, А. (2012). «Проксимальные методы наказания скрытых групповых лассо». arXiv : 1209.0368 [ math.OC ].
^ Jump up to: ^а ^б Блей Д., Нг А. и Джордан М. Скрытое распределение дирихле. Дж. Мах. Учиться. Рез., 3:993–1022, 2003.
^ Jump up to: ^а ^б Бенджио, Ю. «Изучение глубокой архитектуры для искусственного интеллекта». Основы и тенденции в машинном обучении, 2 (1), 2009.
^ Jump up to: ^а ^б С. Ким и Э. Син. Древовидная группа Lasso для многозадачной регрессии со структурированной разреженностью. В Proc. ИКМЛ, 2010.
^ Jump up to: ^а ^б ^с Дженаттон, Родольф; Одибер, Жан-Ив; Бах, Франциск (2011). «Структурированный выбор переменных с нормами, вызывающими разреженность». Журнал исследований машинного обучения . 12 (2011): 2777–2824. arXiv : 0904.3523 . Бибкод : 2009arXiv0904.3523J .
^ Jump up to: ^а ^б Р. Дженаттон, Дж. Майрал, Г. Обозинский и Ф. Бах. Проксимальные методы обучения разреженным иерархическим словарям. В Proc. ИКМЛ, 2010.
^ Jump up to: ^а ^б Р. Дженаттон, Г. Обозинский и Ф. Бах. Структурированный анализ разреженных главных компонент. В Proc. АЙСТАТС , 2009.
^ Jump up to: ^а ^б ^с ^д Росаско, Лоренцо; Поджо, Томазо (осень 2015 г.). «Глава 6». Конспект курса MIT 9.520, осень 2015 г.

[rosPoggio-1] Росаско, Лоренцо; Поджо, Томассо (декабрь 2014 г.). Экскурсия по машинному обучению по регуляризации, конспекты лекций MIT-9.520 .

[groupLasso-2] Jump up to: ^а ^б ^с ^д Юань, М.; Лин, Ю. (2006). «Выбор модели и оценка в регрессии с сгруппированными переменными». JR Стат. Соц. Б. 68 (1): 49–67. CiteSeerX 10.1.1.79.2062 . дои : 10.1111/j.1467-9868.2005.00532.x . S2CID 6162124 .

[latentLasso-3] Jump up to: ^а ^б ^с ^д ^и Обозинский, Г.; Лоран, Дж.; Верт, Ж.-П. (2011). «Групповое лассо с перекрытиями: подход скрытого группового лассо». arXiv : 1110.0413 [ stat.ML ].

[LR18-4] Jump up to: ^а ^б ^с ^д ^и Л. Росаско. Лекция 10 из конспектов лекций по курсу 9.520: Статистическая теория обучения и ее приложения. Массачусетский технологический институт, осень 2014 г. Доступно по адресу https://www.mit.edu/~9.520/fall14/slides/class18/class18_sparsity.pdf.

[face_recognition-5] Jump up to: ^а ^б Цзя, Куй; и др. (2012). «Надежное и практичное распознавание лиц с помощью структурированной разреженности». У Эндрю Фитцгиббона; Светлана Лазебник; Пьетро Перона; Йоичи Сато; Корделия Шмид (ред.). Компьютерное зрение – ECCV 2012: 12-я Европейская конференция по компьютерному зрению, Флоренция, Италия, 7–13 октября 2012 г., Материалы, Часть IV .

[MRI-6] Jump up to: ^а ^б Чен, Чен; и др. (2012). «МРТ с компрессионным зондированием и разреженностью дерева вейвлетов» . Материалы 26-й ежегодной конференции по нейронным системам обработки информации . Том. 25. Карран Ассошиэйтс. стр. 1115–1123.

[sociolinguistic-7] Jump up to: ^а ^б Эйзенштейн, Джейкоб; и др. (2011). «Обнаружение социолингвистических ассоциаций со структурированной разреженностью». Материалы 49-го ежегодного собрания Ассоциации компьютерной лингвистики .

[genetic-8] Jump up to: ^а ^б ^с Джейкоб, Лоран; и др. (2009). «Групповое лассо с перекрытием и графическое лассо». Материалы 26-й Международной конференции по машинному обучению .

[:0-9] Jump up to: ^а ^б ^с ^д ^и ^ж Вилла, С.; Росаско, Л.; Моски, С.; Верри, А. (2012). «Проксимальные методы наказания скрытых групповых лассо». arXiv : 1209.0368 [ math.OC ].

[:2-10] Jump up to: ^а ^б Блей Д., Нг А. и Джордан М. Скрытое распределение дирихле. Дж. Мах. Учиться. Рез., 3:993–1022, 2003.

[:3-11] Jump up to: ^а ^б Бенджио, Ю. «Изучение глубокой архитектуры для искусственного интеллекта». Основы и тенденции в машинном обучении, 2 (1), 2009.

[:4-12] Jump up to: ^а ^б С. Ким и Э. Син. Древовидная группа Lasso для многозадачной регрессии со структурированной разреженностью. В Proc. ИКМЛ, 2010.

[:1-13] Jump up to: ^а ^б ^с Дженаттон, Родольф; Одибер, Жан-Ив; Бах, Франциск (2011). «Структурированный выбор переменных с нормами, вызывающими разреженность». Журнал исследований машинного обучения . 12 (2011): 2777–2824. arXiv : 0904.3523 . Бибкод : 2009arXiv0904.3523J .

[:5-14] Jump up to: ^а ^б Р. Дженаттон, Дж. Майрал, Г. Обозинский и Ф. Бах. Проксимальные методы обучения разреженным иерархическим словарям. В Proc. ИКМЛ, 2010.

[:6-15] Jump up to: ^а ^б Р. Дженаттон, Г. Обозинский и Ф. Бах. Структурированный анализ разреженных главных компонент. В Proc. АЙСТАТС , 2009.

[:7-16] Jump up to: ^а ^б ^с ^д Росаско, Лоренцо; Поджо, Томазо (осень 2015 г.). «Глава 6». Конспект курса MIT 9.520, осень 2015 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]