Выравнивание коллектора

Выравнивание многообразия — это класс алгоритмов машинного обучения , которые создают проекции между наборами данных при условии, что исходные наборы данных лежат на общем многообразии . Эта концепция была впервые представлена Хэмом, Ли и Солом в 2003 году. ^[1] добавление ограничения многообразия к общей проблеме корреляции наборов многомерных векторов. ^[2]

Обзор

Выравнивание многообразия предполагает, что разрозненные наборы данных, созданные сходными процессами генерации, будут иметь одинаковое базовое представление многообразия . Путем изучения проекций из каждого исходного пространства на общее многообразие восстанавливаются соответствия и знания из одной области могут быть переданы в другую. Большинство методов выравнивания многообразия рассматривают только два набора данных, но эта концепция распространяется на произвольное количество исходных наборов данных.

Рассмотрим случай выравнивания двух наборов данных: $X$ и $Y$ , с $X_{i}\in \mathbb {R} ^{m}$ и $Y_{i}\in \mathbb {R} ^{n}$ .

Алгоритмы выравнивания коллектора пытаются спроецировать оба $X$ и $Y$ в новое d -мерное пространство, такое, что проекции минимизируют расстояние между соответствующими точками и сохраняют структуру локального многообразия исходных данных. Проекционные функции обозначаются:

$\phi _{X}:\,\mathbb {R} ^{m}\rightarrow \mathbb {R} ^{d}$

$\phi _{Y}:\,\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{d}$

Позволять $W$ представляют двоичную матрицу соответствия между точками в $X$ и $Y$ :

$W_{i,j}={\begin{cases}1&if\,X_{i}\leftrightarrow Y_{j}\\0&otherwise\end{cases}}$

Позволять $S_{X}$ и $S_{Y}$ представляют точечные сходства внутри наборов данных. Обычно это кодируется как тепловое ядро матрицы смежности графа k -ближайших соседей .

Наконец, введем коэффициент $0\leq \mu \leq 1$ , который можно настроить для корректировки веса цели «сохранить структуру многообразия» по сравнению с целью «минимизировать соответствующие расстояния между точками».

Имея эти определения, функцию потерь можно записать для выравнивания коллектора:

$\arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _{X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y}\left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Vert ^{2}W_{i,j}$

Решение этой задачи оптимизации эквивалентно решению обобщенной проблемы собственных значений с использованием лапласиана графа. ^[3] совместной матрицы, G :

$G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]$

Соответствия между данными

Описанный выше алгоритм требует полной информации о попарном соответствии между наборами входных данных; контролируемая парадигма обучения . Однако эту информацию обычно трудно или невозможно получить в реальных приложениях. Недавняя работа расширила алгоритм выравнивания основного коллектора до полуконтролируемого режима. ^[4] , без присмотра ^[5] и многоэкземплярный ^[6] настройки.

Одноэтапное и двухэтапное выравнивание

Описанный выше алгоритм выполняет «одношаговое» выравнивание, одновременно находя вложения для обоих наборов данных. Аналогичного эффекта можно добиться и при «двухэтапном» выравнивании. ^[7] ^[8] , следуя слегка измененной процедуре:

Независимо проецируйте каждый набор входных данных в пространство меньшей размерности, используя любой из множества алгоритмов уменьшения размерности .
Выполните линейное выравнивание многообразия для внедренных данных, удерживая первый набор данных фиксированным, сопоставляя каждый дополнительный набор данных с первым многообразием. Преимущество этого подхода состоит в том, что он разлагает необходимые вычисления, что снижает нагрузку на память и позволяет реализовать параллельные реализации.

Прогнозы на уровне экземпляра и на уровне объекта

Выравнивание многообразия можно использовать для поиска линейных (на уровне объектов) проекций или нелинейных (на уровне экземпляра) вложений. Хотя версия на уровне экземпляра обычно обеспечивает более точное выравнивание, она жертвует большой степенью гибкости, поскольку изученное внедрение часто трудно параметризовать. Проекции на уровне объектов позволяют легко встраивать любые новые экземпляры в пространство многообразия, а проекции можно комбинировать для формирования прямых сопоставлений между исходными представлениями данных. Эти свойства особенно важны для приложений передачи знаний.

Приложения

Выравнивание многообразия подходит для проблем с несколькими корпусами, которые лежат в общем многообразии, даже если каждый корпус имеет разную размерность. Многие реальные проблемы подходят под это описание, но традиционные методы не могут одновременно использовать преимущества всех корпусов. Выравнивание многообразия также облегчает трансферное обучение , при котором знания одной области используются для запуска обучения в коррелирующих областях.

Применение выравнивания коллектора включает в себя:

Межъязыковой поиск информации /автоматический перевод ^[8]
- Представляя документы в виде вектора количества слов, выравнивание многообразия может восстановить сопоставление между документами на разных языках.
- Переписку документов на разных языках относительно легко получить, особенно от многоязычных организаций, таких как Европейский Союз .
Передача обучения политике и государственным представлениям для обучения с подкреплением ^[8]
Выравнивание ЯМР белков структур ^[8]
Ускорение обучения моделей в робототехнике за счет обмена данными, созданными другими роботами. ^[9]

См. также

Гипотеза многообразия

Ссылки

^ Хам, Джи Хун; Дэниел Д. Ли; Лоуренс К. Сол (2003). «Изучение многомерных соответствий из многообразий низкой размерности» (PDF) . Материалы двадцатой международной конференции по машинному обучению (ICML-2003) .
^ Хотеллинг, Х (1936). «Отношения между двумя наборами переменных» (PDF) . Биометрика . 28 (3–4): 321–377. дои : 10.2307/2333955 . JSTOR 2333955 .
^ Белкин, М; П. Нийоги (2003). «Собственные карты Лапласа для уменьшения размерности и представления данных» (PDF) . Нейронные вычисления . 15 (6): 1373–1396. CiteSeerX 10.1.1.192.8814 . дои : 10.1162/089976603321780317 . S2CID 14879317 .
^ Хам, Джи Хун; Дэниел Д. Ли; Лоуренс К. Сол (2005). «Полуконтролируемое выравнивание коллекторов» (PDF) . Материалы ежегодной конференции по неопределенности в искусственном интеллекте .
^ Ван, Чанг; Шридхар Махадеван (2009). Выравнивание коллектора без соответствия (PDF) . 21-я Международная совместная конференция по искусственному интеллекту. ^{[ постоянная мертвая ссылка ]}
^ Ван, Чанг; Шридхар Махадеван (2011). Адаптация гетерогенных доменов с использованием выравнивания многообразия (PDF) . 22-я Международная совместная конференция по искусственному интеллекту. Архивировано из оригинала (PDF) 15 апреля 2012 г. Проверено 14 декабря 2011 г.
^ Лафон, Стефан; Йоси Келлер; Рональд Р. Койфман (2006). «Слияние данных и сопоставление нескольких данных с помощью карт распространения» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 28 (11): 1784–1797. CiteSeerX 10.1.1.419.1814 . дои : 10.1109/tpami.2006.223 . ПМИД 17063683 . S2CID 1186335 . ^{[ постоянная мертвая ссылка ]}
^ Перейти обратно: ^а ^б ^с ^д Ван, Чанг; Шридхар Махадеван (2008). Выравнивание коллектора с использованием анализа Прокруста (PDF) . 25-я Международная конференция по машинному обучению. ^{[ постоянная мертвая ссылка ]}
^ Макондо, Ндивхуво; Бенджамин Росман; Осаму Хасэгава (2015). Передача знаний для обучения моделей роботов посредством локального анализа Прокруста . 15-я Международная конференция IEEE-РАН по роботам-гуманоидам (гуманоидам). CiteSeerX 10.1.1.728.8830 . дои : 10.1109/HUMANOIDS.2015.7363502 .

Дальнейшее чтение

Сюн, Л.; Ф. Ван; К. Чжан (2007). «Полуопределенное выравнивание коллектора». Материалы 18-й Европейской конференции по машинному обучению . CiteSeerX 10.1.1.91.7346 .
Ван, Чанг; Шридхар Махадеван (2009). «Общая основа выравнивания коллекторов» (PDF) . Осенний симпозиум AAAI по многообразному обучению и его приложениям .
Ван, Чанг; Шридхар Махадеван (2010). «Выравнивание многомасштабного коллектора» (PDF) . унив. Массачусетса TR UM-CS-2010-049 .
Ма, Юньцянь (15 апреля 2012 г.). Многообразная теория обучения и ее приложения . Группа Тейлор и Фрэнсис. п. 376. ИСБН 978-1-4398-7109-6 .
Обзор выравнивания коллектора Чанг Ванга

[1] Хам, Джи Хун; Дэниел Д. Ли; Лоуренс К. Сол (2003). «Изучение многомерных соответствий из многообразий низкой размерности» (PDF) . Материалы двадцатой международной конференции по машинному обучению (ICML-2003) .

[2] Хотеллинг, Х (1936). «Отношения между двумя наборами переменных» (PDF) . Биометрика . 28 (3–4): 321–377. дои : 10.2307/2333955 . JSTOR 2333955 .

[3] Белкин, М; П. Нийоги (2003). «Собственные карты Лапласа для уменьшения размерности и представления данных» (PDF) . Нейронные вычисления . 15 (6): 1373–1396. CiteSeerX 10.1.1.192.8814 . дои : 10.1162/089976603321780317 . S2CID 14879317 .

[4] Хам, Джи Хун; Дэниел Д. Ли; Лоуренс К. Сол (2005). «Полуконтролируемое выравнивание коллекторов» (PDF) . Материалы ежегодной конференции по неопределенности в искусственном интеллекте .

[5] Ван, Чанг; Шридхар Махадеван (2009). Выравнивание коллектора без соответствия (PDF) . 21-я Международная совместная конференция по искусственному интеллекту. ^{[ постоянная мертвая ссылка ]}

[6] Ван, Чанг; Шридхар Махадеван (2011). Адаптация гетерогенных доменов с использованием выравнивания многообразия (PDF) . 22-я Международная совместная конференция по искусственному интеллекту. Архивировано из оригинала (PDF) 15 апреля 2012 г. Проверено 14 декабря 2011 г.

[7] Лафон, Стефан; Йоси Келлер; Рональд Р. Койфман (2006). «Слияние данных и сопоставление нескольких данных с помощью карт распространения» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 28 (11): 1784–1797. CiteSeerX 10.1.1.419.1814 . дои : 10.1109/tpami.2006.223 . ПМИД 17063683 . S2CID 1186335 . ^{[ постоянная мертвая ссылка ]}

[procrustes-8] Перейти обратно: ^а ^б ^с ^д Ван, Чанг; Шридхар Махадеван (2008). Выравнивание коллектора с использованием анализа Прокруста (PDF) . 25-я Международная конференция по машинному обучению. ^{[ постоянная мертвая ссылка ]}

[9] Макондо, Ндивхуво; Бенджамин Росман; Осаму Хасэгава (2015). Передача знаний для обучения моделей роботов посредством локального анализа Прокруста . 15-я Международная конференция IEEE-РАН по роботам-гуманоидам (гуманоидам). CiteSeerX 10.1.1.728.8830 . дои : 10.1109/HUMANOIDS.2015.7363502 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]