Обучение по сходству

Обучение по подобию — это область контролируемого машинного обучения в области искусственного интеллекта . Он тесно связан с регрессией и классификацией , но цель состоит в том, чтобы изучить функцию сходства , которая измеряет, насколько похожи или связаны два объекта. Он имеет приложения для ранжирования , в системах рекомендаций , визуального отслеживания личности, проверки лица и проверки говорящего.

Настройка обучения [ править ]

Существует четыре распространенных схемы дистанционного обучения по сходству и метрике.

регрессии Обучение сходству: В этой настройке заданы пары объектов. $(x_{i}^{1},x_{i}^{2})$ вместе с мерой их сходства $y_{i}\in R$ . Цель состоит в том, чтобы изучить функцию, которая приближает $f(x_{i}^{1},x_{i}^{2})\sim y_{i}$ для каждого нового помеченного примера триплета $(x_{i}^{1},x_{i}^{2},y_{i})$ . Обычно это достигается за счет минимизации регуляризованных потерь. $\min _{W}\sum _{i}loss(w;x_{i}^{1},x_{i}^{2},y_{i})+reg(w)$ .
классификации Обучение сходству: Даны пары подобных предметов. $(x_{i},x_{i}^{+})$ и непохожие объекты $(x_{i},x_{i}^{-})$ . Эквивалентная формулировка состоит в том, что каждая пара $(x_{i}^{1},x_{i}^{2})$ дается вместе с двоичной меткой $y_{i}\in \{0,1\}$ который определяет, похожи ли два объекта или нет. Цель снова состоит в том, чтобы изучить классификатор, который может решить, похожа ли новая пара объектов или нет.
Ранжирование обучения по сходству: Даны тройки предметов $(x_{i},x_{i}^{+},x_{i}^{-})$ относительное сходство которых подчиняется заранее определенному порядку: $x_{i}$ известно, что он больше похож на $x_{i}^{+}$ чем $x_{i}^{-}$ . Цель — изучить функцию $f$ такая, что для любой новой тройки объектов $(x,x^{+},x^{-})$ , оно подчиняется $f(x,x^{+})>f(x,x^{-})$ ( контрастное обучение ). Эта схема предполагает более слабую форму контроля, чем при регрессии, поскольку вместо точного измерения сходства необходимо указать только относительный порядок сходства. По этой причине обучение по сходству на основе ранжирования легче применять в реальных крупномасштабных приложениях. ^[1]
Хеширование с учетом локальности (LSH) ^[2]: Хэширует входные элементы так, что похожие элементы с высокой вероятностью сопоставляются с одними и теми же «корзинами» в памяти (количество сегментов намного меньше, чем совокупность возможных входных элементов). Он часто применяется при поиске ближайших соседей для крупномасштабных многомерных данных, например, баз данных изображений, коллекций документов, баз данных временных рядов и баз данных геномов. ^[3]

Распространенный подход к изучению сходства заключается в моделировании функции сходства в виде билинейной формы . Например, в случае ранжирования обучения по сходству целью является изучение матрицы W, которая параметризует функцию сходства. $f_{W}(x,z)=x^{T}Wz$ . Когда данных много, распространенным подходом является изучение сиамской сети — модели глубокой сети с общим доступом к параметрам.

Обучение метрикам [ править ]

Обучение по подобию тесно связано с дистанционным метрическим обучением . Метрическое обучение — это задача изучения функции расстояния над объектами. Метрическая ( или дистанционная функция должна подчиняться четырем аксиомам: неотрицательности , тождественности неразличимых величин , симметрии и субаддитивности или неравенству треугольника). На практике алгоритмы обучения метрике игнорируют условие идентичности неразличимых величин и изучают псевдометрику.

Когда объекты $x_{i}$ являются векторами в $R^{d}$ , то любая матрица $W$ в симметричном положительном полуопределенном конусе $S_{+}^{d}$ определяет дистанционную псевдометрику пространства x через форму $D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2})$ . Когда $W$ представляет собой симметричную положительно определенную матрицу, $D_{W}$ является метрикой. Более того, поскольку любая симметричная положительная полуопределенная матрица $W\in S_{+}^{d}$ можно разложить как $W=L^{\top }L$ где $L\in R^{e\times d}$ и $e\geq rank(W)$ , функция расстояния $D_{W}$ можно переписать эквивалентно $D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top }L(x_{1}-x_{2})=\|L(x_{1}-x_{2})\|_{2}^{2}$ . Расстояние $D_{W}(x_{1},x_{2})^{2}=\|x_{1}'-x_{2}'\|_{2}^{2}$ соответствует евклидову расстоянию между преобразованными векторами признаков $x_{1}'=Lx_{1}$ и $x_{2}'=Lx_{2}$ .

Было предложено множество формулировок для метрического обучения. ^[4]^[5] Некоторые известные подходы к изучению показателей включают обучение на основе относительных сравнений, ^[6] который основан на тройной потере , большом запасе ближайшего соседа , ^[7] и теоретико-информационное метрическое обучение (ITML). ^[8]

В статистике ковариационная расстоянием матрица данных иногда используется для определения метрики расстояния, называемой Махаланобиса .

Приложения [ править ]

Обучение по сходству используется при поиске информации для обучения ранжированию , при проверке лица или идентификации лица, ^[9]^[10] и в рекомендательных системах . Кроме того, многие подходы к машинному обучению полагаются на некоторые метрики. Сюда входит обучение без учителя , такое как кластеризация , при которой группируются близкие или похожие объекты. Он также включает в себя контролируемые подходы, такие как алгоритм K-ближайшего соседа , который опирается на метки близлежащих объектов для принятия решения о метке нового объекта. Обучение метрике было предложено в качестве этапа предварительной обработки для многих из этих подходов. ^[11]

Масштабируемость [ править ]

Обучение метрике и подобию наивно масштабируется квадратично в зависимости от размера входного пространства, что легко увидеть, когда изученная метрика имеет билинейную форму. $f_{W}(x,z)=x^{T}Wz$ . Масштабирование до более высоких измерений может быть достигнуто путем применения структуры разреженности к матричной модели, как это сделано в HDSL. ^[12] и с КОМЕТОЙ. ^[13]

Программное обеспечение [ править ]

метрическое обучение ^[14] — это бесплатная программная библиотека Python, которая предлагает эффективные реализации нескольких контролируемых и слабоконтролируемых алгоритмов обучения сходству и метрике. API metric-learn совместим с scikit-learn . ^[15]

OpenMetricLearning ^[16] — это среда Python для обучения и проверки моделей, обеспечивающих высококачественное внедрение.

Дополнительная информация [ править ]

Для получения дополнительной информации по этой теме см. обзоры по метрическому и подобному обучению, проведенные Bellet et al. ^[4] и Кулис. ^[5]

См. также [ править ]

Ссылки [ править ]

^ Чечик, Г.; Шарма, В.; Шалит, У.; Бенджио, С. (2010). «Масштабное онлайн-обучение сходству изображений посредством ранжирования» (PDF) . Журнал исследований машинного обучения . 11 : 1109–1135.
^ Гионис, Аристид, Петр Индик и Раджив Мотвани. «Поиск сходства в больших измерениях посредством хеширования». ВЛДБ. Том. 99. № 6. 1999.
^ Раджараман, А.; Ульман, Дж. (2010). «Анализ больших наборов данных, глава 3» .
^ Jump up to: Перейти обратно: ^а ^б Беллет, А.; Хабрард, А.; Себбан, М. (2013). «Опрос по метрическому обучению векторов признаков и структурированных данных». arXiv : 1306.6709 [ cs.LG ].
^ Jump up to: Перейти обратно: ^а ^б Кулис, Б. (2012). «Метричное обучение: опрос» . Основы и тенденции в машинном обучении . 5 (4): 287–364. дои : 10.1561/2200000019 .
^ Шульц, М.; Иоахимс, Т. (2004). «Изучение метрики расстояния на основе относительных сравнений» (PDF) . Достижения в области нейронных систем обработки информации . 16 : 41–48.
^ Вайнбергер, КК; Блитцер, Джей Си; Саул, ЛК (2006). «Дистанционное метрическое обучение для классификации ближайших соседей с большим запасом» (PDF) . Достижения в области нейронных систем обработки информации . 18 : 1473–1480.
^ Дэвис, СП; Кулис, Б.; Джайн, П.; Сра, С.; Диллон, Исландия (2007). «Информационно-метрическое обучение» . Международная конференция по машинному обучению (ICML) : 209–216.
^ Гийомен, М.; Вербек, Дж.; Шмид, К. (2009). «Это вы? Подходы к метрическому обучению для идентификации лиц» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) .
^ Миньон, А.; Джури, Ф. (2012). «PCCA: новый подход к дистанционному обучению на основе разреженных парных ограничений» (PDF) . Конференция IEEE по компьютерному зрению и распознаванию образов .
^ Син, EP; Нг, АЙ; Джордан, Мичиган; Рассел, С. (2002). «Дистанционное метрическое обучение с применением к кластеризации с дополнительной информацией» (PDF) . Достижения в области нейронных систем обработки информации . 15 : 505–512.
^ Лю; Беллет; Ша (2015). «Обучение по подобию для многомерных разреженных данных» (PDF) . Международная конференция по искусственному интеллекту и статистике (AISTATS) . arXiv : 1411.2374 . Бибкод : 2014arXiv1411.2374L .
^ Ацмон; Шалит; Чечик (2015). «Изучение разреженных метрик, по одной функции за раз» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) .
^ «Scikit-learn-contrib/Metric-learn» . Гитхаб .
^ Вазельес; Кэри; Тан; Вокье; Беллет (2020). «metric-learn: алгоритмы обучения метрикам в Python» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) . arXiv : 1908.04710 .
^ «Команда OML/Открытое метрическое обучение» . Гитхаб .

[1] Чечик, Г.; Шарма, В.; Шалит, У.; Бенджио, С. (2010). «Масштабное онлайн-обучение сходству изображений посредством ранжирования» (PDF) . Журнал исследований машинного обучения . 11 : 1109–1135.

[2] Гионис, Аристид, Петр Индик и Раджив Мотвани. «Поиск сходства в больших измерениях посредством хеширования». ВЛДБ. Том. 99. № 6. 1999.

[3] Раджараман, А.; Ульман, Дж. (2010). «Анализ больших наборов данных, глава 3» .

[survey-4] Jump up to: Перейти обратно: ^а ^б Беллет, А.; Хабрард, А.; Себбан, М. (2013). «Опрос по метрическому обучению векторов признаков и структурированных данных». arXiv : 1306.6709 [ cs.LG ].

[survey2-5] Jump up to: Перейти обратно: ^а ^б Кулис, Б. (2012). «Метричное обучение: опрос» . Основы и тенденции в машинном обучении . 5 (4): 287–364. дои : 10.1561/2200000019 .

[SchultzJoachims-6] Шульц, М.; Иоахимс, Т. (2004). «Изучение метрики расстояния на основе относительных сравнений» (PDF) . Достижения в области нейронных систем обработки информации . 16 : 41–48.

[LMNN-7] Вайнбергер, КК; Блитцер, Джей Си; Саул, ЛК (2006). «Дистанционное метрическое обучение для классификации ближайших соседей с большим запасом» (PDF) . Достижения в области нейронных систем обработки информации . 18 : 1473–1480.

[ITML-8] Дэвис, СП; Кулис, Б.; Джайн, П.; Сра, С.; Диллон, Исландия (2007). «Информационно-метрическое обучение» . Международная конференция по машинному обучению (ICML) : 209–216.

[GUILLAUMIN-9] Гийомен, М.; Вербек, Дж.; Шмид, К. (2009). «Это вы? Подходы к метрическому обучению для идентификации лиц» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) .

[MIGNON-10] Миньон, А.; Джури, Ф. (2012). «PCCA: новый подход к дистанционному обучению на основе разреженных парных ограничений» (PDF) . Конференция IEEE по компьютерному зрению и распознаванию образов .

[XING-11] Син, EP; Нг, АЙ; Джордан, Мичиган; Рассел, С. (2002). «Дистанционное метрическое обучение с применением к кластеризации с дополнительной информацией» (PDF) . Достижения в области нейронных систем обработки информации . 15 : 505–512.

[Liu-12] Лю; Беллет; Ша (2015). «Обучение по подобию для многомерных разреженных данных» (PDF) . Международная конференция по искусственному интеллекту и статистике (AISTATS) . arXiv : 1411.2374 . Бибкод : 2014arXiv1411.2374L .

[13] Ацмон; Шалит; Чечик (2015). «Изучение разреженных метрик, по одной функции за раз» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) .

[14] «Scikit-learn-contrib/Metric-learn» . Гитхаб .

[15] Вазельес; Кэри; Тан; Вокье; Беллет (2020). «metric-learn: алгоритмы обучения метрикам в Python» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) . arXiv : 1908.04710 .

[16] «Команда OML/Открытое метрическое обучение» . Гитхаб .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]