Сиамская нейронная сеть

Сиамская нейронная сеть (иногда называемая нейронной сетью-близнецом ) — это искусственная нейронная сеть , которая использует одни и те же веса при совместной работе с двумя разными входными векторами для вычисления сопоставимых выходных векторов. Часто один из выходных векторов вычисляется заранее, образуя таким образом базовую линию, с которой сравнивается другой выходной вектор. Это похоже на сравнение отпечатков пальцев , но более технически может быть описано как функция расстояния для хеширования с учетом местоположения .

Можно построить архитектуру, функционально аналогичную двойной сети, но реализующую несколько иную функцию. Обычно это используется для сравнения аналогичных экземпляров в разных наборах типов.

Меры сходства, в которых может использоваться двойная сеть, включают такие вещи, как распознавание рукописных проверок, автоматическое обнаружение лиц на изображениях с камеры и сопоставление запросов с индексированными документами. Пожалуй, самым известным применением двойных сетей является распознавание лиц , при котором известные изображения людей предварительно вычисляются и сравниваются с изображением с турникета или чего-то подобного. На первый взгляд это не очевидно, но есть две немного разные проблемы. Узнавание человека среди большого количества других людей – это проблема распознавания лиц. DeepFace — пример такой системы. В самой крайней форме это узнавание одного человека на вокзале или в аэропорту. Другой — проверка лица , то есть проверка того, совпадает ли фотография в пропуске с фотографией человека, утверждающего, что он или она — тот же человек. Двойная сеть может быть такой же, но реализация может быть совершенно разной.

Обучение

Обучение в двойных сетях может осуществляться с тройной потерей или контрастной потерей . Для обучения путем потери триплета базовый вектор (привязное изображение) сравнивается с положительным вектором (правдивое изображение) и отрицательным вектором (ложное изображение). Отрицательный вектор будет стимулировать обучение в сети, а положительный вектор будет действовать как регуляризатор. Для обучения методом контрастной потери необходимо выполнить уменьшение веса для регуляризации весов или какую-либо подобную операцию, например нормализацию.

Метрика расстояния для функции потерь может иметь следующие свойства:

• Неотрицательность: $\delta (x,y)\geq 0$
• Личность неразличимых: $\delta (x,y)=0\iff x=y$
• Коммутативность: $\delta (x,y)=\delta (y,x)$
• Неравенство треугольника: $\delta (x,z)\leq \delta (x,y)+\delta (y,z)$

В частности, алгоритм триплетных потерь часто определяется с использованием квадрата евклидова расстояния (который, в отличие от евклида, не имеет неравенства треугольника) в своей основе.

Предопределенные метрики, метрика евклидова расстояния

Общая цель обучения — минимизировать метрику расстояния для похожих объектов и максимизировать для различных. Это дает функцию потерь типа

${\begin{aligned}\delta (x^{(i)},x^{(j)})={\begin{cases}\min \ \|\operatorname {f} \left(x^{(i)}\right)-\operatorname {f} \left(x^{(j)}\right)\|\,,i=j\\\max \ \|\operatorname {f} \left(x^{(i)}\right)-\operatorname {f} \left(x^{(j)}\right)\|\,,i\neq j\end{cases}}\end{aligned}}$

$i,j$ являются индексами набора векторов

$\operatorname {f} (\cdot )$ функция, реализуемая двойной сетью

Наиболее распространенной используемой метрикой расстояния является евклидово расстояние , в случае которого функцию потерь можно переписать в матричной форме как

$\operatorname {\delta } (\mathbf {x} ^{(i)},\mathbf {x} ^{(j)})\approx (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})^{T}(\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})$

Изученные метрики, нелинейная метрика расстояния

В более общем случае выходной вектор из сети-двойника передается через дополнительные сетевые уровни, реализующие нелинейные метрики расстояния.

${\begin{aligned}{\text{if}}\,i=j\,{\text{then}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {f} \left(x^{(j)}\right)\right]\,{\text{is small}}\\{\text{otherwise}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {f} \left(x^{(j)}\right)\right]\,{\text{is large}}\end{aligned}}$

$i,j$ являются индексами набора векторов

$\operatorname {f} (\cdot )$функция, реализуемая двойной сетью

$\operatorname {\delta } (\cdot )$функция, реализуемая сетью, объединяющей выходы двойной сети

В матричной форме предыдущее часто аппроксимируется как расстояние Махаланобиса для линейного пространства как

$\operatorname {\delta } (\mathbf {x} ^{(i)},\mathbf {x} ^{(j)})\approx (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})^{T}\mathbf {M} (\mathbf {x} ^{(i)}-\mathbf {x} ^{(j)})$

Это можно далее подразделить, по крайней мере, на обучение без учителя и обучение с учителем .

Изученные метрики, полублизнецовые сети

Эта форма также позволяет двойной сети быть скорее полублизнецом, реализуя несколько другие функции.

${\begin{aligned}{\text{if}}\,i=j\,{\text{then}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {g} \left(x^{(j)}\right)\right]\,{\text{is small}}\\{\text{otherwise}}&\,\operatorname {\delta } \left[\operatorname {f} \left(x^{(i)}\right),\,\operatorname {g} \left(x^{(j)}\right)\right]\,{\text{is large}}\end{aligned}}$

$i,j$ являются индексами набора векторов

$\operatorname {f} (\cdot ),\operatorname {g} (\cdot )$функция, реализуемая полудвойной сетью

$\operatorname {\delta } (\cdot )$функция, реализуемая сетью, объединяющей выходы двойной сети

Двойные сети для отслеживания объектов

Сети-близнецы использовались при отслеживании объектов из-за их уникальных двух тандемных входов и измерения сходства. При отслеживании объектов одним входом двойной сети является заранее выбранное пользователем изображение образца, другим входом является более крупное изображение поиска, задача которого двойной сети состоит в том, чтобы найти образец внутри изображения поиска. Измеряя сходство между образцом и каждой частью поискового изображения, сеть-близнец может составить карту оценки сходства. Более того, используя полностью сверточную сеть, процесс вычисления показателя сходства каждого сектора можно заменить только одним слоем взаимной корреляции.

После первого представления в 2016 году полностью сверточная сеть Twin использовалась во многих высокопроизводительных нейронных сетях отслеживания объектов в реальном времени. Как и CFnet, СтруктСиам, СиамФК-три, Сейчас, ЮАР-Сиам, СиамРПН, ДаСиамРПН, Каскадный СиамРПН, Сиам Маск, СиамРПН++, Глубже и шире СиамРПН.

См. также

• Искусственная нейронная сеть
• Тройная потеря

Дальнейшее чтение

• Чикко, Давиде (2020), «Сиамские нейронные сети: обзор» , Искусственные нейронные сети , Методы молекулярной биологии, том. 2190 (3-е изд.), Нью-Йорк, Нью-Йорк, США: Springer Protocols , Humana Press, стр. 73–94, doi : 10.1007/978-1-0716-0826-5_3 , ISBN  978-1-0716-0826-5 , PMID   32804361 , S2CID   221144012