Тройная потеря

Эффект минимизации потерь триплетов при обучении: положительный сдвиг перемещается ближе к якорю, чем отрицательный.

Триплетная потеря — это функция потерь для алгоритмов машинного обучения , где эталонный входной сигнал (называемый привязкой) сравнивается с совпадающим входным сигналом (называемым положительным) и несовпадающим входным сигналом (называемым отрицательным). Расстояние от якоря до положительного входа минимизируется, а расстояние от якоря до отрицательного входа максимизируется. Ранняя формулировка, эквивалентная триплетной потере, была введена (без идеи использования якорей) для обучения метрике на основе относительных сравнений М. Шульце и Т. Иоахимсом в 2003 году.

Обеспечивая порядок расстояний, триплетные модели потерь встраиваются таким образом, что пара выборок с одинаковыми метками находится на меньшем расстоянии, чем пары с разными метками. В отличие от t-SNE, который сохраняет порядок встраивания через распределения вероятностей потеря триплета работает непосредственно на вложенных расстояниях. Следовательно, в его общей реализации требуется мягкая обработка полей с помощью слабой переменной. $\alpha$ в формулировке в стиле потери шарнира . Он часто используется для изучения сходства с целью изучения вложений, таких как обучение ранжированию , встраиванию слов , векторам мышления и обучению метрике .

Рассмотрим задачу обучения нейросети распознаванию лиц (например, для пропуска в зону строгого режима). Классификатор, обученный классифицировать экземпляр, придется переобучать каждый раз, когда в базу данных лиц добавляется новый человек. Этого можно избежать, представив проблему как задачу обучения по сходству, а не как задачу классификации. Здесь сеть обучается (с использованием контрастных потерь) выводить расстояние, которое является небольшим, если изображение принадлежит известному человеку, и большим, если изображение принадлежит неизвестному человеку. Однако, если мы хотим вывести изображения, наиболее близкие к данному изображению, нам нужно изучить рейтинг, а не просто сходство. В этом случае используется тройная потеря.

Функцию потерь можно описать с помощью евклидового расстояния функции .

${\mathcal {L}}\left(A,P,N\right)=\operatorname {max} \left({\|\operatorname {f} \left(A\right)-\operatorname {f} \left(P\right)\|}_{2}-{\|\operatorname {f} \left(A\right)-\operatorname {f} \left(N\right)\|}_{2}+\alpha ,0\right)$

где $A$ является якорным входом , $P$ является положительным входом того же класса, что и $A$, $N$ это отрицательный вход другого класса от $A$, $\alpha$ - это разница между положительными и отрицательными парами, и $\operatorname {f}$ является вложением.

Затем это можно использовать в функции стоимости, то есть в сумме всех потерь, которую затем можно использовать для минимизации поставленной оптимизации задачи .

${\mathcal {J}}=\sum _{i=1}^{{}M}{\mathcal {L}}\left(A^{(i)},P^{(i)},N^{(i)}\right)$

Индексы относятся к отдельным входным векторам, заданным в виде тройки. Триплет формируется путем рисования входных данных привязки, положительных входных данных, описывающих тот же объект, что и объект привязки, и отрицательных входных данных, которые не описывают тот же объект, что и объект привязки. Эти входные данные затем пропускаются через сеть, а выходные данные используются в функции потерь.

Сравнение и расширения

В задачах компьютерного зрения , таких как повторная идентификация, преобладало мнение, что триплетные потери уступают использованию суррогатных потерь (т. е. типичных потерь классификации), за которыми следуют отдельные этапы обучения метрике. Недавняя работа показала, что для моделей, обученных с нуля, а также для предварительно обученных моделей, специальная версия триплетной потери, выполняющая сквозное глубокое метрическое обучение, превосходит большинство других опубликованных методов по состоянию на 2017 год.

Кроме того, триплетная потеря была расширена для одновременного поддержания ряда дистанционных порядков за счет оптимизации непрерывной степени релевантности с помощью цепочки (т. е. лестницы ) дистанционных неравенств. Это приводит к потере лестницы , которая, как было продемонстрировано, обеспечивает повышение производительности визуально-семантического внедрения при обучении ранжированию задач.

В обработке естественного языка потеря триплета является одной из функций потерь, рассматриваемых для точной настройки BERT в архитектуре SBERT.

Другие расширения включают указание множественных негативов (потеря рейтинга при множестве негативов).

См. также

• Сиамская нейронная сеть
• t-распределенное стохастическое встраивание соседей
• Учимся ранжировать
• Обучение по сходству