Потеря шарнира

Вертикальная ось представляет значение шарнирной потери (синим цветом) и потери ноль-единица (зеленый цвет) для фиксированного t = 1 , в то время как горизонтальная ось представляет значение прогноза y . График показывает, что потеря шарнира наказывает предсказания y < 1 , что соответствует понятию запаса в машине опорных векторов.

В машинном обучении шарнирная потеря — это функция потерь, используемая для обучения классификаторов . Потери на шарнирах используются для классификации с «максимальным запасом», особенно для машин опорных векторов (SVM).

Для предполагаемого результата t = ±1 и оценки классификатора y потеря шарнира прогноза y определяется как

$\ell (y)=\max(0,1-t\cdot y)$

Обратите внимание, что $y$ должен быть «необработанным» результатом функции решения классификатора, а не прогнозируемой меткой класса. Например, в линейных SVM $y=\mathbf {w} \cdot \mathbf {x} +b$, где $(\mathbf {w} ,b)$ – параметры гиперплоскости и $\mathbf {x}$ — входная переменная(и).

Когда t и y имеют одинаковый знак (это означает, что y предсказывает правильный класс) и $|y|\geq 1$, потеря шарнира $\ell (y)=0$. Когда они имеют противоположные знаки, $\ell (y)$ возрастает линейно с увеличением y , и аналогично, если $|y|<1$, даже если он имеет тот же знак (правильный прогноз, но с недостаточным запасом).

Расширения

Хотя двоичные SVM обычно расширяются до многоклассовой классификации по принципу «один против всех» или «один против одного», для такого конца также возможно расширить саму потерю шарнира. Было предложено несколько различных вариантов многоклассовой потери шарнира. Например, Краммер и Сингер. определил его для линейного классификатора как

$\ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$,

где $t$ это целевая метка, $\mathbf {w} _{t}$ и $\mathbf {w} _{y}$ — параметры модели.

Уэстон и Уоткинс дали аналогичное определение, но с суммой, а не с максимальным значением:

$\ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$.

В структурированном прогнозировании потеря шарнира может быть дополнительно распространена на структурированные выходные пространства. Структурированные SVM с масштабированием запаса используют следующий вариант, где w обозначает параметры SVM, y — прогнозы SVM, φ — совместную функцию признаков, а Δ Хэмминга — потери :

${\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}$.

Оптимизация

Потери шарнира — выпуклая функция , поэтому с ней могут работать многие обычные выпуклые оптимизаторы, используемые в машинном обучении. Он не дифференцируем , но имеет субградиент по параметрам модели w линейной SVM с оценочной функцией. $y=\mathbf {w} \cdot \mathbf {x}$ это дано

${\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1,\\0&{\text{otherwise}}.\end{cases}}$

График трех вариантов потери шарнира в зависимости от z = ty : «обычный» вариант (синий), его квадрат (зеленый) и кусочно-гладкая версия Ренни и Сребро (красный). По оси Y — шарнирные потери l(y) , а по оси X — параметр t.

Однако, поскольку производная шарнирных потерь при $ty=1$ не определено, для оптимизации могут быть предпочтительнее сглаженные версии, такие как Rennie и Srebro.

$\ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty<1,\\0&{\text{if}}~~1\leq ty\end{cases}}$

или квадратично сглаженный

$\ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma ,\\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}$

предложил Чжан. Модифицированная потеря Хубера $L$ является частным случаем этой функции потерь с $\gamma =2$, конкретно $L(t,y)=4\ell _{2}(y)$.

См. также

• Сплайн многомерной адаптивной регрессии § Шарнирные функции