Функции потерь для классификации

Функции последовательных потерь Байеса: потеря нуля или единицы (серый), потеря дикаря (зеленый), логистическая потеря (оранжевый), экспоненциальная потеря (фиолетовый), касательная потеря (коричневый), квадратная потеря (синий).

В машинном обучении и математической оптимизации функции потерь для классификации — это вычислительно осуществимые функции потерь, представляющие цену, уплаченную за неточность прогнозов в задачах классификации (проблемы определения того, к какой категории принадлежит конкретное наблюдение). Данный ${\mathcal {X}}$ как пространство всех возможных входов (обычно ${\mathcal {X}}\subset \mathbb {R} ^{d}$), и ${\mathcal {Y}}=\{-1,1\}$ как набор меток (возможных выходов), типичная цель алгоритмов классификации — найти функцию $f:{\mathcal {X}}\to {\mathcal {Y}}$ что лучше всего предсказывает ярлык $y$ для данного входа ${\vec {x}}$. Однако из-за неполной информации, шума в измерениях или вероятностных составляющих основного процесса возможно то же самое. ${\vec {x}}$ генерировать разные $y$. В результате целью задачи обучения является минимизация ожидаемых потерь (также известных как риск), определяемых как

$I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy$

где $V(f({\vec {x}}),y)$ - заданная функция потерь, и $p({\vec {x}},y)$ - это функция плотности вероятности процесса, который сгенерировал данные, что эквивалентно можно записать как

$p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).$

В рамках классификации некоторые часто используемые функции потерь записываются исключительно в терминах произведения истинной метки. $y$ и предсказанная метка $f({\vec {x}})$. Поэтому их можно определить как функции только одной переменной. $\upsilon =yf({\vec {x}})$, так что $V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )$ с подходящим образом выбранной функцией $\phi :\mathbb {R} \to \mathbb {R}$. Они называются функциями потерь на основе маржи . Выбор функции потерь на основе маржи означает выбор $\phi$. Выбор функции потерь в рамках этой структуры влияет на оптимальную $f_{\phi }^{*}$ который минимизирует ожидаемый риск, см. минимизацию эмпирического риска .

В случае бинарной классификации можно упростить расчет ожидаемого риска по указанному выше интегралу. Конкретно,

${\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))\,p(y\mid {\vec {x}})\,p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,p(-1\mid {\vec {x}})]\,p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,(1-p(1\mid {\vec {x}}))]\,p({\vec {x}})\,d{\vec {x}}\end{aligned}}$

Второе равенство следует из описанных выше свойств. Третье равенство следует из того, что 1 и −1 являются единственно возможными значениями для $y$, а четвертый потому что $p(-1\mid x)=1-p(1\mid x)$. Термин в скобках $[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]$ называется условным риском.

Можно найти минимизатор $I[f]$ взяв функциональную производную последнего равенства по $f$ и установив производную равной 0. Это приведет к следующему уравнению

${\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0,\;\;\;\;\;(1)$

где $\eta =p(y=1|{\vec {x}})$, что также эквивалентно присвоению производной условного риска равной нулю.

Учитывая бинарный характер классификации, естественным отбором функции потерь (при условии равной стоимости ложноположительных и ложноотрицательных результатов ) будет функция потерь 0–1 ( индикаторная функция 0–1 ), которая принимает значение 0, если предсказанное классификация равна истинному классу или 1, если прогнозируемая классификация не соответствует истинному классу. Этот выбор моделируется

$V(f({\vec {x}}),y)=H(-yf({\vec {x}}))$

где $H$ указывает на ступенчатую функцию Хевисайда .Однако эта функция потерь невыпуклая и негладкая, и поиск оптимального решения представляет собой NP-трудную задачу комбинаторной оптимизации. В результате лучше заменить суррогаты функции потерь , которые подходят для широко используемых алгоритмов обучения, поскольку они обладают удобными свойствами, такими как выпуклость и гладкость. В дополнение к их вычислительной технологичности можно показать, что решения проблемы обучения с использованием этих суррогатов потерь позволяют восстановить фактическое решение исходной задачи классификации. Некоторые из этих суррогатов описаны ниже.

На практике распределение вероятностей $p({\vec {x}},y)$ неизвестно. Следовательно, используя обучающий набор $n$ независимо и одинаково распределенные точки отбора проб

$S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}$

данных взятые из выборочного пространства , каждый стремится минимизировать эмпирический риск

$I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})$

в качестве показателя ожидаемого риска. ( см. в статистической теории обучения Более подробное описание .)

Байесовская консистенция

Используя теорему Байеса , можно показать, что оптимальное $f_{0/1}^{*}$, т.е. тот, который минимизирует ожидаемый риск, связанный с потерей ноль-единица, реализует правило оптимального решения Байеса для задачи бинарной классификации и имеет форму

$f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}$.

Функция потерь называется классификационно-калиброванной или байесовской, если она оптимальна. $f_{\phi }^{*}$ таков, что $f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))$и, таким образом, является оптимальным в соответствии с правилом принятия решений Байеса. Функция потерь, согласованная по Байесу, позволяет нам найти оптимальную функцию решения Байеса. $f_{\phi }^{*}$ путем прямой минимизации ожидаемого риска и без необходимости явного моделирования функций плотности вероятности.

Для выпуклой потери запаса $\phi (\upsilon )$, можно показать, что $\phi (\upsilon )$ является байесовским тогда и только тогда, когда оно дифференцируемо в точках 0 и $\phi '(0)<0$. Однако этот результат не исключает существования невыпуклых функций потерь, согласованных по Байесу. Более общий результат гласит, что байесовские функции потерь могут быть созданы с использованием следующей формулировки:

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)$,

где $f(\eta ),(0\leq \eta \leq 1)$ — любая обратимая функция такая, что $f^{-1}(-v)=1-f^{-1}(v)$ и $C(\eta )$ — любая дифференцируемая строго вогнутая функция такая, что $C(\eta )=C(1-\eta )$. В Таблице I показаны сгенерированные функции потерь, согласованные по Байесу, для некоторых примеров выбора $C(\eta )$ и $f^{-1}(v)$. Обратите внимание, что потери Сэвиджа и Касательной не являются выпуклыми. Было показано, что такие невыпуклые функции потерь полезны при работе с выбросами при классификации. Для всех функций потерь, генерируемых из (2), апостериорная вероятность $p(y=1|{\vec {x}})$ можно найти с помощью функции обратимой ссылки как $p(y=1|{\vec {x}})=\eta =f^{-1}(v)$. Такие функции потерь, апостериорную вероятность которых можно восстановить с помощью обратимой связи, называются собственными функциями потерь .

Таблица-I

Имя потери	$\phi (v)$	$C(\eta )$	$f^{-1}(v)$	$f(\eta )$
Экспоненциальный	$e^{-v}$	$2{\sqrt {\eta (1-\eta )}}$	${\frac {e^{2v}}{1+e^{2v}}}$	${\frac {1}{2}}\log({\frac {\eta }{1-\eta }})$
Логистика	${\frac {1}{\log(2)}}\log(1+e^{-v})$	${\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]$	${\frac {e^{v}}{1+e^{v}}}$	$\log({\frac {\eta }{1-\eta }})$
Квадрат	$(1-v)^{2}$	$4\eta (1-\eta )$	${\frac {1}{2}}(v+1)$	$2\eta -1$
Дикий	${\frac {1}{(1+e^{v})^{2}}}$	$\eta (1-\eta )$	${\frac {e^{v}}{1+e^{v}}}$	$\log({\frac {\eta }{1-\eta }})$
Касательная	$(2\arctan(v)-1)^{2}$	$4\eta (1-\eta )$	$\arctan(v)+{\frac {1}{2}}$	$\tan(\eta -{\frac {1}{2}})$

Единственный минимизатор ожидаемого риска, $f_{\phi }^{*}$, связанный с сгенерированными выше функциями потерь, может быть непосредственно найден из уравнения (1) и показан как равный соответствующему $f(\eta )$. Это справедливо даже для невыпуклых функций потерь, а это означает, что алгоритмы на основе градиентного спуска, такие как повышение градиента для построения минимизатора можно использовать .

Правильные функции потерь, маржа потерь и регуляризация

(Красный) стандартные логистические потери ( $\gamma =1,\mu =2$) и (синий) увеличение маржи Логистические потери ( $\gamma =0.2$).

Для правильных функций потерь предел потерь можно определить как $\mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}$ и показано, что они напрямую связаны со свойствами регуляризации классификатора. В частности, функция потерь с большим запасом увеличивает регуляризацию и дает лучшие оценки апостериорной вероятности. Например, маржу убытков можно увеличить за счет логистических потерь, введя $\gamma$ параметр и записываем логистические потери как ${\frac {1}{\gamma }}\log(1+e^{-\gamma v})$ где меньше $0<\gamma <1$ увеличивает размер убытка. Показано, что это прямо эквивалентно снижению скорости обучения при градиентном бустинге. $F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),$ где уменьшение $\gamma$ улучшает регуляризацию усиленного классификатора. Теория ясно показывает, что когда скорость обучения $\gamma$ используется, правильная формула для получения апостериорной вероятности теперь имеет вид $\eta =f^{-1}(\gamma F(x))$.

В заключение, выбрав функцию потерь с большим запасом (меньший $\gamma$) мы увеличиваем регуляризацию и улучшаем наши оценки апостериорной вероятности, что, в свою очередь, улучшает кривую ROC окончательного классификатора.

Квадратная потеря

Хотя функция квадратичных потерь чаще используется в регрессии, ее можно переписать как функцию $\phi (yf({\vec {x}}))$ и используется для классификации. Его можно сгенерировать с использованием (2) и таблицы I следующим образом.

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.$

Функция квадратичных потерь одновременно выпуклая и гладкая. Однако функция квадратичных потерь имеет тенденцию чрезмерно наказывать выбросы, что приводит к более медленным темпам сходимости (в отношении сложности выборки), чем для функций логистических потерь или шарнирных потерь. Кроме того, функции, которые дают высокие значения $f({\vec {x}})$ для некоторых $x\in X$ будет плохо работать с функцией квадратичных потерь, поскольку высокие значения $yf({\vec {x}})$ будут строго наказаны, независимо от наличия признаков $y$ и $f({\vec {x}})$ соответствовать.

Преимущество функции квадратичных потерь заключается в том, что ее структура позволяет легко проводить перекрестную проверку параметров регуляризации. В частности, для регуляризации Тихонова с исключением одного, можно найти параметр регуляризации, используя перекрестную проверку за то же время, которое потребовалось бы для решения одной задачи.

Минимизатор $I[f]$ для квадратичной функции потерь можно найти непосредственно из уравнения (1) как

$f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.$

Логистические потери

Функция логистических потерь может быть сгенерирована с использованием (2) и таблицы I следующим образом:

${\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}$

Логистические потери выпуклы и растут линейно для отрицательных значений, что делает их менее чувствительными к выбросам. Логистические потери используются в алгоритме LogitBoost .

Минимизатор $I[f]$ для функции логистических потерь можно найти непосредственно из уравнения (1) как

$f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Эта функция не определена, когда $p(1\mid x)=1$ или $p(1\mid x)=0$ (склоняясь к ∞ и −∞ соответственно), но предсказывает плавную кривую, которая растет, когда $p(1\mid x)$ увеличивается и становится равным 0, когда $p(1\mid x)=0.5$.

Легко проверить, что логистические потери и двоичные кросс-энтропийные потери (Log loss) на самом деле одинаковы (с точностью до мультипликативной константы). ${\frac {1}{\log(2)}}$). Перекрестная потеря энтропии тесно связана с расхождением Кульбака-Лейблера между эмпирическим распределением и предсказанным распределением. Перекрестная потеря энтропии повсеместно распространена в современных глубоких нейронных сетях .

Экспоненциальная потеря

Экспоненциальная функция потерь может быть сгенерирована с использованием (2) и таблицы I следующим образом:

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {\left({\frac {e^{2v}}{1+e^{2v}}}\right)\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)}}+\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)\left({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}}\right)=e^{-v}$

Экспоненциальные потери выпуклы и экспоненциально растут для отрицательных значений, что делает их более чувствительными к выбросам. Экспоненциально взвешенные потери 0–1 используются в алгоритме AdaBoost, что неявно приводит к экспоненциальным потерям.

Минимизатор $I[f]$ для экспоненциальной функции потерь можно непосредственно найти из уравнения (1) как

$f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Дикая потеря

Дикая потеря может быть сгенерировано с использованием (2) и таблицы-I следующим образом

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=\left({\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {e^{v}}{1+e^{v}}}\right)+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {2e^{v}}{1+e^{v}}}\right)={\frac {1}{(1+e^{v})^{2}}}.$

Потери Сэвиджа квазивыпуклы и ограничены большими отрицательными значениями, что делает их менее чувствительными к выбросам. Потери Savage использовались в повышении градиента и алгоритме SavageBoost.

Минимизатор $I[f]$ для функции потерь Сэвиджа можно найти непосредственно из уравнения (1) как

$f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Касательная потеря

Касательная потеря может быть сгенерировано с использованием (2) и таблицы-I следующим образом

${\begin{aligned}\phi (v)&=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4(\arctan(v)+{\frac {1}{2}})(1-(\arctan(v)+{\frac {1}{2}}))+(1-(\arctan(v)+{\frac {1}{2}}))(4-8(\arctan(v)+{\frac {1}{2}}))\\&=(2\arctan(v)-1)^{2}.\end{aligned}}$

Касательная потеря является квазивыпуклой и ограничена большими отрицательными значениями, что делает ее менее чувствительной к выбросам. Интересно, что потеря касательной также накладывает ограниченный штраф на точки данных, которые были классифицированы «слишком правильно». Это может помочь предотвратить чрезмерное обучение набора данных. Потери касательной использовались в повышении градиента , алгоритме TangentBoost и альтернативных лесах решений.

Минимизатор $I[f]$ для функции тангенциальных потерь можно найти непосредственно из уравнения (1) как

$f_{\text{Tangent}}^{*}=\tan(\eta -{\frac {1}{2}})=\tan(p(1\mid x)-{\frac {1}{2}}).$

Потеря шарнира

Основная статья: Потеря шарнира

Функция шарнирных потерь определяется формулой $\phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}$, где $[a]_{+}=\max(0,a)$ – положительная часть функции.

$V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.$

Потеря шарнира обеспечивает относительно жесткую, выпуклую верхнюю границу индикаторной функции 0–1 . В частности, шарнирные потери равны индикаторной функции 0–1 , когда $\operatorname {sgn} (f({\vec {x}}))=y$ и $|yf({\vec {x}})|\geq 1$. Кроме того, эмпирическая минимизация риска этих потерь эквивалентна классической формулировке для машин опорных векторов (SVM). Правильно классифицированные точки, лежащие за пределами границ опорных векторов, не штрафуются, тогда как точки внутри границ поля или на неправильной стороне гиперплоскости наказываются линейно по сравнению с их расстоянием от правильной границы.

Хотя функция шарнирных потерь одновременно выпуклая и непрерывная, она не является гладкой (не дифференцируемой) при $yf({\vec {x}})=1$. Следовательно, функцию шарнирных потерь нельзя использовать с методами градиентного спуска или методами стохастического градиентного спуска , которые основаны на дифференцируемости во всей области. Тем не менее, шарнирные потери имеют субградиент при $yf({\vec {x}})=1$, что позволяет использовать методы субградиентного спуска . SVM, использующие функцию шарнирных потерь, также могут быть решены с помощью квадратичного программирования .

Минимизатор $I[f]$ для функции шарнирных потерь

$f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}$

когда $p(1\mid x)\neq 0.5$, что соответствует индикаторной функции 0–1. Этот вывод делает шарнирную потерю весьма привлекательной, поскольку можно установить границы разницы между ожидаемым риском и знаком функции шарнирной потери. Потери на шарнирах не могут быть выведены из (2), поскольку $f_{\text{Hinge}}^{*}$ не является обратимым.

Генерализованная плавная потеря шарнира

Обобщенная гладкая функция шарнирных потерь с параметром $\alpha$ определяется как

$f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},$

где

$z=yf({\vec {x}}).$

Оно монотонно возрастает и достигает 0, когда $z=1$.

См. также

• Дифференцируемое программирование
• Функция подсчета очков