Коэффициент байесовских ошибок

В статистической классификации коэффициент ошибок Байеса — это минимально возможный коэффициент ошибок для любого классификатора случайного результата (например, в одну из двух категорий) и аналогичен неуменьшаемой ошибке.

Существует ряд подходов к оценке частоты байесовских ошибок. Один из методов направлен на получение аналитических границ, которые по своей сути зависят от параметров распределения и, следовательно, их трудно оценить. Другой подход фокусируется на плотности классов, а еще один метод объединяет и сравнивает различные классификаторы.

Коэффициент ошибок Байеса находит важное применение при изучении закономерностей и методов машинного обучения .

Определение ошибки

С точки зрения машинного обучения и классификации шаблонов метки набора случайных наблюдений можно разделить на 2 или более класса. Каждое наблюдение называется экземпляром , а класс, к которому оно принадлежит, — меткой .Коэффициент байесовских ошибок распределения данных — это вероятность того, что экземпляр будет неправильно классифицирован классификатором, который знает истинные вероятности классов с учетом предикторов.

Для многоклассового классификатора ожидаемая ошибка прогнозирования может быть рассчитана следующим образом:

$EPE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}(x))P(C_{k}|x)]$

где x — экземпляр, $E[]$ математическое ожидание, C _k — класс, к которому классифицируется экземпляр, P(C _k |x) — условная вероятность метки k , например x , а L() — функция потерь 0–1:

$L(x,y)=1-\delta _{x,y}={\begin{cases}0&{\text{if }}x=y\\1&{\text{if }}x\neq y\end{cases}},$

где $\delta _{x,y}$ это дельта Кронекера .

Когда учащийся знает условную вероятность, одно из решений:

${\hat {C}}_{B}(x)=\arg \max _{k\in \{1...K\}}P(C_{k}|X=x)$

Это решение известно как классификатор Байеса.

Соответствующая ожидаемая ошибка прогноза называется частотой ошибок Байеса:

$BE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}_{B}(x))P(C_{k}|x)]=E_{x}[\sum _{k=1,\ C_{k}\neq {\hat {C}}_{B}(x)}^{K}P(C_{k}|x)]=E_{x}[1-P({\hat {C}}_{B}(x)|x)]$,

где сумма может быть опущена на последнем шаге из-за учета встречного события.По определению классификатора Байеса, он максимизирует $P({\hat {C}}_{B}(x)|x)$ и, следовательно, минимизирует байесовскую ошибку BE.

Ошибка Байеса не равна нулю, если метки классификации не являются детерминированными, т. е. существует ненулевая вероятность принадлежности данного экземпляра более чем одному классу. В контексте регрессии с квадратичной ошибкой ошибка Байеса равна дисперсии шума.

Доказательство минимальности

Доказательство того, что частота ошибок Байеса действительно минимально возможная и что поэтому классификатор Байеса является оптимальным, можно найти на странице Классификатор Байеса в Википедии .

Правила плагина для бинарных классификаторов

Правило плагина использует оценку апостериорной вероятности. $\eta$ сформировать правило классификации. Учитывая оценку ${\tilde {\eta }}$, избыточная частота байесовских ошибок соответствующего классификатора ограничена сверху:

$$2\mathbb {E} [|\eta (X)-{\tilde {\eta }}(X)|].$$

Чтобы убедиться в этом, обратите внимание, что избыточная ошибка Байеса равна 0 там, где классификаторы совпадают, и равна $2|\eta (X)-1/2|$ где они не согласны. Чтобы сформировать границу, обратите внимание, что ${\tilde {\eta }}$ это, по крайней мере, насколько $1/2$ когда классификаторы расходятся во мнениях.

См. также

• Наивный классификатор Байеса