Классификатор Байеса

В статистической классификации классификатор Байеса — это классификатор, имеющий наименьшую вероятность неправильной классификации среди всех классификаторов, использующих один и тот же набор признаков.

Определение

Предположим, пара $(X,Y)$ принимает значения в $\mathbb {R} ^{d}\times \{1,2,\dots ,K\}$, где $Y$ — это метка класса элемента, функции которого определяются формулой $X$. Предположим, что распределение X условное при условии, что метка Y принимает значение r, определяется выражением $$(X\mid Y=r)\sim P_{r}\quad {\text{for}}\quad r=1,2,\dots ,K$$где " $\sim$" означает "распространяется как", и где $P_{r}$ обозначает распределение вероятностей.

Классификатор — это правило, которое присваивает наблюдению X = x предположение или оценку того, чем на самом деле была ненаблюдаемая метка Y = r . Теоретически классификатор — это измеримая функция. $C:\mathbb {R} ^{d}\to \{1,2,\dots ,K\}$, с интерпретацией, что C относит точку x к классу C ( x ). Вероятность неправильной классификации или риск классификатора C определяется как $${\mathcal {R}}(C)=\operatorname {P} \{C(X)\neq Y\}.$$

Классификатор Байеса – это $$C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatorname {argmax} }}\operatorname {P} (Y=r\mid X=x).$$

На практике, как и в большей части статистики, трудности и тонкости связаны с эффективным моделированием распределений вероятностей — в данном случае $\operatorname {P} (Y=r\mid X=x)$. Классификатор Байеса является полезным ориентиром в статистической классификации .

Избыточный риск общего классификатора $C$ (возможно, в зависимости от некоторых обучающих данных) определяется как ${\mathcal {R}}(C)-{\mathcal {R}}(C^{\text{Bayes}}).$Таким образом, эта неотрицательная величина важна для оценки эффективности различных методов классификации. Классификатор считается непротиворечивым, если избыточный риск стремится к нулю, поскольку размер набора обучающих данных стремится к бесконечности.

Учитывая компоненты $x_{i}$ из $x$ чтобы быть взаимно независимыми, мы получаем наивный классификатор Байеса , где $$C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatorname {argmax} }}\operatorname {P} (Y=r)\prod _{i=1}^{d}P_{r}(x_{i}).$$

Характеристики

Доказательство того, что байесовский классификатор оптимален и коэффициент байесовских ошибок минимален, проводится следующим образом.

Определите переменные: Риск $R(h)$, Байесовский риск $R^{*}$, все возможные классы, к которым можно отнести точки $Y=\{0,1\}$. Пусть апостериорная вероятность точки, принадлежащей классу 1, равна $\eta (x)=Pr(Y=1|X=x)$. Определить классификатор ${\mathcal {h}}^{*}$как $${\mathcal {h}}^{*}(x)={\begin{cases}1&{\text{if }}\eta (x)\geqslant 0.5,\\0&{\text{otherwise.}}\end{cases}}$$

Тогда мы имеем следующие результаты:

1. $R(h^{*})=R^{*}$, то есть $h^{*}$ — классификатор Байеса,
2. Для любого классификатора $h$, избыточный риск удовлетворяет $R(h)-R^{*}=2\mathbb {E} _{X}\left[|\eta (x)-0.5|\cdot \mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}\right]$
3. $R^{*}=\mathbb {E} _{X}\left[\min(\eta (X),1-\eta (X))\right]$
4. $R^{*}={\frac {1}{2}}-{\frac {1}{2}}\mathbb {E} [|2\eta (X)-1|]$

Доказательство (а): Для любого классификатора $h$, у нас есть $${\begin{aligned}R(h)&=\mathbb {E} _{XY}\left[\mathbb {I} _{\left\{h(X)\neq Y\right\}}\right]\\&=\mathbb {E} _{X}\mathbb {E} _{Y|X}[\mathbb {I} _{\left\{h(X)\neq Y\right\}}]\\&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h(X)=1\right\}}]\end{aligned}}$$где вторая строка была получена с помощью теоремы Фубини

Обратите внимание, что $R(h)$ минимизируется за счет принятия $\forall x\in X$, $$h(x)={\begin{cases}1&{\text{if }}\eta (x)\geqslant 1-\eta (x),\\0&{\text{otherwise.}}\end{cases}}$$

Следовательно, минимально возможным риском является байесовский риск: $R^{*}=R(h^{*})$.

Доказательство (б): $${\begin{aligned}R(h)-R^{*}&=R(h)-R(h^{*})\\&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h(X)=1\right\}}-\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right\}}-(1-\eta (X))\mathbb {I} _{\left\{h^{*}(X)=1\right\}}]\\&=\mathbb {E} _{X}[|2\eta (X)-1|\mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}]\\&=2\mathbb {E} _{X}[|\eta (X)-0.5|\mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}]\end{aligned}}$$

Доказательство (с): $${\begin{aligned}R(h^{*})&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h*(X)=1\right\}}]\\&=\mathbb {E} _{X}[\min(\eta (X),1-\eta (X))]\end{aligned}}$$

Доказательство (d): $${\begin{aligned}R(h^{*})&=\mathbb {E} _{X}[\min(\eta (X),1-\eta (X))]\\&={\frac {1}{2}}-\mathbb {E} _{X}[\max(\eta (X)-1/2,1/2-\eta (X))]\\&={\frac {1}{2}}-{\frac {1}{2}}\mathbb {E} [|2\eta (X)-1|]\end{aligned}}$$

Общий случай

Общий случай, когда классификатор Байеса минимизирует ошибку классификации, когда каждый элемент может принадлежать к любой из n категорий, обусловлен завышенными ожиданиями следующим образом. $${\begin{aligned}\mathbb {E} _{Y}(\mathbb {I} _{\{y\neq {\hat {y}}\}})&=\mathbb {E} _{X}\mathbb {E} _{Y|X}\left(\mathbb {I} _{\{y\neq {\hat {y}}\}}|X=x\right)\\&=\mathbb {E} \left[\Pr(Y=1|X=x)\mathbb {I} _{\{{\hat {y}}=2,3,\dots ,n\}}+\Pr(Y=2|X=x)\mathbb {I} _{\{{\hat {y}}=1,3,\dots ,n\}}+\dots +\Pr(Y=n|X=x)\mathbb {I} _{\{{\hat {y}}=1,2,3,\dots ,n-1\}}\right]\end{aligned}}$$

Это минимизируется путем одновременной минимизации всех членов ожидания с помощью классификатора $h(x)=k,\quad \arg \max _{k}Pr(Y=k|X=x)$ для каждого наблюдения x .

См. также

• Наивный классификатор Байеса