Показатели ошибок при проверке гипотез

При статистической проверке гипотез показатель ошибки процедуры проверки гипотез — это скорость, с которой вероятности типа I и типа II экспоненциально уменьшаются в зависимости от размера выборки, используемой в тесте. Например, если вероятность ошибки $P_{\mathrm {error} }$ теста распадается по мере $e^{-n\beta }$, где $n$ — размер выборки, показатель ошибки — $\beta$.

Формально показатель ошибки теста определяется как предельное значение отношения отрицательного логарифма вероятности ошибки к размеру выборки для больших размеров выборки: $\lim _{n\to \infty }{\frac {-\ln P_{\text{error}}}{n}}$. Показатели ошибок для различных проверок гипотез вычисляются с использованием теоремы Санова и других результатов теории больших уклонений .

Показатели ошибок при проверке бинарных гипотез

Рассмотрим задачу проверки бинарной гипотезы, в которой наблюдения моделируются как независимые и одинаково распределенные случайные величины в соответствии с каждой гипотезой. Позволять $Y_{1},Y_{2},\ldots ,Y_{n}$ обозначить наблюдения. Позволять $f_{0}$ обозначают функцию плотности вероятности каждого наблюдения $Y_{i}$ при нулевой гипотезе $H_{0}$ и пусть $f_{1}$ обозначают функцию плотности вероятности каждого наблюдения $Y_{i}$ согласно альтернативной гипотезе $H_{1}$.

В этом случае возможны два ошибочных события . Ошибка типа 1, также называемая ложноположительным , возникает, когда нулевая гипотеза верна, но ошибочно отвергается. Ошибка типа 2, также называемая ложноотрицательной, возникает, когда альтернативная гипотеза верна, а нулевая гипотеза не отвергается. Вероятность ошибки первого рода обозначается $P(\mathrm {error} \mid H_{0})$ а вероятность ошибки второго рода обозначается $P(\mathrm {error} \mid H_{1})$.

Оптимальный показатель ошибки для тестирования Неймана – Пирсона

В Неймане-Пирсоне версия проверки бинарной гипотезы, заинтересованная в минимизации вероятности ошибки 2-го типа $P({\text{error}}\mid H_{1})$ при условии, что вероятность ошибки первого рода $P({\text{error}}\mid H_{0})$ меньше или равно заранее заданному уровню $\alpha$. В этой ситуации оптимальной процедурой тестирования является тест отношения правдоподобия . Более того, оптимальный тест гарантирует, что вероятность ошибки типа 2 экспоненциально убывает с размером выборки. $n$ в соответствии с $\lim _{n\to \infty }{\frac {-\ln P(\mathrm {error} \mid H_{1})}{n}}=D(f_{0}\parallel f_{1})$. Экспонента ошибки $D(f_{0}\parallel f_{1})$ – это расхождение Кульбака–Лейблера между распределениями вероятностей наблюдений при двух гипотезах. Этот показатель также называют показателем леммы Чернова – Штейна.

Оптимальный показатель ошибки для средней вероятности ошибки при проверке байесовской гипотезы

В байесовской версии проверки бинарной гипотезы заинтересованы в минимизации средней вероятности ошибки по обеим гипотезам, предполагая априорную вероятность возникновения каждой гипотезы. Позволять $\pi _{0}$ обозначают априорную вероятность гипотезы $H_{0}$. В этом случае средняя вероятность ошибки определяется выражением $P_{\text{ave}}=\pi _{0}P({\text{error}}\mid H_{0})+(1-\pi _{0})P({\text{error}}\mid H_{1})$. В этом случае критерий отношения правдоподобия снова является оптимальным, а оптимальная ошибка уменьшается по мере того, как $\lim _{n\to \infty }{\frac {-\ln P_{\text{ave}}}{n}}=C(f_{0},f_{1})$ где $C(f_{0},f_{1})$ представляет информацию Чернова между двумя распределениями, определяемыми как $C(f_{0},f_{1})=\max _{\lambda \in [0,1]}\left[-\ln \int (f_{0}(x))^{\lambda }(f_{1}(x))^{(1-\lambda )}\,dx\right]$.