Почти уверенная проверка гипотезы

В статистике почти верная проверка гипотез или проверка гипотез использует почти верную сходимость , чтобы определить достоверность статистической гипотезы с вероятностью единица. Это означает, что всякий раз, когда нулевая гипотеза верна, проверка as-гипотезы не сможет отвергнуть нулевую гипотезу wp 1 для всех достаточно больших выборок. Аналогично, всякий раз, когда альтернативная гипотеза верна, проверка гипотезы отвергает нулевую гипотезу с вероятностью единица для всех достаточно больших выборок. Подобным же образом доверительный интервал в конечном итоге содержит интересующий параметр с вероятностью 1. Дембо и Перес (1994) доказали существование почти надежных проверок гипотез.

Описание

Для простоты предположим, что у нас есть последовательность независимых и одинаково распределенных нормальных случайных величин: $\textstyle x_{i}\sim N(\mu ,1)$ , со средним $\textstyle \mu$ и единичная дисперсия. Предположим, что природа или симуляция выбрали истинное значение. $\textstyle \mu _{0}$ , то функция распределения вероятностей среднего значения, $\textstyle \mu$ , определяется

\Pr(\mu \leq t)=[t\in [\mu _{0},+\infty ]]

где брекет Айверсона использовался . Наивный подход к оценке этой функции распределения заключался бы в замене истинного среднего значения в правой части такой оценкой, как выборочное среднее, $\textstyle {\hat {\mu }}$ , но

{\begin{aligned}&\operatorname {E} \left[t\in \left[{\widehat {\mu }},+\infty \right]\right]=\Pr({\widehat {\mu }}\leq t)\\[4pt]={}&\Phi ({\sqrt {n}}(t-\mu _{0}))\rightarrow \Pr(\mu \leq t)-0.5[\mu _{0}=t]\end{aligned}}

это означает, что аппроксимация истинной функции распределения будет отличаться от истинного среднего значения на 0,5. Однако, $\textstyle \left[{\widehat {\mu }},+\infty \right]$ представляет собой не что иное, как односторонний 50% доверительный интервал; в общем, пусть $\textstyle Z_{\alpha _{n}}$ быть критическим значением, используемым в одностороннем $\textstyle 1-\alpha _{n}$ доверительный интервал, тогда

\operatorname {E} \left[t\in \left[{\hat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr(\mu \leq t)-\lim _{n\rightarrow +\infty }\alpha _{n}[\mu _{0}=t]

Если мы установим $\textstyle \alpha _{n}=0.05$ , то ошибка аппроксимации уменьшается с 0,5 до 0,05, что составляет 10 раз. Конечно, если положить $\textstyle \alpha _{n}\rightarrow 0$ , затем

\operatorname {E} \left[t\in \left[{\widehat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr(\mu \leq t)

Однако это лишь показывает, что математическое ожидание близко к предельному значению. Нааман (2016) показал, что установка уровня значимости на уровне $\textstyle \alpha _{n}=n^{-p}$ с $\textstyle p>1$ приводит к конечному числу ошибок I и II рода wp1 при достаточно мягких условиях регулярности. Это означает, что для каждого $\textstyle t$ , существует $\textstyle N(t)$ , такой, что для всех $\textstyle n>N(t)$ ,

\left[t\in \left[{\widehat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]=\Pr(\mu \leq t)

где равенство выполнено wp 1. Таким образом, индикаторная функция одностороннего доверительного интервала является хорошим приближением к истинной функции распределения.

Приложения

Дополнительная остановка

Например, предположим, что исследователь провел эксперимент с размером выборки 10 человек и не нашел статистически значимого результата. Затем предположим, что она решила добавить еще одно наблюдение и повторить этот процесс, пока не будет получен значимый результат. В этом сценарии, учитывая, что первоначальная партия из 10 наблюдений привела к незначительному результату, вероятность того, что эксперимент будет остановлен при некотором конечном размере выборки, равна $N_{s}$ , может быть ограничено с помощью неравенства Буля

\Pr(N_{s}<+\infty )<\sum _{n=11}^{+\infty }\alpha _{n}<0.0952

где $\alpha _{n}=n^{-2}$ . Это выгодно отличается от тестирования с фиксированным уровнем значимости, которое имеет конечное время остановки с вероятностью единица; однако эта граница не будет иметь смысла для всех последовательностей уровня значимости, поскольку приведенная выше сумма может быть больше единицы (установка $\alpha _{n}=n^{-1.2}$ будет одним из примеров). Но даже при использовании такой пропускной способности, если тестирование проводилось партиями по 10, то

\Pr \left(N_{s}<+\infty \right)<\sum \limits _{i=2}^{\infty }\left(10i\right)^{-1.2}<0.3

что приводит к относительно большой вероятности того, что процесс никогда не закончится.

Предвзятость публикации

Еще один пример эффективности этого подхода: если академический журнал принимает только статьи со значением p менее 0,05, то примерно 1 из 20 независимых исследований с тем же эффектом даст значимый результат, когда его не будет. Однако, если журнал требует минимальный размер выборки 100, а максимальный уровень значимости определяется выражением $\alpha _{n}<n^{-1.2}$ , то можно было бы ожидать, что примерно в 1 из 250 исследований будет обнаружен эффект, хотя его не было (если бы минимальный размер выборки составлял 30, он все равно был бы 1 из 60). Если максимальный уровень значимости определялся формулой $\alpha _{n}<n^{-2}$ (которые будут иметь лучшую производительность небольшой выборки в отношении ошибок типа I, когда вызывают беспокойство множественные сравнения), можно было бы ожидать, что примерно в 1 из 10 000 исследований будет обнаружен эффект, когда его не было (если бы минимальный размер выборки составлял 30, это было бы 1 из 900). Кроме того, проверка гипотез AS устойчива к множественным сравнениям.

Парадокс Джеффриса-Линдли

Парадокс Линдли возникает, когда

Результат является «значимым» по частотному тесту, например, на уровне 5%, что указывает на достаточные доказательства для отклонения нулевой гипотезы, и
Апостериорная вероятность нулевой гипотезы высока, что указывает на убедительные доказательства того, что нулевая гипотеза лучше согласуется с данными, чем альтернативная гипотеза.

Однако парадокс не применим к проверке гипотез. Сторонники байесовского подхода и сторонники частотного подхода в конечном итоге придут к одному и тому же выводу.

См. также

Ссылки

Нааман, Михаил (2016). «Почти надежная проверка гипотез и разрешение парадокса Джеффриса-Линдли». Электронный статистический журнал . 10 (1): 1526–1550.
Дембо, Амир; Перес, Юваль (1994). «Топологический критерий проверки гипотез». Анналы статистики . 22 (1): 106–117.