Теорема Уилкса

В статистике теорема Уилкса предлагает асимптотическое распределение статистики логарифмического отношения правдоподобия, которое можно использовать для получения доверительных интервалов для оценок максимального правдоподобия или в качестве тестовой статистики для выполнения теста отношения правдоподобия .

Статистические тесты (такие как проверка гипотез ) обычно требуют знания распределения вероятностей тестовой статистики . Это часто является проблемой для отношений правдоподобия , где распределение вероятностей определить очень сложно.

Удобный результат Сэмюэля С. Уилкса гласит, что по мере приближения размера выборки $\infty$, распределение тестовой статистики $-2\log(\Lambda )$ асимптотически приближается к хи-квадрату ( $\chi ^{2}$) распределение при нулевой гипотезе $H_{0}$. Здесь, $\Lambda$ обозначает отношение правдоподобия , а $\chi ^{2}$ распределение имеет степени свободы, равные разнице размерностей $\Theta$ и $\Theta _{0}$, где $\Theta$ это полное пространство параметров и $\Theta _{0}$ — это подмножество пространства параметров, связанное с $H_{0}$. Этот результат означает, что для больших выборок и большого разнообразия гипотез практик может вычислить отношение правдоподобия. $\Lambda$ для получения данных и сравнения $-2\log(\Lambda )$ к $\chi ^{2}$ значение, соответствующее желаемой статистической значимости , в качестве приблизительного статистического теста.

Теорема больше не применяется, когда истинное значение параметра находится на границе пространства параметров: теорема Уилкса предполагает, что «истинные», но неизвестные значения оцениваемых параметров лежат внутри поддерживаемого параметров пространства . На практике проблема заметна, если оценка лежит на этой границе. В этом случае критерий правдоподобия по-прежнему является разумной тестовой статистикой и даже обладает некоторыми свойствами асимптотической оптимальности, но значимость ( значение p ) не может быть надежно оценена с использованием распределения хи-квадрат с числом степеней свободы, заданным формулой Уилкс. В некоторых случаях асимптотическое распределение статистики по нулевой гипотезе представляет собой смесь распределений хи-квадрат с разным числом степеней свободы.

Использовать

Каждая из двух конкурирующих моделей, нулевая модель и альтернативная модель, отдельно адаптируется к данным и регистрируется логарифмическое правдоподобие . Статистика теста (часто обозначаемая D ) в два раза превышает логарифм отношения правдоподобия, т. е . она в два раза превышает разницу логарифмов правдоподобия:

${\begin{aligned}D&=-2\ln \left({\frac {\text{likelihood for null model}}{\text{likelihood for alternative model}}}\right)\\[5pt]&=2\ln \left({\frac {\text{likelihood for alternative model}}{\text{likelihood for null model}}}\right)\\[5pt]&=2\times [\ln({\text{likelihood for alternative model}})-\ln({\text{likelihood for null model}})]\\[5pt]\end{aligned}}$

Модель с большим количеством параметров (здесь альтернатива ) всегда будет подходить как минимум так же хорошо, т. е. иметь ту же или большую логарифмическую вероятность, чем модель с меньшим количеством параметров (здесь null ). Является ли соответствие значительно лучшим и, таким образом, следует ли отдать предпочтение, определяется путем определения того, насколько вероятно ( p -значение ) наблюдать такую ​​разницу D только случайно , если бы модель с меньшим количеством параметров была верной. Если нулевая гипотеза представляет собой частный случай альтернативной гипотезы, распределение вероятностей проверочной статистики представляет собой примерно распределение хи-квадрат со степенями свободы, равными $\,{\text{df}}_{\text{alt}}-{\text{df}}_{\text{null}}\,$, соответственно количество свободных параметров моделей alter и null .

Например: если нулевая модель имеет 1 параметр и логарифмическое правдоподобие -8024, а альтернативная модель имеет 3 параметра и логарифмическое правдоподобие -8012, то вероятность этой разницы равна значению хи-квадрат $2\times (-8012-(-8024))=24$ с $3-1=2$ степеней свободы и равен $6\times 10^{-6}$. Некоторые предположения должно быть выполнено, чтобы статистика следовала распределению хи-квадрат , но эмпирические значения p также могут быть вычислены, если эти условия не выполняются.

Примеры

Подбрасывание монеты

Примером теста Пирсона является сравнение двух монет, чтобы определить, имеют ли они одинаковую вероятность выпадения орла. Наблюдения можно поместить в таблицу непредвиденных обстоятельств , строки которой соответствуют монете, а столбцы — орлу или решке. Элементами таблицы непредвиденных обстоятельств будет количество раз, когда каждая монета выпала орел или решка. Содержимое этой таблицы — наши X. наблюдения

${\begin{array}{c|cc}X&{\text{Heads}}&{\text{Tails}}\\\hline {\text{Coin 1}}&k_{\mathrm {1H} }&k_{\mathrm {1T} }\\{\text{Coin 2}}&k_{\mathrm {2H} }&k_{\mathrm {2T} }\end{array}}$

Здесь Θ состоит из возможных комбинаций значений параметров $p_{\mathrm {1H} }$, $p_{\mathrm {1T} }$, $p_{\mathrm {2H} }$, и $p_{\mathrm {2T} }$, которые представляют собой вероятность того, что монеты 1 и 2 выпадут орлом или решкой. Далее, $i=1,2$ и $j=\mathrm {H,T}$. Пространство гипотез H ограничено обычными ограничениями на распределение вероятностей: $0\leq p_{ij}\leq 1$, и $p_{i\mathrm {H} }+p_{i\mathrm {T} }=1$. Пространство нулевой гипотезы $H_{0}$ это подпространство, в котором $p_{1j}=p_{2j}$. Размерность полного пространства параметров Θ равна 2 (любое из $p_{1j}$ и любой из $p_{2j}$ можно рассматривать как свободные параметры согласно гипотезе $H$) и размерность $\Theta _{0}$ равно 1 (только один из $p_{ij}$ можно считать свободным параметром при нулевой гипотезе $H_{0}$).

Письмо $n_{ij}$ за лучшие оценки $p_{ij}$ согласно гипотезе H оценка максимального правдоподобия определяется выражением

$n_{ij}={\frac {k_{ij}}{k_{i\mathrm {H} }+k_{i\mathrm {T} }}}\,.$

Аналогично, оценки максимального правдоподобия $p_{ij}$ при нулевой гипотезе $H_{0}$ даны

$m_{ij}={\frac {k_{1j}+k_{2j}}{k_{\mathrm {1H} }+k_{\mathrm {2H} }+k_{\mathrm {1T} }+k_{\mathrm {2T} }}}\,,$

который не зависит от монеты i .

Гипотезу и нулевую гипотезу можно немного переписать, чтобы они удовлетворяли ограничениям на то, чтобы логарифм отношения правдоподобия имел желаемое распределение. Поскольку ограничение приводит к сведению двумерного H к одномерному $H_{0}$, асимптотическое распределение для теста будет $\chi ^{2}(1)$, $\chi ^{2}$ распределение с одной степенью свободы.

Для общей таблицы непредвиденных обстоятельств мы можем записать статистику логарифмического отношения правдоподобия как

$-2\log \Lambda =2\sum _{i,j}k_{ij}\log {\frac {n_{ij}}{m_{ij}}}\,.$

Недействительность моделей случайных или смешанных эффектов.

Теорема Уилкса предполагает, что истинные, но неизвестные значения оцениваемых параметров находятся внутри пространства параметров . Это обычно нарушается в моделях случайных или смешанных эффектов , например, когда один из компонентов дисперсии незначителен по сравнению с другими. В некоторых таких случаях один компонент дисперсии может быть фактически нулевым по сравнению с другими, или в других случаях модели могут быть неправильно вложены.

Чтобы внести ясность: эти ограничения теоремы Уилкса не отменяют никаких степенных свойств конкретного теста отношения правдоподобия. Единственная проблема заключается в том, что $\chi ^{2}$ распределение иногда является плохим выбором для оценки статистической значимости результата.

Плохие примеры

Пинейро и Бейтс (2000) показали, что истинное распределение этой статистики хи-квадрат отношения правдоподобия может существенно отличаться от наивного. $\chi ^{2}$ – часто резко. Наивные предположения могут дать вероятности значимости ( p -значения) , которые в среднем слишком велики в некоторых случаях и слишком малы в других.

В общем, для проверки случайных эффектов рекомендуют использовать метод ограниченного максимального правдоподобия (REML). Они говорят, что для тестирования с фиксированными эффектами «тест отношения правдоподобия для соответствия REML невозможен», поскольку изменение спецификации фиксированных эффектов меняет смысл смешанных эффектов, и поэтому ограниченная модель не вложена в более крупную модель. В качестве демонстрации они установили нулевое значение одной или двух дисперсий случайных эффектов в смоделированных тестах. В этих конкретных примерах смоделированные значения p с ограничениями k наиболее точно соответствовали смеси 50–50 $\chi ^{2}(k)$ и $\chi ^{2}(k-1)$. (При k = 1 , $\chi ^{2}(0)$ равно 0 с вероятностью 1. Это означает, что хорошее приближение было $\,0.5\,\chi ^{2}(1)\,.$)

Пиньейро и Бейтс также смоделировали тесты с различными фиксированными эффектами. В одном тесте фактора с 4 уровнями ( степени свободы = 3) они обнаружили, что смесь 50–50 $\chi ^{2}(3)$ и $\chi ^{2}(4)$ хорошо соответствовало фактическим значениям p, полученным с помощью моделирования – и ошибка в использовании наивного $\chi ^{2}(3)$ «Может быть, это не слишком тревожит».

Однако в другом тесте фактора с 15 уровнями они нашли разумное соответствие $\chi ^{2}(18)$ – на 4 больше степеней свободы, чем 14, которые можно было бы получить при наивном (неуместном) применении теоремы Уилкса, а смоделированное значение p было в несколько раз наивным. $\chi ^{2}(14)$. Они приходят к выводу, что для тестирования фиксированных эффектов «разумно использовать моделирование».

См. также

• Байесовский фактор
• Выбор модели
• Тест Sup-LR
• Информационный критерий Акаике (AIC)

Другие источники

• Казелла, Джордж; Бергер, Роджер Л. (2001). Статистический вывод (второе изд.). ISBN  0-534-24312-6 .
• Настроение, утро; Грейбилл, ФА (1963). Введение в теорию статистики (2-е изд.). МакГроу-Хилл. ISBN  978-0070428638 .
• Кокс, доктор медицинских наук; Хинкли, Д.В. (1974). Теоретическая статистика . Чепмен и Холл. ISBN  0-412-12420-3 .
• Стюарт, А.; Орд, К.; Арнольд, С. (1999). Продвинутая теория статистики Кендалла . Том. 2А. Лондон: Арнольд . ISBN  978-0-340-66230-4 .

Внешние ссылки

• «Отношение правдоподобия: теорема Уилкса» .