Тест отношения правдоподобия

В статистике тест отношения правдоподобия оценивает степень соответствия двух конкурирующих статистических моделей , в частности одной, найденной путем максимизации по всему пространству параметров , и другой, найденной после наложения некоторого ограничения , на основе отношения их правдоподобий . Если ограничение (т. е. нулевая гипотеза ) подтверждается наблюдаемыми данными , две вероятности не должны отличаться более чем на ошибку выборки . ^[1] Таким образом, тест отношения правдоподобия проверяет, значительно ли это отношение отличается от единицы или, что то же самое, значительно ли его натуральный логарифм отличается от нуля.

Критерий отношения правдоподобия, также известный как тест Уилкса , ^[2] является старейшим из трех классических подходов к проверке гипотез, наряду с тестом множителя Лагранжа и тестом Вальда . ^[3] Фактически, последние два можно концептуализировать как приближения к тесту отношения правдоподобия, и они асимптотически эквивалентны. ^[4]^[5]^[6] В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров , использование теста отношения правдоподобия может быть оправдано леммой Неймана–Пирсона . Лемма показывает, что тест имеет наибольшую мощность среди всех конкурентов. ^[7]

Определение [ править ]

Общие [ править ]

Предположим, что у нас есть статистическая модель с пространством параметров $\Theta$ . Нулевая гипотеза часто формулируется, говоря, что параметр $\theta$ лежит в указанном подмножестве $\Theta _{0}$ из $\Theta$ . , Альтернативная гипотеза таким образом, состоит в том, что $\theta$ в дополнении заключается $\Theta _{0}$ , то есть в $\Theta ~\backslash ~\Theta _{0}$ , который обозначается $\Theta _{0}^{\text{c}}$ . Статистика теста отношения правдоподобия для нулевой гипотезы $H_{0}\,:\,\theta \in \Theta _{0}$ дается: ^[8]

\lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]

где величина внутри скобок называется отношением правдоподобия. Здесь $\sup$ обозначение относится к супремуму . Поскольку все вероятности положительны и ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия ограничено между нулем и единицей.

Часто статистика теста отношения правдоподобия выражается как разница между логарифмическими правдоподобиями.

\lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]

где

\ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~

- логарифм максимизированной функции правдоподобия ${\mathcal {L}}$ , и $\ell (\theta _{0})$ — это максимальное значение в особом случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизирует ${\mathcal {L}}$ для выборочных данных) и

\theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~

обозначают соответствующие аргументы максимумов и разрешенные диапазоны, в которые они включены. Умножение на -2 математически гарантирует, что (по теореме Уилкса ) $\lambda _{\text{LR}}$ асимптотически сходится к $χ²$ -распределению, если нулевая гипотеза оказывается верной. ^[9] неизвестны . Распределения статистики отношения правдоподобия по конечной выборке обычно ^[10]

Тест отношения правдоподобия требует, чтобы модели были вложенными , т.е. более сложную модель можно преобразовать в более простую путем наложения ограничений на ее параметры. Многие общие тестовые статистические данные являются тестами для вложенных моделей и могут быть сформулированы как логарифмические отношения правдоподобия или их аппроксимации: например, Z -тест , F -тест , G -тест и критерий хи-квадрат Пирсона ; иллюстрацию с одновыборочным t -тестом см. ниже.

Если модели не вложенные, то вместо теста отношения правдоподобия используется обобщенный тест, который обычно можно использовать: подробнее см. относительное правдоподобие .

Случай простых гипотез [ править ]

Проверка гипотезы «простая против простой» полностью определяет модели как для нулевой, так и для альтернативной гипотезы, которые для удобства записаны в терминах фиксированных значений условного параметра. $\theta$ :

{\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}

В этом случае при любой гипотезе распределение данных полностью задано: неизвестных параметров для оценки нет. Для этого случая доступен вариант теста отношения правдоподобия: ^[11]^[12]

\Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.

В некоторых старых ссылках в качестве определения может использоваться величина, обратная приведенной выше функции. ^[13] Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше нулевой модели.

Тест отношения правдоподобия дает следующее правило принятия решения:

Если

~\Lambda >c~

, не отвергай

H_{0}

;

Если

~\Lambda <c~

, отклонять

H_{0}

;

Если

~\Lambda =c~

, отклонять

H_{0}

с вероятностью

~q~

.

Ценности $c$ и $q$ обычно выбираются для получения определенного уровня значимости $\alpha$ , через соотношение

~q~

\operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.

Лемма Неймана -Пирсона утверждает, что этот критерий отношения правдоподобия является самым мощным среди всех уровней. $\alpha$ тесты на этот случай. ^[7]^[12]

Интерпретация [ править ]

Отношение правдоподобия является функцией данных $x$ ; следовательно, это статистика , хотя и необычна тем, что значение статистики зависит от параметра, $\theta$ . Тест отношения правдоподобия отклоняет нулевую гипотезу, если значение этой статистики слишком мало. Насколько мало или слишком мало зависит от уровня значимости теста, т. е. от того, какая вероятность ошибки типа I считается допустимой (ошибки типа I заключаются в отклонении нулевой гипотезы, которая является верной).

Числитель нулевой соответствует вероятности наблюдаемого результата при гипотезе . Знаменатель . соответствует максимальной вероятности наблюдаемого результата при изменении параметров во всем пространстве параметров Числитель этого отношения меньше знаменателя; таким образом, отношение правдоподобия находится в диапазоне от 0 до 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат с гораздо меньшей вероятностью возникнет при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат почти с такой же вероятностью возникнет при нулевой гипотезе, как и при альтернативной, и поэтому нулевую гипотезу нельзя отвергнуть.

Пример [ править ]

Следующий пример адаптирован и сокращен из работы Стюарта, Орда и Арнольда (1999 , §22.2).

Предположим, что у нас есть случайная выборка размером $n$ из популяции, которая имеет нормальное распределение. Как среднее значение $µ$ , так и стандартное отклонение $σ$ популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению $µ 0$ .

Таким образом, наша нулевая гипотеза равна $H 0 : µ = µ 0$ , а альтернативная гипотеза – $H 1 : µ \neq µ 0$ . Функция правдоподобия

{\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.

После некоторых вычислений (здесь они опущены) можно показать, что

\lambda _{LR}=n\ln \left[1+{\frac {t^{2}}{n-1}}\right]

где $t$ — $t$ -статистика с $n - 1$ степенями свободы. Следовательно, мы можем использовать известное точное распределение $t n -1,$ чтобы сделать выводы.

Уилкса Асимптотическое теорема распределение :

Если распределение отношения правдоподобия, соответствующего конкретной нулевой и альтернативной гипотезе, может быть явно определено, то его можно напрямую использовать для формирования областей принятия решения (для подтверждения или отклонения нулевой гипотезы). Однако в большинстве случаев точное распределение отношения правдоподобия, соответствующего конкретным гипотезам, определить очень сложно. ^{[ нужна ссылка ]}

Если предположить, $H0 что$ получил фундаментальный результат истинно, то Сэмюэл С. Уилкс : $n$ подходы $\infty$ , и если нулевая гипотеза лежит строго внутри пространства параметров, тестовая статистика $\lambda _{\text{LR}}$ определенное выше, будет асимптотически распределено по хи-квадрату ( $\chi ^{2}$ ) со степенями свободы, равными разнице размерностей $\Theta$ и $\Theta _{0}$ . ^[14] Это означает, что для большого разнообразия гипотез мы можем рассчитать отношение правдоподобия. $\lambda$ для данных, а затем сравнить наблюдаемые $\lambda _{\text{LR}}$ к $\chi ^{2}$ значение, соответствующее желаемой статистической значимости , в качестве приблизительного статистического теста. Существуют и другие расширения. ^{[ который? ]}

См. также [ править ]

Ссылки [ править ]

^ Кинг, Гэри (1989). Объединение политической методологии: теория правдоподобия статистического вывода . Нью-Йорк: Издательство Кембриджского университета. п. 84. ИСБН 0-521-36697-6 .
^ Ли, Бинг; Бабу, Г. Джогеш (2019). Аспирантура по статистическим выводам . Спрингер. п. 331. ИСБН 978-1-4939-9759-6 .
^ Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Уайли. п. 200.
^ Бусе, А. (1982). «Отношение правдоподобия, тесты Вальда и множителей Лагранжа: пояснительная записка». Американский статистик . 36 (3а): 153–157. дои : 10.1080/00031305.1982.10482817 .
^ Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. стр. 24–27 . ISBN 0-86094-190-6 .
^ Северини, Томас А. (2000). Вероятностные методы в статистике . Нью-Йорк: Издательство Оксфордского университета. стр. 120–121. ISBN 0-19-850650-3 .
^ Jump up to: Перейти обратно: ^а ^б Нейман, Дж .; Пирсон, ES (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231 ..289N , doi : 10.1098/rsta.1933.0009 , JSTOR 91247
^ Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Спрингер. п. 306 . ISBN 0-387-18840-1 .
^ Сильви, SD (1970). Статистический вывод . Лондон: Чепмен и Холл. стр. 112–114. ISBN 0-412-13820-4 .
^ Миттельхаммер, Рон С .; Судья Джордж Г .; Миллер, Дуглас Дж. (2000). Эконометрические основы . Нью-Йорк: Издательство Кембриджского университета. п. 66. ИСБН 0-521-62394-4 .
^ Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). МакГроу-Хилл . §9.2.
^ Jump up to: Перейти обратно: ^а ^б Стюарт, А.; Орд, К.; Арнольд, С. (1999), Продвинутая теория статистики Кендалла , том. 2А, Арнольд , §§20.10–20.13
^ Кокс, Др. ; Хинкли, Д.В. (1974), Теоретическая статистика , Chapman & Hall , p. 92, ISBN 0-412-12420-3
^ Уилкс, СС (1938). «Распределение отношения правдоподобия по большой выборке для проверки сложных гипотез» . Анналы математической статистики . 9 (1): 60–62. дои : 10.1214/aoms/1177732360 .

Дальнейшее чтение [ править ]

Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для психологов-эмпириков», Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758/BF03196706 , PMID 15732688
Держись, Леонард; Сабанес Бове, Даниэль (2014), Прикладной статистический вывод — вероятность и Байес , Springer
Калбфляйш, Дж.Г. (1985), Вероятность и статистический вывод , том. 2, Шпрингер Верлаг
Перлман, Майкл Д.; Ву, Ланг (1999), «Новые испытания императора», Statistical Science , 14 (4): 355–381, doi : 10.1214/ss/1009212517
Пернегер, Томас В. (2001), «Просеивание доказательств: отношения правдоподобия являются альтернативой значениям P», The BMJ , 322 (7295): 1184–5, doi : 10.1136/bmj.322.7295.1184 , PMC 1120301 , PMID 11379590
Пиньейру, Хосе К.; Бейтс, Дуглас М. (2000), Модели смешанных эффектов в S и S-PLUS , Springer-Verlag , стр. 82–93
Ричард, Марк; Весер, Ян (2021). «Тестирование эффективности рынков прогнозов: подход Мартингейла, коэффициент правдоподобия и факторный анализ Байеса» . Риски . 9 (2): 31. doi : 10.3390/risks9020031 . HDL : 10419/258120 .
Соломон, Дэниел Л. (1975), «Заметка о неэквивалентности критериев Неймана-Пирсона и обобщенного отношения правдоподобия для проверки простой нулевой гипотезы по сравнению с простой альтернативной гипотезой» (PDF) , The American Statistician , 29 (2) : 101–102, doi : 10.1080/00031305.1975.10477383 , hdl : 1813/32605

Внешние ссылки [ править ]

[1] Кинг, Гэри (1989). Объединение политической методологии: теория правдоподобия статистического вывода . Нью-Йорк: Издательство Кембриджского университета. п. 84. ИСБН 0-521-36697-6 .

[2] Ли, Бинг; Бабу, Г. Джогеш (2019). Аспирантура по статистическим выводам . Спрингер. п. 331. ИСБН 978-1-4939-9759-6 .

[3] Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Уайли. п. 200.

[4] Бусе, А. (1982). «Отношение правдоподобия, тесты Вальда и множителей Лагранжа: пояснительная записка». Американский статистик . 36 (3а): 153–157. дои : 10.1080/00031305.1982.10482817 .

[5] Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. стр. 24–27 . ISBN 0-86094-190-6 .

[6] Северини, Томас А. (2000). Вероятностные методы в статистике . Нью-Йорк: Издательство Оксфордского университета. стр. 120–121. ISBN 0-19-850650-3 .

[NeymanPearson1933-7] Jump up to: Перейти обратно: ^а ^б Нейман, Дж .; Пирсон, ES (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231 ..289N , doi : 10.1098/rsta.1933.0009 , JSTOR 91247

[8] Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Спрингер. п. 306 . ISBN 0-387-18840-1 .

[9] Сильви, SD (1970). Статистический вывод . Лондон: Чепмен и Холл. стр. 112–114. ISBN 0-412-13820-4 .

[10] Миттельхаммер, Рон С .; Судья Джордж Г .; Миллер, Дуглас Дж. (2000). Эконометрические основы . Нью-Йорк: Издательство Кембриджского университета. п. 66. ИСБН 0-521-62394-4 .

[11] Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). МакГроу-Хилл . §9.2.

[Stuart_et_al._20.10–20.13-12] Jump up to: Перейти обратно: ^а ^б Стюарт, А.; Орд, К.; Арнольд, С. (1999), Продвинутая теория статистики Кендалла , том. 2А, Арнольд , §§20.10–20.13

[13] Кокс, Др. ; Хинкли, Д.В. (1974), Теоретическая статистика , Chapman & Hall , p. 92, ISBN 0-412-12420-3

[14] Уилкс, СС (1938). «Распределение отношения правдоподобия по большой выборке для проверки сложных гипотез» . Анналы математической статистики . 9 (1): 60–62. дои : 10.1214/aoms/1177732360 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]