Оценка теста

В статистике тест оценки оценивает ограничения статистических параметров на основе градиента , функции правдоподобия известной как оценка , оцениваемой при предполагаемом значении параметра при нулевой гипотезе . Интуитивно понятно, что если ограниченная оценка близка к максимуму функции правдоподобия, оценка не должна отличаться от нуля более чем на ошибку выборки . Хотя конечные выборочные распределения результатов тестов обычно неизвестны, они имеют асимптотику χ ²-распределение при нулевой гипотезе, впервые доказанное Ч.Р. Рао в 1948 году, ^[1] факт, который можно использовать для определения статистической значимости .

Поскольку максимизацию функции с учетом ограничений равенства удобнее всего выполнять с использованием лагранжева выражения задачи, критерий оценки можно эквивалентно понимать как проверку величины множителей связанных Лагранжа, с ограничениями, где, опять же, если ограничения не являются Привязка с максимальным правдоподобием вектор множителей Лагранжа не должен отличаться от нуля более чем на ошибку выборки. Эквивалентность этих двух подходов была впервые показана С.Д. Сильви в 1959 г. ^[2] что привело к появлению названия « тест множителя Лагранжа» , которое стало более широко использоваться, особенно в эконометрике, после Бреуша и Пэгана 1980 года. широко цитируемой статьи ^[3]

Основное преимущество теста оценки по сравнению с тестом Вальда и тестом отношения правдоподобия состоит в том, что тест оценки требует только вычисления ограниченной оценки. ^[4] Это делает тестирование возможным, когда неограниченная оценка максимального правдоподобия является граничной точкой в пространстве параметров . ^{[ нужна ссылка ]} Кроме того, поскольку критерий оценки требует только оценки функции правдоподобия при нулевой гипотезе, он менее специфичен, чем тест отношения правдоподобия для альтернативной гипотезы. ^[5]

Однопараметрический тест

Статистика

Позволять $L$ быть функцией правдоподобия , которая зависит от одномерного параметра $\theta$ и пусть $x$ быть данными. Оценка $U(\theta )$ определяется как

U(\theta )={\frac {\partial \log L(\theta \mid x)}{\partial \theta }}.

Фишера Информация ^[6]

I(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\right|\,\theta \right]\,,

где ƒ — плотность вероятности.

Статистика для тестирования ${\mathcal {H}}_{0}:\theta =\theta _{0}$ является $S(\theta _{0})={\frac {U(\theta _{0})^{2}}{I(\theta _{0})}}$

который имеет асимптотическое распределение $\chi _{1}^{2}$ , когда ${\mathcal {H}}_{0}$ это правда. Хотя асимптотически идентично, вычисление статистики LM с использованием средства оценки произведения внешнего градиента информационной матрицы Фишера может привести к смещению в небольших выборках. ^[7]

Примечание по обозначениям

Обратите внимание, что в некоторых текстах используются альтернативные обозначения, в которых статистика $S^{*}(\theta )={\sqrt {S(\theta )}}$ тестируется на нормальном распределении. Этот подход эквивалентен и дает идентичные результаты.

Как самый мощный тест на небольшие отклонения

\left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}\geq C

где $L$ функция правдоподобия , $\theta _{0}$ - значение интересующего параметра при нулевой гипотезе, и $C$ представляет собой постоянный набор, зависящий от желаемого размера теста (т. е. вероятности отклонения $H_{0}$ если $H_{0}$ это правда; см. ошибку типа I ).

Тест на баллы — самый мощный тест на небольшие отклонения от $H_{0}$ . Чтобы убедиться в этом, рассмотрите возможность тестирования $\theta =\theta _{0}$ против $\theta =\theta _{0}+h$ . По лемме Неймана–Пирсона наиболее мощный критерий имеет вид

{\frac {L(\theta _{0}+h\mid x)}{L(\theta _{0}\mid x)}}\geq K;

Если взять журнал обеих сторон, получим

\log L(\theta _{0}+h\mid x)-\log L(\theta _{0}\mid x)\geq \log K.

Проверка результатов следует за заменой (путем ряда Тейлора расширения ).

\log L(\theta _{0}+h\mid x)\approx \log L(\theta _{0}\mid x)+h\times \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}

и выявление $C$ выше с $\log(K)$ .

Связь с другими проверками гипотез

Если нулевая гипотеза верна, тест отношения правдоподобия , тест Вальда и тест Скора являются асимптотически эквивалентными проверками гипотез. ^[8]^[9] При тестировании вложенных моделей статистика каждого теста затем сходится к распределению хи-квадрат со степенями свободы, равными разнице степеней свободы в двух моделях. Однако если нулевая гипотеза неверна, статистика сходится к нецентральному распределению хи-квадрат с возможными различными параметрами нецентральности.

Несколько параметров

Более общий оценочный тест можно получить, если имеется более одного параметра. Предположим, что ${\widehat {\theta }}_{0}$ это максимального правдоподобия оценка $\theta$ при нулевой гипотезе $H_{0}$ пока $U$ и $I$ являются соответственно вектором оценок и информационной матрицей Фишера. Затем

U^{T}({\widehat {\theta }}_{0})I^{-1}({\widehat {\theta }}_{0})U({\widehat {\theta }}_{0})\sim \chi _{k}^{2}

асимптотически под $H_{0}$ , где $k$ - количество ограничений, налагаемых нулевой гипотезой, и

U({\widehat {\theta }}_{0})={\frac {\partial \log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta }}

и

I({\widehat {\theta }}_{0})=-\operatorname {E} \left({\frac {\partial ^{2}\log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta \,\partial \theta '}}\right).

Это можно использовать для тестирования $H_{0}$ .

Фактическая формула для статистики теста зависит от того, какой оценщик информационной матрицы Фишера используется. ^[10]

Особые случаи

Во многих ситуациях статистика оценок сводится к другой часто используемой статистике. ^[11]

В линейной регрессии тест множителя Лагранжа может быть выражен как функция F -теста . ^[12]

Когда данные подчиняются нормальному распределению, статистика баллов такая же, как статистика t . ^{[ нужны разъяснения ]}

Когда данные состоят из бинарных наблюдений, статистика оценок такая же, как статистика хи-квадрат в тесте хи-квадрат Пирсона .

См. также

Ссылки

^ Рао, К. Радхакришна (1948). «Большие выборочные проверки статистических гипотез, касающихся нескольких параметров, с применением к задачам оценки». Математические труды Кембриджского философского общества . 44 (1): 50–57. Бибкод : 1948PCPS...44...50R . дои : 10.1017/S0305004100023987 .
^ Сильви, SD (1959). «Тест множителя Лагранжа» . Анналы математической статистики . 30 (2): 389–407. дои : 10.1214/aoms/1177706259 . JSTOR 2237089 .
^ Бреуш, ТС ; Пэган, Арканзас (1980). «Тест множителя Лагранжа и его применение для спецификации моделей в эконометрике». Обзор экономических исследований . 47 (1): 239–253. дои : 10.2307/2297111 . JSTOR 2297111 .
^ Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Шпрингер. стр. 663–664 . ISBN 978-3-642-34332-2 .
^ Кеннеди, Питер (1998). Руководство по эконометрике (Четвертое изд.). Кембридж: MIT Press. п. 68. ИСБН 0-262-11235-3 .
^ Леманн и Казелла, экв. (2.5.16).
^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1983). «Небольшие выборочные свойства альтернативных форм теста множителя Лагранжа». Письма по экономике . 12 (3–4): 269–275. дои : 10.1016/0165-1765(83)90048-4 .
^ Энгл, Роберт Ф. (1983). «Вальд, отношение правдоподобия и тесты множителей Лагранжа в эконометрике». В Интрилигаторе, доктор медицины; Грилихес, З. (ред.). Справочник по эконометрике . Том. II. Эльзевир. стр. 796–801. ISBN 978-0-444-86185-6 .
^ Буржиковский, Анджей Галецкий, Томаш (2013). Линейные модели смешанных эффектов с использованием R: пошаговый подход . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-1-4614-3899-1 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Табога, Марко. «Лекции по теории вероятностей и математической статистике» . statlect.com . Проверено 31 мая 2022 г.
^ Кук, Т.Д.; ДеМец, Д.Л., ред. (2007). Введение в статистические методы клинических исследований . Чепмен и Холл. стр. 296–297. ISBN 978-1-58488-027-1 .
^ Вандаэле, Уолтер (1981). «Вальда, отношение правдоподобия и тесты на множитель Лагранжа как F-критерий». Письма по экономике . 8 (4): 361–365. дои : 10.1016/0165-1765(81)90026-4 .

Дальнейшее чтение

Бусе, А. (1982). «Отношение правдоподобия, тесты Вальда и множителей Лагранжа: пояснительная записка». Американский статистик . 36 (3а): 153–157. дои : 10.1080/00031305.1982.10482817 .
Годфри, LG (1988). «Тест на множитель Лагранжа и проверка на неточность спецификации: расширенный анализ». Тесты на неточность спецификации в эконометрике . Нью-Йорк: Издательство Кембриджского университета. стр. 69–99. ISBN 0-521-26616-5 .
Ма, Джун; Нельсон, Чарльз Р. (2016). «Превосходство теста LM в классе эконометрических моделей, где тест Вальда работает плохо». Ненаблюдаемые компоненты и эконометрика временных рядов . Издательство Оксфордского университета. стр. 310–330. doi : 10.1093/acprof:oso/9780199683666.003.0014 . ISBN 978-0-19-968366-6 .
Рао, ЧР (2005). «Тест на баллы: исторический обзор и последние события». Достижения в ранжировании и отборе, множественных сравнениях и надежности . Бостон: Биркхойзер. стр. 3–20. ISBN 978-0-8176-3232-8 .

[1] Рао, К. Радхакришна (1948). «Большие выборочные проверки статистических гипотез, касающихся нескольких параметров, с применением к задачам оценки». Математические труды Кембриджского философского общества . 44 (1): 50–57. Бибкод : 1948PCPS...44...50R . дои : 10.1017/S0305004100023987 .

[2] Сильви, SD (1959). «Тест множителя Лагранжа» . Анналы математической статистики . 30 (2): 389–407. дои : 10.1214/aoms/1177706259 . JSTOR 2237089 .

[BP-3] Бреуш, ТС ; Пэган, Арканзас (1980). «Тест множителя Лагранжа и его применение для спецификации моделей в эконометрике». Обзор экономических исследований . 47 (1): 239–253. дои : 10.2307/2297111 . JSTOR 2297111 .

[4] Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Шпрингер. стр. 663–664 . ISBN 978-3-642-34332-2 .

[5] Кеннеди, Питер (1998). Руководство по эконометрике (Четвертое изд.). Кембридж: MIT Press. п. 68. ИСБН 0-262-11235-3 .

[6] Леманн и Казелла, экв. (2.5.16).

[7] Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1983). «Небольшие выборочные свойства альтернативных форм теста множителя Лагранжа». Письма по экономике . 12 (3–4): 269–275. дои : 10.1016/0165-1765(83)90048-4 .

[8] Энгл, Роберт Ф. (1983). «Вальд, отношение правдоподобия и тесты множителей Лагранжа в эконометрике». В Интрилигаторе, доктор медицины; Грилихес, З. (ред.). Справочник по эконометрике . Том. II. Эльзевир. стр. 796–801. ISBN 978-0-444-86185-6 .

[9] Буржиковский, Анджей Галецкий, Томаш (2013). Линейные модели смешанных эффектов с использованием R: пошаговый подход . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-1-4614-3899-1 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[10] Табога, Марко. «Лекции по теории вероятностей и математической статистике» . statlect.com . Проверено 31 мая 2022 г.

[11] Кук, Т.Д.; ДеМец, Д.Л., ред. (2007). Введение в статистические методы клинических исследований . Чепмен и Холл. стр. 296–297. ISBN 978-1-58488-027-1 .

[12] Вандаэле, Уолтер (1981). «Вальда, отношение правдоподобия и тесты на множитель Лагранжа как F-критерий». Письма по экономике . 8 (4): 361–365. дои : 10.1016/0165-1765(81)90026-4 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]