Отклонение (статистика)

В статистике ; отклонение это показатель согласия статистической модели — его часто используют для проверки статистических гипотез . Это обобщение идеи использования суммы квадратов остатков (SSR) в обычном методе наименьших квадратов на случаи, когда подгонка модели достигается за счет максимального правдоподобия . Он играет важную роль в моделях экспоненциальной дисперсии и обобщенных линейных моделях .

Отклонение может быть связано с расхождением Кульбака-Лейблера . ^[1]

Определение

Единичное отклонение ^[2]^[3] $d(y,\mu )$ является двумерной функцией, которая удовлетворяет следующим условиям:

$d(y,y)=0$
$d(y,\mu )>0\quad \forall y\neq \mu$

Общее отклонение $D(\mathbf {y} ,{\hat {\boldsymbol {\mu }}})$ модели с прогнозами ${\hat {\boldsymbol {\mu }}}$ наблюдения $\mathbf {y}$ представляет собой сумму его единичных отклонений: ${\textstyle D(\mathbf {y} ,{\hat {\boldsymbol {\mu }}})=\sum _{i}d(y_{i},{\hat {\mu }}_{i})}$ .

(Общее) отклонение для модели M ₀ с оценками ${\hat {\mu }}=E[Y|{\hat {\theta }}_{0}]$ , на основе набора данных y , может быть построено по его вероятности как: ^[4]^[5] $D(y,{\hat {\mu }})=2\left(\log \left[p(y\mid {\hat {\theta }}_{s})\right]-\log \left[p(y\mid {\hat {\theta }}_{0})\right]\right).$

Здесь ${\hat {\theta }}_{0}$ обозначает подобранные значения параметров модели M ₀ , а ${\hat {\theta }}_{s}$ обозначает подобранные параметры для насыщенной модели : оба набора подобранных значений неявно являются функциями наблюдений y . Здесь насыщенная модель — это модель с параметром для каждого наблюдения, позволяющая точно подгонять данные. Это выражение просто в 2 раза превышает логарифмическое отношение правдоподобия полной модели по сравнению с сокращенной моделью. Отклонение используется для сравнения двух моделей – особенно в случае обобщенных линейных моделей (GLM), где оно играет роль, аналогичную остаточной сумме квадратов ANOVA в линейных моделях ( RSS ).

Предположим, в рамках GLM у нас есть две вложенные модели , M ₁ и M ₂ . В частности, предположим, что M ₁ содержит параметры из M ₂ и k дополнительных параметров. Затем, при нулевой гипотезе о том, что M ₂ является истинной моделью, разница между отклонениями для двух моделей следует, основываясь на теореме Уилкса , приблизительному распределению хи-квадрат с k - степенями свободы. ^[5] Это можно использовать для проверки гипотезы об отклонении.

Некоторое использование термина «отклонение» может сбить с толку. По словам Коллетта: ^[6]

«Количество

-2\log {\big [}p(y\mid {\hat {\theta }}_{0}){\big ]}

иногда называют отклонением . Это [...] неуместно, поскольку в отличие от отклонения, используемого в контексте обобщенного линейного моделирования,

-2\log {\big [}p(y\mid {\hat {\theta }}_{0}){\big ]}

не измеряет отклонения от модели, которая идеально соответствует данным».

Однако, поскольку основное использование заключается в разнице отклонений двух моделей, эта путаница в определениях не имеет значения.

Примеры

Единичное отклонение распределения Пуассона равно $d(y,\mu )=2\left(y\log {\frac {y}{\mu }}-y+\mu \right)$ , единичное отклонение для нормального распределения определяется выражением $d(y,\mu )=\left(y-\mu \right)^{2}$ .

См. также

Информационный критерий Акаике
Информационный критерий отклонения
Тест Хосмера – Лемешоу , статистика качества соответствия, которую можно использовать для двоичных данных.
Критерий хи-квадрат Пирсона , альтернативный показатель качества соответствия обобщенных линейных моделей для подсчета данных.
Критерий Пирса

Примечания

^ Хасти, Тревор. «Более пристальный взгляд на отклонение». Американский статистик 41.1 (1987): 16–20.
^ Йоргенсен, Б. (1997). Теория моделей дисперсии . Чепмен и Холл.
^ Песня, Петр X.-К. (2007). Анализ коррелированных данных: моделирование, аналитика и приложения . Серия Спрингера по статистике. Серия Спрингера по статистике. дои : 10.1007/978-0-387-71393-9 . ISBN 978-0-387-71392-2 .
^ Нелдер, Дж.А .; Веддерберн, RWM (1972). «Обобщенные линейные модели». Журнал Королевского статистического общества. Серия А (Общая) . 135 (3): 370–384. дои : 10.2307/2344614 . JSTOR 2344614 . S2CID 14154576 .
^ Jump up to: Перейти обратно: ^а ^б МакКаллах и Нелдер (1989): стр. 17.
^ Коллетт (2003): стр. 76.

Ссылки

МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Чепмен и Холл/CRC. ISBN 0-412-31760-5 .

Коллетт, Дэвид (2003). Моделирование данных о выживаемости в медицинских исследованиях, второе издание . Чепмен и Холл/CRC. ISBN 1-58488-325-1 .

Внешние ссылки

Обобщенные линейные модели - Эдвард Ф. Коннор
Конспекты лекций по девиантности

[1] Хасти, Тревор. «Более пристальный взгляд на отклонение». Американский статистик 41.1 (1987): 16–20.

[J1997-2] Йоргенсен, Б. (1997). Теория моделей дисперсии . Чепмен и Холл.

[3] Песня, Петр X.-К. (2007). Анализ коррелированных данных: моделирование, аналитика и приложения . Серия Спрингера по статистике. Серия Спрингера по статистике. дои : 10.1007/978-0-387-71393-9 . ISBN 978-0-387-71392-2 .

[4] Нелдер, Дж.А .; Веддерберн, RWM (1972). «Обобщенные линейные модели». Журнал Королевского статистического общества. Серия А (Общая) . 135 (3): 370–384. дои : 10.2307/2344614 . JSTOR 2344614 . S2CID 14154576 .

[McN-5] Jump up to: Перейти обратно: ^а ^б МакКаллах и Нелдер (1989): стр. 17.

[6] Коллетт (2003): стр. 76.

[1]

[2]

[3]

[4]

[5]

[6]