Относительная вероятность

В статистике при выборе для статистической модели заданных данных относительная вероятность сравнивает относительные правдоподобия разных моделей-кандидатов или разных значений параметра одной модели.

Относительная вероятность значений параметров

Предположим, что нам даны некоторые данные $x$ , для которых у нас есть статистическая модель с параметром $θ$ . Предположим, что оценка максимального правдоподобия для $θ$ равна ${\hat {\theta }}$ . Относительная правдоподобность других $значений θ$ может быть найдена путем сравнения правдоподобий этих других значений с вероятностью ${\hat {\theta }}$ . Относительная вероятность θ $как$ определяется ^[1]^[2]^[3]^[4]^[5]

{\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}},

где ${\mathcal {L}}(\theta \mid x)$ обозначает функцию правдоподобия . Таким образом, относительная вероятность — это отношение правдоподобия с фиксированным знаменателем. ${\mathcal {L}}({\hat {\theta }}\mid x)$ .

Функция

\theta \mapsto {\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}}

– функция относительного правдоподобия .

Вероятностный регион

Область правдоподобия — это набор всех значений $θ$ , относительная вероятность которых больше или равна заданному порогу. В процентах $область вероятности p$ % для $θ$ определяется как . ^[1]^[3]^[6]

\left\{\theta :{\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta \,}}\mid x)}}\geq {\frac {p}{100}}\right\}.

Если $θ$ является единственным действительным параметром, $область вероятности p$ % обычно будет включать интервал реальных значений. Если область содержит интервал, то она называется интервалом правдоподобия . ^[1]^[3]^[7]

Интервалы правдоподобия и, в более общем смысле, области правдоподобия используются для интервальной оценки в статистике, основанной на правдоподобии («статистика правдоподобия»): они аналогичны доверительным интервалам в частотной статистике и достоверным интервалам в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительной вероятности, а не с точки зрения вероятности покрытия (частотность) или апостериорной вероятности (байесианство).

Учитывая модель, интервалы правдоподобия можно сравнить с доверительными интервалами. Если $θ$ является единственным реальным параметром, то при определенных условиях интервал правдоподобия 14,65% (вероятность около 1:7) для $θ$ будет таким же, как доверительный интервал 95% (вероятность охвата 19/20). ^[1]^[6] В несколько иной формулировке, подходящей для использования логарифмического правдоподобия (см. теорему Уилкса ), тестовая статистика в два раза превышает разницу в логарифмических вероятностях, а распределение вероятностей тестовой статистики представляет собой примерно распределение хи-квадрат со степенями вероятности. -свобода (df), равная разнице df-s между двумя моделями (следовательно, $e$ ⁻² интервал правдоподобия такой же, как доверительный интервал 0,954; предполагая, что разница в df-s равна 1). ^[6]^[7]

Относительная вероятность моделей

Определение относительной вероятности можно обобщить для сравнения различных статистических моделей . Это обобщение основано на AIC (информационный критерий Акаике) или иногда AICc (информационный критерий Акаике с коррекцией).

Предположим, что для некоторых данных у нас есть две статистические модели: $M 1$ и $M 2$ . Также предположим, что $AIC(M 1) \leq AIC(M 2)$ . Тогда относительная правдоподобность M $12$ по отношению к $M .$ определяется следующим образом ^[8]

\exp \left({\frac {\operatorname {AIC} (M_{1})-\operatorname {AIC} (M_{2})}{2}}\right)

Чтобы увидеть, что это обобщение предыдущего определения, предположим, что у нас есть некоторая модель $M$ с (возможно, многомерным) параметром $θ$ . Тогда для любого $θ$ положим $M 2 = M (θ)$ , а также положим $M 1 = M ($ ${\hat {\theta }}$ $)$ . Общее определение теперь дает тот же результат, что и предыдущее определение.

См. также

Примечания

^ Перейти обратно: ^а ^б ^с ^д Калбфляйш, Дж. Г. (1985), Вероятность и статистический вывод , Спрингер, §9.3
^ Аззалини, А. (1996), Статистический вывод — на основе вероятности , Чепмен и Холл , §1.4.2, ISBN 9780412606502
^ Перейти обратно: ^а ^б ^с Спротт, Д.А. (2000), Статистический вывод в науке , Springer, гл. 2
^ Дэвисон, AC (2008), Статистические модели , Издательство Кембриджского университета , §4.1.2
^ Хелд, Л.; Сабанес Бове, DS (2014), Прикладной статистический вывод — правдоподобие и Байес , Springer, §2.1
^ Перейти обратно: ^а ^б ^с Росси, Р.Дж. (2018), Математическая статистика , Уайли , стр. 267
^ Перейти обратно: ^а ^б Хадсон, DJ (1971), «Интервальная оценка на основе функции правдоподобия», Журнал Королевского статистического общества, серия B , 33 : 256–262.
^ Бернэм, КП; Андерсон, Д.Р. (2002), Выбор модели и многомодельный вывод: практический теоретико-информационный подход , Springer, §2.8

[Kalbfleisch-1] Перейти обратно: ^а ^б ^с ^д Калбфляйш, Дж. Г. (1985), Вероятность и статистический вывод , Спрингер, §9.3

[2] Аззалини, А. (1996), Статистический вывод — на основе вероятности , Чепмен и Холл , §1.4.2, ISBN 9780412606502

[Sprott-3] Перейти обратно: ^а ^б ^с Спротт, Д.А. (2000), Статистический вывод в науке , Springer, гл. 2

[4] Дэвисон, AC (2008), Статистические модели , Издательство Кембриджского университета , §4.1.2

[5] Хелд, Л.; Сабанес Бове, DS (2014), Прикладной статистический вывод — правдоподобие и Байес , Springer, §2.1

[Rossi2018-6] Перейти обратно: ^а ^б ^с Росси, Р.Дж. (2018), Математическая статистика , Уайли , стр. 267

[Hudson-7] Перейти обратно: ^а ^б Хадсон, DJ (1971), «Интервальная оценка на основе функции правдоподобия», Журнал Королевского статистического общества, серия B , 33 : 256–262.

[8] Бернэм, КП; Андерсон, Д.Р. (2002), Выбор модели и многомодельный вывод: практический теоретико-информационный подход , Springer, §2.8

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]