Предельная вероятность

Маргинальное правдоподобие — это функция правдоподобия по , интегрированная пространству параметров . В байесовской статистике он представляет собой вероятность создания наблюдаемой выборки для всех возможных значений параметров; ее можно понимать как вероятность самой модели, и поэтому ее часто называют доказательством модели или просто свидетельством .

Благодаря интегрированию по пространству параметров предельная вероятность не зависит напрямую от параметров. Если основное внимание уделяется не сравнению моделей, предельная вероятность — это просто нормализующая константа, которая гарантирует, что апостериорная вероятность является правильной. Это связано со статистической суммой в статистической механике . ^[1]

Концепция

Учитывая набор независимых одинаково распределенных точек данных $\mathbf {X} =(x_{1},\ldots ,x_{n}),$ где $x_{i}\sim p(x|\theta )$ согласно некоторому распределению вероятностей, параметризованному $\theta$ , где $\theta$ сама по себе является случайной величиной, описываемой распределением, т.е. $\theta \sim p(\theta \mid \alpha ),$ предельная вероятность вообще спрашивает, какова вероятность $p(\mathbf {X} \mid \alpha )$ есть, где $\theta$ было маргинализировано (интегрировано):

p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta

Приведенное выше определение сформулировано в контексте байесовской статистики, и в этом случае $p(\theta \mid \alpha )$ называется априорной плотностью и $p(\mathbf {X} \mid \theta )$ это вероятность. Предельное правдоподобие количественно определяет соответствие между данными и априорными данными в точном геометрическом смысле. ^{[ как? ]} в де Карвалью и др. (2019). В классической ( частотной ) статистике концепция предельного правдоподобия встречается вместо этого в контексте совместного параметра. $\theta =(\psi ,\lambda )$ , где $\psi$ представляет собой фактический интересующий параметр, и $\lambda$ — неинтересный, неприятный параметр . Если существует распределение вероятностей для $\lambda$ ^{[ сомнительно – обсудить ]}, часто желательно рассматривать функцию правдоподобия только через $\psi$ , маргинализируя $\lambda$ :

{\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda

К сожалению, предельную вероятность обычно трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда маргинализированный параметр является сопряженным априорным значением распределения данных. какой-то метод численного интегрирования В других случаях необходим : либо общий метод, такой как интеграция по Гауссу или метод Монте-Карло , либо метод, специализированный для статистических задач, такой как аппроксимация Лапласа , выборка Гиббса / Метрополиса или алгоритм EM .

Также возможно применить приведенные выше соображения к одной случайной величине (точке данных). $x$ , а не набор наблюдений. В байесовском контексте это эквивалентно априорному прогнозируемому распределению точки данных.

Приложения

Сравнение байесовских моделей

При сравнении байесовской модели маргинальные переменные $\theta$ являются параметрами для конкретного типа модели, а оставшаяся переменная $M$ это идентичность самой модели. В этом случае маргинальная вероятность — это вероятность данных с учетом типа модели без учета каких-либо конкретных параметров модели. Письмо $\theta$ для параметров модели предельное правдоподобие для модели M равно

p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta

Именно в этом контексте термин «доказательства модели» обычно используется . Эта величина важна, поскольку апостериорное отношение шансов для модели M ₁ по сравнению с другой моделью M ₂ включает в себя отношение предельных правдоподобий, называемое фактором Байеса :

{\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}

что схематически можно выразить как

апостериорные шансы = априорные шансы × фактор Байеса

См. также

Ссылки

^ Шмидл, Вацлав; Куинн, Энтони (2006). «Байесовская теория». Вариационный метод Байеса в обработке сигналов . Спрингер. стр. 13–23. дои : 10.1007/3-540-28820-1_2 .

Дальнейшее чтение

Чарльз С. Бос. «Сравнение методов расчета предельного правдоподобия». В. Хердле и Б. Ронце, редакторах, COMPSTAT 2002: Proceedings in Computational Статистика , стр. 111–117. 2002 г. (Доступен в виде препринта по номеру SSRN 332860 ).
де Карвалью, Мигель; Пейдж, Гэрритт; Барни, Брэдли (2019). «О геометрии байесовского вывода». Байесовский анализ . 14 (4): 1013–1036. (Доступно в виде препринта в Интернете: [1] )
Ламберт, Бен (2018). «Дьявол в знаменателе». Руководство для студентов по байесовской статистике . Мудрец. стр. 109–120. ISBN 978-1-4739-1636-4 .
Онлайн-учебник: Теория информации, логический вывод и алгоритмы обучения Дэвида Маккея .

[1] Шмидл, Вацлав; Куинн, Энтони (2006). «Байесовская теория». Вариационный метод Байеса в обработке сигналов . Спрингер. стр. 13–23. дои : 10.1007/3-540-28820-1_2 .

[1]