Теорема Бернштейна – фон Мизеса

В байесовском выводе теорема Бернштейна -фон Мизеса обеспечивает основу для использования байесовских достоверных множеств для утверждений доверия в параметрических моделях . В нем говорится, что при некоторых условиях апостериорное распределение сходится в пределе бесконечных данных к многомерному нормальному распределению с центром в оценщике максимального правдоподобия с ковариационной матрицей, определяемой выражением $n^{-1}I(\theta _{0})^{-1}$ , где $\theta _{0}$ является истинным параметром популяции и $I(\theta _{0})$ - информационная матрица Фишера при истинном значении параметра совокупности: ^[1]

P(\theta |x_{1},\dots x_{n})={\mathcal {N}}(\theta _{0},n^{-1}I(\theta _{0})^{-1}){\text{ for }}n\to \infty .

Теорема Бернштейна-фон Мизеса связывает байесовский вывод с частотным выводом . Он предполагает, что существует некий истинный вероятностный процесс, который генерирует наблюдения, как в случае с частотностью, а затем изучает качество байесовских методов восстановления этого процесса и делает заявления о неопределенности в отношении этого процесса. В частности, в нем говорится, что байесовские достоверные множества определенного уровня достоверности $\alpha$ асимптотически будут доверительными наборами уровня доверия $\alpha$ , что позволяет интерпретировать байесовские достоверные множества.

Эвристическое утверждение

В модели $(P_{\theta }:\theta \in \Theta )$ , при определенных условиях регулярности (конечномерность, четкость, гладкость, наличие критериев), если априорное распределение $\Pi$ на $\theta$ имеет плотность по мере Лебега, достаточно гладкую (около $\theta _{0}$ от нуля), общее расстояние вариации между масштабированным апостериорным распределением (путем центрирования и изменения масштаба до ${\sqrt {n}}(\theta -\theta _{0})$ ) и гауссово распределение, сосредоточенное на любой эффективной оценке и с обратной информацией Фишера в качестве дисперсии, будет сходиться по вероятности к нулю.

Бернштейн – фон Мизес и оценка максимального правдоподобия

Если оценка максимального правдоподобия является эффективной, мы можем подключить ее и восстановить общую, более конкретную версию теоремы Бернштейна – фон Мизеса.

Подразумеваемое

Наиболее важным следствием теоремы Бернштейна-фон Мизеса является то, что байесовский вывод асимптотически корректен с частотной точки зрения. Это означает, что для больших объемов данных можно использовать апостериорное распределение, чтобы сделать с частотной точки зрения обоснованные утверждения об оценке и неопределенности.

История

Теорема названа в честь Рихарда фон Мизеса и С.Н. Бернштейна , хотя первое правильное доказательство было дано Джозефом Л. Дубом в 1949 году для случайных величин с конечным вероятностным пространством . ^[2] Позже Люсьен Ле Кам , его аспирантка Лоррейн Шварц , Дэвид А. Фридман и Перси Диаконис расширили доказательство при более общих предположениях. ^{[ нужна ссылка ]}

Ограничения

В случае неверной спецификации модели апостериорное распределение также станет асимптотически гауссовским с правильным средним значением, но не обязательно с информацией Фишера в качестве дисперсии. Это означает, что байесовские достоверные множества уровня $\alpha$ не могут быть интерпретированы как доверительные наборы уровня $\alpha$ . ^[3]

В случае непараметрической статистики теорема Бернштейна-фон Мизеса обычно не выполняется, за заметным исключением процесса Дирихле .

Замечательный результат был получен Фридманом в 1965 году: теорема Бернштейна-фон Мизеса почти наверняка не выполняется , если случайная величина имеет бесконечное счетное вероятностное пространство ; однако это зависит от разрешения очень широкого диапазона возможных априорных значений. На практике априоры, обычно используемые в исследованиях, обладают желаемым свойством даже в бесконечном счетном вероятностном пространстве .

Различные сводные статистические данные, такие как мода и среднее значение, могут вести себя по-разному в апостериорном распределении. В примерах Фридмана апостериорная плотность и ее среднее значение могут сходиться в неправильном результате, но апостериорная мода является последовательной и будет сходиться в правильном результате.

Ссылки

^ ван дер Ваарт, AW (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-78450-6 .
^ Дуб, Джозеф Л. (1949). «Применение теории мартингалов». Коллок. Стажер. Дю CNRS (Париж) . 13 : 23–27.
^ Клейн, БЖК; ван дер Ваарт, AW (2012). «Теорема Бернштейна-Фон-Мизеса при неправильной спецификации» . Электронный статистический журнал . 6 : 354–381. дои : 10.1214/12-EJS675 . hdl : 1887/61499 .

Дальнейшее чтение

Хартиган, Дж. А. (1983). «Асимптотическая нормальность апостериорных распределений». Теория Байеса . Нью-Йорк: Спрингер. дои : 10.1007/978-1-4613-8242-3_11 .
Ле Кам, Люсьен (1986). «Приблизительно гауссово апостериорное распределение». Асимптотические методы в статистической теории принятия решений . Нью-Йорк: Спрингер. стр. 336–345. ISBN 0-387-96307-3 .
ван дер Ваарт, AW (1998). «Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-49603-9 .

[1] ван дер Ваарт, AW (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-78450-6 .

[2] Дуб, Джозеф Л. (1949). «Применение теории мартингалов». Коллок. Стажер. Дю CNRS (Париж) . 13 : 23–27.

[3] Клейн, БЖК; ван дер Ваарт, AW (2012). «Теорема Бернштейна-Фон-Мизеса при неправильной спецификации» . Электронный статистический журнал . 6 : 354–381. дои : 10.1214/12-EJS675 . hdl : 1887/61499 .

[1]

[2]

[3]