Алгоритм подсчета очков

Алгоритм оценки , также известный как скоринг Фишера , ^[1] — это форма метода Ньютона , используемая в статистике решения максимального правдоподобия уравнений для численного , названная в честь Рональда Фишера .

Эскиз вывода

Позволять $Y_{1},\ldots ,Y_{n}$ быть случайными величинами , независимыми и одинаково распределенными с дважды дифференцируемым PDF-файлом $f(y;\theta )$ , и мы хотим вычислить оценку максимального правдоподобия (MLE) $\theta ^{*}$ из $\theta$ . Во-первых, предположим, что у нас есть отправная точка для нашего алгоритма. $\theta _{0}$ и рассмотрим разложение Тейлора оценочной функции , $V(\theta )$ , о $\theta _{0}$ :

V(\theta )\approx V(\theta _{0})-{\mathcal {J}}(\theta _{0})(\theta -\theta _{0}),\,

где

{\mathcal {J}}(\theta _{0})=-\sum _{i=1}^{n}\left.\nabla \nabla ^{\top }\right|_{\theta =\theta _{0}}\log f(Y_{i};\theta )

- наблюдаемая информационная матрица в $\theta _{0}$ . Теперь установка $\theta =\theta ^{*}$ , используя это $V(\theta ^{*})=0$ и перестановка дает нам:

\theta ^{*}\approx \theta _{0}+{\mathcal {J}}^{-1}(\theta _{0})V(\theta _{0}).\,

Поэтому мы используем алгоритм

\theta _{m+1}=\theta _{m}+{\mathcal {J}}^{-1}(\theta _{m})V(\theta _{m}),\,

и при определенных условиях регулярности можно показать, что $\theta _{m}\rightarrow \theta ^{*}$ .

Подсчет очков Фишера

На практике, ${\mathcal {J}}(\theta )$ обычно заменяется на ${\mathcal {I}}(\theta )=\mathrm {E} [{\mathcal {J}}(\theta )]$ , информацию Фишера , что дает нам алгоритм оценки Фишера :

\theta _{m+1}=\theta _{m}+{\mathcal {I}}^{-1}(\theta _{m})V(\theta _{m})

..

При некоторых условиях регулярности, если $\theta _{m}$ является состоятельной оценкой , то $\theta _{m+1}$ (коррекция после одного шага) является «оптимальной» в том смысле, что ее распределение ошибок асимптотически идентично распределению истинной оценки максимального правдоподобия. ^[2]

См. также

Ссылки

^ Лонгфорд, Николас Т. (1987). «Алгоритм быстрого подсчета очков для оценки максимального правдоподобия в несбалансированных смешанных моделях с вложенными случайными эффектами». Биометрика . 74 (4): 817–827. дои : 10.1093/biomet/74.4.817 .
^ Ли, Бинг; Бабу, Г. Джогеш (2019), «Байесовский вывод» , «Тексты Springer в статистике » , Нью-Йорк, Нью-Йорк: Springer New York, Теорема 9.4, doi : 10.1007/978-1-4939-9761-9_6 , ISBN 978-1-4939-9759-6 , S2CID 239322258 , получено 3 января 2023 г.

Дальнейшее чтение

Дженнрих, Р.И. и Сэмпсон, П.Ф. (1976). «Ньютон-Рафсон и родственные алгоритмы для оценки компонента дисперсии максимального правдоподобия» . Технометрика . 18 (1): 11–17. doi : 10.1080/00401706.1976.10489395 (неактивен 31 января 2024 г.). JSTOR 1267911 . {{cite journal}}: CS1 maint: DOI неактивен по состоянию на январь 2024 г. ( ссылка )

[1] Лонгфорд, Николас Т. (1987). «Алгоритм быстрого подсчета очков для оценки максимального правдоподобия в несбалансированных смешанных моделях с вложенными случайными эффектами». Биометрика . 74 (4): 817–827. дои : 10.1093/biomet/74.4.817 .

[2] Ли, Бинг; Бабу, Г. Джогеш (2019), «Байесовский вывод» , «Тексты Springer в статистике » , Нью-Йорк, Нью-Йорк: Springer New York, Теорема 9.4, doi : 10.1007/978-1-4939-9761-9_6 , ISBN 978-1-4939-9759-6 , S2CID 239322258 , получено 3 января 2023 г.

[1]

[2]