Локальная асимптотическая нормальность

В статистике , локальная асимптотическая нормальность — это свойство последовательности статистических моделей которое позволяет асимптотически аппроксимировать эту последовательность моделью нормального местоположения после соответствующего изменения масштаба параметра. Важным примером соблюдения локальной асимптотической нормальности является случай выборки iid из регулярной параметрической модели .

Понятие локальной асимптотической нормальности было введено Ле Камом (1960) и является фундаментальным при рассмотрении эффективности оценок и тестов . ^[1]

Определение

Последовательность параметрических статистических моделей { P _n,θ : θ ∈ Θ } называется локально асимптотически нормальной (LAN) в точке θ , если существуют матрицы r _n и I _θ и случайный вектор Δ _n,θ ~ N (0, I _θ ) такой, что для любой сходящейся последовательности $h n \to h$ , ^[2]

\ln {\frac {dP_{\!n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}=h'\Delta _{n,\theta }-{\frac {1}{2}}h'I_{\theta }\,h+o_{P_{n,\theta }}(1),

где производная здесь — это производная Радона–Никодима , которая представляет собой формализованную версию отношения правдоподобия , и где o — это тип большого O в записи вероятности . Другими словами, локальное отношение правдоподобия должно сходиться по распределению к нормальной случайной величине, среднее значение которой равно минус половине дисперсии:

\ln {\frac {dP_{\!n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}\ \ {\xrightarrow {d}}\ \ {\mathcal {N}}{\Big (}{-{\tfrac {1}{2}}}h'I_{\theta }\,h,\ h'I_{\theta }\,h{\Big )}.

Последовательности распределений $P_{\!n,\theta +r_{n}^{-1}h_{n}}$ и $P_{n,\theta }$ являются смежными . ^[2]

Пример

Самый простой пример модели локальной сети — это модель iid, вероятность которой дважды непрерывно дифференцируема. Предположим, { X ₁ , X ₂ , …, X _n } является выборкой iid, где каждый X _i имеет функцию плотности f ( x , θ ) . Функция правдоподобия модели равна

p_{n,\theta }(x_{1},\ldots ,x_{n};\,\theta )=\prod _{i=1}^{n}f(x_{i},\theta ).

Если f дважды непрерывно дифференцируема по θ , то

{\begin{aligned}\ln p_{n,\theta +\delta \theta }&\approx \ln p_{n,\theta }+\delta \theta '{\frac {\partial \ln p_{n,\theta }}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\frac {\partial ^{2}\ln p_{n,\theta }}{\partial \theta \,\partial \theta '}}\delta \theta \\&=\ln p_{n,\theta }+\delta \theta '\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\bigg [}\sum _{i=1}^{n}{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\bigg ]}\delta \theta .\end{aligned}}

Подключение $\delta \theta =h/{\sqrt {n}}$ , дает

\ln {\frac {p_{n,\theta +h/{\sqrt {n}}}}{p_{n,\theta }}}=h'{\Bigg (}{\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}{\Bigg )}\;-\;{\frac {1}{2}}h'{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\Bigg )}h\;+\;o_{p}(1).

По центральной предельной теореме первое слагаемое (в скобках) сходится по распределению к нормальной случайной величине Δ _θ ~ N (0, I _θ ) , тогда как по закону больших чисел выражение во вторых скобках сходится по вероятности к I _θ , которая представляет собой информационную матрицу Фишера :

I_{\theta }=\mathrm {E} {\bigg [}{-{\frac {\partial ^{2}\ln f(X_{i},\theta )}{\partial \theta \,\partial \theta '}}}{\bigg ]}=\mathrm {E} {\bigg [}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}'\,{\bigg ]}.

Таким образом, определение локальной асимптотической нормальности выполнено, и мы подтвердили, что параметрическая модель с iid-наблюдениями и дважды непрерывно дифференцируемым правдоподобием обладает свойством LAN.

См. также

Асимптотическое распределение

Примечания

^ Ваарт, А.В. ван дер (13 октября 1998 г.). Асимптотическая статистика . Издательство Кембриджского университета. ISBN 978-0-511-80225-6 .
↑ Перейти обратно: Перейти обратно: ^а ^б ван дер Ваарт (1998 , стр. 103–104)

Ссылки

Ибрагимов И.А.; Хасьминский, Р.З. (1981). Статистическое оценивание: асимптотическая теория . Спрингер-Верлаг. ISBN 0-387-90523-5 .
Ле Кам, Л. (1960). «Локально асимптотически нормальные семейства распределений». Публикации Калифорнийского университета по статистике . 3 : 37–98.
ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. ISBN 978-0-521-78450-4 .

[1] Ваарт, А.В. ван дер (13 октября 1998 г.). Асимптотическая статистика . Издательство Кембриджского университета. ISBN 978-0-511-80225-6 .

[V-2] Перейти обратно: Перейти обратно: ^а ^б ван дер Ваарт (1998 , стр. 103–104)

[1]

[2]