Наблюдаемая информация

В статистике наблюдаемая информация , или наблюдаемая информация Фишера , представляет собой отрицательную величину второй производной ( матрицы Гессе ) «логарифмического правдоподобия » (логарифма функции правдоподобия ). Это выборочная версия информации Фишера .

Определение

Предположим, мы наблюдаем случайные величины $X_{1},\ldots ,X_{n}$, независимый и одинаково распределенный с плотностью f ( X ; θ), где θ — вектор (возможно, неизвестный). Тогда логарифмическое правдоподобие параметров $\theta$ учитывая данные $X_{1},\ldots ,X_{n}$ является

$\ell (\theta |X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}\log f(X_{i}|\theta )$.

Мы определяем наблюдаемую информационную матрицу в $\theta ^{*}$ как

${\mathcal {J}}(\theta ^{*})=-\left.\nabla \nabla ^{\top }\ell (\theta )\right|_{\theta =\theta ^{*}}$

$=-\left.\left({\begin{array}{cccc}{\tfrac {\partial ^{2}}{\partial \theta _{1}^{2}}}&{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{p}}}\\{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{2}^{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{p}}}\\\vdots &\vdots &\ddots &\vdots \\{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{p}^{2}}}\\\end{array}}\right)\ell (\theta )\right|_{\theta =\theta ^{*}}$

Поскольку обратная информационная матрица является асимптотической ковариационной матрицей соответствующего средства оценки максимального правдоподобия , наблюдаемая информация часто оценивается по оценке максимального правдоподобия с целью проверки значимости или построения доверительного интервала . Свойство инвариантности оценок максимального правдоподобия позволяет оценить наблюдаемую информационную матрицу перед инвертированием.

Альтернативное определение

Эндрю Гельман , Дэвид Дансон и Дональд Рубин параметров вместо этого определить наблюдаемую информацию с точки зрения апостериорной вероятности , $p(\theta |y)$:

$I(\theta )=-{\frac {d^{2}}{d\theta ^{2}}}\log p(\theta |y)$

Информация о Фишере

Фишере Информация о ${\mathcal {I}}(\theta )$ - ожидаемая ценность наблюдаемой информации с учетом одного наблюдения $X$ распределено по гипотетической модели с параметром $\theta$:

${\mathcal {I}}(\theta )=\mathrm {E} ({\mathcal {J}}(\theta ))$.

Сравнение с ожидаемой информацией

Сравнение наблюдаемой информации и ожидаемой информации остается активной и постоянной областью исследований и дискуссий. Эфрон и Хинкли предоставил частотное обоснование предпочтения наблюдаемой информации ожидаемой при использовании нормальных приближений к распределению оценки максимального правдоподобия в однопараметрических семействах при наличии вспомогательной статистики, влияющей на точность MLE. Линдсей и Ли показали, что наблюдаемая информационная матрица дает минимальную среднеквадратическую ошибку как аппроксимацию истинной информации, если член ошибки $O(n^{-3/2})$ игнорируется. В случае Линдси и Ли матрица ожидаемой информации по-прежнему требует оценки полученных оценок ML, что вносит случайность.

Однако, когда построение доверительных интервалов находится в центре внимания, сообщается о том, что ожидаемая информация превосходит наблюдаемую. Юань и Сполл показали, что ожидаемая информация превосходит наблюдаемую для конструкций доверительных интервалов скалярных параметров в смысле среднеквадратической ошибки . Позже этот вывод был распространен на многопараметрические случаи, хотя утверждение было ослаблено тем, что ожидаемая информационная матрица работала, по крайней мере, так же хорошо, как наблюдаемая информационная матрица.

См. также

• Информационная матрица Фишера
• Информационная метрика Фишера