Информация о Фишере

В математической статистике информация Фишера (иногда называемая просто информацией) ) — это способ измерения количества информации , которую несет наблюдаемая случайная величина X о неизвестном параметре θ распределения, X. моделирующего это дисперсия оценки . или ожидаемое значение наблюдаемой информации Формально

Роль информации Фишера в асимптотической теории оценки максимального правдоподобия была подчеркнута и исследована статистиком сэром Рональдом Фишером (после некоторых первоначальных результатов Фрэнсиса Исидро Эджворта ). Информационная матрица Фишера используется для расчета ковариационных матриц, связанных с максимального правдоподобия оценками . Его также можно использовать при формулировании тестовой статистики, такой как тест Вальда .

В байесовской статистике информация Фишера играет роль в получении неинформативных априорных распределений согласно правилу Джеффриса . в большой выборке Это также проявляется как ковариация апостериорного распределения при условии, что априорное распределение достаточно гладкое (результат, известный как теорема Бернштейна-фон Мизеса , который был предсказан Лапласом для экспоненциальных семейств ). Тот же результат используется при аппроксимации апостериорной аппроксимации с помощью аппроксимации Лапласа , где информация Фишера появляется как ковариация подобранного гауссиана.

статистические системы научного характера (физические, биологические и т. д.), функции правдоподобия которых подчиняются сдвиговой инвариантности , подчиняются максимальной информации Фишера. Было показано, что Уровень максимума зависит от характера ограничений системы.

Определение

Информация Фишера — это способ измерения количества информации, которую может получить наблюдаемая случайная величина. $X$ несет в себе неизвестный параметр $\theta$ при котором вероятность $X$ зависит от. Позволять $f(X;\theta )$ быть функцией плотности вероятности (или функцией массы вероятности ) для $X$ обусловлено стоимостью $\theta$. Он описывает вероятность того, что мы наблюдаем данный результат $X$, учитывая известное значение $\theta$. Если $f$ имеет резкий пик по отношению к изменениям в $\theta$, легко указать «правильное» значение $\theta$ из данных или, что то же самое, что данные $X$ предоставляет много информации о параметре $\theta$. Если $f$ плоский и разбросанный, то потребуется много образцов $X$ оценить реальную «истинную» стоимость $\theta$ это будет получено с использованием всей выборки генеральной совокупности. Это предполагает изучение некоторой дисперсии по отношению к $\theta$.

Формально частная производная по $\theta$ натурального логарифма правдоподобия функции называется оценкой . При определенных условиях регулярности, если $\theta$ является истинным параметром (т.е. $X$ фактически распределяется как $f(X;\theta )$), можно показать, что ожидаемое значение (первый момент ) оценки, оцененное по истинному значению параметра $\theta$, равно 0:

${\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}$

Информация Фишера определяется как дисперсия оценки:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,$

Обратите внимание, что ${\mathcal {I}}(\theta )\geq 0$. Случайная переменная, несущая высокую информацию Фишера, подразумевает, что абсолютное значение оценки часто бывает высоким. Информация Фишера не является функцией конкретного наблюдения, поскольку случайная величина X была усреднена.

Если log f ( x ; θ ) дважды дифференцируем по θ и при определенных условиях регулярности, то информацию Фишера можно также записать как

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],$

с

${\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}$

и

$\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.$

Таким образом, информацию Фишера можно рассматривать как кривизну кривой поддержки (график логарифмического правдоподобия). Таким образом, вблизи оценки максимального правдоподобия низкая информация Фишера указывает на то, что максимум выглядит «тупым», то есть максимум неглубокий и существует множество близлежащих значений с аналогичной логарифмической вероятностью. И наоборот, высокая информация Фишера указывает на то, что максимум резкий.

Условия регулярности

Условия регулярности следующие:

1. Частная производная f ( X ; θ ) по θ существует почти всюду . (Он может не существовать в нулевом множестве, если этот набор не зависит от θ .)
2. Интеграл от f ( X ; θ ) можно дифференцировать под знаком интеграла по θ .
3. Носитель f зависит ; ( X θ θ ) не от .

Если θ — вектор, то условия регулярности должны выполняться для каждой компоненты θ . Легко найти пример плотности, которая не удовлетворяет условиям регулярности: плотность переменной Uniform(0, θ ) не удовлетворяет условиям 1 и 3. В этом случае, даже несмотря на то, что информация Фишера может быть вычислена из определению, он не будет обладать теми свойствами, которые обычно предполагается иметь.

С точки зрения вероятности

Поскольку вероятность θ θ при данном X всегда пропорциональна вероятности f ( X ; θ ), их логарифмы обязательно отличаются на константу, независимую от , и производные этих логарифмов по θ обязательно равны. Таким образом, можно заменить логарифмическую вероятность l ( θ ; X ) вместо log f ( X ; θ ) в определениях информации Фишера.

Образцы любого размера

Значение X может представлять собой одну выборку, взятую из одного распределения, или может представлять собой набор выборок, взятых из набора распределений. Если имеется n выборок и соответствующие n распределений статистически независимы , то информация Фишера обязательно будет суммой значений информации Фишера для одной выборки, по одному для каждой отдельной выборки из ее распределения. В частности, если n распределений независимы и одинаково распределены , то информация Фишера обязательно будет в n раз больше информации Фишера для одной выборки из общего распределения. Другими словами, информация Фишера iid наблюдений выборки размера n из совокупности равна произведению n и информации Фишера одного наблюдения из той же совокупности.

Неформальный вывод границы Крамера – Рао

Граница Крамера – Рао что обратная информация Фишера является нижней границей дисперсии любой несмещенной оценки θ утверждает , . Х.Л. Ван Трис (1968) и Б. Рой Фриден (2004) предлагают следующий метод получения границы Крамера-Рао , результат, который описывает использование информации Фишера.

Неформально, мы начнем с рассмотрения несмещенной оценки ${\hat {\theta }}(X)$. Математически «несмещенный» означает, что

$\operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .$

Это выражение равно нулю и не зависит от θ , поэтому его частная производная по θ также должна быть равна нулю. По правилу произведения эта частная производная также равна

$0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.$

Для каждого θ функция правдоподобия является функцией плотности вероятности, и, следовательно, $\int f\,dx=1$. Используя цепное правило для частной производной $\log f$ а затем разделить и умножить на $f(x;\theta )$, можно убедиться в этом

${\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.$

Используя эти два факта из вышеизложенного, мы получаем

$\int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.$

Факторизация подынтегральной функции дает

$\int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.$

Возводя выражение в интеграл в квадрат, неравенство Коши – Шварца дает

$1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].$

Второй фактор в скобках определяется как информация Фишера, а первый фактор в скобках представляет собой ожидаемую среднеквадратическую ошибку оценщика. ${\hat {\theta }}$. Перестановка неравенства говорит нам, что

$\operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.$

Другими словами, точность, с которой мы можем оценить θ, фундаментально ограничена информацией Фишера функции правдоподобия.

Альтернативно, тот же вывод можно получить непосредственно из неравенства Коши – Шварца для случайных величин , $|\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)$, применительно к случайным величинам ${\hat {\theta }}(X)$ и $\partial _{\theta }\log f(X;\theta )$и учитывая, что для несмещенных оценок мы имеем $$\operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.$$

Примеры

Однопараметрический эксперимент Бернулли

Испытание Бернулли — это случайная величина с двумя возможными исходами, 0 и 1, причем 1 имеет вероятность θ . Результат можно считать определяемым подбрасыванием смещенной монеты, при этом вероятность выпадения орла (1) равна θ , а вероятность выпадения решки (0) равна 1 − θ .

Пусть X — испытание Бернулли одной выборки из распределения. Информация Фишера, содержащаяся в X, может быть рассчитана следующим образом:

${\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}$

Поскольку информация Фишера аддитивна, информация Фишера, содержащаяся в n независимых испытаниях Бернулли, является, следовательно,

${\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.$

Если $x_{i}$ является одним из $2^{n}$ возможные результаты n независимых испытаний Бернулли и $x_{ij}$ — j -й результат i -го испытания, тогда вероятность $x_{i}$ дается:

$p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}$

Среднее значение i -го испытания равно $\mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}$ Ожидаемое значение среднего значения испытания равно:

$E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta$

где сумма равна всем $2^{n}$ возможные результаты испытаний. Ожидаемое значение квадрата средних равно:

$E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}$

поэтому дисперсия среднего значения равна:

$E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )$

Видно, что информация Фишера обратна дисперсии среднего числа успехов в n испытаниях Бернулли . В целом это правда. В этом случае граница Крамера–Рао представляет собой равенство.

Оценивать $\theta$ от $X\sim \operatorname {Bern} ({\sqrt {\theta }})$

В качестве еще одного игрушечного примера рассмотрим случайную величину $X$ с возможными исходами 0 и 1, с вероятностями $p_{0}=1-{\sqrt {\theta }}$ и $p_{1}={\sqrt {\theta }}$, соответственно, для некоторых $\theta \in [0,1]$. Наша цель – оценить $\theta$ из наблюдений за $X$.

Информация Фишера в данном случае читается $${\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.$$Это выражение также можно получить непосредственно из изменения формулы репараметризации, приведенной ниже. В более общем смысле, для любой достаточно регулярной функции $f$ такой, что $f(\theta )\in [0,1]$, информация Фишера для получения $\theta$ от $X\sim \operatorname {Bern} (f(\theta ))$ аналогично рассчитывается как $${\mathcal {I}}(\theta )=f'(\theta )^{2}\left({\frac {1}{1-f(\theta )}}+{\frac {1}{f(\theta )}}\right).$$

Матричная форма

Когда имеется N параметров, так что θ представляет собой N × 1. вектор размера $\theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},$ тогда информация Фишера принимает форму размера N × N матрицы . Эта матрица называется информационной матрицей Фишера (FIM) и имеет типичный элемент

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].$

FIM представляет собой N × N. положительно-полуопределенную матрицу размера Если он положительно определен, то он определяет риманову метрику в N - мерном пространстве параметров . темы Геометрия информации использует это для соединения информации Фишера с дифференциальной геометрией , и в этом контексте эта метрика известна как метрика информации Фишера .

При определенных условиях регулярности информационная матрица Фишера также может быть записана как

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.$

Результат интересен по нескольким причинам:

• Его можно вывести как гессиан относительной энтропии .
• Ее можно использовать как риманову метрику для определения геометрии Фишера-Рао, когда она положительно определена.
• Ее можно понимать как метрику, полученную из евклидовой метрики после соответствующей замены переменной.
• В комплексной форме это метрика Фубини–Студи .
• Это ключевая часть доказательства теоремы Уилкса , которая позволяет оценить доверительную область для оценки максимального правдоподобия (для тех условий, к которым она применима) без необходимости использования Принципа правдоподобия .
• В случаях, когда аналитические расчеты FIM, описанные выше, сложны, можно сформировать среднее из простых оценок Монте-Карло гессиана отрицательной логарифмической функции правдоподобия как оценки FIM. Оценки могут быть основаны на значениях отрицательной логарифмической функции правдоподобия или градиенте отрицательной логарифмической функции правдоподобия; аналитический расчет гессиана отрицательной логарифмической функции правдоподобия не требуется.

Информационные ортогональные параметры

Мы говорим, что два вектора компонентов параметров θ ₁ и θ ₂ являются информационными ортогональными, если информационная матрица Фишера является блочно-диагональной, причем эти компоненты находятся в отдельных блоках. С ортогональными параметрами легко иметь дело в том смысле, что их оценки максимального правдоподобия асимптотически некоррелированы. При рассмотрении вопроса о том, как анализировать статистическую модель, разработчику модели рекомендуется потратить некоторое время на поиск ортогональной параметризации модели, особенно когда интересующий параметр является одномерным, но мешающий параметр может иметь любую размерность.

Сингулярная статистическая модель

См. также: Регулярная параметрическая модель.

Если информационная матрица Фишера положительно определена для всех θ , то соответствующая статистическая модель называется регулярной ; в противном случае статистическая модель называется сингулярной . Примеры сингулярных статистических моделей включают следующее: нормальные смеси, биномиальные смеси, полиномиальные смеси, байесовские сети, нейронные сети, радиальные базисные функции, скрытые модели Маркова, стохастические бесконтекстные грамматики, регрессии пониженного ранга, машины Больцмана.

В машинном обучении , если статистическая модель разработана так, что она извлекает скрытую структуру из случайного явления, то она естественным образом становится сингулярной.

Многомерное нормальное распределение

FIM для N -вариантного многомерного нормального распределения , $\,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)$ имеет особую форму. Пусть K -мерный вектор параметров равен $\theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}$ а вектор случайных нормальных величин будет $X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}$. Предположим, что средние значения этих случайных величин равны $\,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}$, и пусть $\,\Sigma (\theta )$ быть ковариационной матрицей . Тогда для $1\leq m,\,n\leq K$, запись ( m , n ) FIM:

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),$

где $(\cdot )^{\textsf {T}}$ обозначает транспонирование вектора, $\operatorname {tr} (\cdot )$ обозначает след квадратной матрицы и:

${\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}$

Обратите внимание, что особым, но очень распространенным случаем является случай, когда $\Sigma (\theta )=\Sigma$, константа. Затем

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\$

В этом случае информационную матрицу Фишера можно отождествить с матрицей коэффициентов уравнений нормальных теории оценивания наименьших квадратов .

Другой особый случай возникает, когда среднее значение и ковариация зависят от двух разных векторных параметров, скажем, β и θ . Это особенно популярно при анализе пространственных данных, где часто используется линейная модель с коррелированными остатками. В этом случае,

${\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)$

где

${\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}$

Характеристики

Правило цепочки

Подобно энтропии или взаимной информации , информация Фишера также обладает разложением по цепному правилу . В частности, если X и Y являются совместно распределенными случайными величинами, из этого следует, что:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),$

где ${\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]$ и ${\mathcal {I}}_{Y\mid X=x}(\theta )$ является информацией Фишера Y относительно $\theta$ рассчитывается относительно условной плотности Y при заданном конкретном значении X = x .

В частном случае, если две случайные величины независимы , информация, полученная от двух случайных величин, представляет собой сумму информации от каждой случайной величины в отдельности:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).$

Следовательно, информация в случайной выборке из n независимых и одинаково распределенных наблюдений в n раз превышает информацию в выборке размером 1.

F-дивергенция

Дана выпуклая функция $f:[0,\infty )\to (-\infty ,\infty ]$ что $f(x)$ конечен для всех $x>0$, $f(1)=0$, и $f(0)=\lim _{t\to 0^{+}}f(t)$, (которое может быть бесконечным), оно определяет f-дивергенцию $D_{f}$. Тогда, если $f$ строго выпукла в $1$, затем локально в $\theta \in \Theta$, информационная матрица Фишера является метрикой в ​​том смысле, что $$(\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })$$где $P_{\theta }$ это распределение, параметризованное $\theta$. То есть это раздача с pdf $f(x;\theta )$.

В этой форме ясно, что информационная матрица Фишера является римановой метрикой и правильно меняется при замене переменных. (см. раздел «Репараметризация ».)

Достаточная статистика

Информация, предоставляемая достаточной статистикой такая же, как и в выборке X. , В этом можно убедиться, используя критерий факторизации Неймана для получения достаточной статистики. Если T ( X ) достаточно для θ , то

$f(X;\theta )=g(T(X),\theta )h(X)$

для некоторых функций g и h . Независимость h ( X ) от θ подразумевает

${\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],$

и равенство информации тогда следует из определения информации Фишера. В более общем смысле, если T = t ( X ) является статистикой , то

${\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )$

с равенством тогда и только тогда, когда T является достаточной статистикой .

Репараметризация

Информация Фишера зависит от параметризации задачи. Если θ и η — две скалярные параметризации задачи оценивания, а θ — непрерывно дифференцируемая функция от η , то

${\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}$

где ${\mathcal {I}}_{\eta }$ и ${\mathcal {I}}_{\theta }$ являются информационными мерами Фишера η и θ соответственно.

В векторном случае предположим ${\boldsymbol {\theta }}$ и ${\boldsymbol {\eta }}$ являются k -векторами, которые параметризуют задачу оценивания, и предполагают, что ${\boldsymbol {\theta }}$ является непрерывно дифференцируемой функцией ${\boldsymbol {\eta }}$, затем,

${\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}$

где ( i , j )-й элемент k × k матрицы якобиана ${\boldsymbol {J}}$ определяется

$J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},$

и где ${\boldsymbol {J}}^{\textsf {T}}$ является транспонированием матрицы ${\boldsymbol {J}}.$

В информационной геометрии это рассматривается как изменение координат на римановом многообразии , а внутренние свойства кривизны не изменяются при различных параметризациях. В общем, информационная матрица Фишера обеспечивает риманову метрику (точнее, метрику Фишера-Рао) для многообразия термодинамических состояний и может использоваться как мера информационно-геометрической сложности для классификации фазовых переходов , например скалярная мера сложности. кривизна термодинамического метрического тензора расходится (и только в) точке фазового перехода.

В термодинамическом контексте информационная матрица Фишера напрямую связана со скоростью изменения соответствующих параметров порядка . В частности, такие соотношения идентифицируют фазовые переходы второго рода через расхождения отдельных элементов информационной матрицы Фишера.

Изопериметрическое неравенство

Информационная матрица Фишера играет роль в таком неравенстве, как изопериметрическое неравенство . Из всех распределений вероятностей с заданной энтропией то, информационная матрица Фишера которого имеет наименьший след, является распределением Гаусса. Это похоже на то, что из всех ограниченных множеств заданного объема сфера имеет наименьшую площадь поверхности.

Доказательство предполагает использование многомерной случайной величины $X$ с функцией плотности $f$ и добавление параметра местоположения для формирования семейства плотностей $\{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}$. Тогда по аналогии с формулой Минковского–Штайнера «площадь поверхности» $X$ определяется как

$S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}$

где $Z_{\varepsilon }$ представляет собой гауссову переменную с ковариационной матрицей $\varepsilon I$. Название «площадь поверхности» подходит, потому что мощность энтропии $e^{H(X)}$ — объем «эффективного набора поддержки», так $S(X)$ является «производной» объема эффективного набора поддержки, очень похоже на формулу Минковского-Штайнера. В оставшейся части доказательства используется неравенство степени энтропии , похожее на неравенство Брунна–Минковского . След информационной матрицы Фишера оказывается фактором $S(X)$.

Приложения

Оптимальный план экспериментов

Информация Фишера широко используется при оптимальном планировании эксперимента . взаимности оценочной дисперсии и информации минимизация дисперсии Фишера соответствует максимизации информации Из- за .

Когда линейная (или линеаризованная ) статистическая модель имеет несколько параметров , среднее значение оценщика параметра представляет собой вектор , а его дисперсия — матрицу . Обратная матрица отклонений называется «информационной матрицей». Поскольку дисперсия оценки вектора параметров представляет собой матрицу, проблема «минимизации дисперсии» сложна. Используя статистическую теорию , статистики сжимают информационную матрицу, используя сводную статистику с действительным значением ; Будучи вещественнозначными функциями, эти «информационные критерии» можно максимизировать.

Традиционно статистики оценивали оценки и планы, рассматривая некоторую сводную статистику ковариационной матрицы (несмещенной оценки), обычно с положительными действительными значениями (например, определитель или матричный след ). Работа с положительными действительными числами дает несколько преимуществ: если оценка одного параметра имеет положительную дисперсию, то и дисперсия, и информация Фишера являются положительными действительными числами; следовательно, они являются членами выпуклого конуса неотрицательных действительных чисел (чьи ненулевые члены имеют обратные значения в этом же конусе).

Для некоторых параметров ковариационные матрицы и информационные матрицы являются элементами выпуклого конуса неотрицательно-определенных симметричных матриц в частично упорядоченном векторном пространстве под порядком Левнера (Лёвнера). Этот конус замкнут при сложении и обращении матриц, а также при умножении положительных действительных чисел и матриц. Изложение теории матриц и порядка Лёвнера появляется у Пукельсхайма.

Традиционными критериями оптимальности являются инварианты информационной матрицы в смысле теории инвариантов ; алгебраически традиционные критерии оптимальности являются функционалами собственных значений информационной матрицы (Фишера) (см. Оптимальный дизайн ).

Джеффрис приор в байесовской статистике

В байесовской статистике информация Фишера используется для расчета априора Джеффриса , который является стандартным неинформативным априором для параметров непрерывного распределения.

Вычислительная нейробиология

Информация Фишера использовалась для определения границ точности нейронных кодов. В этом случае X обычно представляет собой совместные реакции многих нейронов, представляющие низкоразмерную переменную θ (например, параметр стимула). В частности, изучалась роль корреляций в шуме нейронных реакций.

Эпидемиология

Информация Фишера была использована для изучения того, насколько информативны различные источники данных для оценки репродуктивного числа SARS-CoV-2.

Вывод физических законов

Информация Фишера играет центральную роль в спорном принципе, выдвинутом Фриденом в качестве основы физических законов, и это утверждение оспаривается.

Машинное обучение

Информация Фишера используется в методах машинного обучения, таких как эластичная консолидация веса , что уменьшает катастрофическое забывание в искусственных нейронных сетях .

Информация Фишера может использоваться в качестве альтернативы гессиану функции потерь при обучении сети градиентного спуска второго порядка.

Цветовая дискриминация

Используя информационную метрику Фишера , да Фонсека и др. аль исследовали степень, в которой эллипсы МакАдама (эллипсы цветового распознавания) могут быть получены из функций ответа фоторецепторов сетчатки.

Связь с относительной энтропией

См. Также: Информационная метрика Фишера.

Информация Фишера связана с относительной энтропией . Относительная энтропия, или расхождение Кульбака – Лейблера , между двумя распределениями. $p$ и $q$ можно записать как

$KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.$

Теперь рассмотрим семейство вероятностных распределений $f(x;\theta )$ параметризованный $\theta \in \Theta$. Тогда расхождение Кульбака – Лейблера между двумя распределениями в семействе можно записать как

$D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.$

Если $\theta$ фиксировано, то относительная энтропия между двумя распределениями одного и того же семейства минимизируется при $\theta '=\theta$. Для $\theta '$ близко к $\theta$, можно разложить предыдущее выражение в ряд до второго порядка:

$D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)$

Но производную второго порядка можно записать как

$\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.$

Таким образом, информация Фишера представляет собой кривизну относительной энтропии условного распределения по отношению к его параметрам.

История

Информация Фишера обсуждалась несколькими ранними статистиками, в частности Ф. Я. Эджвортом . Например, Сэвидж говорит: «В ней [информации о Фишере] его [Фишера] в некоторой степени ожидали (Edgeworth 1908–9, особенно 502, 507–8, 662, 677–8, 82–5 и ссылки, которые он [Эджворт] цитирует, включая Пирсона и Филон 1898 [.]).» Существует ряд ранних исторических источников. и ряд обзоров этой ранней работы.

См. также

• Эффективность (статистика)
• Наблюдаемая информация
• Информационная метрика Фишера
• Матрица формирования
• Информационная геометрия
• Джеффрис приор
• Граница Крамера-Рао
• Минимальная информация о Фишере
• Информация о квантовом Фишере

Другие меры, используемые в теории информации :

• Энтропия (теория информации)
• Расхождение Кульбака – Лейблера
• Самоинформация

Ссылки

• Крамер, Харальд (1946). Математические методы статистики . Принстонский математический ряд. Принстон: Издательство Принстонского университета. ISBN  0691080046 .
• Эджворт, ФЮ (июнь 1908 г.). «О возможных погрешностях частотных констант» . Журнал Королевского статистического общества . 71 (2): 381–397. дои : 10.2307/2339461 . JSTOR   2339461 .
• Эджворт, ФЮ (сентябрь 1908 г.). «О возможных погрешностях констант частоты (продолжение)» . Журнал Королевского статистического общества . 71 (3): 499–512. дои : 10.2307/2339293 . JSTOR   2339293 .
• Эджворт, ФЮ (декабрь 1908 г.). «О возможных погрешностях констант частоты (продолжение)» . Журнал Королевского статистического общества . 71 (4): 651–678. дои : 10.2307/2339378 . JSTOR   2339378 .
• Фишер, Р.А. (1 января 1922 г.). «О математических основах теоретической статистики» . Философские труды Лондонского королевского общества, серия A. 222 (594–604): 309–368. Бибкод : 1922RSPTA.222..309F . дои : 10.1098/rsta.1922.0009 . hdl : 2440/15172 .
• Фриден, Б.Р. (2004) Наука от информации Фишера: объединение . Кембриджский университет. Нажимать. ISBN   0-521-00911-1 .
• Фриден, Б. Рой; Гейтенби, Роберт А. (2013). «Принцип максимальной информации Фишера из аксиом Харди применительно к статистическим системам» . Физический обзор E . 88 (4): 042144. arXiv : 1405.0007 . Бибкод : 2013PhRvE..88d2144F . дои : 10.1103/PhysRevE.88.042144 . ПМК   4010149 . ПМИД   24229152 .
• Хальд, А. (май 1999 г.). «К истории максимального правдоподобия по отношению к обратной вероятности и методу наименьших квадратов» . Статистическая наука . 14 (2): 214–222. дои : 10.1214/ss/1009212248 . JSTOR   2676741 .
• Хальд, А. (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Уайли. ISBN  978-0-471-17912-2 .
• Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN  978-0-387-98502-2 .
• Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений . Спрингер-Верлаг. ISBN  978-0-387-96307-5 .
• Пратт, Джон В. (май 1976 г.). «Ф. Я. Эджворт и Р. А. Фишер об эффективности оценки максимального правдоподобия» . Анналы статистики . 4 (3): 501–514. дои : 10.1214/aos/1176343457 . JSTOR   2958222 .
• Рао, К. Радхакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Прорывы в статистике . Серия Спрингера по статистике. Том. 37. С. 81–91. дои : 10.1007/978-1-4612-0919-5_16 . ISBN  978-0-387-94037-3 . S2CID   117034671 . {{cite book}}: |journal= игнорируется ( помогите )
• Сэвидж, LJ (май 1976 г.). «О перечитывании Р. А. Фишера» . Анналы статистики . 4 (3): 441–500. дои : 10.1214/aos/1176343456 . JSTOR   2958221 .
• Шервиш, Марк Дж. (1995). Теория статистики . Нью-Йорк: Спрингер. ISBN  978-0-387-94546-0 .
• Стиглер, С.М. (1986). История статистики: измерение неопределенности до 1900 года . Издательство Гарвардского университета. ISBN  978-0-674-40340-6 .
• Стиглер, С.М. (1978). «Фрэнсис Исидро Эджворт, статистик» . Журнал Королевского статистического общества, серия A. 141 (3): 287–322. дои : 10.2307/2344804 . JSTOR   2344804 .
• Стиглер, С.М. (1999). Статистика на столе: история статистических концепций и методов . Издательство Гарвардского университета. ISBN  978-0-674-83601-3 .
• Ван Трис, HL (1968). Теория обнаружения, оценки и модуляции, часть I. Нью-Йорк: Уайли. ISBN  978-0-471-09517-0 .