Информационная метрика Фишера

В информационной геометрии информационная метрика Фишера — это частная риманова метрика , которая может быть определена на гладком статистическом многообразии , т. е . на гладком многообразии , точки которого являются вероятностными мерами, определенными на общем вероятностном пространстве . Его можно использовать для расчета информационной разницы между измерениями.

Этот показатель интересен в нескольких аспектах. По теореме Ченцова информационная метрика Фишера на статистических моделях является единственной римановой метрикой (с точностью до масштабирования), инвариантной при достаточной статистике .

Его также можно понимать как бесконечно малую форму относительной энтропии ( т. е. расхождение Кульбака – Лейблера ); в частности, это гессиан дивергенции. С другой стороны, ее можно понимать как метрику, индуцированную евклидовой метрикой плоского пространства после соответствующих замен переменной. При расширении до комплексного проективного гильбертова пространства оно становится метрикой Фубини–Студи ; когда оно записано в терминах смешанных состояний , это квантовая метрика Бюреса .

Рассматриваемая исключительно как матрица, она известна как информационная матрица Фишера . Рассматриваемый как метод измерения, в котором он используется для оценки скрытых параметров с точки зрения наблюдаемых случайных величин, он известен как наблюдаемая информация .

Определение

Учитывая статистическое многообразие с координатами $\theta =(\theta _{1},\theta _{2},\ldots ,\theta _{n})$, пишет один $p(x,\theta )$ для плотности вероятности как функции $\theta$. Здесь $x$ извлекается из пространства значений R для (дискретной или непрерывной) величины X. случайной Вероятность нормируется $\int _{R}p(x,\theta )\,dx=1,$где $p(x,\theta )\,dx$это распределение $X$.

Тогда информационная метрика Фишера принимает форму:

$g_{jk}(\theta )=-\int _{R}{\frac {\partial ^{2}\log p(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}p(x,\theta )\,dx.$

Интеграл выполняется по всем значениям x в R . Переменная $\theta$ теперь является координатой на римановом многообразии . Метки j и k индексируют локальные оси координат на многообразии.

Когда вероятность выводится из меры Гиббса , как это было бы для любого марковского процесса , тогда $\theta$ также можно понимать как множитель Лагранжа ; Множители Лагранжа используются для обеспечения соблюдения ограничений, таких как сохранение математического ожидания некоторой постоянной величины. Если существует n ограничений, удерживающих константы n различных математических ожиданий, то размерность многообразия на n измерений меньше исходного пространства. В этом случае метрика может быть явно получена из статистической суммы ; там представлены вывод и обсуждение.

Замена $i(x,\theta )=-\log {}p(x,\theta )$ Из теории информации эквивалентной формой приведенного выше определения является:

$g_{jk}(\theta )=\int _{R}{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}p(x,\theta )\,dx=\mathrm {E} \left[{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}\right].$

Чтобы показать, что эквивалентная форма соответствует приведенному выше определению, обратите внимание, что

$\mathrm {E} \left[{\frac {\partial \log {}p(x,\theta )}{\partial \theta _{j}}}\right]=0$

и применить ${\frac {\partial }{\partial \theta _{k}}}$ с обеих сторон.

Кульбака –

Альтернативно, метрика может быть получена как вторая производная относительной энтропии или дивергенции Кульбака – Лейблера . Чтобы получить это, рассмотрим два распределения вероятностей $P(\theta )$ и $P(\theta _{0})$, которые бесконечно близки друг к другу, так что

$P(\theta )=P(\theta _{0})+\sum _{j}\Delta \theta ^{j}\left.{\frac {\partial P}{\partial \theta ^{j}}}\right|_{\theta _{0}}$

с $\Delta \theta ^{j}$ бесконечно малое изменение $\theta$ в направлении j . Тогда, поскольку расходимость Кульбака–Лейблера $D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]$ имеет абсолютный минимум 0, когда $P(\theta )=P(\theta _{0})$, имеет разложение до второго порядка по $\theta =\theta _{0}$ формы

$f_{\theta _{0}}(\theta ):=D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]={\frac {1}{2}}\sum _{jk}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\mathrm {O} (\Delta \theta ^{3})$.

Симметричная матрица $g_{jk}$ положительно (полу)определена и представляет собой матрицу Гессе функции $f_{\theta _{0}}(\theta )$ в последней точке $\theta _{0}$. Интуитивно это можно представить так: «Расстояние между двумя бесконечно близкими точками на статистическом дифференциальном многообразии является информационной разницей между ними».

с

Метрика Руппейнера и метрика Вейнхольда — это информационная метрика Фишера, рассчитанная для распределений Гиббса , которые встречаются в равновесной статистической механике.

Изменение свободной энтропии

Действие формулой кривой на римановом многообразии задается

$A={\frac {1}{2}}\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}(\theta ){\frac {\partial \theta ^{k}}{\partial t}}dt$

Параметр пути здесь — время t ; это действие можно понимать как изменение свободной энтропии системы по мере ее перемещения от момента времени a ко времени b . В частности, у человека есть

$\Delta S=(b-a)A\,$

как изменение свободной энтропии. Это наблюдение привело к практическому применению в химической и перерабатывающей промышленности. : чтобы минимизировать изменение свободной энтропии системы, следует следовать минимальному геодезическому пути между желаемыми конечными точками процесса. Геодезическая минимизирует энтропию из-за неравенства Коши – Шварца , которое утверждает, что действие ограничено снизу длиной кривой в квадрате.

Дженсена-

Метрика Фишера также позволяет связать действие и длину кривой с расхождением Дженсена-Шеннона . В частности, у человека есть

$(b-a)\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}\,dt=8\int _{a}^{b}dJSD$

где под подынтегральным выражением dJSD понимается бесконечно малое изменение расходимости Дженсена–Шеннона на пройденном пути. Аналогично, для длины кривой имеем

$\int _{a}^{b}{\sqrt {{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}}}\,dt={\sqrt {8}}\int _{a}^{b}{\sqrt {dJSD}}$

То есть квадратный корень из дивергенции Дженсена-Шеннона представляет собой просто метрику Фишера (деленную на квадратный корень из 8).

Как

Для дискретного вероятностного пространства , то есть вероятностного пространства конечного набора объектов, метрику Фишера можно понимать просто как евклидову метрику, ограниченную положительным ортантом (например, «квадрантом» в $R^{2}$) единичной сферы после соответствующих замен переменной.

Рассмотрим плоское евклидово пространство размерности N +1 , параметризованное точками $y=(y_{0},\cdots ,y_{n})$. Метрика евклидова пространства задается формулой

$h=\sum _{i=0}^{N}dy_{i}\;dy_{i}$

где $\textstyle dy_{i}$ являются 1-формами ; они являются базисными векторами кокасательного пространства . Письмо $\textstyle {\frac {\partial }{\partial y_{j}}}$ в качестве базисных векторов касательного пространства , так что

$dy_{j}\left({\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$,

евклидову метрику можно записать как

$h_{jk}^{\mathrm {flat} }=h\left({\frac {\partial }{\partial y_{j}}},{\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$

Надстрочный индекс «плоский» напоминает, что при написании в координатной форме эта метрика относится к координате плоского пространства. $y$.

N как -мерная единичная сфера, вложенная в ( N + 1)-мерное евклидово пространство, может быть определена

$\sum _{i=0}^{N}y_{i}^{2}=1$

Это вложение индуцирует метрику на сфере, она наследуется непосредственно от евклидовой метрики объемлющего пространства. Он принимает точно такую ​​же форму, как и выше, с заботой о том, чтобы координаты лежали на поверхности сферы. Это можно сделать, например, с помощью техники множителей Лагранжа .

Рассмотрим теперь замену переменной $p_{i}=y_{i}^{2}$. Условие сферы теперь становится условием нормализации вероятности.

$\sum _{i}p_{i}=1$

в то время как метрика становится

${\begin{aligned}h&=\sum _{i}dy_{i}\;dy_{i}=\sum _{i}d{\sqrt {p_{i}}}\;d{\sqrt {p_{i}}}\\&={\frac {1}{4}}\sum _{i}{\frac {dp_{i}\;dp_{i}}{p_{i}}}={\frac {1}{4}}\sum _{i}p_{i}\;d(\log p_{i})\;d(\log p_{i})\end{aligned}}$

Последнюю можно признать одной четвертой информационной метрики Фишера. Для завершения процесса напомним, что вероятности являются параметрическими функциями переменных многообразия. $\theta$, то есть у человека есть $p_{i}=p_{i}(\theta )$. Таким образом, вышеизложенное индуцирует метрику на многообразии параметров:

${\begin{aligned}h&={\frac {1}{4}}\sum _{i}p_{i}(\theta )\;d(\log p_{i}(\theta ))\;d(\log p_{i}(\theta ))\\&={\frac {1}{4}}\sum _{jk}\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}d\theta _{j}d\theta _{k}\end{aligned}}$

или, в координатной форме, информационная метрика Фишера:

${\begin{aligned}g_{jk}(\theta )=4h_{jk}^{\mathrm {fisher} }&=4h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\&=\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\\&=\mathrm {E} \left[{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\right]\end{aligned}}$

где, как и прежде,

$d\theta _{j}\left({\frac {\partial }{\partial \theta _{k}}}\right)=\delta _{jk}.$

Надстрочный индекс «рыболов» присутствует, чтобы напомнить, что это выражение применимо для координат $\theta$; тогда как некоординатная форма такая же, как евклидова метрика (плоского пространства). То есть информационная метрика Фишера на статистическом многообразии представляет собой просто (в четыре раза) евклидову метрику, ограниченную положительным ортантом сферы после соответствующих замен переменной.

Когда случайная величина $p$ не дискретно, а непрерывно, аргумент остается в силе. Это можно увидеть одним из двух разных способов. Один из способов — тщательно переделать все вышеперечисленные шаги в бесконечномерном пространстве, уделяя особое внимание правильному определению пределов и т. д., чтобы убедиться, что все манипуляции четко определены, сходятся и т. д. Другой способ — отметил Громов , заключается в использовании теоретико-категорного подхода; то есть отметить, что приведенные выше манипуляции остаются справедливыми и в категории вероятностей. Здесь следует отметить, что такая категория будет обладать свойством Радона–Никодима , т. е. в этой категории справедлива теорема Радона–Никодима . Сюда входят гильбертовы пространства ; они интегрируемы с квадратом, и в описанных выше манипуляциях этого достаточно, чтобы безопасно заменить сумму по квадратам интегралом по квадратам.

Фубини

Вышеописанные манипуляции по выводу метрики Фишера из евклидовой метрики могут быть распространены на комплексные проективные гильбертовы пространства . В этом случае получается метрика Фубини–Студи . Возможно, это не должно вызывать удивления, поскольку метрика Фубини-Студи обеспечивает средства измерения информации в квантовой механике. Метрика Буреса , также известная как метрика Хелстрема , идентична метрике Фубини-Студи. хотя последнее обычно записывается в терминах чистых состояний , как показано ниже, тогда как метрика Буреса записывается для смешанных состояний . Установив фазу комплексной координаты равной нулю, можно получить ровно одну четверть информационной метрики Фишера, точно так же, как указано выше.

Начинаем с того же трюка: построения амплитуды вероятности , записанной в полярных координатах , так:

$\psi (x;\theta )={\sqrt {p(x;\theta )}}\;e^{i\alpha (x;\theta )}$

Здесь, $\psi (x;\theta )$ – комплексная амплитуда вероятности ; $p(x;\theta )$ и $\alpha (x;\theta )$ строго реальны. Предыдущие расчеты получены путем параметр $\alpha (x;\theta )=0$. Обычное условие того, что вероятности лежат внутри симплекса , а именно то, что

$\int _{X}p(x;\theta )\,dx=1$

эквивалентно выражается идеей нормализации квадратной амплитуды:

$\int _{X}\vert \psi (x;\theta )\vert ^{2}\,dx=1$

Когда $\psi (x;\theta )$ реально, это поверхность сферы.

Метрика Фубини–Студи , записанная в бесконечно малой форме с использованием квантово-механической нотации Бракета , равна

$ds^{2}={\frac {\langle \delta \psi \mid \delta \psi \rangle }{\langle \psi \mid \psi \rangle }}-{\frac {\langle \delta \psi \mid \psi \rangle \;\langle \psi \mid \delta \psi \rangle }{{\langle \psi \mid \psi \rangle }^{2}}}.$

В этих обозначениях имеем $\langle x\mid \psi \rangle =\psi (x;\theta )$ а интегрирование по всему пространству меры X записывается как

$\langle \phi \mid \psi \rangle =\int _{X}\phi ^{*}(x;\theta )\psi (x;\theta )\,dx.$

Выражение $\vert \delta \psi \rangle$ можно понимать как бесконечно малую вариацию; то же самое можно понимать как 1-форму в кокасательном пространстве . Используя бесконечно малые обозначения, полярная форма приведенной выше вероятности выглядит просто:

$\delta \psi =\left({\frac {\delta p}{2p}}+i\delta \alpha \right)\psi$

Вставка вышеизложенного в метрику Фубини – Исследования дает:

${\begin{aligned}ds^{2}={}&{\frac {1}{4}}\int _{X}(\delta \log p)^{2}\;p\,dx\\[8pt]{}&+\int _{X}(\delta \alpha )^{2}\;p\,dx-\left(\int _{X}\delta \alpha \;p\,dx\right)^{2}\\[8pt]&{}+{\frac {i}{2}}\int _{X}(\delta \log p\delta \alpha -\delta \alpha \delta \log p)\;p\,dx\end{aligned}}$

Параметр $\delta \alpha =0$ из приведенного выше ясно дает понять, что первый член составляет (одну четверть) информационной метрики Фишера. Полную форму вышесказанного можно сделать немного понятнее, изменив обозначения на обозначения стандартной римановой геометрии, так что метрика становится симметричной 2-формой, действующей в касательном пространстве . Изменение обозначений производится простой заменой $\delta \to d$ и $ds^{2}\to h$ и отмечая, что интегралы представляют собой всего лишь ожидаемые значения; так:

${\begin{aligned}h={}&{\frac {1}{4}}\mathrm {E} \left[(d\log p)^{2}\right]+\mathrm {E} \left[(d\alpha )^{2}\right]-\left(\mathrm {E} \left[d\alpha \right]\right)^{2}\\[8pt]{}&+{\frac {i}{2}}\mathrm {E} \left[d\log p\wedge d\alpha \right]\end{aligned}}$

Мнимый член представляет собой симплектическую форму , это фаза Берри или геометрическая фаза . В индексной записи метрика имеет вид:

${\begin{aligned}h_{jk}={}&h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\[8pt]={}&{\frac {1}{4}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\\[8pt]{}&+\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}\right]-\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}\right]\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{k}}}\right]\\[8pt]&{}+{\frac {i}{2}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}-{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\end{aligned}}$

Опять же, можно ясно видеть, что первый член равен (одной четверти) информационной метрики Фишера, установив $\alpha =0$. Эквивалентно, метрику Фубини–Студи можно понимать как метрику комплексного проективного гильбертова пространства, индуцированную комплексным расширением плоской евклидовой метрики. Разница между ней и метрикой Буреса состоит в том, что метрика Буреса записана в терминах смешанных состояний.

Непрерывнозначные вероятности

Можно дать несколько более формальное, абстрактное определение:

Пусть X — ориентируемое многообразие и пусть $(X,\Sigma ,\mu )$ быть мерой на X . Эквивалентно, пусть $(\Omega ,{\mathcal {F}},P)$ быть вероятностным пространством на $\Omega =X$, с сигма-алгеброй ${\mathcal {F}}=\Sigma$ и вероятность $P=\mu$.

Статистическое многообразие S ( X ) пространства X определяется как пространство всех мер $\mu$ на X (с сигма-алгеброй $\Sigma$ остается фиксированным). Обратите внимание, что это пространство бесконечномерно и обычно считается пространством Фреше . Точки S ( X ) являются мерами.

Выберите точку $\mu \in S(X)$ и рассмотрим касательное пространство $T_{\mu }S$. Информационная метрика Фишера тогда является внутренним произведением касательного пространства. С некоторым злоупотреблением обозначениями это можно записать так:

$g(\sigma _{1},\sigma _{2})=\int _{X}{\frac {d\sigma _{1}}{d\mu }}{\frac {d\sigma _{2}}{d\mu }}d\mu$

Здесь, $\sigma _{1}$ и $\sigma _{2}$ – векторы в касательном пространстве; то есть, $\sigma _{1},\sigma _{2}\in T_{\mu }S$. Злоупотребление обозначениями состоит в том, чтобы писать касательные векторы так, как если бы они были производными, и вставлять лишний d при записи интеграла: предполагается, что интегрирование будет осуществляться с использованием меры $\mu$ всем пространстве X. во На самом деле такое злоупотребление обозначениями считается совершенно нормальным в теории меры ; это стандартное обозначение производной Радона – Никодима .

Чтобы интеграл был четко определен, пространство S ( X ) должно обладать свойством Радона – Никодима , и, более конкретно, касательное пространство ограничено теми векторами, которые интегрируются с квадратом . Квадратная интегрируемость эквивалентна утверждению, что последовательность Коши сходится к конечному значению в слабой топологии : пространство содержит свои предельные точки. Заметим, что этим свойством обладают гильбертовы пространства .

Можно считать, что это определение метрики эквивалентно предыдущему и состоит из нескольких этапов. первых, выбирают подмногообразие S Во - ( X ), рассматривая только те меры $\mu$ которые параметризуются некоторым плавно меняющимся параметром $\theta$. Тогда, если $\theta$ конечномерно, то и подмногообразие конечномерно; аналогично, касательное пространство имеет ту же размерность, что и $\theta$.

С некоторым дополнительным злоупотреблением языком отметим, что экспоненциальное отображение обеспечивает отображение векторов в касательном пространстве в точки лежащего в основе многообразия. Таким образом, если $\sigma \in T_{\mu }S$ вектор в касательном пространстве, то $p=\exp(\sigma )$ — соответствующая вероятность, связанная с точкой $p\in S(X)$ (после параллельного переноса экспоненциального отображения в $\mu$.) И наоборот, учитывая точку $p\in S(X)$, логарифм дает точку в касательном пространстве (грубо говоря, так как опять же надо переносить из начала координат в точку $\mu$; подробности см. в первоисточниках). Таким образом, мы имеем вид логарифмов в более простом определении, данном ранее.

См. также

• Граница Крамера-Рао
• Информация о Фишере
• Расстояние Хеллингера
• Информационная геометрия

Ссылки

• Гарвеш Раскутти Саян Мукерджи, (2014). Информационная геометрия зеркального спуска https://arxiv.org/pdf/1310.7780.pdf

• Фэн, Эдвард Х.; Крукс, Гэвин Э. (2009). «Далеко от равновесных измерений термодинамической длины». Физический обзор E . 79 (1 Pt 1): 012104. arXiv : 0807.0621 . Бибкод : 2009PhRvE..79a2104F . дои : 10.1103/PhysRevE.79.012104 . ПМИД   19257090 . S2CID   8210246 .
• Шуничи Амари (1985) Дифференциально-геометрические методы в статистике , Конспекты лекций по статистике, Springer-Verlag, Берлин.
• Шуничи Амари, Хироши Нагаока (2000) Методы информационной геометрии , Переводы математических монографий; т. 191, Американское математическое общество.
• Паоло Джилиско, Ева Риккоманьо, Мария Пьера Рогантин и Генри П. Винн, (2009) Алгебраические и геометрические методы в статистике , Кембриджский университет Пресс, Кембридж.