Теория информационного поля

Теория информационного поля (IFT) — это байесовская статистическая теория поля, относящаяся к реконструкции сигналов , космографии и другим смежным областям. IFT суммирует доступную информацию о физическом поле, используя байесовские вероятности . Он использует вычислительные методы, разработанные для квантовой теории поля и статистической теории поля, для обработки бесконечного числа степеней свободы поля и разработки алгоритмов для расчета значений математического ожидания поля . Например, апостериорное математическое ожидание поля, созданного известным гауссовским процессом и измеренного линейным устройством с известной статистикой гауссовского шума , определяется обобщенным фильтром Винера, примененным к измеренным данным. IFT расширяет такую ​​известную формулу фильтра на ситуации с нелинейной физикой , нелинейными устройствами , негауссовой статистикой поля или шума, зависимостью статистики шума от значений поля и частично неизвестными параметрами измерения. Для этого он использует диаграммы Фейнмана , уравнения потока перенормировки и другие методы математической физики .

Мотивация

Области играют важную роль в науке, технологиях и экономике. Они описывают пространственные изменения величины, такой как температура воздуха, в зависимости от положения. Знание конфигурации поля может иметь большое значение. Однако измерения полей никогда не могут с уверенностью определить точную конфигурацию поля. Физические поля имеют бесконечное число степеней свободы, но данные, генерируемые любым измерительным устройством, всегда конечны, что обеспечивает лишь конечное число ограничений на поле. Таким образом, однозначный вывод о таком поле только на основе данных измерений невозможен, и остается только вероятностный вывод как средство сделать утверждения о поле. К счастью, физические поля демонстрируют корреляции и часто подчиняются известным физическим законам. Такую информацию лучше всего объединять с выводами поля, чтобы преодолеть несоответствие степеней свободы поля точкам измерения. Чтобы справиться с этим, необходима теория информации для полей, и это и есть теория информационного поля.

Концепции

Байесовский вывод

$s(x)$ значение поля в местоположении $x\in \Omega$ в пространстве $\Omega$. Предварительные знания о неизвестном сигнальном поле $s$ кодируется в распределении вероятностей ${\mathcal {P}}(s)$. Данные $d$ предоставляет дополнительную информацию о $s$ через вероятность ${\mathcal {P}}(d|s)$ это включается в апостериорную вероятность

$${\mathcal {P}}(s|d)={\frac {{\mathcal {P}}(d|s)\,{\mathcal {P}}(s)}{{\mathcal {P}}(d)}}$$

по теореме Байеса .

Информационный гамильтониан

В IFT теорему Байеса обычно переписывают на языке статистической теории поля:

$${\mathcal {P}}(s|d)={\frac {{\mathcal {P}}(d,s)}{{\mathcal {P}}(d)}}\equiv {\frac {e^{-{\mathcal {H}}(d,s)}}{{\mathcal {Z}}(d)}},$$

с информационным гамильтонианом, определяемым как

$${\mathcal {H}}(d,s)\equiv -\ln {\mathcal {P}}(d,s)=-\ln {\mathcal {P}}(d|s)-\ln {\mathcal {P}}(s)\equiv {\mathcal {H}}(d|s)+{\mathcal {H}}(s),$$

отрицательный логарифм совместной вероятности данных и сигнала, а статистическая сумма равна

$${\mathcal {Z}}(d)\equiv {\mathcal {P}}(d)=\int {\mathcal {D}}s\,{\mathcal {P}}(d,s).$$

Эта переформулировка теоремы Байеса позволяет использовать методы математической физики, разработанные для рассмотрения статистических теорий поля и квантовых теорий поля .

Поля

Поскольку поля имеют бесконечное число степеней свободы, определение вероятностей в пространствах конфигураций полей имеет тонкости. Идентификация физических полей как элементов функциональных пространств создает проблему, заключающуюся в том, что мера Лебега над последними не определена и, следовательно, там не могут быть определены плотности вероятности. Однако физические поля имеют гораздо большую регулярность, чем большинство элементов функциональных пространств, поскольку в большинстве своих местоположений они непрерывны и гладки. Поэтому для работы с бесконечным числом степеней свободы поля можно использовать менее общие, но достаточно гибкие конструкции.

Прагматичный подход состоит в том, чтобы рассматривать поле, которое необходимо дискретизировать, в пикселях. Каждый пиксель несет в себе одно значение поля, которое считается постоянным в объеме пикселя. Все утверждения о непрерывном поле затем должны быть преобразованы в его пиксельное представление. Таким образом, мы имеем дело с конечномерными полевыми пространствами, в которых плотности вероятности хорошо определимы.

Для того чтобы это описание было правильной теорией поля, дополнительно требуется, чтобы разрешение пикселя $\Delta x$ всегда можно уточнить, а средние значения дискретизированного поля $s_{\Delta x}$ сходятся к конечным значениям:

$$\langle f(s)\rangle _{(s|d)}\equiv \lim _{\Delta x\rightarrow 0}\int ds_{\Delta x}f(s_{\Delta x})\,{\mathcal {P}}(s_{\Delta x}).$$

Интегралы по траекториям

Если этот предел существует, можно говорить об интеграле пространства конфигурации поля или интеграле по путям.

$$\langle f(s)\rangle _{(s|d)}\equiv \int {\mathcal {D}}s\,f(s)\,{\mathcal {P}}(s).$$

независимо от разрешения его можно оценить численно.

Гауссов априор

Простейшим априором для поля является априорное гауссово распределение вероятностей с нулевым средним.

$${\mathcal {P}}(s)={\mathcal {G}}(s,S)\equiv {\frac {1}{|2\pi S|}}e^{-{\frac {1}{2}}\,s^{\dagger }S^{-1}\,s}.$$

Определитель в знаменателе может быть плохо определен в континуальном пределе. $\Delta x\rightarrow 0$, однако все, что необходимо для согласованности IFT, - это то, чтобы этот определитель можно было оценить для любого представления поля с конечным разрешением с $\Delta x>0$ и что это позволяет рассчитывать сходящиеся значения ожидания.

Распределение вероятностей по Гауссу требует указания двухточечной корреляционной функции поля. $S\equiv \langle s\,s^{\dagger }\rangle _{(s)}$ с коэффициентами

$$S_{xy}\equiv \langle s(x)\,{\overline {s(y)}}\rangle _{(s)}$$

и скалярное произведение для непрерывных полей

$$a^{\dagger }b\equiv \int _{\Omega }dx\,{\overline {a(x)}}\,b(x),$$

по отношению к которому обратная ковариация поля сигнала $S^{-1}$ построено, т.е. $(S^{-1}S)_{xy}\equiv \int _{\Omega }dz\,(S^{-1})_{xz}S_{zy}=\mathbb {1} _{xy}\equiv \delta (x-y).$

Соответствующий гамильтониан априорной информации имеет вид

$${\mathcal {H}}(s)=-\ln {\mathcal {G}}(s,S)={\frac {1}{2}}\,s^{\dagger }S^{-1}\,s+{\frac {1}{2}}\,\ln |2\pi S|.$$

Уравнение измерения

Данные измерений $d$ было создано с вероятностью ${\mathcal {P}}(d|s)$. В случае, если прибор был линейным, уравнение измерения вида

$$d=R\,s+n$$

можно дать, в котором $R$ — отклик прибора, который описывает, как данные в среднем реагируют на сигнал, и $n$ это шум, просто разница между данными $d$ и линейный отклик сигнала $R\,s$. Важно отметить, что ответ переводит бесконечномерный вектор сигнала в конечномерное пространство данных. В компонентах это читается $d_{i}=\int _{\Omega }dx\,R_{ix}\,s_{x}+n_{i},$

где также было введено обозначение векторных компонентов для векторов сигналов и данных.

Если шум следует за сигналом, независимым от нулевого среднего, гауссова статистика с ковариацией $N$, ${\mathcal {P}}(n|s)={\mathcal {G}}(n,N),$ тогда вероятность также будет гауссовой,

$${\mathcal {P}}(d|s)={\mathcal {G}}(d-R\,s,N),$$

а гамильтониан информации о правдоподобии равен

$${\mathcal {H}}(d|s)=-\ln {\mathcal {G}}(d-R\,s,N)={\frac {1}{2}}\,(d-R\,s)^{\dagger }N^{-1}\,(d-R\,s)+{\frac {1}{2}}\,\ln |2\pi N|.$$

Линейное измерение гауссовского сигнала с учетом гауссовского и независимого от сигнала шума приводит к свободному IFT.

Свободная теория

Свободный гамильтониан

Совместный информационный гамильтониан гауссовского сценария, описанного выше, равен

$${\begin{aligned}{\mathcal {H}}(d,s)&={\mathcal {H}}(d|s)+{\mathcal {H}}(s)\\&{\widehat {=}}{\frac {1}{2}}\,(d-R\,s)^{\dagger }N^{-1}\,(d-R\,s)+{\frac {1}{2}}\,s^{\dagger }S^{-1}\,s\\&{\widehat {=}}{\frac {1}{2}}\,\left[s^{\dagger }\underbrace {(S^{-1}+R^{\dagger }N^{-1}R)} _{D^{-1}}\,s-s^{\dagger }\underbrace {R^{\dagger }N^{-1}d} _{j}-\underbrace {d^{\dagger }N^{-1}R} _{j^{\dagger }}\,s\right]\\&\equiv {\frac {1}{2}}\,\left[s^{\dagger }D^{-1}s-s^{\dagger }j-j^{\dagger }s\right]\\&={\frac {1}{2}}\,\left[s^{\dagger }D^{-1}s-s^{\dagger }D^{-1}\underbrace {D\,j} _{m}-\underbrace {j^{\dagger }D} _{m^{\dagger }}\,D^{-1}s\right]\\&{\widehat {=}}{\frac {1}{2}}\,(s-m)^{\dagger }D^{-1}(s-m),\end{aligned}}$$

где ${\widehat {=}}$ обозначает равенство с точностью до несущественных констант, что в данном случае означает выражения, независимые от $s$. Отсюда ясно, что апостериорная функция должна быть гауссовой со средним $m$ и дисперсия $D$,

$${\mathcal {P}}(s|d)\propto e^{-{\mathcal {H}}(d,s)}\propto e^{-{\frac {1}{2}}\,(s-m)^{\dagger }D^{-1}(s-m)}\propto {\mathcal {G}}(s-m,D)$$

где равенство между правой и левой частями сохраняется, поскольку оба распределения нормализованы, $\int {\mathcal {D}}s\,{\mathcal {P}}(s|d)=1=\int {\mathcal {D}}s\,{\mathcal {G}}(s-m,D)$.

Обобщенный фильтр Винера

Апостериорное среднее

$$m=D\,j=(S^{-1}+R^{\dagger }N^{-1}R)^{-1}R^{\dagger }N^{-1}d$$

также известно как обобщенное решение фильтра Винера и ковариация неопределенности

$$D=(S^{-1}+R^{\dagger }N^{-1}R)^{-1}$$

как дисперсия Винера.

В ИФТ, $j=R^{\dagger }N^{-1}d$ называется источником информации, поскольку он действует как исходный термин, возбуждающий поле (знания), и $D$ распространитель информации, поскольку он распространяет информацию из одного места в другое в

$$m_{x}=\int _{\Omega }dy\,D_{xy}j_{y}.$$

Теория взаимодействия

гамильтониан

Если какое-либо из предположений, которые приводят к свободной теории, нарушается, IFT становится взаимодействующей теорией с членами, которые имеют более высокий, чем квадратичный порядок в сигнальном поле. Это происходит, когда сигнал или шум не соответствуют статистике Гаусса, когда отклик нелинейный, когда шум зависит от сигнала или когда ответ или ковариации неопределенны.

В этом случае информационный гамильтониан можно разложить в ряд Тейлора – Фреше :

$${\mathcal {H}}(d,\,s)=\underbrace {{\frac {1}{2}}s^{\dagger }D^{-1}s-j^{\dagger }s+{\mathcal {H}}_{0}} _{={\mathcal {H}}_{\text{free}}(d,\,s)}+\underbrace {\sum _{n=3}^{\infty }{\frac {1}{n!}}\Lambda _{x_{1}...x_{n}}^{(n)}s_{x_{1}}...s_{x_{n}}} _{={\mathcal {H}}_{\text{int}}(d,\,s)},$$

где ${\mathcal {H}}_{\text{free}}(d,\,s)$ является свободным гамильтонианом, который сам по себе приведет к гауссову апостериору, и ${\mathcal {H}}_{\text{int}}(d,\,s)$ — взаимодействующий гамильтониан, который кодирует негауссовы поправки. Коэффициенты Тейлора первого и второго порядка часто отождествляются с (отрицательным) источником информации. $-j$ и распространитель информации $D$, соответственно. Более высокие коэффициенты $\Lambda _{x_{1}...x_{n}}^{(n)}$связаны с нелинейными самодействиями.

Классическое поле

Классическое поле $s_{\text{cl}}$ минимизирует информационный гамильтониан,

$$\left.{\frac {\partial {\mathcal {H}}(d,s)}{\partial s}}\right|_{s=s_{\text{cl}}}=0,$$

и, следовательно, максимизирует апостериорную часть:

$$\left.{\frac {\partial {\mathcal {P}}(s|d)}{\partial s}}\right|_{s=s_{\text{cl}}}=\left.{\frac {\partial }{\partial s}}\,{\frac {e^{-{\mathcal {H}}(d,s)}}{{\mathcal {Z}}(d)}}\right|_{s=s_{\text{cl}}}=-{\mathcal {P}}(d,s)\,\underbrace {\left.{\frac {\partial {\mathcal {H}}(d,s)}{\partial s}}\right|_{s=s_{\text{cl}}}} _{=0}=0$$

Классическое поле $s_{\text{cl}}$ следовательно, является максимальной апостериорной оценкой задачи вывода поля.

Критический фильтр

Задача фильтра Винера требует двухточечной корреляции. $S\equiv \langle s\,s^{\dagger }\rangle _{(s)}$ области, которую необходимо знать. Если оно неизвестно, его необходимо вывести вместе с самим полем. Для этого требуется спецификация гиперприорного ${\mathcal {P}}(S)$. Часто можно предположить статистическую однородность (трансляционную инвариантность), подразумевая, что $S$ диагональна в пространстве Фурье (при $\Omega =\mathbb {R} ^{u}$ будучи $u$ мерное декартово пространство ). В этом случае только пространственный спектр мощности Фурье $P_{s}({\vec {k}})$ необходимо сделать вывод. При дальнейшем предположении статистической изотропии этот спектр зависит только от длины $k=|{\vec {k}}|$ вектора Фурье ${\vec {k}}$ и только одномерный спектр $P_{s}(k)$ должно быть определено. Затем априорная ковариация поля считывается в координатах пространства Фурье. $S_{{\vec {k}}{\vec {q}}}=(2\pi )^{u}\delta ({\vec {k}}-{\vec {q}})\,P_{s}(k)$.

Если предшествующий $P_{s}(k)$ плоская, совместная вероятность данных и спектра равна

$${\begin{aligned}{\mathcal {P}}(d,P_{s})&=\int {\mathcal {D}}s\,{\mathcal {P}}(d,s,P_{s})\\&=\int {\mathcal {D}}s\,{\mathcal {P}}(d|s,P_{s})\,{\mathcal {P}}(s|P_{s})\,{\mathcal {P}}(P_{s})\\&\propto \int {\mathcal {D}}s\,{\mathcal {G}}(d-Rs,N)\,{\mathcal {G}}(s,S)\\&\propto {\frac {1}{|S|^{\frac {1}{2}}}}\int {\mathcal {D}}s\,\exp \left[-{\frac {1}{2}}\left(s^{\dagger }D^{-1}s-j^{\dagger }s-s^{\dagger }j\right)\right]\\&\propto {\frac {|D|^{\frac {1}{2}}}{|S|^{\frac {1}{2}}}}\exp \left[{\frac {1}{2}}j^{\dagger }D\,j\right],\end{aligned}}$$

где обозначение распространителя информации $D=(S^{-1}+R^{\dagger }N^{-1}R)^{-1}$ и источник $j=R^{\dagger }N^{-1}d$ задача фильтра Винера была использована снова. Соответствующий информационный гамильтониан есть

$${\mathcal {H}}(d,P_{s})\;{\widehat {=}}\;{\frac {1}{2}}\left[\ln |S\,D^{-1}|-j^{\dagger }D\,j\right]={\frac {1}{2}}\mathrm {Tr} \left[\ln \left(S\,D^{-1}\right)-j\,j^{\dagger }D\right],$$

где ${\widehat {=}}$ обозначает равенство с точностью до нерелевантных констант (здесь: константа по отношению к $P_{s}$). Минимизация этого по отношению к $P_{s}$, чтобы получить максимальную апостериорную оценку спектра мощности, дает

$${\begin{aligned}{\frac {\partial {\mathcal {H}}(d,P_{s})}{\partial P_{s}(k)}}&={\frac {1}{2}}\mathrm {Tr} \left[D\,S^{-1}\,{\frac {\partial \left(S\,D^{-1}\right)}{\partial P_{s}(k)}}-j\,j^{\dagger }{\frac {\partial D}{\partial P_{s}(k)}}\right]\\&={\frac {1}{2}}\mathrm {Tr} \left[D\,S^{-1}\,{\frac {\partial \left(1+S\,R^{\dagger }N^{-1}R\right)}{\partial P_{s}(k)}}+j\,j^{\dagger }D\,{\frac {\partial D^{-1}}{\partial P_{s}(k)}}\,D\right]\\&={\frac {1}{2}}\mathrm {Tr} \left[D\,S^{-1}\,{\frac {\partial S}{\partial P_{s}(k)}}R^{\dagger }N^{-1}R+m\,m^{\dagger }\,{\frac {\partial S^{-1}}{\partial P_{s}(k)}}\right]\\&={\frac {1}{2}}\mathrm {Tr} \left[\left(R^{\dagger }N^{-1}R\,D\,S^{-1}-S^{-1}m\,m^{\dagger }\,S^{-1}\right)\,{\frac {\partial S}{\partial P_{s}(k)}}\right]\\&={\frac {1}{2}}\int \left({\frac {dq}{2\pi }}\right)^{u}\int \left({\frac {dq'}{2\pi }}\right)^{u}\left(\left(D^{-1}-S^{-1}\right)\,D\,S^{-1}-S^{-1}m\,m^{\dagger }\,S^{-1}\right)_{{\vec {q}}{\vec {q}}'}\,{\frac {\partial (2\pi )^{u}\delta ({\vec {q}}-{\vec {q}}')\,P_{s}(q)}{\partial P_{s}(k)}}\\&={\frac {1}{2}}\int \left({\frac {dq}{2\pi }}\right)^{u}\left(S^{-1}-S^{-1}D\,S^{-1}-S^{-1}m\,m^{\dagger }\,S^{-1}\right)_{{\vec {q}}{\vec {q}}}\,\delta (k-q)\\&={\frac {1}{2}}\mathrm {Tr} \left\{S^{-1}\left[S-\left(D+m\,m^{\dagger }\right)\right]\,S^{-1}\mathbb {P} _{k}\right\}\\&={\frac {\mathrm {Tr} \left[\mathbb {P} _{k}\right]}{2\,P_{s}(k)}}-{\frac {\mathrm {Tr} \left[\left(D+m\,m^{\dagger }\right)\,\mathbb {P} _{k}\right]}{2\,\left[P_{s}(k)\right]^{2}}}=0,\end{aligned}}$$

где означает фильтр Винера $m=D\,j$ и проектор спектрального диапазона $(\mathbb {P} _{k})_{{\vec {q}}{\vec {q}}'}\equiv (2\pi )^{u}\delta ({\vec {q}}-{\vec {q}}')\,\delta (|{\vec {q}}|-k)$были представлены. Последний ездит с $S^{-1}$, с $(S^{-1})_{{\vec {k}}{\vec {q}}}=(2\pi )^{u}\delta ({\vec {k}}-{\vec {q}})\,[P_{s}(k)]^{-1}$ диагональна в пространстве Фурье. Таким образом, максимальная апостериорная оценка спектра мощности равна

$$P_{s}(k)={\frac {\mathrm {Tr} \left[\left(m\,m^{\dagger }+D\right)\,\mathbb {P} _{k}\right]}{\mathrm {Tr} \left[\mathbb {P} _{k}\right]}}.$$

Его необходимо вычислять итеративно, так как $m=D\,j$ и $D=(S^{-1}+R^{\dagger }N^{-1}R)^{-1}$ зависеть оба от $P_{s}$ сами себя. В эмпирическом байесовском подходе оценка $P_{s}$ будет воспринято как данность. Как следствие, апостериорная средняя оценка сигнального поля представляет собой соответствующую $m$ и его неопределенность соответствующая $D$ в эмпирическом байесовском приближении.

Полученный нелинейный фильтр называется критическим фильтром . Обобщение формулы оценки спектра мощности как

$$P_{s}(k)={\frac {\mathrm {Tr} \left[\left(m\,m^{\dagger }+\delta \,D\right)\,\mathbb {P} _{k}\right]}{\mathrm {Tr} \left[\mathbb {P} _{k}\right]}}$$

демонстрирует порог восприятия $\delta <1$, что означает, что дисперсия данных в полосе Фурье должна превышать ожидаемый уровень шума на определенный порог перед реконструкцией сигнала. $m$ становится ненулевым для этой полосы. Всякий раз, когда дисперсия данных немного превышает этот порог, реконструкция сигнала переходит на конечный уровень возбуждения, подобно фазовому переходу первого рода в термодинамических системах. Для фильтра с $\delta =1$ восприятие сигнала начинается непрерывно, как только дисперсия данных превышает уровень шума. Исчезновение прерывистого восприятия при $\delta =1$ аналогично термодинамической системе, проходящей через критическую точку . Отсюда и название критического фильтра.

Критический фильтр, его расширение для нелинейных измерений и включение априорных значений неплоского спектра позволили применить IFT к реальным задачам вывода сигналов, для которых ковариация сигнала обычно априорно неизвестна.

Примеры применения IFT

Радиоинтерферометрическое изображение радиогалактик в скоплении галактик Abell 2219. Изображения были построены с помощью обратной проекции данных (вверху), алгоритма CLEAN (в центре) и алгоритма RESOLVE (внизу). Отрицательные и, следовательно, нефизические потоки отображаются белым цветом.

Обобщенный фильтр Винера, возникающий в свободном IFT, широко используется при обработке сигналов. Алгоритмы, явно основанные на IFT, были разработаны для ряда приложений. Многие из них реализованы с использованием библиотеки Numerical Information Field Theory (NIFTy).

• D³PO — это код для шумоподавления, деконволюции и разложения фотонных наблюдений . Он восстанавливает изображения по отдельным событиям подсчета фотонов, принимая во внимание статистику Пуассона и функцию отклика прибора. Он разделяет излучение неба на изображение диффузного излучения и изображения точечных источников, используя для их разделения различную корреляционную структуру и статистику двух компонентов. D³PO применялся к данным спутников Fermi и RXTE .
• RESOLVE — это байесовский алгоритм для построения изображений с синтезом апертуры в радиоастрономии. RESOLVE похож на D³PO, но предполагает гауссову вероятность и функцию отклика в пространстве Фурье. Он был применен к данным очень большого массива .
• PySESA — это платформа Python для пространственно-явного спектрального анализа, предназначенная для пространственно-явного спектрального анализа облаков точек и геопространственных данных.

Продвинутая теория

Для решения проблем IFT можно использовать многие методы квантовой теории поля, такие как диаграммы Фейнмана, эффективные действия и формализм оператора поля.

Диаграммы Фейнмана

Первые три диаграммы Фейнмана, способствующие апостериорной средней оценке поля. Линия обозначает распространителя информации, точка в конце строки — источник информации, а вершина — термин взаимодействия. Первая диаграмма кодирует фильтр Винера, вторая — нелинейную коррекцию, а третья — поправку на неопределенность фильтра Винера.

В случае, если коэффициенты взаимодействия $\Lambda ^{(n)}$ в разложении Тейлора - Фреше информационного гамильтониана

$${\mathcal {H}}(d,\,s)=\underbrace {{\frac {1}{2}}s^{\dagger }D^{-1}s-j^{\dagger }s+{\mathcal {H}}_{0}} _{={\mathcal {H}}_{\text{free}}(d,\,s)}+\underbrace {\sum _{n=3}^{\infty }{\frac {1}{n!}}\Lambda _{x_{1}...x_{n}}^{(n)}s_{x_{1}}...s_{x_{n}}} _{={\mathcal {H}}_{\text{int}}(d,\,s)},$$

малы, функция логарифмического распределения или свободная энергия Гельмгольца ,

$$\ln {\mathcal {Z}}(d)=\ln \int {\mathcal {D}}s\,e^{-{\mathcal {H}}(d,s)}=\sum _{c\in C}c$$

можно асимптотически разложить по этим коэффициентам. Свободный гамильтониан определяет среднее значение $m=D\,j$ и дисперсия $D$ распределения Гаусса ${\mathcal {G}}(s-m,D)$ по которому интегрировано расширение. Это приводит к сумме по множеству $C$ всех связанных диаграмм Фейнмана . Из свободной энергии Гельмгольца любой связанный момент поля можно вычислить по формуле

$$\langle s_{x_{1}}\ldots s_{x_{n}}\rangle _{(s|d)}^{\text{c}}={\frac {\partial ^{n}\ln {\mathcal {Z}}}{\partial j_{x_{1}}\ldots \partial j_{x_{n}}}}.$$

Ситуации, когда существуют малые параметры разложения, необходимые для сходимости такого схематического разложения, задаются почти гауссовскими сигнальными полями, где негауссовость статистики поля приводит к малым коэффициентам взаимодействия. $\Lambda ^{(n)}$. Например, статистика космического микроволнового фона близка к гауссовой, с небольшим количеством негауссовских элементов, которые, как полагают, были заложены в эпоху инфляции в ранней Вселенной .

Эффективное действие

Чтобы иметь стабильные числовые значения для задач IFT, необходим функционал поля, который при минимизации обеспечивает апостериорное среднее поле. Это определяется эффективным действием или свободной энергией Гиббса поля. Свободная энергия Гиббса $G$ может быть построена из свободной энергии Гельмгольца посредством преобразования Лежандра . В ИФТ это определяется разностью внутренней информационной энергии

$$U=\langle {\mathcal {H}}(d,s)\rangle _{{\mathcal {P}}'(s|d')}$$

и энтропия Шеннона

$${\mathcal {S}}=-\int {\mathcal {D}}s\,{\mathcal {P}}'(s|d')\,\ln {\mathcal {P}}'(s|d')$$

по температуре $T=1$, где гауссово апостериорное приближение ${\mathcal {P}}'(s|d')={\mathcal {G}}(s-m,D)$ используется с приблизительными данными $d'=(m,D)$ содержащий среднее значение и дисперсию поля.

Тогда свободная энергия Гиббса равна

$${\begin{aligned}G(m,D)&=U(m,D)-T\,{\mathcal {S}}(m,D)\\&=\langle {\mathcal {H}}(d,s)+\ln {\mathcal {P}}'(s|d')\rangle _{{\mathcal {P}}'(s|d')}\\&=\int {\mathcal {D}}s\,{\mathcal {P}}'(s|d')\,\ln {\frac {{\mathcal {P}}'(s|d')}{{\mathcal {P}}(d,s)}}\\&=\int {\mathcal {D}}s\,{\mathcal {P}}'(s|d')\,\ln {\frac {{\mathcal {P}}'(s|d')}{{\mathcal {P}}(s|d)\,{\mathcal {P}}(d)}}\\&=\int {\mathcal {D}}s\,{\mathcal {P}}'(s|d')\,\ln {\frac {{\mathcal {P}}'(s|d')}{{\mathcal {P}}(s|d)}}-\ln \,{\mathcal {P}}(d)\\&={\text{KL}}({\mathcal {P}}'(s|d')||{\mathcal {P}}(s|d))-\ln {\mathcal {Z}}(d),\end{aligned}}$$

расхождение Кульбака -Лейблера ${\text{KL}}({\mathcal {P}}',{\mathcal {P}})$ между аппроксимативной и точной апостериорной плюс свободная энергия Гельмгольца. Поскольку последнее не зависит от приблизительных данных $d'=(m,D)$, минимизация свободной энергии Гиббса эквивалентна минимизации расхождения Кульбака-Лейблера между приближенной и точной апостериорной функцией. Таким образом, подход эффективного действия IFT эквивалентен вариационным байесовским методам , которые также минимизируют расхождение Кульбака-Лейблера между приближенными и точными апостериорными данными.

Минимизация свободной энергии Гиббса приблизительно дает апостериорное среднее поле.

$$\langle s\rangle _{(s|d)}=\int {\mathcal {D}}s\,s\,{\mathcal {P}}(s|d),$$

тогда как минимизация информационного гамильтониана обеспечивает максимальное апостериорное поле. Поскольку последний, как известно, превосходит шум, первый обычно является лучшим средством оценки поля.

формализм

Расчет свободной энергии Гиббса требует расчета гауссовских интегралов по информационному гамильтониану, поскольку внутренняя информационная энергия равна

$$U(m,D)=\langle {\mathcal {H}}(d,s)\rangle _{{\mathcal {P}}'(s|d')}=\int {\mathcal {D}}s\,{\mathcal {H}}(d,s)\,{\mathcal {G}}(s-m,D).$$

Такие интегралы можно вычислить с помощью формализма оператора поля: в котором

$$O_{m}=m+D\,{\frac {\mathrm {d} }{\mathrm {d} m}}$$

является полевым оператором. Это генерирует выражение поля $s$ в пределах интеграла, если применить его к функции распределения Гаусса,

$${\begin{aligned}O_{m}\,{\mathcal {G}}(s-m,D)&=(m+D\,{\frac {\mathrm {d} }{\mathrm {d} m}})\,{\frac {1}{|2\pi D|^{\frac {1}{2}}}}\,\exp \left[-{\frac {1}{2}}(s-m)^{\dagger }D^{-1}(s-m)\right]\\&=(m+D\,D^{-1}(s-m))\,{\frac {1}{|2\pi D|^{\frac {1}{2}}}}\,\exp \left[-{\frac {1}{2}}(s-m)^{\dagger }D^{-1}(s-m)\right]\\&=s\,{\mathcal {G}}(s-m,D),\end{aligned}}$$

и любая более высокая мощность поля, если применить ее несколько раз,

$${\begin{aligned}(O_{m})^{n}\,{\mathcal {G}}(s-m,D)&=s^{n}\,{\mathcal {G}}(s-m,D).\end{aligned}}$$

Если информационный гамильтониан аналитичен, все его члены могут быть сгенерированы с помощью оператора поля

$${\mathcal {H}}(d,O_{m})\,{\mathcal {G}}(s-m,D)={\mathcal {H}}(d,s)\,{\mathcal {G}}(s-m,D).$$

Поскольку оператор поля не зависит от поля $s$ само по себе оно может быть вырвано из пути, являющегося неотъемлемой частью внутренней информационной энергетической конструкции,

$$U(m,D)=\int {\mathcal {D}}s\,{\mathcal {H}}(d,O_{m})\,{\mathcal {G}}(s-m,D)={\mathcal {H}}(d,O_{m})\int {\mathcal {D}}s\,{\mathcal {G}}(s-m,D)={\mathcal {H}}(d,O_{m})\,1_{m},$$

где $1_{m}=1$ следует рассматривать как функционал, который всегда возвращает значение $1$ независимо от значения его ввода $m$. Полученное выражение можно вычислить, коммутируя аннулятор среднего поля $D\,{\frac {\mathrm {d} }{\mathrm {d} m}}$ справа от выражения, где они исчезают, так как ${\frac {\mathrm {d} }{\mathrm {d} m}}\,1_{m}=0$. Аннигилятор среднего поля $D\,{\frac {\mathrm {d} }{\mathrm {d} m}}$ коммутирует со средним полем как

$$\left[D\,{\frac {\mathrm {d} }{\mathrm {d} m}},m\right]=D\,{\frac {\mathrm {d} }{\mathrm {d} m}}\,m-m\,D\,{\frac {\mathrm {d} }{\mathrm {d} m}}=D+m\,D\,{\frac {\mathrm {d} }{\mathrm {d} m}}-m\,D\,{\frac {\mathrm {d} }{\mathrm {d} m}}=D.$$

Используя формализм оператора поля, можно вычислить свободную энергию Гиббса, что позволяет (приблизительно) вывести апостериорное среднее поле посредством численной робастной функциональной минимизации.

История

Книга Норберта Винера можно рассматривать как одну из первых работ по полевому выводу. Использование интегралов по путям для вывода поля было предложено рядом авторов, например Эдмундом Бертшингером. или Уильям Бялек и А. Зи. Связь теории поля и байесовских рассуждений была четко выражена Йоргом Леммом. Термин «теория информационного поля» был придуман Торстеном Энслином. См. последнюю ссылку для получения дополнительной информации об истории IFT.

См. также

• Байесовский вывод
• Байесовское иерархическое моделирование
• Гауссов процесс
• Статистический вывод