Принцип максимальной энтропии

Чтобы узнать о других значениях термина «Максимальная энтропия», см. «Максимальная энтропия (значения)» .

Принцип максимальной энтропии гласит, что распределение вероятностей , которое лучше всего отражает текущее состояние знаний о системе, имеет наибольшую энтропию в контексте точно установленных априорных данных (например, предложения , выражающего проверяемую информацию ).

Другой способ выразить это: возьмите точно установленные априорные данные или проверяемую информацию о функции распределения вероятностей. Рассмотрим набор всех пробных вероятностных распределений, которые будут кодировать априорные данные. Согласно этому принципу, распределение с максимальной информационной энтропией является лучшим выбором.

История

Этот принцип был впервые изложен Э. Т. Джейнсом в двух статьях в 1957 году. где он подчеркнул естественное соответствие между статистической механикой и теорией информации . В частности, Джейнс предложил новое и очень общее объяснение того, почему работает гиббсовский метод статистической механики. Он утверждал, что энтропия статистической механики и информационная энтропия теории информации — это, по сути, одно и то же. Следовательно, статистическую механику следует рассматривать просто как частное применение общего инструмента логического вывода и теории информации.

Обзор

В большинстве практических случаев заявленные априорные данные или проверяемая информация представляют собой набор сохраняющихся величин (средних значений некоторых моментных функций), связанных с распределением вероятностей рассматриваемым . Именно так принцип максимальной энтропии чаще всего используется в статистической термодинамике . Другая возможность — прописать некоторые симметрии распределения вероятностей. Эквивалентность между сохраняющимися величинами и соответствующими группами симметрии подразумевает аналогичную эквивалентность этих двух способов задания проверяемой информации в методе максимальной энтропии.

Принцип максимальной энтропии необходим также для того, чтобы гарантировать уникальность и непротиворечивость вероятностных присвоений, полученных различными методами, статистической механикой и логическим выводом в частности .

Принцип максимальной энтропии ясно демонстрирует нашу свободу в использовании различных форм априорных данных . В качестве частного случая может быть принята равномерная априорная плотность вероятности Лапласа ( принцип безразличия , иногда называемый принципом недостаточного основания). Таким образом, принцип максимальной энтропии — это не просто альтернативный взгляд на обычные методы вывода классической статистики, но и значительное концептуальное обобщение этих методов.

Однако эти утверждения не означают, что термодинамические системы не должны быть эргодическими, чтобы оправдать рассмотрение их как статистического ансамбля .

Говоря обычным языком, можно сказать, что принцип максимальной энтропии выражает требование эпистемической скромности или максимального невежества. Выбранное распределение — это то, которое меньше всего претендует на информированность, выходящее за рамки установленных априорных данных, то есть то, которое допускает наибольшее невежество, выходящее за рамки установленных априорных данных.

Проверяемая информация

Принцип максимальной энтропии полезен только тогда, когда применяется к проверяемой информации . Тестируемая информация — это утверждение о распределении вероятностей, истинность или ложность которого четко определена. Например, утверждения

ожидание ​ переменной $x$ составляет 2,87

и

$p_{2}+p_{3}>0.6$

(где $p_{2}$ и $p_{3}$ — вероятности событий) — это утверждения проверяемой информации.

При наличии проверяемой информации процедура максимальной энтропии состоит в поиске распределения вероятностей , которое максимизирует информационную энтропию с учетом ограничений информации. Эта задача ограниченной оптимизации обычно решается с использованием метода множителей Лагранжа .

Максимизация энтропии без проверяемой информации учитывает универсальное «ограничение», заключающееся в том, что сумма вероятностей равна единице. При этом ограничении дискретное распределение вероятностей максимальной энтропии является равномерным распределением ,

$p_{i}={\frac {1}{n}}\ {\rm {for\ all}}\ i\in \{\,1,\dots ,n\,\}.$

Приложения

Принцип максимальной энтропии обычно применяется к задачам вывода двумя способами:

Априорные вероятности

Принцип максимальной энтропии часто используется для получения априорных распределений вероятностей для байесовского вывода . Джейнс был ярым сторонником этого подхода, утверждая, что максимальное распределение энтропии представляет собой наименее информативное распределение. Большое количество литературы в настоящее время посвящено выявлению априорных значений максимальной энтропии и связей с канальным кодированием .

Апостериорные вероятности

Максимальная энтропия является достаточным правилом обновления радикального вероятностного подхода . Ричарда Джеффри является Вероятностная кинематика частным случаем вывода о максимальной энтропии . Однако максимальная энтропия не является обобщением всех таких достаточных правил обновления.

Модели максимальной энтропии

В качестве альтернативы этот принцип часто применяется для спецификации модели: в этом случае сами наблюдаемые данные считаются проверяемой информацией. Такие модели широко используются при обработке естественного языка . Примером такой модели является логистическая регрессия , которая соответствует классификатору максимальной энтропии для независимых наблюдений.

Оценка плотности вероятности

Одним из основных применений принципа максимальной энтропии является дискретная и непрерывная оценка плотности . Подобно средствам оценки опорных векторов , принцип максимальной энтропии может потребовать решения задачи квадратичного программирования и, таким образом, обеспечить модель разреженной смеси в качестве оптимального средства оценки плотности. Одним из важных преимуществ метода является его способность включать априорную информацию в оценку плотности.

Общее решение для распределения максимальной энтропии с линейными ограничениями

Основная статья: Распределение вероятностей максимальной энтропии

Дискретный случай

У нас есть некоторая проверяемая информация I о величине x, принимающей значения в { x ₁ , x ₂ ,..., x _n }. что эта информация имеет вид m ограничений на математические ожидания функций fk _{Мы предполагаем ,} ; то есть мы требуем, чтобы наше распределение вероятностей удовлетворяло ограничениям моментного неравенства/равенства:

$\sum _{i=1}^{n}\Pr(x_{i})f_{k}(x_{i})\geq F_{k}\qquad k=1,\ldots ,m.$

где $F_{k}$ являются наблюдаемыми. Мы также требуем, чтобы плотность вероятности в сумме равнялась единице, что можно рассматривать как примитивное ограничение на тождественную функцию и наблюдаемую величину, равную 1, дающую ограничение

$\sum _{i=1}^{n}\Pr(x_{i})=1.$

Распределение вероятностей с максимальной информационной энтропией с учетом этих ограничений неравенства/равенства имеет форму:

$\Pr(x_{i})={\frac {1}{Z(\lambda _{1},\ldots ,\lambda _{m})}}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],$

для некоторых $\lambda _{1},\ldots ,\lambda _{m}$. Его иногда называют распределением Гиббса . Константа нормализации определяется:

$Z(\lambda _{1},\ldots ,\lambda _{m})=\sum _{i=1}^{n}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],$

и условно называется статистической суммой . ( Теорема Питмана-Купмана утверждает, что необходимым и достаточным условием для того, чтобы выборочное распределение допускало достаточную статистику ограниченной размерности, является то, что оно имеет общую форму распределения максимальной энтропии.)

Параметры λ _k представляют собой множители Лагранжа. В случае ограничений-равенств их значения определяются из решения нелинейных уравнений

$F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\ldots ,\lambda _{m}).$

В случае ограничений-неравенств множители Лагранжа определяются из решения программы выпуклой оптимизации с линейными ограничениями. отсутствует В обоих случаях решение в замкнутой форме , а вычисление множителей Лагранжа обычно требует численных методов .

Непрерывный случай

Для непрерывных распределений энтропию Шеннона нельзя использовать, поскольку она определена только для дискретных вероятностных пространств. Вместо этого Эдвин Джейнс (1963, 1968, 2003) дал следующую формулу, которая тесно связана с относительной энтропией (см. также дифференциальную энтропию ).

$H_{c}=-\int p(x)\log {\frac {p(x)}{q(x)}}\,dx$

где q ( x ), которую Джейнс назвал «инвариантной мерой», пропорционально предельной плотности дискретных точек . Пока мы будем предполагать, что q известно; мы обсудим это дальше после того, как будут приведены уравнения решения.

Близко связанная величина, относительная энтропия, обычно определяется как отклонение Кульбака-Лейблера p . от q (хотя иногда ее, что сбивает с толку, определяют как отрицательное значение этого показателя) Принцип вывода о минимизации этого, согласно Кульбаку, известен как принцип минимальной дискриминационной информации .

У нас есть некоторая проверяемая информация I о величине x , которая принимает значения в некотором интервале действительных чисел (все нижеприведенные интегралы лежат в этом интервале). Мы предполагаем, что эта информация имеет форму m ограничений на ожидания функций f _k , т.е. мы требуем, чтобы наша функция плотности вероятности удовлетворяла моментным ограничениям неравенства (или чисто равенства):

$\int p(x)f_{k}(x)\,dx\geq F_{k}\qquad k=1,\dotsc ,m.$

где $F_{k}$ являются наблюдаемыми. Мы также требуем, чтобы плотность вероятности интегрировалась до единицы, что можно рассматривать как примитивное ограничение на тождественную функцию и наблюдаемую, равную 1, дающую ограничение

$\int p(x)\,dx=1.$

Функция плотности вероятности с максимальным H _c с учетом этих ограничений:

$p(x)={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]$

со статистической суммой, определяемой

$Z(\lambda _{1},\dotsc ,\lambda _{m})=\int q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]\,dx.$

Как и в дискретном случае, в случае, когда все моментные ограничения равны, значения $\lambda _{k}$ параметры определяются системой нелинейных уравнений:

$F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m}).$

В случае с моментными ограничениями неравенства множители Лагранжа определяются из решения программы выпуклой оптимизации .

Инвариантную функцию меры q ( x ) можно лучше всего понять, предположив, что известно, что x принимает значения только в ограниченном интервале ( a , b ), и что никакой другой информации не дано. Тогда максимальная энтропийная функция плотности вероятности равна

$p(x)=A\cdot q(x),\qquad a<x<b$

где A — константа нормировки. Функция инвариантной меры на самом деле является функцией априорной плотности, кодирующей «отсутствие соответствующей информации». Она не может быть определена принципом максимальной энтропии и должна определяться каким-либо другим логическим методом, таким как принцип групп преобразований или теория маргинализации .

Примеры

Несколько примеров распределений максимальной энтропии см. в статье о распределениях вероятностей максимальной энтропии .

Обоснования принципа максимальной энтропии

Сторонники принципа максимальной энтропии оправдывают его использование при назначении вероятностей несколькими способами, включая следующие два аргумента. Эти аргументы принимают использование байесовской вероятности как данность и, таким образом, подчиняются одним и тем же постулатам.

Информационная энтропия как мера «неинформативности»

Рассмотрим дискретное распределение вероятностей среди $m$ взаимоисключающие предложения . Наиболее информативное распределение имело место, когда было известно, что одно из утверждений истинно. В этом случае информационная энтропия будет равна нулю. Наименее информативное распределение будет иметь место, когда нет причин отдавать предпочтение одному из предложений перед другими. В этом случае единственное разумное распределение вероятностей было бы равномерным, и тогда информационная энтропия была бы равна максимально возможному значению: $\log m$. Таким образом, информационную энтропию можно рассматривать как числовую меру, которая описывает, насколько неинформативно конкретное распределение вероятностей, в диапазоне от нуля (полностью информативно) до $\log m$ (совершенно неинформативно).

Утверждается, что, выбирая распределение с максимальной энтропией, допускаемой нашей информацией, мы выбираем наиболее неинформативное возможное распределение. Выбрать распределение с более низкой энтропией означало бы предположить наличие информации, которой мы не обладаем. Таким образом, максимальное распределение энтропии является единственным разумным распределением. Зависимость решения от доминирующей меры, представленной выражением $m(x)$ однако является источником критики данного подхода, поскольку эта доминирующая мера на самом деле является произвольной.

Вывод Уоллиса

Следующий аргумент является результатом предложения, сделанного Грэмом Уоллисом И. Т. Джейнсу в 1962 году. По сути, это тот же математический аргумент, который используется для статистики Максвелла – Больцмана в статистической механике , хотя концептуальный акцент совершенно другой. Его преимущество состоит в том, что он носит строго комбинаторный характер и не содержит ссылок на информационную энтропию как меру «неопределенности», «неинформативности» или любого другого неточно определенного понятия. Функция информационной энтропии не предполагается априори , а находится в ходе рассуждения; и этот аргумент естественным образом ведет к процедуре максимизации информационной энтропии, а не к ее трактовке каким-то другим способом.

Предположим, человек желает выполнить распределение вероятностей среди $m$ взаимоисключающие предложения. У него есть некоторая поддающаяся проверке информация, но он не знает, как включить эту информацию в свою оценку вероятности. Поэтому он задумал следующий случайный эксперимент. Он будет распространять $N$ кванты вероятности (каждый стоит $1/N$) случайным образом среди $m$ возможности. (Можно представить, что он бросит $N$ шары в $m$ ведра с завязанными глазами. Чтобы быть как можно более справедливым, каждый бросок должен быть независим от любого другого, а все ведра должны быть одинакового размера.) После завершения эксперимента он проверит, согласуется ли полученное таким образом распределение вероятностей с его информацией. . (Чтобы этот шаг был успешным, информация должна быть ограничением, заданным открытым множеством в пространстве вероятностных мер). Если оно противоречиво, он отклонит его и попробует еще раз. Если оно соответствует, его оценка будет

$p_{i}={\frac {n_{i}}{N}}$

где $p_{i}$ это вероятность $i$^й предложение, а n _i — количество квантов, которые были присвоены $i$^й предложение (т.е. количество шариков, попавших в ведро $i$).

Теперь, чтобы уменьшить «зернистость» распределения вероятностей, необходимо будет использовать довольно большое количество квантов вероятности. Вместо того, чтобы фактически провести и, возможно, повторить довольно длинный случайный эксперимент, главный герой решает просто вычислить и использовать наиболее вероятный результат. Вероятность любого конкретного результата представляет собой полиномиальное распределение ,

$Pr(\mathbf {p} )=W\cdot m^{-N}$

где

$W={\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}$

иногда называют множественностью исхода.

Наиболее вероятным результатом является тот, который максимизирует кратность $W$. Вместо того, чтобы максимизировать $W$ напрямую, главный герой мог бы эквивалентно максимизировать любую монотонно возрастающую функцию $W$. Он решает максимизировать

${\begin{aligned}{\frac {1}{N}}\log W&={\frac {1}{N}}\log {\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}\\[6pt]&={\frac {1}{N}}\log {\frac {N!}{(Np_{1})!\,(Np_{2})!\,\dotsb \,(Np_{m})!}}\\[6pt]&={\frac {1}{N}}\left(\log N!-\sum _{i=1}^{m}\log((Np_{i})!)\right).\end{aligned}}$

На этом этапе, чтобы упростить выражение, главный герой принимает предел как $N\to \infty$, то есть по мере того, как уровни вероятности переходят от зернистых дискретных значений к гладким непрерывным значениям. Используя приближение Стирлинга , он находит

${\begin{aligned}\lim _{N\to \infty }\left({\frac {1}{N}}\log W\right)&={\frac {1}{N}}\left(N\log N-\sum _{i=1}^{m}Np_{i}\log(Np_{i})\right)\\[6pt]&=\log N-\sum _{i=1}^{m}p_{i}\log(Np_{i})\\[6pt]&=\log N-\log N\sum _{i=1}^{m}p_{i}-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=\left(1-\sum _{i=1}^{m}p_{i}\right)\log N-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=H(\mathbf {p} ).\end{aligned}}$

Все, что остается сделать главному герою, — это максимизировать энтропию в условиях ограничений его проверяемой информации. Он обнаружил, что максимальное распределение энтропии является наиболее вероятным из всех «справедливых» случайных распределений в том пределе, когда уровни вероятности переходят от дискретных к непрерывным.

Совместимость с теоремой Байеса

Гиффин и Катича (2007) заявляют, что теорема Байеса и принцип максимальной энтропии полностью совместимы и могут рассматриваться как частные случаи «метода максимальной относительной энтропии». Они заявляют, что этот метод воспроизводит все аспекты ортодоксальных байесовских методов вывода. Кроме того, этот новый метод открывает двери для решения проблем, которые невозможно решить ни с помощью принципа максимальной энтропии, ни с помощью ортодоксальных байесовских методов по отдельности. Более того, недавние работы (Lazar 2003 и Schennach 2005) показывают, что частотные подходы к выводу, основанные на относительной энтропии (такие как эмпирическое правдоподобие и экспоненциально наклоненное эмпирическое правдоподобие – см., например, Owen 2001 и Kitamura 2006), могут быть объединены с априорной информацией для выполнения байесовского метода. задний анализ.

Джейнс заявил, что теорема Байеса — это способ расчета вероятности, а максимальная энтропия — это способ назначить априорное распределение вероятностей.

Однако теоретически возможно найти апостериорное распределение непосредственно на основе указанного априорного распределения, используя принцип минимальной перекрестной энтропии (или принцип максимальной энтропии, являющийся особым случаем использования равномерного распределения в качестве заданного априорного), независимо любых байесовских соображений, рассматривая проблему формально как задачу оптимизации с ограничениями, при этом функционал энтропии является целевой функцией. Для случая данных средних значений в качестве проверяемой информации (усредненных по искомому распределению вероятностей), искомое распределение формально является распределением Гиббса (или Больцмана), параметры которого необходимо решить, чтобы достичь минимальной перекрестной энтропии и удовлетворить предоставленную проверяемую информацию.

Соответствие физике

Принцип максимальной энтропии имеет отношение к ключевому предположению кинетической теории газов, известному как молекулярный хаос или Stosszahlansatz . Это утверждает, что функция распределения, характеризующая частицы, вступающие в столкновение, может быть факторизована. Хотя это утверждение можно понимать как строго физическую гипотезу, его также можно интерпретировать как эвристическую гипотезу относительно наиболее вероятной конфигурации частиц перед столкновением.

См. также

• Информационный критерий Акаике
• Рассеяние
• Инфо-метрика
• Классификатор максимальной энтропии
• Распределение вероятностей максимальной энтропии
• Спектральная оценка максимальной энтропии
• Термодинамика максимальной энтропии
• Принцип максимального калибра
• Термодинамическое равновесие
• Молекулярный хаос

Ссылки

• Байкова А.Т. (1992). «Обобщение метода максимальной энтропии для восстановления сложных функций». Астрономические и астрофизические труды . 1 (4): 313–320. Бибкод : 1992A&AT....1..313B . дои : 10.1080/10556799208230532 .
• Форнальски, КВ; Пажич, Г.; Пылак, М.; Сатула, Д.; Добжинский, Л. (2010). «Применение байесовских рассуждений и метода максимальной энтропии к некоторым задачам реконструкции» (PDF) . Acta Physica Polonica А. 117 (6): 892–899. Бибкод : 2010AcPPA.117..892F . doi : 10.12693/APhysPolA.117.892 .
• Гиффин А. и Катича А., 2007 г., Обновление вероятностей с помощью данных и моментов.
• Гуиасу, С.; Шенитцер, А. (1985). «Принцип максимальной энтропии». Математический интеллект . 7 (1): 42–48. дои : 10.1007/bf03023004 . S2CID   53059968 .
• Харремоэс, П.; Топсе (2001). «Основы максимальной энтропии» . Энтропия . 3 (3): 191–226. Бибкод : 2001Entrp...3..191H . дои : 10.3390/e3030191 .
• Джейнс, ET (1963). «Теория информации и статистическая механика» . В Форде, К. (ред.). Статистическая физика . Нью-Йорк: Бенджамин. п. 181.
• Джейнс, ET, 1986 (новая онлайн-версия, 1996 г.), « Обезьяны, кенгуру и N », в книге «Максимальная энтропия и байесовские методы в прикладной статистике» , JH Justice (ред.), Cambridge University Press, Кембридж, стр. 26.
• Капур, Дж. Н.; и Кесаван, Гонконг , 1992, Принципы оптимизации энтропии с приложениями , Бостон: Academic Press. ISBN   0-12-397670-7
• Китамура, Ю., 2006, Методы эмпирического правдоподобия в эконометрике: теория и практика , Документы для обсуждения Фонда Коулза 1569, Фонд Коулза, Йельский университет.
• Лазарь, Н. (2003). «Байесовская эмпирическая вероятность». Биометрика . 90 (2): 319–326. дои : 10.1093/biomet/90.2.319 .
• Оуэн, А.Б., 2001, Эмпирическое правдоподобие , Чепмен и Холл/CRC. ISBN   1-58-488071-6 .
• Шеннах, С.М. (2005). «Байесовская эмпирическая вероятность с экспоненциальным наклоном». Биометрика . 92 (1): 31–46. дои : 10.1093/biomet/92.1.31 .
• Уффинк, Джос (1995). «Можно ли объяснить принцип максимальной энтропии как требование согласованности?» (PDF) . Исследования по истории и философии современной физики . 26Б (3): 223–261. Бибкод : 1995ШПМП..26..223У . CiteSeerX   10.1.1.27.6392 . дои : 10.1016/1355-2198(95)00015-1 . hdl : 1874/2649 . Архивировано из оригинала (PDF) 3 июня 2006 г.

Дальнейшее чтение

• Бойд, Стивен; Ливен Ванденберге (2004). Выпуклая оптимизация (PDF) . Издательство Кембриджского университета . п. 362. ИСБН  0-521-83378-7 . Проверено 24 августа 2008 г.
• Ратнапархи А. (1997) «Простое введение в модели максимальной энтропии для обработки естественного языка» , Технический отчет 97-08, Институт исследований в области когнитивных наук, Пенсильванский университет. Легко читаемое введение в методы максимальной энтропии в контексте обработки естественного языка.
• Тан, А.; Джексон, Д.; Хоббс, Дж.; Чен, В.; Смит, Дж. Л.; Патель, Х.; Прието, А.; Петрушка, Д.; Гривич, М.И.; Шер, А.; Хоттови, П.; Домбровский, В.; Литке А.М.; Беггс, Дж. М. (2008). «Модель максимальной энтропии, применяемая к пространственным и временным корреляциям корковых сетей in vitro» . Журнал неврологии . 28 (2): 505–518. doi : 10.1523/JNEUROSCI.3359-07.2008 . ПМК   6670549 . ПМИД   18184793 . Статья в открытом доступе, содержащая указатели на различные статьи и программные реализации модели максимальной энтропии в сети.