Приближение Кирквуда

Приближение суперпозиции Кирквуда было введено в 1935 году Джоном Г. Кирквудом как средство представления дискретного распределения вероятностей . Приближение Кирквуда для дискретной функции плотности вероятности $P(x_{1},x_{2},\ldots ,x_{n})$ дается

$P^{\prime }(x_{1},x_{2},\ldots ,x_{n})=\prod _{i=1}^{n-1}\left[\prod _{{\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})\right]^{(-1)^{n-1-i}}={\frac {\prod _{{\mathcal {T}}_{n-1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-1})}{\frac {\prod _{{\mathcal {T}}_{n-2}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-2})}{\frac {\vdots }{\prod _{{\mathcal {T}}_{1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{1})}}}}$

где

$\prod _{{\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})$

- это произведение вероятностей по всем подмножествам переменных размера i в наборе переменных. $\scriptstyle {\mathcal {V}}$. Формулы такого рода рассматривались Ватанабэ (1960), а также, по словам Ватанабэ, Робертом Фано. Для случая трех переменных это сводится к простому

$P^{\prime }(x_{1},x_{2},x_{3})={\frac {p(x_{1},x_{2})p(x_{2},x_{3})p(x_{1},x_{3})}{p(x_{1})p(x_{2})p(x_{3})}}$

Приближение Кирквуда, как правило, не дает правильного распределения вероятностей (нарушается условие нормировки). Ватанабэ утверждает, что по этой причине информационные выражения такого типа не имеют смысла, да и о свойствах этой меры написано очень мало. Приближение Кирквуда является вероятностным аналогом информации о взаимодействии .

Джудея Перл (1988, §3.2.4) указывает, что выражение этого типа может быть точным в случае разложимой модели, то есть распределения вероятностей, которое допускает графовую структуру, клики которой образуют дерево . В таких случаях числитель содержит произведение совместных распределений внутри клики, а знаменатель содержит произведение распределений пересечения клик.

Ссылки

• Якулин А. и Братко И. (2004), Количественная оценка и визуализация взаимодействий атрибутов: подход, основанный на энтропии, Журнал исследований машинного обучения , (представлено), стр. 38–43.
• Мацуда, Хироюки (1 сентября 2000 г.). «Физическая природа взаимной информации высшего порядка: внутренние корреляции и разочарование». Физический обзор E . 62 (3). Американское физическое общество (APS): 3096–3102. Бибкод : 2000PhRvE..62.3096M . дои : 10.1103/physreve.62.3096 . ISSN   1063-651X . ПМИД   11088803 .
• Перл, Дж. (1988). Вероятностные рассуждения в интеллектуальных системах: сети правдоподобных выводов . Сан-Матео, Калифорния: Морган Кауфманн/Эльзевир. дои : 10.1016/c2009-0-27609-4 . ISBN  978-0-08-051489-5 .
• Ватанабэ, Сатоси (1960). «Информационно-теоретический анализ многомерной корреляции». Журнал исследований и разработок IBM . 4 (1). ИБМ: 66–82. дои : 10.1147/рд.41.0066 . ISSN   0018-8646 .