Взаимная информация

Диаграмма Венна, показывающая аддитивные и вычитающие отношения различных информационных мер, связанных с коррелирующими переменными. $X$ и $Y$ . ^[1] Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию. $\mathrm {H} (X,Y)$ . Круг слева (красный и фиолетовый) — это индивидуальная энтропия. $\mathrm {H} (X)$ , где красный цвет — условная энтропия $\mathrm {H} (X\mid Y)$ . Круг справа (синий и фиолетовый) $\mathrm {H} (Y)$ , с синим существом $\mathrm {H} (Y\mid X)$ . Фиолетовый – это взаимная информация $\operatorname {I} (X;Y)$ .

В теории вероятностей и теории информации взаимная информация ( MI ) двух случайных величин является мерой взаимной зависимости между двумя переменными. Точнее, он количественно определяет « объем информации » (в таких единицах , как Шенноны ( биты ), натс или хартли ), полученный об одной случайной величине путем наблюдения за другой случайной величиной. Концепция взаимной информации тесно связана с концепцией энтропии случайной величины, фундаментальным понятием теории информации, которое количественно определяет ожидаемое «объем информации», содержащейся в случайной величине.

Не ограничиваясь вещественными случайными величинами и линейной зависимостью, такой как коэффициент корреляции , MI является более общим и определяет, насколько различно совместное распределение пары. $(X,Y)$ является продуктом предельных распределений $X$ и $Y$ . MI — это ожидаемое значение точечной взаимной информации (PMI).

Величина была определена и проанализирована Клодом Шенноном в его знаковой статье « Математическая теория связи », хотя он и не называл ее «взаимной информацией». Этот термин был придуман позже Робертом Фано . ^[2] Взаимная информация также известна как получение информации .

Определение [ править ]

Позволять $(X,Y)$ быть парой случайных величин со значениями в пространстве ${\mathcal {X}}\times {\mathcal {Y}}$ . Если их совместное распределение $P_{(X,Y)}$ и предельные распределения $P_{X}$ и $P_{Y}$ , взаимная информация определяется как

$I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y})$

где $D_{\mathrm {KL} }$ – расходимость Кульбака–Лейблера и $P_{X}\otimes P_{Y}$ - это внешнее распределение продукта , которое определяет вероятность $P_{X}(x)\cdot P_{Y}(y)$ для каждого $(x,y)$ .

Обратите внимание, что согласно свойству расхождения Кульбака – Лейблера , что $I(X;Y)$ равно нулю именно тогда, когда совместное распределение совпадает с произведением маргиналов, т. е. когда $X$ и $Y$ независимы (и, следовательно, наблюдают $Y$ ничего не говорит вам о $X$ ). $I(X;Y)$ неотрицательен, это мера стоимости кодирования $(X,Y)$ как пара независимых случайных величин, хотя на самом деле это не так.

Если используется натуральный логарифм , единицей взаимной информации является nat . Если используется логарифмическая база 2, единицей взаимной информации является шеннон , также известный как бит. Если используется база журнала 10, единицей взаимной информации является хартли , также известный как запрет или dit.

С точки зрения PMF распределений для дискретных

Взаимная информация двух совместно дискретных случайных величин $X$ и $Y$ рассчитывается как двойная сумма: ^[3]^: 20

\operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{P_{(X,Y)}(x,y)\log \left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)},

( Уравнение 1 )

где $P_{(X,Y)}$ - вероятности массовая функция совместная $X$ и $Y$ , и $P_{X}$ и $P_{Y}$ являются вероятности маргинальными массовыми функциями $X$ и $Y$ соответственно.

Что касается PDF-файлов для непрерывного распространения [ править ]

В случае совместно непрерывных случайных величин двойная сумма заменяется двойным интегралом : ^[3]^: 251

\operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy,

( Уравнение 2 )

где $P_{(X,Y)}$ теперь это совместная плотности вероятности функция $X$ и $Y$ , и $P_{X}$ и $P_{Y}$ являются маргинальными функциями плотности вероятности $X$ и $Y$ соответственно.

Мотивация [ править ]

Интуитивно, взаимная информация измеряет информацию, которая $X$ и $Y$ доля: он измеряет, насколько знание одной из этих переменных снижает неопределенность в отношении другой. Например, если $X$ и $Y$ независимы, то зная $X$ не дает никакой информации о $Y$ и наоборот, поэтому их взаимная информация равна нулю. Другая крайность, если $X$ является детерминированной функцией $Y$ и $Y$ является детерминированной функцией $X$ тогда вся информация, передаваемая $X$ делится с $Y$ : зная $X$ определяет ценность $Y$ и наоборот. В результате в этом случае взаимная информация такая же, как и неопределенность, содержащаяся в $Y$ (или $X$ ), а энтропия именно $Y$ (или $X$ ). Более того, эта взаимная информация такая же, как энтропия $X$ и как энтропия $Y$ . (Особый случай – это когда $X$ и $Y$ это одна и та же случайная величина.)

Взаимная информация является мерой внутренней зависимости, выражающейся в распределении совместном $X$ и $Y$ относительно предельного распределения $X$ и $Y$ в условиях независимости. Таким образом, взаимная информация измеряет зависимость в следующем смысле: $\operatorname {I} (X;Y)=0$ если и только если $X$ и $Y$ являются независимыми случайными величинами. Это легко увидеть в одном направлении: если $X$ и $Y$ независимы, то $p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)$ , и поэтому:

\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}=\log 1=0.

Более того, взаимная информация неотрицательна (т.е. $\operatorname {I} (X;Y)\geq 0$ см. ниже) и симметричные (т.е. $\operatorname {I} (X;Y)=\operatorname {I} (Y;X)$ см. ниже).

Свойства [ править ]

Неотрицательность [ править ]

Используя неравенство Йенсена для определения взаимной информации, мы можем показать, что $\operatorname {I} (X;Y)$ неотрицательен, т.е. ^[3]^: 28

\operatorname {I} (X;Y)\geq 0

Симметрия [ править ]

\operatorname {I} (X;Y)=\operatorname {I} (Y;X)

Доказательство дается с учетом связи с энтропией, как показано ниже.

Супермодульность независимости при

Если $C$ не зависит от $(A,B)$ , затем

\operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)

. ^[4]

Связь с условной энтропией и совместной

Взаимную информацию можно эквивалентно выразить как:

{\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}

где $\mathrm {H} (X)$ и $\mathrm {H} (Y)$ - предельные энтропии , $\mathrm {H} (X\mid Y)$ и $\mathrm {H} (Y\mid X)$ — условные энтропии , а $\mathrm {H} (X,Y)$ это энтропия совместная $X$ и $Y$ .

Обратите внимание на аналогию с объединением, разностью и пересечением двух множеств: в этом отношении все приведенные выше формулы очевидны из диаграммы Венна, приведенной в начале статьи.

С точки зрения канала связи, в котором выход $Y$ это шумная версия ввода $X$ , эти отношения суммированы на рисунке:

Отношения между теоретико-информационными величинами

Потому что $\operatorname {I} (X;Y)$ неотрицательна, следовательно, $\mathrm {H} (X)\geq \mathrm {H} (X\mid Y)$ . Здесь мы даем подробный вывод $\operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)$ для случая совместно дискретных случайных величин:

{\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}

Доказательства остальных приведенных выше тождеств аналогичны. Доказательство общего случая (а не только дискретного) аналогично, с заменой сумм интегралами.

Интуитивно, если энтропия $\mathrm {H} (Y)$ рассматривается как мера неопределенности относительно случайной величины, тогда $\mathrm {H} (Y\mid X)$ является мерой того, что $X$ не говорит о $Y$ . Это «количество неопределенностей, остающихся относительно $Y$ после $X$ известна», и, таким образом, правую часть второго из этих равенств можно прочитать как «количество неопределенности в $Y$ , минус количество неопределенности в $Y$ что остается после $X$ известно», что эквивалентно «объему неопределенности в $Y$ который удаляется знанием $X$ «. Это подтверждает интуитивное значение взаимной информации как количества информации (то есть уменьшения неопределенности), которую знание одной переменной дает о другой.

Заметим, что в дискретном случае $\mathrm {H} (Y\mid Y)=0$ и поэтому $\mathrm {H} (Y)=\operatorname {I} (Y;Y)$ . Таким образом $\operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)$ , и можно сформулировать основной принцип, согласно которому переменная содержит по крайней мере столько же информации о себе, сколько может предоставить любая другая переменная.

с расхождением Кульбака Лейблера Связь –

Для совместно дискретных или совместно непрерывных пар $(X,Y)$ , взаимная информация – это расхождение Кульбака – Лейблера от произведения маргинальных распределений , $p_{X}\cdot p_{Y}$ , совместного распределения $p_{(X,Y)}$ , то есть,

$\operatorname {I} (X;Y)=D_{\text{KL}}\left(p_{(X,Y)}\parallel p_{X}p_{Y}\right)$

Кроме того, пусть $p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)$ быть условной функцией массы или плотности. Тогда мы имеем тождество

$\operatorname {I} (X;Y)=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right]$

Доказательство для совместно дискретных случайных величин выглядит следующим образом:

{\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}

Аналогично это тождество можно установить и для совместно непрерывных случайных величин.

Заметим, что здесь расхождение Кульбака–Лейблера предполагает интегрирование по значениям случайной величины $X$ только и выражение $D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})$ по-прежнему обозначает случайную величину, поскольку $Y$ является случайным. Таким образом, взаимную информацию можно также понимать как ожидание расхождения Кульбака – Лейблера одномерного распределения. $p_{X}$ из $X$ из условного распределения $p_{X\mid Y}$ из $X$ данный $Y$ : чем больше различаются распределения $p_{X\mid Y}$ и $p_{X}$ в среднем, тем больше прирост информации .

оценка информации Байесовская взаимной

Если доступны выборки из совместного распределения, для оценки взаимной информации этого распределения можно использовать байесовский подход. Это была первая работа, которая также показала, как выполнять байесовскую оценку многих других теоретико-информационных свойств, помимо взаимной информации. ^[5] Последующие исследователи восстановили ^[6] и расширен ^[7]этот анализ. Видеть ^[8]за недавнюю статью, основанную на предшествующих исследованиях, специально предназначенных для оценки взаимной информация сама по себе. Кроме того, недавно появился метод оценки, учитывающий непрерывные и многомерные результаты, $Y$ , было предложено в . ^[9]

Предположения о независимости

Формулировка взаимной информации о дивергенции Кульбака-Лейблера основана на том, что человек заинтересован в сравнении $p(x,y)$ к полностью факторизованному внешнему продукту $p(x)\cdot p(y)$ . Во многих задачах, таких как факторизация неотрицательной матрицы , интересны менее экстремальные факторизации; в частности, хочется сравнить $p(x,y)$ к аппроксимации матрицы низкого ранга с некоторой неизвестной переменной $w$ ; то есть в какой степени можно иметь

p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)

С другой стороны, может быть интересно узнать, сколько еще информации $p(x,y)$ переносит его факторизацию. В таком случае избыточная информация, которую может обеспечить полное распространение $p(x,y)$ переносит матричную факторизацию, определяется расхождением Кульбака-Лейблера

\operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},

Традиционное определение взаимной информации восстанавливается в крайнем случае, когда процесс $W$ имеет только одно значение для $w$ .

Вариации [ править ]

Для удовлетворения различных потребностей было предложено несколько вариантов взаимной информации. Среди них есть нормализованные варианты и обобщения для более чем двух переменных.

Метрика [ править ]

Многие приложения требуют метрики , то есть меры расстояния между парами точек. Количество

{\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\\&=2\mathrm {H} (X,Y)-\mathrm {H} (X)-\mathrm {H} (Y)\end{aligned}}

удовлетворяет свойствам метрики ( неравенство треугольника , неотрицательность , неразличимость и симметрия), где равенство $X=Y$ понимается, что это означает, что $X$ можно полностью определить из $Y$ ^[10].

Этот показатель расстояния также известен как изменение информации .

Если $X,Y$ являются дискретными случайными величинами, то все энтропийные члены неотрицательны, поэтому $0\leq d(X,Y)\leq \mathrm {H} (X,Y)$ и можно определить нормированное расстояние

D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.

Метрика $D$ является универсальной метрикой, поскольку, если какая-либо другая мера расстояния помещает $X$ и $Y$ рядом, то $D$ также будет судить их близко. ^[11]^{[ сомнительно – обсудить ]}

Подстановка определений показывает, что

D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.

Это известно как расстояние Райского. ^[12] В теоретико-множественной интерпретации информации (см. рисунок « Условная энтропия ») это фактически расстояние Жаккара между $X$ и $Y$ .

Окончательно,

D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}

это тоже показатель.

Условная взаимная информация [ править ]

Иногда полезно выразить взаимную информацию двух случайных величин, обусловленную третьей.

$\operatorname {I} (X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]$

Для совместно дискретных случайных величин это принимает вид

\operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},

который можно упростить как

\operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.

Для совместно непрерывных случайных величин это имеет вид

\operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,

который можно упростить как

\operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.

Обуславливание третьей случайной величиной может либо увеличить, либо уменьшить взаимную информацию, но всегда верно, что

\operatorname {I} (X;Y|Z)\geq 0

для дискретных, совместно распределенных случайных величин $X,Y,Z$ . Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации .

Информация о взаимодействии [ править ]

Было предложено несколько обобщений взаимной информации на более чем две случайные величины, такие как полная корреляция (или мультиинформация) и двойная полная корреляция . Выражение и изучение многомерной взаимной информации более высокого уровня было достигнуто в двух, казалось бы, независимых работах: МакГилл (1954). ^[13] который назвал эти функции «информацией о взаимодействии», и Ху Го Тин (1962). ^[14] Информация о взаимодействии определяется для одной переменной следующим образом:

\operatorname {I} (X_{1})=\mathrm {H} (X_{1})

и для $n>1,$

\operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}).

Некоторые авторы меняют порядок членов в правой части предыдущего уравнения, что меняет знак, когда число случайных величин нечетное. (И в этом случае выражение с одной переменной становится отрицательным значением энтропии.) Обратите внимание, что

I(X_{1};\ldots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n-1}\mid X_{n}})].

независимость Многомерная статистическая

Многомерные функции взаимной информации обобщают случай попарной независимости, который утверждает, что $X_{1},X_{2}$ если и только если $I(X_{1};X_{2})=0$ , к произвольной многочисленной переменной. n переменных взаимно независимы тогда и только тогда, когда $2^{n}-n-1$ функции взаимной информации исчезают $I(X_{1};\ldots ;X_{k})=0$ с $n\geq k\geq 2$ (теорема 2 ^[15]). В этом смысле $I(X_{1};\ldots ;X_{k})=0$ может использоваться как уточненный критерий статистической независимости.

Приложения [ править ]

Для трех переменных Brenner et al. применил многомерную взаимную информацию к нейронному кодированию и назвал ее негативность «синергией». ^[16]и Уоткинсон и др. применил его к генетическому выражению. ^[17]Для произвольных k переменных Tapia et al. применил многомерную взаимную информацию к экспрессии генов. ^[18]^[15] Оно может быть нулевым, положительным или отрицательным. ^[14] Положительное значение соответствует отношениям, обобщающим парные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательное значение обнаруживает многомерные «новые» отношения и кластеризованные точки данных. ^[18]).

Было обнаружено, что одна схема многомерного обобщения, которая максимизирует взаимную информацию между совместным распределением и другими целевыми переменными, полезна при выборе признаков . ^[19]

Взаимная информация также используется в области обработки сигналов как мера сходства между двумя сигналами. Например, метрика FMI ^[20]— это показатель производительности объединения изображений, который использует взаимную информацию для измерения объема информации, содержащейся в объединенном изображении об исходных изображениях. Код Matlab для этой метрики можно найти по адресу. ^[21] Доступен пакет Python для вычисления всей многомерной взаимной информации, условной взаимной информации, совместной энтропии, общих корреляций, информационного расстояния в наборе данных из n переменных. ^[22]

Направленная информация [ править ]

Направленная информация , $\operatorname {I} \left(X^{n}\to Y^{n}\right)$ , измеряет количество информации, поступающей от процесса $X^{n}$ к $Y^{n}$ , где $X^{n}$ обозначает вектор $X_{1},X_{2},...,X_{n}$ и $Y^{n}$ обозначает $Y_{1},Y_{2},...,Y_{n}$ . Термин « направленная информация» был придуман Джеймсом Мэсси и определяется как

\operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)

.

Обратите внимание, что если $n=1$ , направленная информация становится взаимной информацией. Направленная информация имеет множество применений в задачах, где причинно-следственная связь играет важную роль, например, пропускная способность канала с обратной связью. ^[23]^[24]

Нормализованные варианты [ править ]

Нормализованные варианты взаимной информации обеспечиваются коэффициентами ограничения , ^[25] коэффициент неопределенности ^[26] или умение: ^[27]

C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.

Два коэффициента имеют значения в пределах [0, 1], но не обязательно равны. Эта мера не симметрична. Если кто-то желает симметричной меры, он может рассмотреть следующую меру избыточности :

R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}

который достигает минимума нуля, когда переменные независимы, и максимального значения

R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}

когда одна переменная становится совершенно избыточной при знании другой. См. также Избыточность (теория информации) .

Другой симметричной мерой является симметричная неопределенность ( Witten & Frank 2005 ), определяемая формулой

U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}

которое представляет собой среднее гармоническое двух коэффициентов неопределенности $C_{XY},C_{YX}$ . ^[26]

Если мы рассматриваем взаимную информацию как частный случай полной корреляции или двойной полной корреляции , нормализованная версия соответственно равна

{\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}

и

{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.

Эта нормализованная версия, также известная как коэффициент качества информации (IQR) , определяет количество информации о переменной на основе другой переменной с учетом полной неопределенности: ^[28]

IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1

Есть нормализация ^[29]который вытекает из первоначального рассмотрения взаимной информации как аналога ковариации (таким образом, энтропия Шеннона аналогична дисперсии ). Затем рассчитывается нормализованная взаимная информация, аналогичная коэффициенту корреляции Пирсона ,

{\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.

Взвешенные варианты [ править ]

В традиционной формулировке взаимной информации

\operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},

каждое событие или объект , указанный $(x,y)$ взвешивается соответствующей вероятностью $p(x,y)$ . Это предполагает, что все объекты или события эквивалентны, за исключением вероятности их возникновения. Однако в некоторых приложениях может случиться так, что определенные объекты или события более значимы , чем другие, или что определенные шаблоны ассоциаций более семантически важны, чем другие.

Например, детерминированное отображение $\{(1,1),(2,2),(3,3)\}$ можно рассматривать как более сильное, чем детерминированное отображение $\{(1,3),(2,1),(3,2)\}$ , хотя эти отношения дадут одну и ту же взаимную информацию. Это происходит потому, что взаимная информация совершенно не чувствительна к какому-либо внутреннему порядку значений переменных ( Cronbach 1954 , Coombs, Dawes & Tversky 1970 , Lockhead 1970 ) и, следовательно, совершенно не чувствительна к форме реляционного отображения между связанные переменные. Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, оценивалось сильнее, чем более позднее отношение, то можно использовать следующую взвешенную взаимную информацию ( Guiasu 1977 ).

\operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},

что накладывает вес $w(x,y)$ от вероятности совместного появления значений каждой переменной, $p(x,y)$ . Это позволяет некоторым вероятностям иметь большее или меньшее значение, чем другие, тем самым позволяя количественно оценить соответствующие целостные факторы или факторы Прегнанца . В приведенном выше примере использование больших относительных весов для $w(1,1)$ , $w(2,2)$ , и $w(3,3)$ будет иметь эффект оценки большей информативности отношения $\{(1,1),(2,2),(3,3)\}$ чем для отношения $\{(1,3),(2,1),(3,2)\}$ , что может быть желательно в некоторых случаях распознавания образов и т.п. Эта взвешенная взаимная информация представляет собой форму взвешенной KL-дивергенции, которая, как известно, принимает отрицательные значения для некоторых входных данных. ^[30] и есть примеры, когда взвешенная взаимная информация также принимает отрицательные значения. ^[31]

взаимная информация Скорректированная

Распределение вероятностей можно рассматривать как часть множества . Тогда можно задаться вопросом: если бы множество было разделено случайным образом, каково было бы распределение вероятностей? Какова будет ожидаемая ценность взаимной информации? Скорректированная взаимная информация или AMI вычитает математическое ожидание MI, так что AMI равен нулю, когда два разных распределения являются случайными, и единице, когда два распределения идентичны. AMI определяется по аналогии с скорректированным индексом Рэнда двух разных разделов набора.

Абсолютная взаимная информация [ править ]

Используя идеи колмогоровской сложности , можно рассматривать взаимную информацию двух последовательностей независимо от какого-либо распределения вероятностей:

\operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).

Установить, что эта величина симметрична с точностью до логарифмического множителя ( $\operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)$ ) требуется цепное правило для колмогоровской сложности ( Li & Vitány 1997 ). Аппроксимация этой величины посредством сжатия может использоваться для определения меры расстояния для выполнения иерархической кластеризации последовательностей без каких-либо знаний предметной области последовательностей ( Cilibrasi & Vitány 2005 ).

Линейная корреляция

В отличие от коэффициентов корреляции, таких как коэффициент корреляции момента произведения , взаимная информация содержит информацию обо всех зависимостях — линейных и нелинейных, а не только о линейной зависимости, как измеряет коэффициент корреляции. Однако в узком случае, когда совместное распределение $X$ и $Y$ является двумерным нормальным распределением (подразумевается, в частности, что оба маргинальных распределения нормально распределены), существует точная связь между $\operatorname {I}$ и коэффициент корреляции $\rho$ ( Гельфанд и Яглом 1957 ).

\operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)

Приведенное выше уравнение для двумерной гауссианы можно вывести следующим образом:

{\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}

Поэтому,

\operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)

Для дискретных данных [ править ]

Когда $X$ и $Y$ ограничены дискретным числом состояний, данные наблюдения суммируются в таблице непредвиденных обстоятельств с переменной строки $X$ (или $i$ ) и переменная столбца $Y$ (или $j$ ). Взаимная информация — это одна из мер связи или корреляции между переменными строки и столбца.

Другие меры связи включают статистику критерия хи-квадрат Пирсона , статистику G-теста и т. д. Фактически, при той же логарифмической базе взаимная информация будет равна логарифмической статистике правдоподобия G-теста , разделенной на $2N$ , где $N$ это размер выборки.

Приложения [ править ]

Во многих приложениях требуется максимизировать взаимную информацию (таким образом увеличивая зависимости), что часто эквивалентно минимизации условной энтропии . Примеры включают в себя:

В технологии поисковых систем взаимная информация между фразами и контекстами используется как функция кластеризации k-средних для обнаружения семантических кластеров (понятий). ^[32] Например, взаимная информация биграммы может быть рассчитана как:

$MI(x,y)=\log {\frac {P_{X,Y}(x,y)}{P_{X}(x)P_{Y}(y)}}\approx \log {\frac {\frac {f_{XY}}{B}}{{\frac {f_{X}}{U}}{\frac {f_{Y}}{U}}}}$

где

f_{XY}

это количество раз, когда биграмма xy появляется в корпусе,

f_{X}

— это количество раз, когда униграмма x появляется в корпусе, B — общее количество биграмм, а U — общее количество униграмм. ^[32]

В телекоммуникациях равна пропускная способность канала взаимной информации, максимальной по всем входным распределениям.
процедуры дискриминационного обучения для скрытых марковских моделей Были предложены на основе критерия максимальной взаимной информации (MMI).
вторичной структуры РНК Предсказание на основе множественного выравнивания последовательностей .
Прогнозирование филогенетического профилирования на основе парного присутствия и исчезновения функционально связанных генов .
Взаимная информация использовалась в качестве критерия для выбора функций и преобразований функций в машинном обучении . Его можно использовать для характеристики как релевантности, так и избыточности переменных, например, выбора функции минимальной избыточности .
Взаимная информация используется для определения сходства двух разных кластеризаций набора данных. Таким образом, он дает некоторые преимущества перед традиционным индексом Рэнда .
Взаимная информация слов часто используется как функция значимости для вычисления словосочетаний в корпусной лингвистике . Это имеет дополнительную сложность, поскольку ни один экземпляр слова не является экземпляром двух разных слов; скорее, подсчитываются случаи, когда два слова встречаются рядом или в непосредственной близости; это несколько усложняет расчет, поскольку ожидаемая вероятность появления одного слова внутри $N$ слова другого, поднимается вместе с $N$
Взаимная информация используется в медицинской визуализации для регистрации изображений . Учитывая эталонное изображение (например, сканирование мозга) и второе изображение, которое необходимо поместить в ту же систему координат , что и эталонное изображение, это изображение деформируется до тех пор, пока взаимная информация между ним и эталонным изображением не будет максимальной.
Обнаружение фазовой синхронизации при анализе временных рядов .
В методе Infomax для нейронных сетей и другого машинного обучения, включая основанный на Infomax анализа независимых компонентов . алгоритм
Средняя взаимная информация в теореме о внедрении задержки используется для определения параметра задержки внедрения .
Взаимная информация между генами в данных экспрессионного микрочипа используется алгоритмом ARACNE для реконструкции генных сетей .
В статистической механике может парадокс Лошмидта быть выражен в терминах взаимной информации. ^[33]^[34]Лошмидт отмечал, что невозможно определить физический закон, лишенный симметрии обращения времени (например, второй закон термодинамики ), только на основе физических законов, обладающих такой симметрией. Он отметил, что H-теорема Больцмана . предполагает, что скорости частиц в газе постоянно некоррелированы, что устраняет временную симметрию, присущую H-теореме Можно показать, что если система описывается плотностью вероятности в фазовом пространстве , то теорема Лиувилля подразумевает, что совместная информация (отрицательная от совместной энтропии) распределения остается постоянной во времени. Совместная информация равна взаимной информации плюс сумме всей предельной информации (отрицательной от предельной энтропии) для каждой координаты частицы. Предположение Больцмана сводится к игнорированию взаимной информации при вычислении энтропии, что дает термодинамическую энтропию (деленную на константу Больцмана).
В случайных процессах, связанных с изменением окружающей среды, взаимная информация может использоваться для распутывания внутренних и эффективных зависимостей от окружающей среды. ^[35]^[36] Это особенно полезно, когда физическая система претерпевает изменения в параметрах, описывающих ее динамику, например, при изменении температуры.
Взаимная информация используется для изучения структуры байесовских сетей / динамических байесовских сетей , которые, как полагают, объясняют причинно-следственную связь между случайными величинами, на примере набора инструментов GlobalMIT: ^[37] изучение глобально оптимальной динамической байесовской сети с критерием взаимного информационного теста.
Взаимная информация используется для количественной оценки информации, передаваемой во время процедуры обновления в алгоритме выборки Гиббса . ^[38]
Популярная функция стоимости в обучении дерева решений .
Взаимная информация используется в космологии для проверки влияния крупномасштабной среды на свойства галактик в Галактическом зоопарке .
Взаимная информация использовалась в физике Солнца для получения профиля дифференциального вращения Солнца , карты отклонения времени пробега солнечных пятен и диаграммы время-расстояние на основе измерений спокойного Солнца. ^[39]
Используется в кластеризации инвариантной информации для автоматического обучения классификаторов нейронных сетей и сегментаторов изображений при отсутствии помеченных данных. ^[40]
в стохастических динамических системах с несколькими временными масштабами взаимная информация фиксирует функциональные связи между различными временными масштабами. Было показано, что ^[41] Важно отметить, что было показано, что физические взаимодействия могут вызывать или не вызывать взаимную информацию, в зависимости от типичного временного масштаба их динамики.

См. также [ править ]

Примечания [ править ]

^ Обложка, Томас М.; Томас, Джой А. (2005). Элементы теории информации (PDF) . John Wiley & Sons, Ltd., стр. 13–55. ISBN 9780471748823 .
^ Креер, Дж. Г. (1957). «Вопрос терминологии». IRE Транзакции по теории информации . 3 (3): 208. doi : 10.1109/TIT.1957.1057418 .
^ Перейти обратно: ^а ^б ^с Обложка, ТМ; Томас, Дж. А. (1991). Элементы теории информации (изд. Уайли). Джон Уайли и сыновья. ISBN 978-0-471-24195-9 .
^ Янссен, Джозеф; Гуан, Винсент; Робева, Элина (2023). «Сверхпредельная важность признаков: обучение на основе данных с причинно-следственными гарантиями» . Международная конференция по искусственному интеллекту и статистике : 10782–10814. arXiv : 2204.09938 .
^ Вулперт, Д.Х.; Вольф, ДР (1995). «Оценочные функции вероятностных распределений по конечному набору выборок». Физический обзор E . 52 (6): 6841–6854. Бибкод : 1995PhRvE..52.6841W . CiteSeerX 10.1.1.55.7122 . дои : 10.1103/PhysRevE.52.6841 . ПМИД 9964199 . S2CID 9795679 .
^ Хаттер, М. (2001). «Распространение взаимной информации». Достижения в области нейронных систем обработки информации .
^ Арчер, Э.; Парк, ИМ; Подушка, Дж. (2013). «Байесовские и квазибайесовские средства оценки взаимной информации из дискретных данных» . Энтропия . 15 (12): 1738–1755. Бибкод : 2013Entrp..15.1738A . CiteSeerX 10.1.1.294.4690 . дои : 10.3390/e15051738 .
^ Вулперт, Д.Х.; ДеДео, С. (2013). «Оценочные функции распределений, определенных в пространствах неизвестного размера» . Энтропия . 15 (12): 4668–4699. arXiv : 1311.4548 . Бибкод : 2013Entrp..15.4668W . дои : 10.3390/e15114668 . S2CID 2737117 .
^ Томаш Йетка; Кароль Ниенальтовский; Томаш Винарски; Славомир Блонский; Михал Коморовски (2019), «Информационный теоретический анализ многомерных одноклеточных сигнальных ответов», PLOS Computational Biology , 15 (7): E1007132, ARXIV : 1808.05581 , Bibcode : 2019plscb..15e7132j , doi : 10.1371/journal.pcbi. 1007132 , ПМК 6655862 , ПМИД 31299056
^ Райски, К. (1961). «Метрическое пространство дискретных распределений вероятностей». Информация и контроль . 4 (4): 371–377. дои : 10.1016/S0019-9958(61)80055-7 .
^ Красков, Александр; Стёгбауэр, Харальд; Анджейак, Ральф Г.; Грассбергер, Питер (2003). «Иерархическая кластеризация на основе взаимной информации». arXiv : q-bio/0311039 . Бибкод : 2003q.bio....11039K . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Райски, К. (1961). «Метрическое пространство дискретных распределений вероятностей». Информация и контроль . 4 (4): 371–377. дои : 10.1016/S0019-9958(61)80055-7 .
^ МакГилл, В. (1954). «Многовариантная передача информации». Психометрика . 19 (1): 97–116. дои : 10.1007/BF02289159 . S2CID 126431489 .
^ Перейти обратно: ^а ^б Ху, КТ (1962). «Об объеме информации». Теория вероятностей. Приложение . 7 (4): 439–447. дои : 10.1137/1107041 .
^ Перейти обратно: ^а ^б Бодо, П.; Тапиа, М.; Беннекен, Д.; Гоайяр, JM (2019). «Анализ топологической информации» . Энтропия . 21 (9). 869. arXiv : 1907.04242 . Бибкод : 2019Entrp..21..869B . дои : 10.3390/e21090869 . ПМЦ 7515398 . S2CID 195848308 .
^ Бреннер, Н.; Стронг, С.; Коберле, Р.; Бялек, В. (2000). «Синергия в нейронном коде». Нейронный компьютер . 12 (7): 1531–1552. дои : 10.1162/089976600300015259 . ПМИД 10935917 . S2CID 600528 .
^ Уоткинсон, Дж.; Лян, К.; Ван, X.; Чжэн, Т.; Анастасиу, Д. (2009). «Вывод о регуляторных взаимодействиях генов на основе данных экспрессии с использованием трехсторонней взаимной информации». Чэлл. Сист. Биол. Анна. Н-Й акад. Наука . 1158 (1): 302–313. Бибкод : 2009NYASA1158..302W . дои : 10.1111/j.1749-6632.2008.03757.x . ПМИД 19348651 . S2CID 8846229 .
^ Перейти обратно: ^а ^б Тапиа, М.; Бодо, П.; Формизано-Трезины, К.; Дюфур, М.; Гоайяр, JM (2018). «Идентификация нейротрансмиттера и электрофизиологический фенотип генетически связаны в дофаминергических нейронах среднего мозга» . наук. Представитель . 8 (1): 13637. Бибкод : 2018NatSR...813637T . дои : 10.1038/s41598-018-31765-z . ПМК 6134142 . ПМИД 30206240 .
^ Кристофер Д. Мэннинг; Прабхакар Рагхаван; Хинрих Шютце (2008). Введение в поиск информации . Издательство Кембриджского университета . ISBN 978-0-521-86571-5 .
^ Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 .
^ «Метрика Feature Mutual Information (FMI) для слияния неэталонных изображений - Обмен файлами - MATLAB Central» . www.mathworks.com . Проверено 4 апреля 2018 г.
^ «InfoTopo: Анализ данных топологической информации. Глубокое статистическое обучение без и с учителем — Обмен файлами — Github» . github.com/pierrebaudot/infotopopy/ . Проверено 26 сентября 2020 г.
^ Мэсси, Джеймс (1990). «Причинность, обратная связь и направленная информация». Учеб. 1990 Международный. Симп. на Инфо. Т.е. и его приложения, Вайкики, Гавайи, 27-30 ноября 1990 г. CiteSeerX 10.1.1.36.5688 .
^ Пермутер, Хаим Генри; Вайсман, Цахи; Голдсмит, Андреа Дж. (февраль 2009 г.). «Каналы конечных состояний с инвариантной во времени детерминированной обратной связью». Транзакции IEEE по теории информации . 55 (2): 644–662. arXiv : cs/0608070 . дои : 10.1109/TIT.2008.2009849 . S2CID 13178 .
^ Кумбс, Дауэс и Тверски 1970 .
^ Перейти обратно: ^а ^б Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, BP (2007). «Раздел 14.7.3. Условная энтропия и взаимная информация» . Численные рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8 . Архивировано из оригинала 11 августа 2011 г. Проверено 13 августа 2011 г.
^ Уайт, Джим; Стейнгольд, Сэм; Фурнель, Конни. Показатели производительности алгоритмов группового обнаружения (PDF) . Интерфейс 2004. Архивировано из оригинала (PDF) 5 июля 2016 г. Проверено 19 февраля 2014 г.
^ Виджая, Деди Рахман; Сарно, Рианарто; Зулайка, Энни (2017). «Коэффициент качества информации как новый показатель для выбора исходного вейвлета». Хемометрика и интеллектуальные лабораторные системы . 160 : 59–71. дои : 10.1016/j.chemolab.2016.11.012 .
^ Штрель, Александр; Гош, Джойдип (2003). «Кластерные ансамбли — структура повторного использования знаний для объединения нескольких разделов» (PDF) . Журнал исследований машинного обучения . 3 : 583–617. дои : 10.1162/153244303321897735 .
^ Кволсет, Т.О. (1991). «Относительная мера полезной информации: некоторые комментарии». Информационные науки . 56 (1): 35–38. дои : 10.1016/0020-0255(91)90022-м .
^ Покок, А. (2012). Выбор функций с помощью совместного правдоподобия (PDF) (Диссертация).
^ Перейти обратно: ^а ^б Анализ естественного языка с использованием статистики взаимной информации Дэвид М. Магерман и Митчелл П. Маркус
^ Хью Эверетта Теория универсальной волновой функции , диссертация, Принстонский университет, (1956, 1973), стр. 1–140 (стр. 30).
^ Эверетт, Хью (1957). «Формулировка относительного состояния квантовой механики» . Обзоры современной физики . 29 (3): 454–462. Бибкод : 1957РвМП...29..454Е . дои : 10.1103/revmodphys.29.454 . Архивировано из оригинала 27 октября 2011 г. Проверено 16 июля 2012 г.
^ Николетти, Джорджо; Бузиелло, Даниэль Мария (22 ноября 2021 г.). «Взаимная информация отделяет взаимодействие от меняющейся среды» . Письма о физических отзывах . 127 (22): 228301. arXiv : 2107.08985 . Бибкод : 2021PhRvL.127v8301N . doi : 10.1103/PhysRevLett.127.228301 . ПМИД 34889638 . S2CID 236087228 .
^ Николетти, Джорджо; Бузиелло, Даниэль Мария (29 июля 2022 г.). «Взаимная информация в меняющейся среде: нелинейные взаимодействия, неравновесные системы и постоянно меняющаяся диффузия» . Физический обзор E . 106 (1): 014153. arXiv : 2204.01644 . дои : 10.1103/PhysRevE.106.014153 .
^ GlobalMIT в Google Code
^ Ли, Се Юн (2021). «Сэмплер Гиббса и вариационный вывод по координатному восхождению: теоретико-множественный обзор». Коммуникации в статистике - теория и методы . 51 (6): 1549–1568. arXiv : 2008.01006 . дои : 10.1080/03610926.2021.1921214 . S2CID 220935477 .
^ Киз, Дастин; Холиков, Шукур; Певцов, Алексей А. (февраль 2015 г.). «Применение методов взаимной информации в дистанционной гелиосейсмологии». Солнечная физика . 290 (3): 659–671. arXiv : 1501.05597 . Бибкод : 2015SoPh..290..659K . дои : 10.1007/s11207-015-0650-y . S2CID 118472242 .
^ Инвариантная кластеризация информации для неконтролируемой классификации и сегментации изображений, авторы Сюй Цзи, Жоао Энрикес и Андреа Ведальди.
^ Николетти, Джорджо; Бузиелло, Даниэль Мария (08 апреля 2024 г.). «Распространение информации в многоуровневых системах с взаимодействиями высшего порядка во временных масштабах» . Физический обзор X . 14 (2): 021007. arXiv : 2312.06246 . дои : 10.1103/PhysRevX.14.021007 .

Ссылки [ править ]

Бодо, П.; Тапиа, М.; Беннекен, Д.; Гоайяр, JM (2019). «Анализ топологической информации» . Энтропия . 21 (9). 869. arXiv : 1907.04242 . Бибкод : 2019Entrp..21..869B . дои : 10.3390/e21090869 . ПМЦ 7515398 . S2CID 195848308 .
Чилибрази, Р.; Витаньи, Пол (2005). «Кластеризация путем сжатия» (PDF) . Транзакции IEEE по теории информации . 51 (4): 1523–1545. arXiv : cs/0312044 . дои : 10.1109/TIT.2005.844059 . S2CID 911 .
Кронбах, ЖЖ (1954). «О нерациональном применении информационных мер в психологии». В Квастлере, Генри (ред.). Теория информации в психологии: проблемы и методы . Гленко, Иллинойс: Свободная пресса. стр. 14–30.
Кумбс, Швейцария; Дауэс, РМ; Тверский, А. (1970). Математическая психология: элементарное введение . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
Черч, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография» . Материалы 27-го ежегодного собрания Ассоциации компьютерной лингвистики . 16 (1): 76–83. дои : 10.3115/981623.981633 .
Гельфанд, И.М.; Яглом, А.М. (1957). «Вычисление количества информации о случайной функции, содержащейся в другой такой же функции». Переводы Американского математического общества . Серия 2. 12 : 199–246. дои : 10.1090/trans2/012/09 . ISBN 9780821817124 . English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
Гуиасу, Сильвиу (1977). Теория информации с приложениями . МакГроу-Хилл, Нью-Йорк. ISBN 978-0-07-025109-0 .
Ли, Мин; Витаньи, Пол (февраль 1997 г.). Введение в колмогоровскую сложность и ее приложения . Нью-Йорк: Springer-Verlag . ISBN 978-0-387-94868-3 .
Локхед, Греция (1970). «Идентификация и форма многомерного дискриминационного пространства». Журнал экспериментальной психологии . 85 (1): 1–10. дои : 10.1037/h0029508 . ПМИД 5458322 .
Дэвид Дж. К. Маккей. Теория информации, вывод и алгоритмы обучения. Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1 (доступен бесплатно в Интернете)
Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 .
Афанасиос Папулис . Вероятность, случайные величины и случайные процессы , второе издание. Нью-Йорк: McGraw-Hill, 1984. (См. главу 15.)
Виттен, Ян Х. и Франк, Эйбе (2005). Интеллектуальный анализ данных: практические инструменты и методы машинного обучения . Морган Кауфманн, Амстердам. ISBN 978-0-12-374856-0 .
Пэн, ХК; Лонг, Ф. и Дин, К. (2005). «Выбор функций на основе взаимной информации: критерии максимальной зависимости, максимальной релевантности и минимальной избыточности» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 27 (8): 1226–1238. CiteSeerX 10.1.1.63.5765 . дои : 10.1109/tpami.2005.159 . ПМИД 16119262 . S2CID 206764015 .
Андре С. Рибейро; Стюарт А. Кауфман; Джейсон Ллойд-Прайс; Бьорн Самуэльссон и Джошуа Соколар (2008). «Взаимная информация в случайных логических моделях регулирующих сетей». Физический обзор E . 77 (1): 011901. arXiv : 0707.3642 . Бибкод : 2008PhRvE..77a1901R . дои : 10.1103/physreve.77.011901 . ПМИД 18351870 . S2CID 15232112 .
Уэллс, WM III; Виола, П.; Ацуми, Х.; Накадзима, С.; Кикинис, Р. (1996). «Мультимодальная регистрация объемов путем максимизации взаимной информации» (PDF) . Анализ медицинских изображений . 1 (1): 35–51. дои : 10.1016/S1361-8415(01)80004-9 . ПМИД 9873920 . Архивировано из оригинала (PDF) 6 сентября 2008 г. Проверено 5 августа 2010 г.
Панди, Бисваджит; Саркар, Суман (2017). «Как много галактика знает о своей крупномасштабной среде?: Теоретико-информационный взгляд». Ежемесячные уведомления о письмах Королевского астрономического общества . 467 (1): Л6. arXiv : 1611.00283 . Бибкод : 2017MNRAS.467L...6P . дои : 10.1093/mnrasl/slw250 . S2CID 119095496 .

Янссен, Джозеф; Гуан, Винсент; Робева, Элина (2023). «Сверхпредельная важность признаков: обучение на основе данных с причинно-следственными гарантиями» . Международная конференция по искусственному интеллекту и статистике : 10782–10814.

[1] Обложка, Томас М.; Томас, Джой А. (2005). Элементы теории информации (PDF) . John Wiley & Sons, Ltd., стр. 13–55. ISBN 9780471748823 .

[2] Креер, Дж. Г. (1957). «Вопрос терминологии». IRE Транзакции по теории информации . 3 (3): 208. doi : 10.1109/TIT.1957.1057418 .

[cover1991-3] Перейти обратно: ^а ^б ^с Обложка, ТМ; Томас, Дж. А. (1991). Элементы теории информации (изд. Уайли). Джон Уайли и сыновья. ISBN 978-0-471-24195-9 .

[4] Янссен, Джозеф; Гуан, Винсент; Робева, Элина (2023). «Сверхпредельная важность признаков: обучение на основе данных с причинно-следственными гарантиями» . Международная конференция по искусственному интеллекту и статистике : 10782–10814. arXiv : 2204.09938 .

[5] Вулперт, Д.Х.; Вольф, ДР (1995). «Оценочные функции вероятностных распределений по конечному набору выборок». Физический обзор E . 52 (6): 6841–6854. Бибкод : 1995PhRvE..52.6841W . CiteSeerX 10.1.1.55.7122 . дои : 10.1103/PhysRevE.52.6841 . ПМИД 9964199 . S2CID 9795679 .

[6] Хаттер, М. (2001). «Распространение взаимной информации». Достижения в области нейронных систем обработки информации .

[7] Арчер, Э.; Парк, ИМ; Подушка, Дж. (2013). «Байесовские и квазибайесовские средства оценки взаимной информации из дискретных данных» . Энтропия . 15 (12): 1738–1755. Бибкод : 2013Entrp..15.1738A . CiteSeerX 10.1.1.294.4690 . дои : 10.3390/e15051738 .

[8] Вулперт, Д.Х.; ДеДео, С. (2013). «Оценочные функции распределений, определенных в пространствах неизвестного размера» . Энтропия . 15 (12): 4668–4699. arXiv : 1311.4548 . Бибкод : 2013Entrp..15.4668W . дои : 10.3390/e15114668 . S2CID 2737117 .

[9] Томаш Йетка; Кароль Ниенальтовский; Томаш Винарски; Славомир Блонский; Михал Коморовски (2019), «Информационный теоретический анализ многомерных одноклеточных сигнальных ответов», PLOS Computational Biology , 15 (7): E1007132, ARXIV : 1808.05581 , Bibcode : 2019plscb..15e7132j , doi : 10.1371/journal.pcbi. 1007132 , ПМК 6655862 , ПМИД 31299056

[10] Райски, К. (1961). «Метрическое пространство дискретных распределений вероятностей». Информация и контроль . 4 (4): 371–377. дои : 10.1016/S0019-9958(61)80055-7 .

[11] Красков, Александр; Стёгбауэр, Харальд; Анджейак, Ральф Г.; Грассбергер, Питер (2003). «Иерархическая кластеризация на основе взаимной информации». arXiv : q-bio/0311039 . Бибкод : 2003q.bio....11039K . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[12] Райски, К. (1961). «Метрическое пространство дискретных распределений вероятностей». Информация и контроль . 4 (4): 371–377. дои : 10.1016/S0019-9958(61)80055-7 .

[13] МакГилл, В. (1954). «Многовариантная передача информации». Психометрика . 19 (1): 97–116. дои : 10.1007/BF02289159 . S2CID 126431489 .

[On_the_Amount_of_Information-14] Перейти обратно: ^а ^б Ху, КТ (1962). «Об объеме информации». Теория вероятностей. Приложение . 7 (4): 439–447. дои : 10.1137/1107041 .

[e21090869-15] Перейти обратно: ^а ^б Бодо, П.; Тапиа, М.; Беннекен, Д.; Гоайяр, JM (2019). «Анализ топологической информации» . Энтропия . 21 (9). 869. arXiv : 1907.04242 . Бибкод : 2019Entrp..21..869B . дои : 10.3390/e21090869 . ПМЦ 7515398 . S2CID 195848308 .

[16] Бреннер, Н.; Стронг, С.; Коберле, Р.; Бялек, В. (2000). «Синергия в нейронном коде». Нейронный компьютер . 12 (7): 1531–1552. дои : 10.1162/089976600300015259 . ПМИД 10935917 . S2CID 600528 .

[17] Уоткинсон, Дж.; Лян, К.; Ван, X.; Чжэн, Т.; Анастасиу, Д. (2009). «Вывод о регуляторных взаимодействиях генов на основе данных экспрессии с использованием трехсторонней взаимной информации». Чэлл. Сист. Биол. Анна. Н-Й акад. Наука . 1158 (1): 302–313. Бибкод : 2009NYASA1158..302W . дои : 10.1111/j.1749-6632.2008.03757.x . ПМИД 19348651 . S2CID 8846229 .

[s41598-18] Перейти обратно: ^а ^б Тапиа, М.; Бодо, П.; Формизано-Трезины, К.; Дюфур, М.; Гоайяр, JM (2018). «Идентификация нейротрансмиттера и электрофизиологический фенотип генетически связаны в дофаминергических нейронах среднего мозга» . наук. Представитель . 8 (1): 13637. Бибкод : 2018NatSR...813637T . дои : 10.1038/s41598-018-31765-z . ПМК 6134142 . ПМИД 30206240 .

[19] Кристофер Д. Мэннинг; Прабхакар Рагхаван; Хинрих Шютце (2008). Введение в поиск информации . Издательство Кембриджского университета . ISBN 978-0-521-86571-5 .

[20] Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 .

[21] «Метрика Feature Mutual Information (FMI) для слияния неэталонных изображений - Обмен файлами - MATLAB Central» . www.mathworks.com . Проверено 4 апреля 2018 г.

[22] «InfoTopo: Анализ данных топологической информации. Глубокое статистическое обучение без и с учителем — Обмен файлами — Github» . github.com/pierrebaudot/infotopopy/ . Проверено 26 сентября 2020 г.

[23] Мэсси, Джеймс (1990). «Причинность, обратная связь и направленная информация». Учеб. 1990 Международный. Симп. на Инфо. Т.е. и его приложения, Вайкики, Гавайи, 27-30 ноября 1990 г. CiteSeerX 10.1.1.36.5688 .

[24] Пермутер, Хаим Генри; Вайсман, Цахи; Голдсмит, Андреа Дж. (февраль 2009 г.). «Каналы конечных состояний с инвариантной во времени детерминированной обратной связью». Транзакции IEEE по теории информации . 55 (2): 644–662. arXiv : cs/0608070 . дои : 10.1109/TIT.2008.2009849 . S2CID 13178 .

[FOOTNOTECoombsDawesTversky1970-25] Кумбс, Дауэс и Тверски 1970 .

[pressflannery-26] Перейти обратно: ^а ^б Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, BP (2007). «Раздел 14.7.3. Условная энтропия и взаимная информация» . Численные рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8 . Архивировано из оригинала 11 августа 2011 г. Проверено 13 августа 2011 г.

[JimWhite-27] Уайт, Джим; Стейнгольд, Сэм; Фурнель, Конни. Показатели производительности алгоритмов группового обнаружения (PDF) . Интерфейс 2004. Архивировано из оригинала (PDF) 5 июля 2016 г. Проверено 19 февраля 2014 г.

[DRWijaya-28] Виджая, Деди Рахман; Сарно, Рианарто; Зулайка, Энни (2017). «Коэффициент качества информации как новый показатель для выбора исходного вейвлета». Хемометрика и интеллектуальные лабораторные системы . 160 : 59–71. дои : 10.1016/j.chemolab.2016.11.012 .

[strehl-jmlr02-29] Штрель, Александр; Гош, Джойдип (2003). «Кластерные ансамбли — структура повторного использования знаний для объединения нескольких разделов» (PDF) . Журнал исследований машинного обучения . 3 : 583–617. дои : 10.1162/153244303321897735 .

[weighted-kl-30] Кволсет, Т.О. (1991). «Относительная мера полезной информации: некоторые комментарии». Информационные науки . 56 (1): 35–38. дои : 10.1016/0020-0255(91)90022-м .

[31] Покок, А. (2012). Выбор функций с помощью совместного правдоподобия (PDF) (Диссертация).

[magerman-32] Перейти обратно: ^а ^б Анализ естественного языка с использованием статистики взаимной информации Дэвид М. Магерман и Митчелл П. Маркус

[everett56-33] Хью Эверетта Теория универсальной волновой функции , диссертация, Принстонский университет, (1956, 1973), стр. 1–140 (стр. 30).

[everett57-34] Эверетт, Хью (1957). «Формулировка относительного состояния квантовой механики» . Обзоры современной физики . 29 (3): 454–462. Бибкод : 1957РвМП...29..454Е . дои : 10.1103/revmodphys.29.454 . Архивировано из оригинала 27 октября 2011 г. Проверено 16 июля 2012 г.

[35] Николетти, Джорджо; Бузиелло, Даниэль Мария (22 ноября 2021 г.). «Взаимная информация отделяет взаимодействие от меняющейся среды» . Письма о физических отзывах . 127 (22): 228301. arXiv : 2107.08985 . Бибкод : 2021PhRvL.127v8301N . doi : 10.1103/PhysRevLett.127.228301 . ПМИД 34889638 . S2CID 236087228 .

[36] Николетти, Джорджо; Бузиелло, Даниэль Мария (29 июля 2022 г.). «Взаимная информация в меняющейся среде: нелинейные взаимодействия, неравновесные системы и постоянно меняющаяся диффузия» . Физический обзор E . 106 (1): 014153. arXiv : 2204.01644 . дои : 10.1103/PhysRevE.106.014153 .

[37] GlobalMIT в Google Code

[38] Ли, Се Юн (2021). «Сэмплер Гиббса и вариационный вывод по координатному восхождению: теоретико-множественный обзор». Коммуникации в статистике - теория и методы . 51 (6): 1549–1568. arXiv : 2008.01006 . дои : 10.1080/03610926.2021.1921214 . S2CID 220935477 .

[39] Киз, Дастин; Холиков, Шукур; Певцов, Алексей А. (февраль 2015 г.). «Применение методов взаимной информации в дистанционной гелиосейсмологии». Солнечная физика . 290 (3): 659–671. arXiv : 1501.05597 . Бибкод : 2015SoPh..290..659K . дои : 10.1007/s11207-015-0650-y . S2CID 118472242 .

[iic-40] Инвариантная кластеризация информации для неконтролируемой классификации и сегментации изображений, авторы Сюй Цзи, Жоао Энрикес и Андреа Ведальди.

[41] Николетти, Джорджо; Бузиелло, Даниэль Мария (08 апреля 2024 г.). «Распространение информации в многоуровневых системах с взаимодействиями высшего порядка во временных масштабах» . Физический обзор X . 14 (2): 021007. arXiv : 2312.06246 . дои : 10.1103/PhysRevX.14.021007 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

Определение [ править ]

С точки зрения PMF распределений для дискретных

Что касается PDF-файлов для непрерывного распространения [ править ]

Мотивация [ править ]

Свойства [ править ]

Неотрицательность [ править ]

Симметрия [ править ]

Супермодульность независимости при ​

Связь с условной энтропией и совместной

с расхождением Кульбака Лейблера Связь –

оценка информации Байесовская взаимной

Предположения о независимости ​

Вариации [ править ]

Метрика [ править ]

Условная взаимная информация [ править ]

Информация о взаимодействии [ править ]

независимость Многомерная статистическая ​

Приложения [ править ]

Направленная информация [ править ]

Нормализованные варианты [ править ]

Взвешенные варианты [ править ]

взаимная информация Скорректированная ​

Абсолютная взаимная информация [ править ]

Линейная корреляция ​ ​

Для дискретных данных [ править ]

Приложения [ править ]

См. также [ править ]

Примечания [ править ]

Ссылки [ править ]

Супермодульность независимости при

Предположения о независимости

независимость Многомерная статистическая

взаимная информация Скорректированная

Линейная корреляция