Взаимная информация

Диаграмма Венна, показывающая аддитивные и вычитающие отношения различных информационных мер, связанных с коррелирующими переменными. $X$ и $Y$. Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию. $\mathrm {H} (X,Y)$. Круг слева (красный и фиолетовый) — это индивидуальная энтропия. $\mathrm {H} (X)$, где красный цвет — условная энтропия $\mathrm {H} (X\mid Y)$. Круг справа (синий и фиолетовый) $\mathrm {H} (Y)$, с синим существом $\mathrm {H} (Y\mid X)$. Фиолетовый – это взаимная информация $\operatorname {I} (X;Y)$.

В теории вероятностей и теории информации взаимная информация ( MI ) двух случайных величин является мерой взаимной зависимости между двумя переменными. Точнее, он количественно определяет « объем информации » (в таких единицах, как Шенноны ( биты ), натс или хартли ), полученный об одной случайной величине путем наблюдения за другой случайной величиной. Концепция взаимной информации тесно связана с концепцией энтропии случайной величины, фундаментальным понятием теории информации, которое количественно определяет ожидаемое «объем информации», содержащейся в случайной величине.

Не ограничиваясь действительными случайными величинами и линейной зависимостью, такой как коэффициент корреляции , MI является более общим и определяет, насколько различно совместное распределение пары. $(X,Y)$ является продуктом предельных распределений $X$ и $Y$. MI — это ожидаемое значение точечной взаимной информации (PMI).

Величина была определена и проанализирована Клодом Шенноном в его знаковой статье « Математическая теория связи », хотя он и не называл ее «взаимной информацией». Этот термин был придуман позже Робертом Фано . Взаимная информация также известна как получение информации .

Определение

Позволять $(X,Y)$ быть парой случайных величин со значениями в пространстве ${\mathcal {X}}\times {\mathcal {Y}}$. Если их совместное распределение $P_{(X,Y)}$ и предельные распределения $P_{X}$ и $P_{Y}$, взаимная информация определяется как

$I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y})$

где $D_{\mathrm {KL} }$ – расходимость Кульбака–Лейблера и $P_{X}\otimes P_{Y}$ - это внешнее распределение продукта , которое определяет вероятность $P_{X}(x)\cdot P_{Y}(y)$ каждому $(x,y)$.

Обратите внимание, что согласно свойству расхождения Кульбака – Лейблера , что $I(X;Y)$ равно нулю именно тогда, когда совместное распределение совпадает с произведением маргиналов, т. е. когда $X$ и $Y$ независимы (и, следовательно, наблюдают $Y$ ничего не говорит вам о $X$). $I(X;Y)$ неотрицательен, это мера стоимости кодирования $(X,Y)$ как пара независимых случайных величин, хотя на самом деле это не так.

Если используется натуральный логарифм , единицей взаимной информации является nat . Если используется логарифмическая база 2, единицей взаимной информации является шеннон , также известный как бит. Если используется база журнала 10, единицей взаимной информации является хартли , также известный как запрет или dit.

С точки зрения PMF

Взаимная информация двух совместно дискретных случайных величин $X$ и $Y$ рассчитывается как двойная сумма:

$\operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{P_{(X,Y)}(x,y)\log \left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)},$ ( Уравнение 1 )

где $P_{(X,Y)}$ - вероятности массовая функция совместная $X$ и $Y$, и $P_{X}$ и $P_{Y}$ являются вероятности маргинальными массовыми функциями $X$ и $Y$ соответственно.

Что касается PDF-файлов для непрерывного распространения

В случае совместно непрерывных случайных величин двойная сумма заменяется двойным интегралом :

$\operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy,$ ( Уравнение 2 )

где $P_{(X,Y)}$ теперь это совместная плотности вероятности функция $X$ и $Y$, и $P_{X}$ и $P_{Y}$ являются маргинальными функциями плотности вероятности $X$ и $Y$ соответственно.

Мотивация

Интуитивно, взаимная информация измеряет информацию, которая $X$ и $Y$ доля: он измеряет, насколько знание одной из этих переменных снижает неопределенность в отношении другой. Например, если $X$ и $Y$ независимы, то зная $X$ не дает никакой информации о $Y$ и наоборот, поэтому их взаимная информация равна нулю. Другая крайность, если $X$ является детерминированной функцией $Y$ и $Y$ является детерминированной функцией $X$ тогда вся информация, передаваемая $X$ делится с $Y$: зная $X$ определяет ценность $Y$ и наоборот. В результате в этом случае взаимная информация такая же, как и неопределенность, содержащаяся в $Y$ (или $X$ , а именно энтропия ) $Y$ (или $X$). Более того, эта взаимная информация такая же, как энтропия $X$ и как энтропия $Y$. (Особый случай – это когда $X$ и $Y$ это одна и та же случайная величина.)

Взаимная информация является мерой внутренней зависимости, выражающейся в совместном распределении $X$ и $Y$ относительно предельного распределения $X$ и $Y$ в условиях независимости. Таким образом, взаимная информация измеряет зависимость в следующем смысле: $\operatorname {I} (X;Y)=0$ тогда и только тогда, когда $X$ и $Y$ являются независимыми случайными величинами. Это легко увидеть в одном направлении: если $X$ и $Y$ независимы, то $p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)$, и поэтому:

$\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}=\log 1=0.$

Более того, взаимная информация неотрицательна (т.е. $\operatorname {I} (X;Y)\geq 0$ см. ниже) и симметричные (т.е. $\operatorname {I} (X;Y)=\operatorname {I} (Y;X)$ см. ниже).

Свойства

Неотрицательность

Используя неравенство Йенсена для определения взаимной информации, мы можем показать, что $\operatorname {I} (X;Y)$ неотрицательен, т.е.

$\operatorname {I} (X;Y)\geq 0$

Симметрия

$\operatorname {I} (X;Y)=\operatorname {I} (Y;X)$

Доказательство дается с учетом связи с энтропией, как показано ниже.

при

Если $C$ не зависит от $(A,B)$, затем

$\operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)$.

с условной и

Взаимную информацию можно эквивалентно выразить как:

${\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}$

где $\mathrm {H} (X)$ и $\mathrm {H} (Y)$ - предельные энтропии , $\mathrm {H} (X\mid Y)$ и $\mathrm {H} (Y\mid X)$ — условные энтропии , а $\mathrm {H} (X,Y)$ это энтропия совместная $X$ и $Y$.

Обратите внимание на аналогию с объединением, разностью и пересечением двух множеств: в этом отношении все приведенные выше формулы очевидны из диаграммы Венна, приведенной в начале статьи.

С точки зрения канала связи, в котором выход $Y$ это шумная версия ввода $X$, эти отношения суммированы на рисунке:

Отношения между теоретико-информационными величинами

Потому что $\operatorname {I} (X;Y)$ неотрицательна, следовательно, $\mathrm {H} (X)\geq \mathrm {H} (X\mid Y)$. Здесь мы даем подробный вывод $\operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)$ для случая совместно дискретных случайных величин:

${\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}$

Доказательства остальных приведенных выше тождеств аналогичны. Доказательство общего случая (а не только дискретного) аналогично, с заменой сумм интегралами.

Интуитивно, если энтропия $\mathrm {H} (Y)$ рассматривается как мера неопределенности относительно случайной величины, тогда $\mathrm {H} (Y\mid X)$ является мерой того, что $X$ не говорит о $Y$. Это «количество неопределенностей, остающихся относительно $Y$ после $X$ известна», и, таким образом, правую часть второго из этих равенств можно прочитать как «количество неопределенности в $Y$, минус количество неопределенности в $Y$ что остается после $X$ известно», что эквивалентно «объему неопределенности в $Y$ который удаляется знанием $X$«. Это подтверждает интуитивное значение взаимной информации как количества информации (то есть уменьшения неопределенности), которую знание одной переменной дает о другой.

Заметим, что в дискретном случае $\mathrm {H} (Y\mid Y)=0$ и поэтому $\mathrm {H} (Y)=\operatorname {I} (Y;Y)$. Таким образом $\operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)$, и можно сформулировать основной принцип, согласно которому переменная содержит по крайней мере столько же информации о себе, сколько может предоставить любая другая переменная.

с расхождением Кульбака

Для совместно дискретных или совместно непрерывных пар $(X,Y)$, взаимная информация представляет собой расхождение Кульбака – Лейблера от произведения маргинальных распределений , $p_{X}\cdot p_{Y}$, совместного распределения $p_{(X,Y)}$, то есть,

$\operatorname {I} (X;Y)=D_{\text{KL}}\left(p_{(X,Y)}\parallel p_{X}p_{Y}\right)$

Кроме того, пусть $p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)$ быть условной функцией массы или плотности. Тогда мы имеем тождество

$\operatorname {I} (X;Y)=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right]$

Доказательство для совместно дискретных случайных величин выглядит следующим образом:

${\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}$

Аналогично это тождество можно установить и для совместно непрерывных случайных величин.

Обратите внимание, что здесь расхождение Кульбака–Лейблера предполагает интегрирование по значениям случайной величины $X$ только и выражение $D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})$ по-прежнему обозначает случайную величину, поскольку $Y$ является случайным. Таким образом, взаимную информацию можно также понимать как ожидание расхождения Кульбака – Лейблера одномерного распределения. $p_{X}$ из $X$ из условного распределения $p_{X\mid Y}$ из $X$ данный $Y$: чем больше различаются распределения $p_{X\mid Y}$ и $p_{X}$ в среднем, тем больше прирост информации .

взаимной

Если доступны выборки из совместного распределения, для оценки взаимной информации этого распределения можно использовать байесовский подход. Это была первая работа, которая также показала, как выполнять байесовскую оценку многих других теоретико-информационных свойств, помимо взаимной информации. Последующие исследователи восстановили и расширен этот анализ. Видеть за недавнюю статью, основанную на предшествующих исследованиях, специально предназначенных для оценки взаимнойинформация сама по себе. Кроме того, недавно появился метод оценки, учитывающий непрерывные и многомерные результаты, $Y$, было предложено в .

Предположения

Формулировка взаимной информации о дивергенции Кульбака-Лейблера основана на том, что человек заинтересован в сравнении $p(x,y)$ к полностью факторизованному внешнему продукту $p(x)\cdot p(y)$. Во многих задачах, таких как факторизация неотрицательной матрицы , интересны менее экстремальные факторизации; в частности, хочется сравнить $p(x,y)$ к аппроксимации матрицы низкого ранга с некоторой неизвестной переменной $w$; то есть в какой степени можно иметь

$p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)$

С другой стороны, может быть интересно узнать, сколько еще информации $p(x,y)$ переносит его факторизацию. В таком случае избыточная информация, которую может обеспечить полное распространение $p(x,y)$ переносит матричную факторизацию, определяется расхождением Кульбака-Лейблера

$\operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},$

Традиционное определение взаимной информации восстанавливается в крайнем случае, когда процесс $W$ имеет только одно значение для $w$.

Вариации

Для удовлетворения различных потребностей было предложено несколько вариантов взаимной информации. Среди них есть нормализованные варианты и обобщения для более чем двух переменных.

Метрика

Многие приложения требуют метрики , то есть меры расстояния между парами точек. Количество

${\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\\&=2\mathrm {H} (X,Y)-\mathrm {H} (X)-\mathrm {H} (Y)\end{aligned}}$

удовлетворяет свойствам метрики ( неравенство треугольника , неотрицательность , неразличимость и симметрия), где равенство $X=Y$ понимается, что это означает, что $X$ можно полностью определить из $Y$ .

Этот показатель расстояния также известен как изменение информации .

Если $X,Y$ являются дискретными случайными величинами, то все энтропийные члены неотрицательны, поэтому $0\leq d(X,Y)\leq \mathrm {H} (X,Y)$ и можно определить нормированное расстояние

$D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.$

Метрика $D$ является универсальной метрикой, поскольку, если какая-либо другая мера расстояния помещает $X$ и $Y$ рядом, то $D$ также будет судить их близко.

Подстановка определений показывает, что

$D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.$

Это известно как расстояние Райского. В теоретико-множественной интерпретации информации (см. рисунок « Условная энтропия ») это фактически расстояние Жаккара между $X$ и $Y$.

Окончательно,

$D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}$

это тоже показатель.

Условная взаимная информация

Основная статья: Условная взаимная информация

Иногда полезно выразить взаимную информацию двух случайных величин, обусловленную третьей.

$\operatorname {I} (X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]$

Для совместно дискретных случайных величин это принимает вид

$\operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},$

который можно упростить как

$\operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

Для совместно непрерывных случайных величин это имеет вид

$\operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,$

который можно упростить как

$\operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.$

Обуславливание третьей случайной величиной может либо увеличить, либо уменьшить взаимную информацию, но всегда верно, что

$\operatorname {I} (X;Y|Z)\geq 0$

для дискретных, совместно распределенных случайных величин $X,Y,Z$. Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации .

Информация о взаимодействии

Основная статья: Информация о взаимодействии

Было предложено несколько обобщений взаимной информации на более чем две случайные величины, такие как полная корреляция (или мультиинформация) и двойная полная корреляция . Выражение и изучение многомерной взаимной информации более высокого уровня было достигнуто в двух, казалось бы, независимых работах: МакГилл (1954). который назвал эти функции «информацией о взаимодействии», и Ху Го Тин (1962). Информация о взаимодействии определяется для одной переменной следующим образом:

$\operatorname {I} (X_{1})=\mathrm {H} (X_{1})$

и для $n>1,$

$\operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}).$

Некоторые авторы меняют порядок членов в правой части предыдущего уравнения, что меняет знак, когда число случайных величин нечетное. (И в этом случае выражение с одной переменной становится отрицательным значением энтропии.) Обратите внимание, что

$I(X_{1};\ldots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n-1}\mid X_{n}})].$

статистическая

Многомерные функции взаимной информации обобщают случай попарной независимости, который утверждает, что $X_{1},X_{2}$ тогда и только тогда, когда $I(X_{1};X_{2})=0$, к произвольной многочисленной переменной. n переменных взаимно независимы тогда и только тогда, когда $2^{n}-n-1$ функции взаимной информации исчезают $I(X_{1};\ldots ;X_{k})=0$ с $n\geq k\geq 2$ (теорема 2 ). В этом смысле $I(X_{1};\ldots ;X_{k})=0$ может использоваться как уточненный критерий статистической независимости.

Приложения

Для трех переменных Brenner et al. применил многомерную взаимную информацию к нейронному кодированию и назвал ее негативность «синергией». и Уоткинсон и др. применил его к генетическому выражению. Для произвольных k переменных Tapia et al. применил многомерную взаимную информацию к экспрессии генов. Оно может быть нулевым, положительным или отрицательным. Положительное значение соответствует отношениям, обобщающим парные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательное значение обнаруживает многомерные «новые» отношения и кластеризованные точки данных. ).

Было обнаружено, что одна схема многомерного обобщения, которая максимизирует взаимную информацию между совместным распределением и другими целевыми переменными, полезна при выборе признаков .

Взаимная информация также используется в области обработки сигналов как мера сходства между двумя сигналами. Например, метрика FMI — это показатель производительности объединения изображений, который использует взаимную информацию для измерения объема информации, содержащейся в объединенном изображении об исходных изображениях. Код Matlab для этой метрики можно найти по адресу. Доступен пакет Python для вычисления всей многомерной взаимной информации, условной взаимной информации, совместной энтропии, общих корреляций, информационного расстояния в наборе данных из n переменных.

Направленная информация

Направленная информация , $\operatorname {I} \left(X^{n}\to Y^{n}\right)$, измеряет количество информации, поступающей от процесса $X^{n}$ к $Y^{n}$, где $X^{n}$ обозначает вектор $X_{1},X_{2},...,X_{n}$ и $Y^{n}$ обозначает $Y_{1},Y_{2},...,Y_{n}$. Термин «направленная информация» был придуман Джеймсом Мэсси и определяется как

$\operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)$.

Обратите внимание, что если $n=1$, направленная информация становится взаимной информацией. Направленная информация имеет множество применений в задачах, где причинно-следственная связь играет важную роль, например, пропускная способность канала с обратной связью.

Нормализованные варианты

Нормализованные варианты взаимной информации обеспечиваются коэффициентами ограничения , коэффициент неопределенности или умение:

$C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.$

Два коэффициента имеют значения в пределах [0, 1], но не обязательно равны. Эта мера не симметрична. Если кто-то желает симметричной меры, он может рассмотреть следующую меру избыточности :

$R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

который достигает минимума нуля, когда переменные независимы, и максимального значения

$R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

когда одна переменная становится совершенно избыточной при знании другой. См. также Избыточность (теория информации) .

Другой симметричной мерой является симметричная неопределенность ( Witten & Frank 2005 ), определяемая формулой

$U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

которое представляет собой среднее гармоническое двух коэффициентов неопределенности $C_{XY},C_{YX}$.

Если мы рассматриваем взаимную информацию как частный случай полной корреляции или двойной полной корреляции , нормализованная версия соответственно равна

${\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}$ и ${\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.$

Эта нормализованная версия, также известная как коэффициент качества информации (IQR) , определяет количество информации о переменной на основе другой переменной с учетом полной неопределенности:

$IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1$

Есть нормализация который вытекает из первоначального рассмотрения взаимной информации как аналога ковариации (таким образом, энтропия Шеннона аналогична дисперсии ). Затем рассчитывается нормализованная взаимная информация, аналогичная коэффициенту корреляции Пирсона ,

${\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.$

Взвешенные варианты

В традиционной формулировке взаимной информации

$\operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

каждое событие или объект , указанный $(x,y)$ взвешивается соответствующей вероятностью $p(x,y)$. Это предполагает, что все объекты или события эквивалентны, за исключением вероятности их возникновения. Однако в некоторых приложениях может случиться так, что определенные объекты или события более значимы , чем другие, или что определенные шаблоны ассоциаций более семантически важны, чем другие.

Например, детерминированное отображение $\{(1,1),(2,2),(3,3)\}$ можно рассматривать как более сильное, чем детерминированное отображение $\{(1,3),(2,1),(3,2)\}$, хотя эти отношения дадут одну и ту же взаимную информацию. Это связано с тем, что взаимная информация совершенно не чувствительна к какому-либо внутреннему порядку значений переменных ( Cronbach 1954 , Coombs, Dawes & Tversky 1970 , Lockhead 1970 ) и, следовательно, совершенно не чувствительна к форме реляционного отображения между связанные переменные. Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, оценивалось сильнее, чем более позднее отношение, то можно использовать следующую взвешенную взаимную информацию ( Guiasu 1977 ).

$\operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

что накладывает вес $w(x,y)$ от вероятности совместного появления значений каждой переменной, $p(x,y)$. Это позволяет некоторым вероятностям иметь большее или меньшее значение, чем другие, тем самым позволяя количественно оценить соответствующие целостные факторы или факторы Прегнанца . В приведенном выше примере использование больших относительных весов для $w(1,1)$, $w(2,2)$, и $w(3,3)$ будет иметь эффект оценки большей информативности для отношения $\{(1,1),(2,2),(3,3)\}$ чем для отношения $\{(1,3),(2,1),(3,2)\}$, что может быть желательно в некоторых случаях распознавания образов и т.п. Эта взвешенная взаимная информация представляет собой форму взвешенной KL-дивергенции, которая, как известно, принимает отрицательные значения для некоторых входных данных. и есть примеры, когда взвешенная взаимная информация также принимает отрицательные значения.

взаимная

Основная статья: скорректированная взаимная информация

Распределение вероятностей можно рассматривать как часть множества . Тогда можно задаться вопросом: если бы множество было разделено случайным образом, каково было бы распределение вероятностей? Какова будет ожидаемая ценность взаимной информации? Скорректированная взаимная информация или AMI вычитает математическое ожидание MI, так что AMI равен нулю, когда два разных распределения являются случайными, и единице, когда два распределения идентичны. AMI определяется по аналогии со скорректированным индексом Рэнда двух разных разделов набора.

Абсолютная взаимная информация

Используя идеи колмогоровской сложности , можно рассматривать взаимную информацию двух последовательностей независимо от какого-либо распределения вероятностей:

$\operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).$

Установить, что эта величина симметрична с точностью до логарифмического множителя ( $\operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)$) требуется цепное правило для колмогоровской сложности ( Li & Vitány 1997 ). Аппроксимация этой величины посредством сжатия может использоваться для определения меры расстояния для выполнения иерархической кластеризации последовательностей без каких-либо знаний предметной области последовательностей ( Cilibrasi & Vitány 2005 ).

Линейная

В отличие от коэффициентов корреляции, таких как коэффициент корреляции момента произведения , взаимная информация содержит информацию обо всех зависимостях — линейных и нелинейных, а не только о линейной зависимости, как измеряет коэффициент корреляции. Однако в узком случае, когда совместное распределение $X$ и $Y$ является двумерным нормальным распределением (подразумевается, в частности, что оба маргинальных распределения нормально распределены), существует точная связь между $\operatorname {I}$ и коэффициент корреляции $\rho$ ( Гельфанд и Яглом 1957 ).

$\operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)$

Приведенное выше уравнение для двумерной гауссианы можно вывести следующим образом:

${\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}$

Поэтому,

$\operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)$

Для дискретных данных

Когда $X$ и $Y$ ограничены дискретным числом состояний, данные наблюдения суммируются в таблице непредвиденных обстоятельств с переменной строки $X$ (или $i$) и переменная столбца $Y$ (или $j$). Взаимная информация — это одна из мер связи или корреляции между переменными строки и столбца.

Другие меры связи включают статистику критерия хи-квадрат Пирсона , статистику G-теста и т. д. Фактически, при той же логарифмической базе взаимная информация будет равна логарифмической статистике правдоподобия G-теста, разделенной на $2N$, где $N$ это размер выборки.

Приложения

Во многих приложениях требуется максимизировать взаимную информацию (таким образом увеличивая зависимости), что часто эквивалентно минимизации условной энтропии . Примеры включают в себя:

• В технологии поисковых систем взаимная информация между фразами и контекстами используется как функция кластеризации k-средних для обнаружения семантических кластеров (понятий). Например, взаимная информация биграммы может быть рассчитана как:

$MI(x,y)=\log {\frac {P_{X,Y}(x,y)}{P_{X}(x)P_{Y}(y)}}\approx \log {\frac {\frac {f_{XY}}{B}}{{\frac {f_{X}}{U}}{\frac {f_{Y}}{U}}}}$

где $f_{XY}$ это количество раз, когда биграмма xy появляется в корпусе, $f_{X}$ — это количество раз, когда униграмма x появляется в корпусе, B — общее количество биграмм, а U — общее количество униграмм.

• В телекоммуникациях равна пропускная способность канала взаимной информации, максимальной по всем входным распределениям.
• процедуры дискриминационного обучения для скрытых марковских моделей Были предложены на основе критерия максимальной взаимной информации (MMI).
• вторичной структуры РНК Предсказание на основе множественного выравнивания последовательностей .
• Прогнозирование филогенетического профилирования на основе парного присутствия и исчезновения функционально связанных генов .
• Взаимная информация использовалась в качестве критерия для выбора функций и преобразований функций в машинном обучении . Его можно использовать для характеристики как релевантности, так и избыточности переменных, например, выбора функции минимальной избыточности .
• Взаимная информация используется для определения сходства двух разных кластеризаций набора данных. Таким образом, он дает некоторые преимущества перед традиционным индексом Рэнда .
• Взаимная информация слов часто используется как функция значимости для вычисления словосочетаний в корпусной лингвистике . Это имеет дополнительную сложность, поскольку ни один экземпляр слова не является экземпляром двух разных слов; скорее, подсчитываются случаи, когда два слова встречаются рядом или в непосредственной близости; это несколько усложняет расчет, поскольку ожидаемая вероятность появления одного слова внутри $N$ слова другого, поднимается вместе с $N$
• Взаимная информация используется в медицинской визуализации для регистрации изображений . Учитывая эталонное изображение (например, сканирование мозга) и второе изображение, которое необходимо поместить в ту же систему координат , что и эталонное изображение, это изображение деформируется до тех пор, пока взаимная информация между ним и эталонным изображением не будет максимальной.
• Обнаружение фазовой синхронизации при анализе временных рядов .
• В методе infomax для нейронных сетей и другого машинного обучения, включая основанный на Infomax анализа независимых компонентов . алгоритм
• Средняя взаимная информация в теореме о внедрении задержки используется для определения параметра задержки внедрения .
• Взаимная информация между генами в данных экспрессионного микрочипа используется алгоритмом ARACNE для реконструкции генных сетей .
• В статистической механике парадокс Лошмидта может быть выражен в терминах взаимной информации. Лошмидт отмечал, что невозможно определить физический закон, лишенный симметрии относительно обращения времени (например, второй закон термодинамики ), только на основе физических законов, обладающих такой симметрией. Он указал, что -теорема Больцмана H предполагает, что скорости частиц в газе постоянно некоррелированы, что устраняет временную симметрию, присущую H-теореме. Можно показать, что если система описывается плотностью вероятности в фазовом пространстве , то теорема Лиувилля подразумевает, что совместная информация (отрицательная от совместной энтропии) распределения остается постоянной во времени. Совместная информация равна взаимной информации плюс сумме всей предельной информации (отрицательной от предельной энтропии) для каждой координаты частицы. Предположение Больцмана сводится к игнорированию взаимной информации при вычислении энтропии, что дает термодинамическую энтропию (деленную на константу Больцмана).
• В случайных процессах, связанных с изменением окружающей среды, взаимная информация может использоваться для распутывания внутренних и эффективных зависимостей от окружающей среды. Это особенно полезно, когда в физической системе происходят изменения параметров, описывающих ее динамику, например, изменения температуры.
• Взаимная информация используется для изучения структуры байесовских сетей / динамических байесовских сетей , которые, как полагают, объясняют причинно-следственную связь между случайными величинами, на примере набора инструментов GlobalMIT: изучение глобально оптимальной динамической байесовской сети с критерием взаимного информационного теста.
• Взаимная информация используется для количественной оценки информации, передаваемой во время процедуры обновления в алгоритме выборки Гиббса .
• Популярная функция стоимости в обучении дерева решений .
• Взаимная информация используется в космологии для проверки влияния крупномасштабной среды на свойства галактик в Галактическом зоопарке .
• Взаимная информация использовалась в физике Солнца для получения профиля дифференциального вращения Солнца , карты отклонения времени пробега солнечных пятен и диаграммы время-расстояние на основе измерений спокойного Солнца.
• Используется в кластеризации инвариантной информации для автоматического обучения классификаторов нейронных сетей и сегментаторов изображений при отсутствии помеченных данных.
• Было показано, что в стохастических динамических системах с несколькими временными масштабами взаимная информация фиксирует функциональные связи между различными временными масштабами. Важно отметить, что было показано, что физические взаимодействия могут вызывать или не вызывать взаимную информацию, в зависимости от типичного временного масштаба их динамики.

См. также

• Различие данных
• Точечная взаимная информация
• Квантовая взаимная информация
• Специфическая информация

Ссылки

• Бодо, П.; Тапиа, М.; Беннекен, Д.; Гоайяр, JM (2019). «Анализ топологической информации» . Энтропия . 21 (9). 869. arXiv : 1907.04242 . Бибкод : 2019Entrp..21..869B . дои : 10.3390/e21090869 . ПМЦ   7515398 . S2CID   195848308 .
• Чилибрази, Р.; Витаньи, Пол (2005). «Кластеризация путем сжатия» (PDF) . Транзакции IEEE по теории информации . 51 (4): 1523–1545. arXiv : cs/0312044 . дои : 10.1109/TIT.2005.844059 . S2CID   911 .
• Кронбах, ЖЖ (1954). «О нерациональном применении информационных мер в психологии». В Квастлере, Генри (ред.). Теория информации в психологии: проблемы и методы . Гленко, Иллинойс: Свободная пресса. стр. 14–30.
• Кумбс, Швейцария; Дауэс, РМ; Тверский, А. (1970). Математическая психология: элементарное введение . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
• Черч, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография» . Материалы 27-го ежегодного собрания Ассоциации компьютерной лингвистики . 16 (1): 76–83. дои : 10.3115/981623.981633 .
• Гельфанд, И.М.; Яглом, А.М. (1957). «Вычисление количества информации о случайной функции, содержащейся в другой такой же функции». Переводы Американского математического общества . Серия 2. 12 : 199–246. дои : 10.1090/trans2/012/09 . ISBN  9780821817124 . English translation of original in Uspekhi Matematicheskikh Nauk 12  (1): 3-52.
• Гуиасу, Сильвиу (1977). Теория информации с приложениями . Макгроу-Хилл, Нью-Йорк. ISBN  978-0-07-025109-0 .
• Ли, Мин; Витаньи, Пол (февраль 1997 г.). Введение в колмогоровскую сложность и ее приложения . Нью-Йорк: Springer-Verlag . ISBN  978-0-387-94868-3 .
• Локхед, Греция (1970). «Идентификация и форма многомерного дискриминационного пространства». Журнал экспериментальной психологии . 85 (1): 1–10. дои : 10.1037/h0029508 . ПМИД   5458322 .
• Дэвид Дж. К. Маккей. Теория информации, вывод и алгоритмы обучения. Кембридж: Издательство Кембриджского университета, 2003. ISBN   0-521-64298-1 (доступен бесплатно в Интернете)
• Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID   7738541 .
• Афанасиос Папулис . Вероятность, случайные величины и случайные процессы , второе издание. Нью-Йорк: McGraw-Hill, 1984. (См. главу 15.)
• Виттен, Ян Х. и Франк, Эйбе (2005). Интеллектуальный анализ данных: практические инструменты и методы машинного обучения . Морган Кауфманн, Амстердам. ISBN  978-0-12-374856-0 .
• Пэн, ХК; Лонг, Ф. и Дин, К. (2005). «Выбор функций на основе взаимной информации: критерии максимальной зависимости, максимальной релевантности и минимальной избыточности» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 27 (8): 1226–1238. CiteSeerX   10.1.1.63.5765 . дои : 10.1109/tpami.2005.159 . ПМИД   16119262 . S2CID   206764015 .
• Андре С. Рибейро; Стюарт А. Кауфман; Джейсон Ллойд-Прайс; Бьорн Самуэльссон и Джошуа Соколар (2008). «Взаимная информация в случайных логических моделях регулирующих сетей». Физический обзор E . 77 (1): 011901. arXiv : 0707.3642 . Бибкод : 2008PhRvE..77a1901R . дои : 10.1103/physreve.77.011901 . ПМИД   18351870 . S2CID   15232112 .
• Уэллс, WM III; Виола, П.; Ацуми, Х.; Накадзима, С.; Кикинис, Р. (1996). «Мультимодальная регистрация объемов путем максимизации взаимной информации» (PDF) . Анализ медицинских изображений . 1 (1): 35–51. дои : 10.1016/S1361-8415(01)80004-9 . ПМИД   9873920 . Архивировано из оригинала (PDF) 6 сентября 2008 г. Проверено 5 августа 2010 г.
• Пандей, Бисваджит; Саркар, Суман (2017). «Как много галактика знает о своей крупномасштабной среде?: Теоретико-информационный взгляд». Ежемесячные уведомления о письмах Королевского астрономического общества . 467 (1): Л6. arXiv : 1611.00283 . Бибкод : 2017MNRAS.467L...6P . дои : 10.1093/mnrasl/slw250 . S2CID   119095496 .

• Янссен, Джозеф; Гуан, Винсент; Робева, Элина (2023). «Сверхпредельная важность признаков: обучение на основе данных с причинно-следственными гарантиями» . Международная конференция по искусственному интеллекту и статистике : 10782–10814.