Условная взаимная информация

Диаграмма Венна теоретико-информационных мер для трех переменных $x$, $y$, и $z$, представленный нижним левым, нижним правым и верхним кружками соответственно. Условная взаимная информация $I(x;z|y)$, $I(y;z|x)$ и $I(x;y|z)$ представлены желтыми, голубыми и пурпурными областями соответственно.

В теории вероятностей , особенно в теории информации , условная взаимная информация в своей самой простой форме — это ожидаемое значение взаимной информации двух случайных величин с учетом значения третьей.

Определение

Для случайных величин $X$, $Y$, и $Z$ с наборами поддержки ${\mathcal {X}}$, ${\mathcal {Y}}$ и ${\mathcal {Z}}$, мы определяем условную взаимную информацию как

$I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}$

Это можно записать с помощью оператора ожидания: $I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]$.

Таким образом $I(X;Y|Z)$ ожидаемое (по отношению к $Z$) Расхождение Кульбака – Лейблера от условного совместного распределения $P_{(X,Y)|Z}$ к произведению условных маргиналов $P_{X|Z}$ и $P_{Y|Z}$. Сравните с определением взаимной информации .

С точки зрения PMF

Для дискретных случайных величин $X$, $Y$, и $Z$ с наборами поддержки ${\mathcal {X}}$, ${\mathcal {Y}}$ и ${\mathcal {Z}}$, условная взаимная информация $I(X;Y|Z)$ заключается в следующем

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}$

где маргинальные, совместные и/или условные массовые функции вероятности обозначаются через $p$ с соответствующим индексом. Это можно упростить как

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

Что касается PDF-файлов для непрерывного распространения

Для (абсолютно) непрерывных случайных величин $X$, $Y$, и $Z$ с наборами поддержки ${\mathcal {X}}$, ${\mathcal {Y}}$ и ${\mathcal {Z}}$, условная взаимная информация $I(X;Y|Z)$ заключается в следующем

$I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz$

где маргинальные, совместные и/или условные функции плотности вероятности обозначаются через $p$ с соответствующим индексом. Это можно упростить как

$I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz.$

Некоторые личности

В качестве альтернативы мы можем написать в терминах совместной и условной энтропии как

${\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}$

Это можно переписать, чтобы показать его связь с взаимной информацией.

$I(X;Y|Z)=I(X;Y,Z)-I(X;Z)$

обычно преобразуется в правило цепочки для взаимной информации

$I(X;Y,Z)=I(X;Z)+I(X;Y|Z)$

или

$I(X;Y|Z)=I(X;Y)-(I(X;Z)-I(X;Z|Y))\,.$

Другая эквивалентная форма вышеизложенного:

${\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)\end{aligned}}\,.$

Другой эквивалентной формой условной взаимной информации является

${\begin{aligned}I(X;Y|Z)=I(X,Z;Y,Z)-H(Z)\end{aligned}}\,.$

Как и взаимная информация, условная взаимная информация может быть выражена как расхождение Кульбака – Лейблера :

$I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].$

Или как ожидаемое значение более простых расхождений Кульбака – Лейблера:

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]$,

$I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]$.

Более общее определение

Более общее определение условной взаимной информации, применимое к случайным величинам с непрерывным или другим произвольным распределением, будет зависеть от концепции регулярной условной вероятности .

Позволять $(\Omega ,{\mathcal {F}},{\mathfrak {P}})$ — вероятностное пространство , и пусть случайные величины $X$, $Y$, и $Z$ каждая определяется как измеримая по Борелю функция из $\Omega$ к некоторому пространству состояний, наделенному топологической структурой.

Рассмотрим борелевскую меру (на σ-алгебре, порожденной открытыми множествами) в пространстве состояний каждой случайной величины, определенной путем присвоения каждому борелевскому множеству ${\mathfrak {P}}$-мера его прообраза в ${\mathcal {F}}$. Это называется мерой продвижения $X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.$ Носителем случайной величины называется топологический носитель этой меры, т.е. $\mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.$

Теперь мы можем формально определить меру условной вероятности, учитывая значение одной (или, через топологию произведения , более) случайных величин. Позволять $M$ быть измеримым подмножеством $\Omega ,$ (т.е. $M\in {\mathcal {F}},$) и пусть $x\in \mathrm {supp} \,X.$ Тогда, используя теорему распада :

${\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},$

где предел берется по открытым окрестностям $U$ из $x$, поскольку им разрешено становиться сколь угодно меньшими по отношению к включению множества .

Наконец, мы можем определить условную взаимную информацию посредством интегрирования Лебега :

$I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),$

где подынтегральная функция представляет собой логарифм производной Радона–Никодима, включающей некоторые из только что определенных нами условных вероятностных мер.

Примечание по обозначениям

В таком выражении, как $I(A;B|C),$ $A,$ $B,$ и $C$ не обязательно ограничивается представлением отдельных случайных величин, но может также представлять совместное распределение любого набора случайных величин, определенных в одном и том же вероятностном пространстве . Как это принято в теории вероятностей , мы можем использовать запятую для обозначения такого совместного распределения, например $I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).$ Отсюда использование точки с запятой (иногда двоеточия или даже клина). $\wedge$) для разделения основных аргументов символа взаимной информации. (В символе совместной энтропии такое различие не требуется , поскольку совместная энтропия любого количества случайных величин равна энтропии их совместного распределения.)

Свойства

Неотрицательность

Это всегда правда, что

$I(X;Y|Z)\geq 0$,

для дискретных, совместно распределенных случайных величин $X$, $Y$ и $Z$. Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации , в частности, известных как неравенства типа Шеннона. Условная взаимная информация также неотрицательна для непрерывных случайных величин при определенных условиях регулярности.

Информация о взаимодействии

Обуславливание третьей случайной величиной может либо увеличить, либо уменьшить взаимную информацию: то есть разница $I(X;Y)-I(X;Y|Z)$, называемая информацией о взаимодействии , может быть положительной, отрицательной или нулевой. Это происходит даже тогда, когда случайные величины попарно независимы. Так обстоит дело, когда:

$$X\sim \mathrm {Bernoulli} (0.5),Z\sim \mathrm {Bernoulli} (0.5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\\1-X&{\text{if }}Z=1\end{array}}\right.$$

в этом случае $X$, $Y$ и $Z$ попарно независимы и, в частности, $I(X;Y)=0$, но $I(X;Y|Z)=1.$

Цепное правило для взаимной информации

Цепное правило (выведенное выше) предоставляет два способа разложения $I(X;Y,Z)$:

${\begin{aligned}I(X;Y,Z)&=I(X;Z)+I(X;Y|Z)\\&=I(X;Y)+I(X;Z|Y)\end{aligned}}$

Неравенство обработки данных тесно связано с условной взаимной информацией и может быть доказано с помощью правила цепочки.

Информация о взаимодействии

Основная статья: Информация о взаимодействии

Условная взаимная информация используется для индуктивного определения информации взаимодействия , обобщения взаимной информации, следующим образом:

$I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),$

где

$I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{n}|X_{n+1}})].$

Поскольку условная взаимная информация может быть больше или меньше, чем ее безусловный аналог, информация о взаимодействии может быть положительной, отрицательной или нулевой, что затрудняет ее интерпретацию.