Совместная энтропия

Вводящий в заблуждение Диаграмма Венна, показывающая аддитивные и субтрактивные отношения между различными информационными мерами , связанными с коррелирующими переменными X и Y. Область, содержащаяся в обоих кругах, представляет собой совместную энтропию H (X, Y). Круг слева (красный и фиолетовый) — это индивидуальная энтропия H(X), а красный — условная энтропия H(X|Y). Круг справа (синий и фиолетовый) — это H(Y), синий — H(Y|X). Фиолетовый — это взаимная информация I(X;Y).

В теории информации совместная энтропия является мерой неопределенности, связанной с набором переменных .

Определение

Совместная энтропия Шеннона (в битах ) двух дискретных случайных величин $X$ и $Y$ с изображениями ${\mathcal {X}}$ и ${\mathcal {Y}}$ определяется как

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$ ( Уравнение 1 )

где $x$ и $y$ представляют собой особые ценности $X$ и $Y$, соответственно, $P(x,y)$ - совместная вероятность того, что эти значения встречаются вместе, и $P(x,y)\log _{2}[P(x,y)]$ определяется как 0, если $P(x,y)=0$.

Для более чем двух случайных величин $X_{1},...,X_{n}$ это распространяется на

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ ( Уравнение 2 )

где $x_{1},...,x_{n}$ представляют собой особые ценности $X_{1},...,X_{n}$, соответственно, $P(x_{1},...,x_{n})$ - вероятность того, что эти значения встречаются вместе, и $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ определяется как 0, если $P(x_{1},...,x_{n})=0$.

Свойства

Неотрицательность

Совместная энтропия набора случайных величин является неотрицательным числом.

$\mathrm {H} (X,Y)\geq 0$

$\mathrm {H} (X_{1},\ldots ,X_{n})\geq 0$

чем индивидуальная

Совместная энтропия набора переменных больше или равна максимуму всех отдельных энтропий переменных в наборе.

$\mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]$

$\mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}$

сумме

Совместная энтропия набора переменных меньше или равна сумме отдельных энтропий переменных в наборе. Это пример субаддитивности . Это неравенство является равенством тогда и только тогда, когда $X$ и $Y$ независимы статистически .

$\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$

$\mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})$

с другими

Совместная энтропия используется в определении условной энтропии.

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,$,

и

$$\mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})$$

Он также используется в определении взаимной информации.

$\operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,$

В квантовой теории информации совместная энтропия обобщается в совместную квантовую энтропию .

дифференциальная

Определение

Приведенное выше определение относится к дискретным случайным величинам и так же справедливо и в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместной дифференциальной (или непрерывной) энтропией . Позволять $X$ и $Y$ быть непрерывными случайными величинами с совместной функцией плотности вероятности $f(x,y)$. Дифференциальная совместная энтропия $h(X,Y)$ определяется как

$h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy$ ( Уравнение 3 )

Для более чем двух непрерывных случайных величин $X_{1},...,X_{n}$ определение обобщается до:

$h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}$ ( Уравнение 4 )

Интеграл носителю берется по $f$. Возможно, что интеграл не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена.

Свойства

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

$h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})$

Следующее цепное правило справедливо для двух случайных величин:

$h(X,Y)=h(X|Y)+h(Y)$

В случае более чем двух случайных величин это обобщается следующим образом:

$h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})$

Совместная дифференциальная энтропия также используется при определении взаимной информации между непрерывными случайными величинами:

$\operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)$