Условная энтропия

Диаграмма Венна, показывающая аддитивные и вычитающие отношения, различные информационные меры , связанные с коррелирующими переменными. $X$ и $Y$. Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию. $\mathrm {H} (X,Y)$. Круг слева (красный и фиолетовый) — это индивидуальная энтропия. $\mathrm {H} (X)$, где красный цвет — условная энтропия $\mathrm {H} (X|Y)$. Круг справа (синий и фиолетовый) $\mathrm {H} (Y)$, с синим существом $\mathrm {H} (Y|X)$. Фиолетовый – это взаимная информация $\operatorname {I} (X;Y)$.

В теории информации условная энтропия количественно определяет количество информации, необходимой для описания результата случайной величины. $Y$ учитывая, что значение другой случайной величины $X$ известно. Здесь информация измеряется в шеннонах , натсах или хартли . Энтропия ​ $Y$ обусловлено $X$ написано как $\mathrm {H} (Y|X)$.

Определение

Условная энтропия $Y$ данный $X$ определяется как

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$ ( Уравнение 1 )

где ${\mathcal {X}}$ и ${\mathcal {Y}}$ обозначаем опорные множества $X$ и $Y$.

Примечание. Здесь принято соглашение о том, что выражение $0\log 0$ следует считать равным нулю. Это потому, что $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$.

Интуитивно заметим, что по определению значения и условной вероятности ожидаемого $\displaystyle H(Y|X)$ можно записать как $H(Y|X)=\mathbb {E} [f(X,Y)]$, где $f$ определяется как $\displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))$. Можно подумать о $\displaystyle f$ как связывание каждой пары $\displaystyle (x,y)$ с величиной, измеряющей информационное содержание $\displaystyle (Y=y)$ данный $\displaystyle (X=x)$. Это количество напрямую связано с объемом информации, необходимой для описания события. $\displaystyle (Y=y)$ данный $(X=x)$. Следовательно, вычислив ожидаемое значение $\displaystyle f$ по всем парам значений $(x,y)\in {\mathcal {X}}\times {\mathcal {Y}}$, условная энтропия $\displaystyle H(Y|X)$ измеряет, сколько информации в среднем содержит переменная $X$ кодирует около $Y$.

Мотивация

Позволять $\mathrm {H} (Y|X=x)$ быть энтропией дискретной случайной величины $Y$ обусловленное дискретной случайной величиной $X$ принимая определенное значение $x$. Обозначим опорные множества $X$ и $Y$ к ${\mathcal {X}}$ и ${\mathcal {Y}}$. Позволять $Y$ иметь функцию массы вероятности $p_{Y}{(y)}$. Безусловная энтропия $Y$ рассчитывается как $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$, то есть

$\mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},$

где $\operatorname {I} (y_{i})$ это информативность результатов ​ ​ $Y$ принимая значение $y_{i}$. Энтропия $Y$ обусловлено $X$ принимая значение $x$ определяется аналогично условным ожиданием :

$\mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.$

Обратите внимание, что $\mathrm {H} (Y|X)$ это результат усреднения $\mathrm {H} (Y|X=x)$ по всем возможным значениям $x$ что $X$ может возьму. Кроме того, если вышеуказанная сумма взята за выборку $y_{1},\dots ,y_{n}$, ожидаемое значение $E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]$ известен в некоторых областях как двусмысленность .

Даны дискретные случайные величины $X$ с изображением ${\mathcal {X}}$ и $Y$ с изображением ${\mathcal {Y}}$, условная энтропия $Y$ данный $X$ определяется как взвешенная сумма $\mathrm {H} (Y|X=x)$ для каждого возможного значения $x$, с использованием $p(x)$ как веса:

${\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}$

Характеристики

Условная энтропия равна нулю

$\mathrm {H} (Y|X)=0$ тогда и только тогда, когда значение $Y$ полностью определяется стоимостью $X$.

Условная энтропия независимых случайных величин

Наоборот, $\mathrm {H} (Y|X)=\mathrm {H} (Y)$ тогда и только тогда, когда $Y$ и $X$ являются независимыми случайными величинами .

Правило цепочки

Предположим, что объединенная система, определяемая двумя случайными величинами $X$ и $Y$ имеет совместную энтропию $\mathrm {H} (X,Y)$, то есть нам нужно $\mathrm {H} (X,Y)$ бит информации в среднем для описания его точного состояния. Теперь, если мы сначала узнаем ценность $X$, мы получили $\mathrm {H} (X)$ биты информации. Один раз $X$ известно, нам нужно только $\mathrm {H} (X,Y)-\mathrm {H} (X)$ биты для описания состояния всей системы. Это количество точно $\mathrm {H} (Y|X)$, что дает цепное правило условной энтропии:

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).$

Цепное правило следует из приведенного выше определения условной энтропии:

${\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}$

В общем случае действует цепное правило для нескольких случайных величин:

$\mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})$

Оно имеет форму, аналогичную цепному правилу в теории вероятностей, за исключением того, что вместо умножения используется сложение.

Правило Байеса

Правило Байеса для состояний условной энтропии

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).$

Доказательство. $\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)$ и $\mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)$. Симметрия влечет за собой $\mathrm {H} (X,Y)=\mathrm {H} (Y,X)$. Вычитание двух уравнений подразумевает правило Байеса.

Если $Y$ зависит условно не от $Z$ данный $X$ у нас есть:

$\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).$

Другие объекты недвижимости

Для любого $X$ и $Y$:

${\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}$

где $\operatorname {I} (X;Y)$ это взаимная информация между $X$ и $Y$.

Для независимых $X$ и $Y$:

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ и $\mathrm {H} (X|Y)=\mathrm {H} (X)\,$

Хотя конкретно-условная энтропия $\mathrm {H} (X|Y=y)$ может быть как меньше, так и больше, чем $\mathrm {H} (X)$ для данной случайной величины $y$ из $Y$, $\mathrm {H} (X|Y)$ никогда не может превысить $\mathrm {H} (X)$.

Условная дифференциальная энтропия

Определение

Приведенное выше определение относится к дискретным случайным величинам. Непрерывная версия дискретной условной энтропии называется условной дифференциальной (или непрерывной) энтропией . Позволять $X$ и $Y$ быть непрерывными случайными величинами с совместной функцией плотности вероятности $f(x,y)$. Дифференциальная условная энтропия $h(X|Y)$ определяется как

$h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy$ ( Уравнение 2 )

Характеристики

В отличие от условной энтропии для дискретных случайных величин, условная дифференциальная энтропия может быть отрицательной.

Как и в дискретном случае, существует цепное правило для дифференциальной энтропии:

$h(Y|X)\,=\,h(X,Y)-h(X)$

Однако обратите внимание, что это правило может быть неверным, если задействованная дифференциальная энтропия не существует или бесконечна.

Совместная дифференциальная энтропия также используется при определении взаимной информации между непрерывными случайными величинами:

$\operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)$

$h(X|Y)\leq h(X)$ с равенством тогда и только тогда, когда $X$ и $Y$ независимы.

Связь с ошибкой оценщика

Условная дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценщика . Для любой случайной величины $X$, наблюдение $Y$ и оценщик ${\widehat {X}}$ имеет место следующее:

$$\mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}$$

Это связано с принципом неопределенности из квантовой механики .

Обобщение на квантовую теорию

В квантовой теории информации условная энтропия обобщается до условной квантовой энтропии . Последний может принимать отрицательные значения, в отличие от своего классического аналога.

См. также

• Энтропия (теория информации)
• Взаимная информация
• Условная квантовая энтропия
• Изменение информации
• Неравенство энтропийной мощности
• Функция правдоподобия