Теория информации и теория меры

В этой статье рассматривается, как теория информации (раздел математики, изучающий передачу, обработку и хранение информации ) связана с теорией меры (раздел математики, связанный с интегрированием и вероятностью ).

в

Многие понятия теории информации имеют отдельные определения и формулы для непрерывных и дискретных случаев. Например, энтропия $\mathrm {H} (X)$ обычно определяется для дискретных случайных величин, тогда как для непрерывных случайных величин родственное понятие дифференциальной энтропии , записанное $h(X)$, (см. Cover and Thomas, 2006, глава 8). Обе эти концепции представляют собой математические ожидания , но ожидание определяется интегралом для непрерывного случая и суммой для дискретного случая.

Эти отдельные определения могут быть более тесно связаны с точки зрения теории меры . Для дискретных случайных величин функции вероятностной массы можно рассматривать как функции плотности относительно считающей меры. Представление об интеграле и сумме как об интегрировании в пространстве меры позволяет обеспечить единый подход.

Рассмотрим формулу дифференциальной энтропии непрерывной случайной величины $X$ с диапазоном $\mathbb {R}$ и функция плотности вероятности $f(x)$:

$h(X)=-\int _{\mathbb {R} }f(x)\log f(x)\,dx.$

Обычно это можно интерпретировать как следующий интеграл Римана – Стилтьеса :

$h(X)=-\int _{\mathbb {R} }f(x)\log f(x)\,d\mu (x),$

где $\mu$ есть мера Лебега .

Если вместо этого $X$ дискретен, с диапазоном $\Omega$ конечное множество, $f$ представляет собой функцию массы вероятности на $\Omega$, и $\nu$ является мерой счетной $\Omega$, мы можем написать:

$\mathrm {H} (X)=-\sum _{x\in \Omega }f(x)\log f(x)=-\int _{\Omega }f(x)\log f(x)\,d\nu (x).$

Интегральное выражение и общее понятие в непрерывном случае тождественны; единственная разница заключается в используемой мере. В обоих случаях функция плотности вероятности $f$ – производная Радона–Никодима вероятностной меры по мере, по которой ведется интеграл.

Если $P$ – вероятностная мера, индуцированная $X$, то интеграл можно взять и непосредственно по $P$:

$h(X)=-\int _{\Omega }\log {\frac {\mathrm {d} P}{\mathrm {d} \mu }}\,dP,$

Если вместо базовой меры µ мы возьмем другую вероятностную меру $Q$, мы приходим к расходимости Кульбака–Лейблера : пусть $P$ и $Q$ быть вероятностными мерами в одном и том же пространстве. Тогда, если $P$ непрерывен абсолютно относительно $Q$, написано $P\ll Q,$ производная Радона – Никодима ${\frac {\mathrm {d} P}{\mathrm {d} Q}}$ существует, и расхождение Кульбака–Лейблера можно выразить в полной общности:

$D_{\operatorname {KL} }(P\|Q)=\int _{\operatorname {supp} P}{\frac {\mathrm {d} P}{\mathrm {d} Q}}\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\,dQ=\int _{\operatorname {supp} P}\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\,dP,$

пробегает носитель где интеграл $P.$ Обратите внимание, что мы опустили отрицательный знак: расходимость Кульбака – Лейблера всегда неотрицательна из-за неравенства Гиббса .

Энтропия как «мера»

Диаграмма Венна связанных с коррелирующими переменными X и Y. для различных информационных мер , Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию H ( X , Y ). Круг слева (красный и голубой) — это индивидуальная энтропия H ( X ), а красный — условная энтропия H ( X | Y ). Круг справа (синий и голубой) — это H ( Y ), а синий — H ( Y | X ). Голубой — это взаимная информация I ( X ; Y ).

Диаграмма Венна теоретико-информационных мер для трех переменных x , y и z . Каждый круг представляет собой отдельную энтропию : H ( x ) — нижний левый круг, H ( y ) — нижний правый, а H ( z ) — верхний круг. Пересечения любых двух кругов представляют собой взаимную информацию для двух связанных переменных (например, I ( x ; z ) — желтый и серый). Объединение любых двух кругов — это совместная энтропия двух связанных переменных (например, H ( x , y ) — все, кроме зеленого). Совместная энтропия H ( x , y , z ) всех трех переменных представляет собой объединение всех трех кругов. Он разделен на 7 частей: красный, синий и зеленый — это условные энтропии H ( x | y , z ), H ( y | x , z ), H ( z | x , y ) соответственно, желтый, пурпурный и голубой. это условная взаимная информация I ( x ; z | y ), I ( y ; z | x ) и I ( x ; y | z ) соответственно, а серый цвет представляет собой многомерную взаимную информацию I ( x ; y ; z ). Многомерная взаимная информация – единственная из всех, которая может быть отрицательной.

Существует аналогия между Шеннона основными « мерами » информационного содержания случайных величин и мерой над множествами. А именно, совместную энтропию , условную энтропию и взаимную информацию можно рассматривать как меру объединения множеств , разницы множеств и пересечения множеств соответственно (Реза, стр. 106–108).

Если мы свяжем существование абстрактных множеств ${\tilde {X}}$ и ${\tilde {Y}}$ к произвольным дискретным случайным величинам X и Y , каким-то образом представляющим информацию, которую несут X и Y соответственно, такие, что:

• $\mu ({\tilde {X}}\cap {\tilde {Y}})=0$ всякий раз, когда X и Y безусловно независимы , и
• ${\tilde {X}}={\tilde {Y}}$ всякий раз, когда X и Y таковы, что один полностью определяется другим (т. е. биекцией);

где $\mu$ является знаковой мерой по этим наборам, и мы установили:

${\begin{aligned}\mathrm {H} (X)&=\mu ({\tilde {X}}),\\\mathrm {H} (Y)&=\mu ({\tilde {Y}}),\\\mathrm {H} (X,Y)&=\mu ({\tilde {X}}\cup {\tilde {Y}}),\\\mathrm {H} (X\mid Y)&=\mu ({\tilde {X}}\setminus {\tilde {Y}}),\\\operatorname {I} (X;Y)&=\mu ({\tilde {X}}\cap {\tilde {Y}});\end{aligned}}$

мы обнаруживаем, что «мера» информационного содержания Шеннона удовлетворяет всем постулатам и основным свойствам формальной знаковой меры множеств, как это обычно иллюстрируется информационной диаграммой . Это позволяет записать сумму двух мер:

$\mu (A)+\mu (B)=\mu (A\cup B)+\mu (A\cap B)$

и аналог теоремы Байеса ( $\mu (A)+\mu (B\setminus A)=\mu (B)+\mu (A\setminus B)$) позволяет записать разницу двух мер:

$\mu (A)-\mu (B)=\mu (A\setminus B)-\mu (B\setminus A)$

это может быть удобным мнемоническим средством В некоторых ситуациях , например

${\begin{aligned}\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y\mid X)&\mu ({\tilde {X}}\cup {\tilde {Y}})&=\mu ({\tilde {X}})+\mu ({\tilde {Y}}\setminus {\tilde {X}})\\\operatorname {I} (X;Y)&=\mathrm {H} (X)-\mathrm {H} (X\mid Y)&\mu ({\tilde {X}}\cap {\tilde {Y}})&=\mu ({\tilde {X}})-\mu ({\tilde {X}}\setminus {\tilde {Y}})\end{aligned}}$

что меры (ожидаемые значения логарифма) истинных вероятностей называются «энтропией» и обычно обозначаются буквой H , тогда как другие меры часто называются «информацией» или «корреляцией» и обычно обозначаются буквой I. Обратите внимание , буква I. Для простоты обозначений для всех мер иногда используется

Многомерная взаимная информация

Основная статья: Многомерная взаимная информация

Определенные расширения определений основных мер информации Шеннона необходимы для работы с σ-алгеброй, порожденной множествами, которые будут связаны с тремя или более произвольными случайными величинами. (Неофициальное, но довольно полное обсуждение см. на стр. 106–108 Резы.) А именно $\mathrm {H} (X,Y,Z,\cdots )$ необходимо определить очевидным образом как энтропию совместного распределения и многомерную взаимную информацию. $\operatorname {I} (X;Y;Z;\cdots )$ определены подходящим образом, чтобы мы могли установить:

${\begin{aligned}\mathrm {H} (X,Y,Z,\cdots )&=\mu ({\tilde {X}}\cup {\tilde {Y}}\cup {\tilde {Z}}\cup \cdots ),\\\operatorname {I} (X;Y;Z;\cdots )&=\mu ({\tilde {X}}\cap {\tilde {Y}}\cap {\tilde {Z}}\cap \cdots );\end{aligned}}$

чтобы определить (подписанную) меру во всей σ-алгебре. Не существует единого общепринятого определения многомерной взаимной информации, но то, которое здесь соответствует мере пересечения множеств, принадлежит Фано (1966: стр. 57-59). Определение рекурсивно. В базовом случае взаимная информация одной случайной величины определяется как ее энтропия: $\operatorname {I} (X)=\mathrm {H} (X)$. Тогда для $n\geq 2$ мы устанавливаем

$\operatorname {I} (X_{1};\cdots ;X_{n})=\operatorname {I} (X_{1};\cdots ;X_{n-1})-\operatorname {I} (X_{1};\cdots ;X_{n-1}\mid X_{n}),$

где условная взаимная информация определяется как

$\operatorname {I} (X_{1};\cdots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}{\big (}\operatorname {I} (X_{1};\cdots ;X_{n-1})\mid X_{n}{\big )}.$

Первый шаг рекурсии дает определение Шеннона $\operatorname {I} (X_{1};X_{2})=\mathrm {H} (X_{1})-\mathrm {H} (X_{1}\mid X_{2}).$ Многомерная взаимная информация (такая же, как информация о взаимодействии , но с изменением знака) трех или более случайных величин может быть как положительной, так и отрицательной: пусть X и Y будут двумя независимыми честными подбрасываниями монеты, и пусть Z будет их исключительным или . Затем $\operatorname {I} (X;Y;Z)=-1$ кусочек.

Возможны многие другие варианты трех и более случайных величин: например, $\operatorname {I} (X,Y;Z)$ - это взаимная информация совместного распределения X и Y относительно Z , и ее можно интерпретировать как $\mu (({\tilde {X}}\cup {\tilde {Y}})\cap {\tilde {Z}}).$ Многие более сложные выражения могут быть построены таким образом и при этом иметь смысл, например $\operatorname {I} (X,Y;Z\mid W),$ или $\mathrm {H} (X,Z\mid W,Y).$

Ссылки

• Томас М. Ковер и Джой А. Томас. Элементы теории информации , второе издание, 2006 г. Нью-Джерси: Wiley and Sons. ISBN   978-0-471-24195-9 .
• Фазлолла М. Реза. Введение в теорию информации . Нью-Йорк: МакГроу – Хилл, 1961. Нью-Йорк: Дувр, 1994. ISBN   0-486-68210-2
• Фано, Р.М. (1966), Передача информации: статистическая теория коммуникаций , MIT Press , ISBN  978-0-262-56169-3 , OCLC   804123877
• Р.В. Юнг, «Об энтропии, информационном неравенстве и группах». ПС

См. также

• Теория информации
• Теория меры
• Теория множеств