Неравенство в обработке данных

Неравенство обработки данных — это концепция теории информации , которая утверждает, что информационное содержание сигнала не может быть увеличено с помощью локальной физической операции. Кратко это можно выразить так: «Постобработка не может увеличить информацию».

Заявление

Пусть три случайные величины образуют цепь Маркова $X\rightarrow Y\rightarrow Z$, подразумевая, что условное распределение $Z$ зависит только от $Y$ и условно независим от $X$. В частности, у нас есть такая цепь Маркова, если совместную функцию массы вероятности можно записать как

$p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)$

В этом случае обработка данных невозможна. $Y$детерминированный или случайный, может увеличить объем информации, $Y$ содержит около $X$. Используя взаимную информацию , это можно записать как:

$I(X;Y)\geqslant I(X;Z),$

с равенством $I(X;Y)=I(X;Z)$ тогда и только тогда, когда $I(X;Y\mid Z)=0$. То есть, $Z$ и $Y$ содержат ту же информацию о $X$, и $X\rightarrow Z\rightarrow Y$ также образует цепь Маркова.

Доказательство

Можно применить правило цепочки для взаимной информации, чтобы получить два разных разложения $I(X;Y,Z)$:

$I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)$

По отношению $X\rightarrow Y\rightarrow Z$, мы это знаем $X$ и $Z$ условно независимы, если $Y$, что означает условную взаимную информацию , $I(X;Z\mid Y)=0$. Неравенство обработки данных тогда следует из неотрицательности $I(X;Y\mid Z)\geq 0$.

См. также

• Мусор на входе, мусор на выходе

Внешние ссылки

• http://www.scholarpedia.org/article/Mutual_information