Диаграмма Венна теоретико-информационных мер для трех переменных , , и , представленный нижним левым, нижним правым и верхним кружками соответственно. Условная взаимная информация , и представлены желтыми, голубыми и пурпурными областями соответственно.
Более общее определение условной взаимной информации, применимое к случайным величинам с непрерывным или другим произвольным распределением, будет зависеть от концепции регулярной условной вероятности . [4]
Позволять — вероятностное пространство , и пусть случайные величины , , и каждая определяется как измеримая по Борелю функция из к некоторому пространству состояний, наделенному топологической структурой.
Рассмотрим борелевскую меру (на σ-алгебре, порожденной открытыми множествами) в пространстве состояний каждой случайной величины, определенной путем присвоения каждому борелевскому множеству -мера его прообраза в . Это называется мерой продвижения Носителем случайной величины называется топологический носитель этой меры, т.е.
где предел берется по открытым окрестностям из , поскольку им разрешено становиться сколь угодно меньшими по отношению к включению множества .
Наконец, мы можем определить условную взаимную информацию посредством интегрирования Лебега :
где подынтегральная функция представляет собой логарифм производной Радона–Никодима, включающей некоторые из только что определенных нами условных вероятностных мер.
В таком выражении, как и не обязательно ограничивается представлением отдельных случайных величин, но может также представлять совместное распределение любого набора случайных величин, определенных в одном и том же вероятностном пространстве . Как это принято в теории вероятностей , мы можем использовать запятую для обозначения такого совместного распределения, например Отсюда использование точки с запятой (иногда двоеточия или даже клина). ) для разделения основных аргументов символа взаимной информации. (В символе совместной энтропии такое различие не требуется , поскольку совместная энтропия любого количества случайных величин равна энтропии их совместного распределения.)
для дискретных, совместно распределенных случайных величин , и . Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации , в частности, тех, которые известны как неравенства типа Шеннона. Условная взаимная информация также неотрицательна для непрерывных случайных величин при определенных условиях регулярности. [5]
Обуславливание третьей случайной величиной может либо увеличить, либо уменьшить взаимную информацию: то есть разница , называемая информацией о взаимодействии , может быть положительной, отрицательной или нулевой. Это происходит даже тогда, когда случайные величины попарно независимы. Так обстоит дело, когда:
в таком случае , и попарно независимы и, в частности, , но
Цепное правило для взаимной информации [ править ]
Цепное правило (выведенное выше) предоставляет два способа разложения :
Неравенство обработки данных тесно связано с условной взаимной информацией и может быть доказано с помощью правила цепочки.
Условная взаимная информация используется для индуктивного определения информации взаимодействия , обобщения взаимной информации, следующим образом:
где
Поскольку условная взаимная информация может быть больше или меньше, чем ее безусловный аналог, информация о взаимодействии может быть положительной, отрицательной или нулевой, что затрудняет ее интерпретацию.
^ Д. Леао-младший и др. Регулярная условная вероятность, распад вероятностей и пространства Радона. Прогнозы. Том 23, № 1, с. 15–29 мая 2004 г., Католический университет дель Норте, Антофагаста, Чили PDF
Arc.Ask3.Ru Номер скриншота №: 0C6B80363A2EDFF0D4DA77E506A8D642__1689826980 URL1:https://en.wikipedia.org/wiki/Conditional_mutual_information Заголовок, (Title) документа по адресу, URL1: Conditional mutual information - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть, любые претензии не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, денежную единицу можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)