Информационная диаграмма

Информационная диаграмма — это тип диаграммы Венна, используемый в теории информации Шеннона для иллюстрации отношений между основными мерами информации : энтропией , совместной энтропией , условной энтропией и взаимной информацией . ^[1]^[2] Информационные диаграммы являются полезным педагогическим инструментом для преподавания и изучения этих основных мер информации. Информационные диаграммы также применялись для решения конкретных задач, например, для отображения теоретического сходства информации между наборами онтологических терминов . ^[3]

Диаграмма Венна, показывающая аддитивные и субтрактивные отношения между различными информационными мерами связанными с коррелирующими переменными $X$ и $Y.$ , Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию ⁠ $H(X,Y)$ ⁠ . Круг слева (красный и фиолетовый) — это индивидуальная энтропия ⁠. $H(X)$ ⁠ , где красный цвет — условная энтропия $H(X|Y)$ . Круг справа (синий и фиолетовый) — ⁠ $H(Y)$ ⁠ , с синим существом $H(Y|X)$ . Фиолетовый – взаимная информация ⁠ $I(X;Y)$ ⁠ .
Диаграмма Венна теоретико-информационных мер для трех переменных $x, y$ и $z$ . Каждый круг представляет собой отдельную энтропию : ⁠ $H(x)$ ⁠ — нижний левый круг, ⁠ $H(y)$ ⁠ нижний правый угол и ⁠ $H(z)$ ⁠ — верхний круг. Пересечения любых двух кругов представляют собой взаимную информацию для двух связанных переменных (например , ⁠ $I(x;z)$ ⁠ — желтый и серый). Объединение любых двух кругов представляет собой совместную энтропию двух связанных переменных (например , ⁠ $H(x,y)$ ⁠ — все, кроме зеленого). Совместная энтропия ⁠ $H(x,y,z)$ ⁠ всех трёх переменных — это объединение всех трёх окружностей. Он разделен на 7 частей, красная, синяя и зеленая — условные энтропии. $H(x|y,z),H(y|x,z),H(z|x,y)$ соответственно, желтый, пурпурный и голубой являются условной взаимной информацией. $I(x;z|y),I(y;z|x)$ и $I(x;y|z)$ соответственно, а серый — информация о взаимодействии ⁠ $I(x;y;z)$ ⁠ . Информация о взаимодействии – единственная из всех, которая может быть негативной.

Ссылки

^ Фазлолла Реза. Введение в теорию информации. Нью-Йорк: МакГроу-Хилл, 1961. Нью-Йорк: Дувр, 1994. ISBN 0-486-68210-2
^ Р.В. Юнг, Первый курс теории информации. Норвелл, Массачусетс/Нью-Йорк: Kluwer/Plenum, 2002.
^ Гардо, Винсент; Халонен, Х; Джексон, Д; Мартинес, Флорида; Люсье, Ю.А. (1 июня 2015 г.). «К «анализу вирограммы» PBMC для точной медицины: соответствие между транскриптомами вирусной инфекции ex vivo и in vivo» . Журнал биомедицинской информатики . 1 : 94–103. дои : 10.1016/j.jbi.2015.03.003 . ПМЦ 4951181 . ПМИД 25797143 .

Эта теории множеств статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[1] Фазлолла Реза. Введение в теорию информации. Нью-Йорк: МакГроу-Хилл, 1961. Нью-Йорк: Дувр, 1994. ISBN 0-486-68210-2

[2] Р.В. Юнг, Первый курс теории информации. Норвелл, Массачусетс/Нью-Йорк: Kluwer/Plenum, 2002.

[3] Гардо, Винсент; Халонен, Х; Джексон, Д; Мартинес, Флорида; Люсье, Ю.А. (1 июня 2015 г.). «К «анализу вирограммы» PBMC для точной медицины: соответствие между транскриптомами вирусной инфекции ex vivo и in vivo» . Журнал биомедицинской информатики . 1 : 94–103. дои : 10.1016/j.jbi.2015.03.003 . ПМЦ 4951181 . ПМИД 25797143 .

[1]

[2]

[3]