Информация о взаимодействии

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z, представленных нижним левым, нижним правым и верхним кружками соответственно. Информация о взаимодействии представлена серой областью и является единственной, которая может быть отрицательной.

Информация о взаимодействии представляет собой обобщение взаимной информации для более чем двух переменных.

Существует много названий информации о взаимодействии, включая количество информации , ^[1] корреляция информации , ^[2] совместная информация , ^[3] и просто взаимная информация . ^[4] Информация о взаимодействии выражает количество информации (избыточности или синергии), связанной с набором переменных, помимо той, которая присутствует в любом подмножестве этих переменных. В отличие от взаимной информации, информация взаимодействия может быть как положительной, так и отрицательной. Эти функции, их отрицательность и минимумы имеют прямую интерпретацию в алгебраической топологии . ^[5]

Определение

Условную взаимную информацию можно использовать для индуктивного определения информации о взаимодействии для любого конечного числа переменных следующим образом:

I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}),

где

I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.

Некоторые авторы ^[6] определите информацию о взаимодействии по-другому, поменяв местами два члена, вычитаемые в предыдущем уравнении. Это приводит к изменению знака для нечетного числа переменных.

Для трех переменных $\{X,Y,Z\}$ , информация о взаимодействии $I(X;Y;Z)$ дается

I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)

где $I(X;Y)$ это взаимная информация между переменными $X$ и $Y$ , и $I(X;Y\mid Z)$ – условная взаимная информация между переменными $X$ и $Y$ данный $Z$ . Информация о взаимодействии симметрична , поэтому не имеет значения, какая переменная обусловлена. Это легко увидеть, если информация о взаимодействии записана в терминах энтропии и совместной энтропии следующим образом:

{\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}

В общем случае для набора переменных ${\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}$ , информацию о взаимодействии можно записать в следующем виде (сравните с приближением Кирквуда ):

I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})

Для трех переменных информация о взаимодействии измеряет влияние переменной. $Z$ от объема информации, передаваемой между $X$ и $Y$ . Потому что термин $I(X;Y\mid Z)$ может быть больше, чем $I(X;Y)$ Информация о взаимодействии может быть как отрицательной, так и положительной. Это произойдет, например, когда $X$ и $Y$ независимы, но не условно независимы, учитывая $Z$ . Информация о положительном взаимодействии указывает на то, что переменная $Z$ подавляет (т.е. объясняет или частично объясняет ) корреляцию между $X$ и $Y$ , тогда как информация об отрицательном взаимодействии указывает на то, что переменная $Z$ облегчает или усиливает корреляцию.

Характеристики

Информация о взаимодействии ограничена. В случае трех переменных он ограничен ^[4]

-\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}

Если три переменные образуют цепь Маркова $X\to Y\to Z$ , затем $I(X;Z\mid Y)=0$ , но $I(X;Z)\geq 0$ . Поэтому

I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.

Примеры

Информация о позитивном взаимодействии

Информация о положительном взаимодействии кажется гораздо более естественной, чем информация об отрицательном взаимодействии, в том смысле, что такие объяснительные эффекты типичны для структур общей причины. Например, облака вызывают дождь и закрывают солнце; следовательно, корреляция между дождем и темнотой частично объясняется наличием облаков, $I({\text{rain}};{\text{dark}}\mid {\text{cloud}})<I({\text{rain}};{\text{dark}})$ . Результатом является информация о положительном взаимодействии. $I({\text{rain}};{\text{dark}};{\text{cloud}})$ .

Информация о негативном взаимодействии

Двигатель автомобиля может не запуститься из-за разряженного аккумулятора или заблокированного топливного насоса. Обычно мы предполагаем, что выход из строя аккумулятора и блокировка топливного насоса являются независимыми событиями. $I({\text{blocked fuel}};{\text{dead battery}})=0$ . Но зная, что машина не заводится, если проверка показывает, что аккумулятор исправен, можно сделать вывод, что топливный насос должен быть заблокирован. Поэтому $I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0$ , и результатом является информация об отрицательном взаимодействии.

Сложность интерпретации

Возможная негативность информации о взаимодействии может стать источником некоторой путаницы. ^[3] Многие авторы воспринимают информацию об отсутствии взаимодействия как признак того, что три или более случайных величин не взаимодействуют, но эта интерпретация неверна. ^[7]

Чтобы увидеть, насколько сложной может быть интерпретация, рассмотрим набор из восьми независимых двоичных переменных. $\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}$ . Агломерируйте эти переменные следующим образом:

{\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}

Потому что $Y_{i}$ перекрывают друг друга (избыточны) по трем двоичным переменным $\{X_{5},X_{6},X_{7}\}$ , мы ожидаем, что информация о взаимодействии $I(Y_{1};Y_{2};Y_{3})$ равняться $3$ биты, что он и делает. Однако рассмотрим теперь агломерированные переменные

{\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}

Это те же переменные, что и раньше, с добавлением $Y_{4}=\{X_{7},X_{8}\}$ . Однако, $I(Y_{1};Y_{2};Y_{3};Y_{4})$ в данном случае фактически равно $+1$ бит, указывающий на меньшую избыточность. Это правильно в том смысле, что

{\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}

но это по-прежнему трудно интерпретировать.

Использование

Якулин и Братко (2003b) предлагают алгоритм машинного обучения, использующий информацию о взаимодействии.
Киллиан, Кравиц и Гилсон (2007) используют взаимное информационное расширение для получения оценок энтропии из молекулярного моделирования. ^[8]
ЛеВайн и Вайнштейн (2014) используют информацию о взаимодействии и другие информационные меры N-тел для количественной оценки аллостерических связей в молекулярном моделировании. ^[9]
Мур и др. (2006), Чанда П., Чжан А., Бразо Д., Сучестон Л., Фрейденхайм Дж.Л., Амброзон С., Раманатан М. (2007) и Чанда П., Сучестон Л., Чжан А., Бразо Д., Фрейденхайм Дж.Л., Амброзон С., Раманатан М. (2008) демонстрируют использование информации о взаимодействии для анализа взаимодействий ген-ген и ген-среда, связанных со сложными заболеваниями.
Панди и Саркар (2017) используют информацию о взаимодействии в космологии для изучения влияния крупномасштабной среды на свойства галактик.
Доступен пакет Python для вычисления всех многомерных взаимодействий или взаимной информации, условной взаимной информации, совместной энтропии, общих корреляций, информационного расстояния в наборе данных из n переменных. ^[10]

См. также

Ссылки

^ Тин, Ху Го (январь 1962 г.). «Об объеме информации» . Теория вероятностей и ее приложения . 7 (4): 439–447. дои : 10.1137/1107041 . ISSN 0040-585X .
^ Вольф, Дэвид (1 мая 1996 г.). Обобщение взаимной информации как информации между множеством переменных: иерархия функций корреляции информации и информационная структура многоагентных систем (Технический отчет). Исследовательский центр Эймса НАСА.
^ Jump up to: ^а ^б Белл, Энтони (2003). Решетка коинформации . 4-й Межд. Симп. Независимый анализ компонентов и слепое разделение источников.
^ Jump up to: ^а ^б Юнг, RW (май 1991 г.). «Новый взгляд на информационные меры Шеннона» . Транзакции IEEE по теории информации . 37 (3): 466–474. дои : 10.1109/18.79902 . ISSN 0018-9448 .
^ Бодо, Пьер; Беннекен, Дэниел (13 мая 2015 г.). «Гомологическая природа энтропии» . Энтропия . 17 (5): 3253–3318. Бибкод : 2015Entrp..17.3253B . дои : 10.3390/e17053253 . ISSN 1099-4300 .
^ Макгилл, Уильям Дж. (июнь 1954 г.). «Многомерная передача информации» . Психометрика . 19 (2): 97–116. дои : 10.1007/bf02289159 . ISSN 0033-3123 . S2CID 126431489 .
^ Криппендорф, Клаус (август 2009 г.). «Информация о взаимодействиях в сложных системах» . Международный журнал общих систем . 38 (6): 669–680. дои : 10.1080/03081070902993160 . ISSN 0308-1079 . S2CID 13923485 .
^ Киллиан, Бенджамин Дж.; Юнденфренд Кравиц, Джослин; Гилсон, Майкл К. (14 июля 2007 г.). «Извлечение конфигурационной энтропии из молекулярного моделирования с помощью приближения расширения» . Журнал химической физики . 127 (2): 024107. Бибкод : 2007JChPh.127b4107K . дои : 10.1063/1.2746329 . ISSN 0021-9606 . ПМК 2707031 . ПМИД 17640119 .
^ ЛеВайн, Майкл В.; Перес-Агилар, Хосе Мануэль; Вайнштейн, Харель (18 июня 2014 г.). «Теория информации N-тел (NbIT) Анализ динамики твердых тел во внутриклеточной петле 2 рецептора 5-HT2A». arXiv : 1406.4730 [ q-bio.BM ].
^ «InfoTopo: Анализ данных топологической информации. Глубокое статистическое обучение без и с учителем — Обмен файлами — Github» . github.com/pierrebaudot/infotopopy/ . Проверено 26 сентября 2020 г.

Бодо, П.; Беннекен, Д. (2015). «Гомологическая природа энтропии» (PDF) . Энтропия . 17 (5): 1–66. Бибкод : 2015Entrp..17.3253B . дои : 10.3390/e17053253 .
Белл, А.Дж. (2003), Решетка коинформации [1]
Фано, Р.М. (1961), Передача информации: статистическая теория коммуникаций , MIT Press, Кембридж, Массачусетс.
Гарнер В.Р. (1962). Неопределенность и структура как психологические концепции , JohnWiley & Sons, Нью-Йорк.
Хан, ТС (1978). «Неотрицательные энтропийные меры многомерных симметричных корреляций» . Информация и контроль . 36 (2): 133–156. дои : 10.1016/s0019-9958(78)90275-9 .
Хан, ТС (1980). «Множественная взаимная информация и множественные взаимодействия в частотных данных» . Информация и контроль . 46 : 26–45. дои : 10.1016/s0019-9958(80)90478-7 .
Ху Го Тин (1962), О количестве информации. Теория вероятностей. Приложение, 7(4), 439-44. PDF
Якулин А и Братко И (2003а). Анализ зависимостей атрибутов, в Н. Лавре\quad{c}, Д. Гамбергер, Л. Тодоровски и Х. Блокил, ред., Труды 7-й Европейской конференции по принципам и практике обнаружения знаний в базах данных , Springer, Цавтат-Дубровник, Хорватия, стр. 229–240.
Якулин А и Братко И (2003b). Количественная оценка и визуализация взаимодействия атрибутов [2] .
Марголин А; Ван, К; Калифано, А; Неменман, И (2010). «Многомерная зависимость и вывод генетических сетей». ИЭПП Сист Биол . 4 (6): 428–440. arXiv : 1001.1681 . дои : 10.1049/iet-syb.2010.0009 . ПМИД 21073241 . S2CID 14280921 .
Макгилл, WJ (1954). «Многовариантная передача информации». Психометрика . 19 (2): 97–116. дои : 10.1007/bf02289159 . S2CID 126431489 .
Мур Дж.Х., Гилберт Дж.К., Цай КТ, Чан Ф.Т., Холден Т., Барни Н., Уайт BC (2006). Гибкая вычислительная система для обнаружения, характеристики и интерпретации статистических закономерностей эпистаза в генетических исследованиях восприимчивости человека к болезням, Журнал теоретической биологии 241 , 252-261. [3]
Неменман I (2004). Теория информации, многомерная зависимость и вывод генетических сетей [4] .
Перл, Дж. (1988), Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода , Морган Кауфманн, Сан-Матео, Калифорния.
Цуджишита, Т. (1995), О тройной взаимной информации, Достижения прикладной математики 16 , 269–274.
Чанда, П; Чжан, А; Бразо, Д; Сучестон, Л; Фройденхайм, JL; Амброзон, С; Раманатан, М. (2007). «Информационные метрики для визуализации взаимодействий генов и окружающей среды» . Американский журнал генетики человека . 81 (5): 939–63. дои : 10.1086/521878 . ПМК 2265645 . ПМИД 17924337 .
Чанда, П; Сучестон, Л; Чжан, А; Бразо, Д; Фройденхайм, JL; Амброзон, С; Раманатан, М. (2008). «АМБИЕНС: новый подход и эффективный алгоритм для выявления информативных генетических и экологических ассоциаций со сложными фенотипами» . Генетика . 180 (2): 1191–210. дои : 10.1534/genetics.108.088542 . ПМЦ 2567367 . ПМИД 18780753 .
Киллиан, Би Джей; Кравиц, JY; Гилсон, МК (2007). «Извлечение конфигурационной энтропии из молекулярного моделирования с помощью приближения расширения» . Дж. Хим. Физ . 127 (2): 024107. Бибкод : 2007JChPh.127b4107K . дои : 10.1063/1.2746329 . ПМК 2707031 . ПМИД 17640119 .
Левин М.В., Вайнштейн Х. (2014), NbIT - Анализ аллостерических механизмов, основанный на новой теории информации, выявляет остатки, которые лежат в основе функции переносчика лейцина LeuT. PLoS Вычислительная биология . [5]
Пандей, Бисваджит; Саркар, Суман (2017). «Как много галактика знает о своей крупномасштабной среде?: Теоретико-информационный взгляд» . Ежемесячные уведомления о письмах Королевского астрономического общества . 467 (1): Л6. arXiv : 1611.00283 . Бибкод : 2017MNRAS.467L...6P . дои : 10.1093/mnrasl/slw250 . S2CID 119095496 .
https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
Юнг Р.В. (1992). Новый взгляд на информационные меры Шеннона. в области транзакций IEEE по теории информации. [6]

[1] Тин, Ху Го (январь 1962 г.). «Об объеме информации» . Теория вероятностей и ее приложения . 7 (4): 439–447. дои : 10.1137/1107041 . ISSN 0040-585X .

[2] Вольф, Дэвид (1 мая 1996 г.). Обобщение взаимной информации как информации между множеством переменных: иерархия функций корреляции информации и информационная структура многоагентных систем (Технический отчет). Исследовательский центр Эймса НАСА.

[:0-3] Jump up to: ^а ^б Белл, Энтони (2003). Решетка коинформации . 4-й Межд. Симп. Независимый анализ компонентов и слепое разделение источников.

[:1-4] Jump up to: ^а ^б Юнг, RW (май 1991 г.). «Новый взгляд на информационные меры Шеннона» . Транзакции IEEE по теории информации . 37 (3): 466–474. дои : 10.1109/18.79902 . ISSN 0018-9448 .

[5] Бодо, Пьер; Беннекен, Дэниел (13 мая 2015 г.). «Гомологическая природа энтропии» . Энтропия . 17 (5): 3253–3318. Бибкод : 2015Entrp..17.3253B . дои : 10.3390/e17053253 . ISSN 1099-4300 .

[6] Макгилл, Уильям Дж. (июнь 1954 г.). «Многомерная передача информации» . Психометрика . 19 (2): 97–116. дои : 10.1007/bf02289159 . ISSN 0033-3123 . S2CID 126431489 .

[7] Криппендорф, Клаус (август 2009 г.). «Информация о взаимодействиях в сложных системах» . Международный журнал общих систем . 38 (6): 669–680. дои : 10.1080/03081070902993160 . ISSN 0308-1079 . S2CID 13923485 .

[8] Киллиан, Бенджамин Дж.; Юнденфренд Кравиц, Джослин; Гилсон, Майкл К. (14 июля 2007 г.). «Извлечение конфигурационной энтропии из молекулярного моделирования с помощью приближения расширения» . Журнал химической физики . 127 (2): 024107. Бибкод : 2007JChPh.127b4107K . дои : 10.1063/1.2746329 . ISSN 0021-9606 . ПМК 2707031 . ПМИД 17640119 .

[9] ЛеВайн, Майкл В.; Перес-Агилар, Хосе Мануэль; Вайнштейн, Харель (18 июня 2014 г.). «Теория информации N-тел (NbIT) Анализ динамики твердых тел во внутриклеточной петле 2 рецептора 5-HT2A». arXiv : 1406.4730 [ q-bio.BM ].

[10] «InfoTopo: Анализ данных топологической информации. Глубокое статистическое обучение без и с учителем — Обмен файлами — Github» . github.com/pierrebaudot/infotopopy/ . Проверено 26 сентября 2020 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]