Частичная декомпозиция информации

Частичная декомпозиция информации — это расширение теории информации , целью которого является обобщение парных отношений, описываемых теорией информации, на взаимодействие нескольких переменных. ^[1]

Мотивация

Теория информации может количественно оценить количество информации, относящуюся к одной исходной переменной. $X_{1}$ имеет информацию о целевой переменной $Y$ через взаимную информацию $I(X_{1};Y)$ . Если мы теперь рассмотрим вторую исходную переменную $X_{2}$ , классическая теория информации может описать только взаимную информацию совместной переменной $\{X_{1},X_{2}\}$ с $Y$ , заданный $I(X_{1},X_{2};Y)$ . Однако в целом было бы интересно узнать, как именно отдельные переменные $X_{1}$ и $X_{2}$ и их взаимодействие связано с $Y$ .

Учтите, что нам даны две исходные переменные $X_{1},X_{2}\in \{0,1\}$ и целевая переменная $Y=XOR(X_{1},X_{2})$ . В этом случае общая взаимная информация $I(X_{1},X_{2};Y)=1$ , а индивидуальная взаимная информация $I(X_{1};Y)=I(X_{2};Y)=0$ . То есть существует синергетическая информация, возникающая в результате взаимодействия $X_{1},X_{2}$ о $Y$ , что невозможно легко уловить с помощью классических величин теории информации.

Определение

Разложение частичной информации дополнительно разлагает взаимную информацию между исходными переменными. $\{X_{1},X_{2}\}$ с целевой переменной $Y$ как

$I(X_{1},X_{2};Y)={\text{Unq}}(X_{1};Y\setminus X_{2})+{\text{Unq}}(X_{2};Y\setminus X_{1})+{\text{Syn}}(X_{1},X_{2};Y)+{\text{Red}}(X_{1},X_{2};Y)$

Здесь отдельные информационные атомы определяются как

${\text{Unq}}(X_{1};Y\setminus X_{2})$ это уникальная информация, которая $X_{1}$ имеет около $Y$ , которого нет в $X_{2}$
${\text{Syn}}(X_{1},X_{2};Y)$ синергетическая информация , которая находится при взаимодействии $X_{1}$ и $X_{2}$ о $Y$
${\text{Red}}(X_{1},X_{2};Y)$ это избыточная информация, которая есть в обоих $X_{1}$ или $X_{2}$ о $Y$

До сих пор не существует универсального соглашения о том, как следует определять эти термины, при этом в литературе появляются различные подходы, которые разлагают информацию на избыточные, уникальные и синергетические компоненты. ^[1]^[2]^[3]^[4]

Приложения

Несмотря на отсутствие универсального согласия, частичная декомпозиция информации применялась в различных областях, включая климатологию, ^[5] нейробиология ^[6]^[7]^[8] социология, ^[9] и машинное обучение ^[10] Частичная декомпозиция информации также была предложена в качестве возможной основы для построения математически надежного определения возникновения в сложных системах. ^[11] и может иметь отношение к формальным теориям сознания. ^[12]

См. также

Ссылки

^ Jump up to: ^а ^б Уильямс П.Л., Бир Р.Д. (14 апреля 2010 г.). «Неотрицательное разложение многомерной информации». arXiv : 1004.2515 [ cs.IT ].
^ Квакс Р., Хар-Шемеш О., Слоот П.М. (февраль 2017 г.). «Количественная оценка синергетической информации с использованием промежуточных стохастических переменных» . Энтропия . 19 (2): 85. arXiv : 1602.01265 . дои : 10.3390/e19020085 . ISSN 1099-4300 .
^ Росас Ф.Е., Медиано П.А., Рассули Б., Барретт А.Б. (04.12.2020). «Декомпозиция оперативной информации посредством синергетического раскрытия». Физический журнал A: Математический и теоретический . 53 (48): 485001. arXiv : 2001.10387 . Бибкод : 2020JPhA...53V5001R . дои : 10.1088/1751-8121/abb723 . ISSN 1751-8113 . S2CID 210932609 .
^ Колчинский А (март 2022 г.). «Новый подход к частичной декомпозиции информации» . Энтропия . 24 (3): 403. arXiv : 1908.08642 . Бибкод : 2022Entrp..24..403K . дои : 10.3390/e24030403 . ПМЦ 8947370 . ПМИД 35327914 .
^ Гудвелл А.Е., Цзян П., Радделл Б.Л., Кумар П. (февраль 2020 г.). «Дебаты: обеспечивает ли теория информации новую парадигму для науки о Земле? Причинность, взаимодействие и обратная связь» . Исследования водных ресурсов . 56 (2). Бибкод : 2020WRR....5624940G . дои : 10.1029/2019WR024940 . ISSN 0043-1397 . S2CID 216201598 .
^ Ньюман Э.Л., Варли Т.Ф., Параккатту В.К., Шерил С.П., Беггс Дж.М. (июль 2022 г.). «Выявление динамики нейронной обработки информации с помощью многомерной декомпозиции информации» . Энтропия . 24 (7): 930. Бибкод : 2022Entrp..24..930N . дои : 10.3390/e24070930 . ПМК 9319160 . ПМИД 35885153 .
^ Луппи А.И., Медиано П.А., Росас Ф.Е., Холланд Н., Фрайер Т.Д., О'Брайен Дж.Т. и др. (июнь 2022 г.). «Синергетическое ядро эволюции и познания человеческого мозга» . Природная неврология . 25 (6): 771–782. дои : 10.1038/s41593-022-01070-0 . ПМЦ 7614771 . ПМИД 35618951 . S2CID 249096746 .
^ Вибрал М., Приземанн В., Кей Дж.В., Лизье Дж.Т., Филлипс В.А. (март 2017 г.). «Частичная декомпозиция информации как единый подход к спецификации нейронных целевых функций» . Мозг и познание . Перспективы человеческих вероятностных выводов и «байесовского мозга». 112 : 25–38. arXiv : 1510.00831 . дои : 10.1016/j.bandc.2015.09.004 . ПМИД 26475739 . S2CID 4394452 .
^ Варлей Т.Ф., Камински П. (октябрь 2022 г.). «Распутывание синергетических эффектов пересечения социальных идентичностей с частичной декомпозицией информации» . Энтропия . 24 (10): 1387. Бибкод : 2022Entrp..24.1387V . дои : 10.3390/e24101387 . ISSN 1099-4300 . ПМЦ 9611752 . ПМИД 37420406 .
^ Tax TM, Mediano PA, Шанахан М (сентябрь 2017 г.). «Частичная информационная декомпозиция моделей генеративных нейронных сетей» . Энтропия . 19 (9): 474. Бибкод : 2017Entrp..19..474T . дои : 10.3390/e19090474 . hdl : 10044/1/50586 . ISSN 1099-4300 .
^ Медиано П.А., Росас Ф.Е., Луппи А.И., Дженсен Х.Дж., Сет А.К., Барретт А.Б. и др. (июль 2022 г.). «Больше, чем части: обзор подхода к декомпозиции информации к причинному возникновению» . Философские труды. Серия А. Математические, физические и технические науки . 380 (2227): 20210246. doi : 10.1098/rsta.2021.0246 . ПМЦ 9125226 . ПМИД 35599558 .
^ Луппи А.И., Медиано П.А., Росас Ф.Е., Харрисон Д.Д., Кархарт-Харрис Р.Л., Бор Д., Стаматакис Э.А. (2021). «Что значит быть битом: интегрированный отчет о декомпозиции информации возникающих психических явлений» . Нейронаука сознания . 2021 (2): niab027. дои : 10.1093/nc/niab027 . ПМЦ 8600547 . ПМИД 34804593 .

[williamsbeer-1] Jump up to: ^а ^б Уильямс П.Л., Бир Р.Д. (14 апреля 2010 г.). «Неотрицательное разложение многомерной информации». arXiv : 1004.2515 [ cs.IT ].

[2] Квакс Р., Хар-Шемеш О., Слоот П.М. (февраль 2017 г.). «Количественная оценка синергетической информации с использованием промежуточных стохастических переменных» . Энтропия . 19 (2): 85. arXiv : 1602.01265 . дои : 10.3390/e19020085 . ISSN 1099-4300 .

[3] Росас Ф.Е., Медиано П.А., Рассули Б., Барретт А.Б. (04.12.2020). «Декомпозиция оперативной информации посредством синергетического раскрытия». Физический журнал A: Математический и теоретический . 53 (48): 485001. arXiv : 2001.10387 . Бибкод : 2020JPhA...53V5001R . дои : 10.1088/1751-8121/abb723 . ISSN 1751-8113 . S2CID 210932609 .

[4] Колчинский А (март 2022 г.). «Новый подход к частичной декомпозиции информации» . Энтропия . 24 (3): 403. arXiv : 1908.08642 . Бибкод : 2022Entrp..24..403K . дои : 10.3390/e24030403 . ПМЦ 8947370 . ПМИД 35327914 .

[5] Гудвелл А.Е., Цзян П., Радделл Б.Л., Кумар П. (февраль 2020 г.). «Дебаты: обеспечивает ли теория информации новую парадигму для науки о Земле? Причинность, взаимодействие и обратная связь» . Исследования водных ресурсов . 56 (2). Бибкод : 2020WRR....5624940G . дои : 10.1029/2019WR024940 . ISSN 0043-1397 . S2CID 216201598 .

[6] Ньюман Э.Л., Варли Т.Ф., Параккатту В.К., Шерил С.П., Беггс Дж.М. (июль 2022 г.). «Выявление динамики нейронной обработки информации с помощью многомерной декомпозиции информации» . Энтропия . 24 (7): 930. Бибкод : 2022Entrp..24..930N . дои : 10.3390/e24070930 . ПМК 9319160 . ПМИД 35885153 .

[7] Луппи А.И., Медиано П.А., Росас Ф.Е., Холланд Н., Фрайер Т.Д., О'Брайен Дж.Т. и др. (июнь 2022 г.). «Синергетическое ядро эволюции и познания человеческого мозга» . Природная неврология . 25 (6): 771–782. дои : 10.1038/s41593-022-01070-0 . ПМЦ 7614771 . ПМИД 35618951 . S2CID 249096746 .

[8] Вибрал М., Приземанн В., Кей Дж.В., Лизье Дж.Т., Филлипс В.А. (март 2017 г.). «Частичная декомпозиция информации как единый подход к спецификации нейронных целевых функций» . Мозг и познание . Перспективы человеческих вероятностных выводов и «байесовского мозга». 112 : 25–38. arXiv : 1510.00831 . дои : 10.1016/j.bandc.2015.09.004 . ПМИД 26475739 . S2CID 4394452 .

[9] Варлей Т.Ф., Камински П. (октябрь 2022 г.). «Распутывание синергетических эффектов пересечения социальных идентичностей с частичной декомпозицией информации» . Энтропия . 24 (10): 1387. Бибкод : 2022Entrp..24.1387V . дои : 10.3390/e24101387 . ISSN 1099-4300 . ПМЦ 9611752 . ПМИД 37420406 .

[10] Tax TM, Mediano PA, Шанахан М (сентябрь 2017 г.). «Частичная информационная декомпозиция моделей генеративных нейронных сетей» . Энтропия . 19 (9): 474. Бибкод : 2017Entrp..19..474T . дои : 10.3390/e19090474 . hdl : 10044/1/50586 . ISSN 1099-4300 .

[11] Медиано П.А., Росас Ф.Е., Луппи А.И., Дженсен Х.Дж., Сет А.К., Барретт А.Б. и др. (июль 2022 г.). «Больше, чем части: обзор подхода к декомпозиции информации к причинному возникновению» . Философские труды. Серия А. Математические, физические и технические науки . 380 (2227): 20210246. doi : 10.1098/rsta.2021.0246 . ПМЦ 9125226 . ПМИД 35599558 .

[12] Луппи А.И., Медиано П.А., Росас Ф.Е., Харрисон Д.Д., Кархарт-Харрис Р.Л., Бор Д., Стаматакис Э.А. (2021). «Что значит быть битом: интегрированный отчет о декомпозиции информации возникающих психических явлений» . Нейронаука сознания . 2021 (2): niab027. дои : 10.1093/nc/niab027 . ПМЦ 8600547 . ПМИД 34804593 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]