Двойная общая корреляция

В теории информации полная корреляция двойная ^[1] скорость информации , ^[2] избыточная энтропия , ^[3]^[4] или обязательная информация ^[5] является одним из нескольких известных неотрицательных обобщений взаимной информации. В то время как полная корреляция ограничена суммой энтропии n элементов, двойная полная корреляция ограничена совместной энтропией n элементов. Несмотря на хорошее поведение, двойной полной корреляции уделялось гораздо меньше внимания, чем полной корреляции. Мера, известная как «TSE-сложность», определяет континуум между общей корреляцией и двойной общей корреляцией. ^[3]

Определение

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Двойная общая корреляция представлена объединением трех взаимных данных и показана на диаграмме желтыми, пурпурными, голубыми и серыми областями.

Для набора из n случайных величин $\{X_{1},\ldots ,X_{n}\}$ , двойная полная корреляция $D(X_{1},\ldots ,X_{n})$ дается

D(X_{1},\ldots ,X_{n})=H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right),

где $H(X_{1},\ldots ,X_{n})$ - совместная энтропия набора переменных $\{X_{1},\ldots ,X_{n}\}$ и $H(X_{i}\mid \cdots )$ – условная энтропия переменной $X_{i}$ , учитывая остальное.

Нормализованный

Двойная общая корреляция, нормализованная между [0,1], представляет собой просто двойную общую корреляцию, деленную на ее максимальное значение. $H(X_{1},\ldots ,X_{n})$ ,

ND(X_{1},\ldots ,X_{n})={\frac {D(X_{1},\ldots ,X_{n})}{H(X_{1},\ldots ,X_{n})}}.

Связь с общей корреляцией

Двойная общая корреляция неотрицательна и ограничена сверху совместной энтропией. $H(X_{1},\ldots ,X_{n})$ .

0\leq D(X_{1},\ldots ,X_{n})\leq H(X_{1},\ldots ,X_{n}).

Во-вторых, двойная общая корреляция тесно связана с общей корреляцией. $C(X_{1},\ldots ,X_{n})$ , и может быть записано как разница между общей корреляцией целого и всех подмножеств размера $N-1$ : ^[6]

D({\textbf {X}})=(N-1)C({\textbf {X}})-\sum _{i=1}^{N}C({\textbf {X}}^{-i})

где ${\textbf {X}}=\{X_{1},\ldots ,X_{n}\}$ и ${\textbf {X}}^{-i}=\{X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\}$

Кроме того, полная корреляция и двойная полная корреляция связаны следующими границами:

{\frac {C(X_{1},\ldots ,X_{n})}{n-1}}\leq D(X_{1},\ldots ,X_{n})\leq (n-1)\;C(X_{1},\ldots ,X_{n}).

Наконец, разница между полной корреляцией и двойной полной корреляцией определяет новую меру обмена информацией более высокого порядка: O-информацию: ^[7]

\Omega ({\textbf {X}})=C({\textbf {X}})-D({\textbf {X}})

.

О-информация (впервые представленная Джеймсом и Кратчфилдом как «загадочная информация»). ^[8] — это знаковая мера, которая количественно определяет степень, в которой в информации многомерной случайной величины преобладают синергетические взаимодействия (в этом случае $\Omega ({\textbf {X}})<0$ ) или избыточные взаимодействия (в этом случае $\Omega ({\textbf {X}})>0$ .

История

Хан (1978) первоначально определил двойную общую корреляцию как:

{\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\;.\end{aligned}}

Однако Абдалла и Пламбли (2010) показали эквивалентность более простой для понимания форме совместной энтропии за вычетом суммы условных энтропий следующим образом:

{\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\\={}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]+(1-n)\;H(X_{1},\ldots ,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})-H(X_{1},\ldots ,X_{n})\right]\\={}&H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right)\;.\end{aligned}}

См. также

Библиография

Сноски

^ Хан, Те Сун (1978). «Неотрицательные энтропийные меры многомерных симметричных корреляций» . Информация и контроль . 36 (2): 133–156. дои : 10.1016/S0019-9958(78)90275-9 .
^ Дубнов, Шломо (2006). «Спектральные ожидания». Компьютерный музыкальный журнал . 30 (2): 63–83. дои : 10.1162/comj.2006.30.2.63 . S2CID 2202704 .
^ Jump up to: ^а ^б Нихат Ай, Э. Ольбрих, Н. Берчингер (2001). Объединяющая структура для мер сложности конечных систем. Европейская конференция по сложным системам. PDF .
^ Ольбрих, Э.; Берчингер, Н.; Да, Н.; Йост, Дж. (2008). «Как сложность должна масштабироваться в зависимости от размера системы?» . Европейский физический журнал Б. 63 (3): 407–415. Бибкод : 2008EPJB...63..407O . дои : 10.1140/epjb/e2008-00134-9 . S2CID 120391127 .
^ Абдалла, Самер А.; Пламбли, Марк Д. (2010). «Мера статистической сложности, основанная на прогнозной информации». arXiv : 1012.1890v1 [ math.ST ].
^ Варли, Томас Ф.; Папа, Мария; Фасковиц, Джошуа; Спорнс, Олаф (24 апреля 2023 г.). «Теория многомерной информации раскрывает синергетические подсистемы коры головного мозга человека» . Коммуникационная биология . 6 (1): 451. doi : 10.1038/s42003-023-04843-w . ПМЦ 10125999 . ПМИД 37095282 .
^ Росас, Фернандо Э.; Медиано, Педро AM; Гастпар, Майкл; Йенсен, Хенрик Дж. (13 сентября 2019 г.). «Количественная оценка взаимозависимостей высокого порядка посредством многомерного расширения взаимной информации». Физический обзор E . 100 (3): 032305. arXiv : 1902.11239 . Бибкод : 2019PhRvE.100c2305R . дои : 10.1103/PhysRevE.100.032305 . ПМИД 31640038 .
^ Джеймс, Райан Г.; Эллисон, Кристофер Дж.; Кратчфилд, Джеймс П. (1 сентября 2011 г.). «Анатомия бита: информация в наблюдении временных рядов». Хаос: междисциплинарный журнал нелинейной науки . 21 (3): 037109. arXiv : 1105.2988 . Бибкод : 2011Хаос..21c7109J . дои : 10.1063/1.3637494 . ПМИД 21974672 .

Ссылки

Фудзисигэ, Сатору (1978). «Полиматроидальная структура зависимости множества случайных величин» . Информация и контроль . 39 : 55–72. дои : 10.1016/S0019-9958(78)91063-X .
Варли, Томас; Папа, Мария; Фасковиц, Джошуа; Спорнс, Олаф (2023). «Теория многомерной информации раскрывает синергетические подсистемы коры головного мозга человека» . Коммуникационная биология . 6 : 451. doi : 10.1038/s42003-023-04843-w . ПМЦ 10125999 . ПМИД 37095282 .

[1] Хан, Те Сун (1978). «Неотрицательные энтропийные меры многомерных симметричных корреляций» . Информация и контроль . 36 (2): 133–156. дои : 10.1016/S0019-9958(78)90275-9 .

[2] Дубнов, Шломо (2006). «Спектральные ожидания». Компьютерный музыкальный журнал . 30 (2): 63–83. дои : 10.1162/comj.2006.30.2.63 . S2CID 2202704 .

[Ay,_2001-3] Jump up to: ^а ^б Нихат Ай, Э. Ольбрих, Н. Берчингер (2001). Объединяющая структура для мер сложности конечных систем. Европейская конференция по сложным системам. PDF .

[4] Ольбрих, Э.; Берчингер, Н.; Да, Н.; Йост, Дж. (2008). «Как сложность должна масштабироваться в зависимости от размера системы?» . Европейский физический журнал Б. 63 (3): 407–415. Бибкод : 2008EPJB...63..407O . дои : 10.1140/epjb/e2008-00134-9 . S2CID 120391127 .

[5] Абдалла, Самер А.; Пламбли, Марк Д. (2010). «Мера статистической сложности, основанная на прогнозной информации». arXiv : 1012.1890v1 [ math.ST ].

[6] Варли, Томас Ф.; Папа, Мария; Фасковиц, Джошуа; Спорнс, Олаф (24 апреля 2023 г.). «Теория многомерной информации раскрывает синергетические подсистемы коры головного мозга человека» . Коммуникационная биология . 6 (1): 451. doi : 10.1038/s42003-023-04843-w . ПМЦ 10125999 . ПМИД 37095282 .

[7] Росас, Фернандо Э.; Медиано, Педро AM; Гастпар, Майкл; Йенсен, Хенрик Дж. (13 сентября 2019 г.). «Количественная оценка взаимозависимостей высокого порядка посредством многомерного расширения взаимной информации». Физический обзор E . 100 (3): 032305. arXiv : 1902.11239 . Бибкод : 2019PhRvE.100c2305R . дои : 10.1103/PhysRevE.100.032305 . ПМИД 31640038 .

[8] Джеймс, Райан Г.; Эллисон, Кристофер Дж.; Кратчфилд, Джеймс П. (1 сентября 2011 г.). «Анатомия бита: информация в наблюдении временных рядов». Хаос: междисциплинарный журнал нелинейной науки . 21 (3): 037109. arXiv : 1105.2988 . Бибкод : 2011Хаос..21c7109J . дои : 10.1063/1.3637494 . ПМИД 21974672 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]