Информационная геометрия

Информационная геометрия — междисциплинарная область, которая применяет методы дифференциальной геометрии для изучения теории вероятностей и статистики . ^{[ 1 ]} Он изучает статистические многообразия , которые являются римановыми многообразиями , точки которых соответствуют распределениям вероятностей .

Введение

Исторически информационная геометрия восходит к работам Ч.Р. Рао , который первым рассматривал матрицу Фишера как риманову метрику . ^{[ 2 ]}^{[ 3 ]} Современная теория во многом обязана Сюнъити Амари , чьи работы оказали большое влияние на развитие этой области. ^{[ 4 ]}

Классически информационная геометрия рассматривала параметризованную статистическую модель как риманово многообразие . Для таких моделей естественным является выбор римановой метрики, известной как информационная метрика Фишера . В особом случае, когда статистическая модель представляет собой экспоненциальное семейство , можно создать статистическое многообразие с помощью метрики Гессе (т. е. римановой метрики, заданной потенциалом выпуклой функции). В этом случае многообразие естественным образом наследует две плоские аффинные связности , а также каноническую расходимость Брегмана . Исторически сложилось так, что большая часть работы была посвящена изучению связанной геометрии этих примеров. В современных условиях информационная геометрия применяется к гораздо более широкому контексту, включая неэкспоненциальные семейства, непараметрическую статистику и даже абстрактные статистические многообразия, не выведенные из известной статистической модели. Результаты сочетают в себе методы теории информации , аффинной дифференциальной геометрии , выпуклого анализа и многих других областей.

Стандартными ссылками в этой области являются книга Шуничи Амари и Хироши Нагаока « Методы информационной геометрии» . ^{[ 5 ]} и более поздняя книга Нихата Ай и других. ^{[ 6 ]} Небольшое введение содержится в обзоре Фрэнка Нильсена. ^{[ 7 ]} В 2018 году вышел журнал Information Geometry , посвященный этой области.

Авторы

История информационной геометрии связана с открытиями как минимум следующих людей и многих других.

Рональд Фишер
Харальд Крамер
Кальямпуди Радхакришна Рао
Гарольд Джеффрис
Соломон Кульбак
Жан-Луи Кошуль
Ричард Лейблер
Клод Шеннон
Имре Чисар
Николай Ченцов (также пишется как Н. Н. Ченцов)
Брэдли Эфрон
Шуничи Амари
Оле Барндорф-Нильсен
Фрэнк Нильсен
Дамиано Бриго
AWF Эдвардс
Грант Хиллер
Кес Ян ван Гардерен

Приложения

Как междисциплинарная область, информационная геометрия использовалась в различных приложениях.

Вот неполный список:

Статистический вывод ^{[ 8 ]}
Временные ряды и линейные системы
Проблема с фильтрацией ^{[ 9 ]}
Квантовые системы ^{[ 10 ]}
Нейронные сети ^{[ 11 ]}
Машинное обучение
Статистическая механика
Биология
Статистика ^{[ 12 ]} ^{[ 13 ]}
Математические финансы ^{[ 14 ]}

См. также

Ссылки

^ Нильсен, Франк (2022). «Многоликая информационная геометрия» (PDF) . Уведомления АМС . 69 (1). Американское математическое общество: 36-45.
^ Рао, ЧР (1945). «Информация и точность, достижимые при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37 : 81–91. Перепечатано в Прорывы в статистике . Спрингер. 1992. стр. 235–247. дои : 10.1007/978-1-4612-0919-5_16 . S2CID 117034671 .
^ Нильсен, Ф. (2013). «Нижняя граница Крамера-Рао и информационная геометрия». В Бхатиа, Р.; Раджан, CS (ред.). На связи на бесконечности II: О работах индийских математиков . Тексты и чтения по математике. Том. Специальный том текстов и материалов для чтения по математике (TRIM). Книжное агентство Индостан. стр. 18–37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2 . ISBN 978-93-80250-51-9 . S2CID 16759683 .
^ Амари, Шуничи (1983). «Основы информационной геометрии» . Электроника и связь в Японии . 66 (6): 1–10. дои : 10.1002/ecja.4400660602 .
^ Амари, Шуничи; Нагаока, Хироши (2000). Методы информационной геометрии . Переводы математических монографий. Том. 191. Американское математическое общество. ISBN 0-8218-0531-2 .
^ Да, Нихат; Йост, Юрген ; Ле, Хонг Ван; Шваххёфер, Лоренц (2017). Информационная геометрия . Результаты математики и ее пограничные области. Том 64. Спрингер. ISBN 978-3-319-56477-7 .
^ Нильсен, Франк (2018). «Элементарное введение в информационную геометрию» . Энтропия . 22 (10).
^ Касс, Р.Э.; Вос, П.В. (1997). Геометрические основы асимптотического вывода . Серия по вероятности и статистике. Уайли. ISBN 0-471-82668-5 .
^ Бриго, Дамиано ; Ханзон, Бернард; ЛеГланд, Франсуа (1998). «Дифференциально-геометрический подход к нелинейной фильтрации: проекционный фильтр» (PDF) . Транзакции IEEE при автоматическом управлении . 43 (2): 247–252. дои : 10.1109/9.661075 .
^ ван Гендель, Рамон; Мабути, Хидео (2005). «Квантовый проекционный фильтр для сильно нелинейной модели в резонаторной КЭД». Журнал оптики B: Квантовая и полуклассическая оптика . 7 (10): С226–С236. arXiv : Quant-ph/0503222 . Бибкод : 2005JOptB...7S.226V . дои : 10.1088/1464-4266/7/10/005 . S2CID 15292186 .
^ Злочин, Марк; Барам, Йорам (2001). «Многообразная стохастическая динамика для байесовского обучения» . Нейронные вычисления . 13 (11): 2549–2572. дои : 10.1162/089976601753196021 .
^ Амари, Шуничи (1985). Дифференциально-геометрические методы в статистике . Конспект лекций по статистике. Берлин: Springer-Verlag. ISBN 0-387-96056-2 .
^ Мюррей, М.; Райс, Дж. (1993). Дифференциальная геометрия и статистика . Монографии по статистике и прикладной теории вероятности. Том. 48. Чепмен и Холл . ISBN 0-412-39860-5 .
^ Марриотт, Пол; Лосось, Марк, ред. (2000). Приложения дифференциальной геометрии к эконометрике . Издательство Кембриджского университета. ISBN 0-521-65116-6 .

Внешние ссылки

[1] Журнал Information Geometry, издательство Springer.
Обзор информационной геометрии , автор Косма Рохилла Шализи, июль 2010 г.
по информационной геометрии Заметки Джона Баэза , ноябрь 2012 г.
Информационная геометрия для нейронных сетей (pdf) , Дэниел Вагенаар

[1] Нильсен, Франк (2022). «Многоликая информационная геометрия» (PDF) . Уведомления АМС . 69 (1). Американское математическое общество: 36-45.

[2] Рао, ЧР (1945). «Информация и точность, достижимые при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37 : 81–91. Перепечатано в Прорывы в статистике . Спрингер. 1992. стр. 235–247. дои : 10.1007/978-1-4612-0919-5_16 . S2CID 117034671 .

[3] Нильсен, Ф. (2013). «Нижняя граница Крамера-Рао и информационная геометрия». В Бхатиа, Р.; Раджан, CS (ред.). На связи на бесконечности II: О работах индийских математиков . Тексты и чтения по математике. Том. Специальный том текстов и материалов для чтения по математике (TRIM). Книжное агентство Индостан. стр. 18–37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2 . ISBN 978-93-80250-51-9 . S2CID 16759683 .

[4] Амари, Шуничи (1983). «Основы информационной геометрии» . Электроника и связь в Японии . 66 (6): 1–10. дои : 10.1002/ecja.4400660602 .

[5] Амари, Шуничи; Нагаока, Хироши (2000). Методы информационной геометрии . Переводы математических монографий. Том. 191. Американское математическое общество. ISBN 0-8218-0531-2 .

[6] Да, Нихат; Йост, Юрген ; Ле, Хонг Ван; Шваххёфер, Лоренц (2017). Информационная геометрия . Результаты математики и ее пограничные области. Том 64. Спрингер. ISBN 978-3-319-56477-7 .

[7] Нильсен, Франк (2018). «Элементарное введение в информационную геометрию» . Энтропия . 22 (10).

[8] Касс, Р.Э.; Вос, П.В. (1997). Геометрические основы асимптотического вывода . Серия по вероятности и статистике. Уайли. ISBN 0-471-82668-5 .

[brigoieee-9] Бриго, Дамиано ; Ханзон, Бернард; ЛеГланд, Франсуа (1998). «Дифференциально-геометрический подход к нелинейной фильтрации: проекционный фильтр» (PDF) . Транзакции IEEE при автоматическом управлении . 43 (2): 247–252. дои : 10.1109/9.661075 .

[handel-10] ван Гендель, Рамон; Мабути, Хидео (2005). «Квантовый проекционный фильтр для сильно нелинейной модели в резонаторной КЭД». Журнал оптики B: Квантовая и полуклассическая оптика . 7 (10): С226–С236. arXiv : Quant-ph/0503222 . Бибкод : 2005JOptB...7S.226V . дои : 10.1088/1464-4266/7/10/005 . S2CID 15292186 .

[11] Злочин, Марк; Барам, Йорам (2001). «Многообразная стохастическая динамика для байесовского обучения» . Нейронные вычисления . 13 (11): 2549–2572. дои : 10.1162/089976601753196021 .

[12] Амари, Шуничи (1985). Дифференциально-геометрические методы в статистике . Конспект лекций по статистике. Берлин: Springer-Verlag. ISBN 0-387-96056-2 .

[13] Мюррей, М.; Райс, Дж. (1993). Дифференциальная геометрия и статистика . Монографии по статистике и прикладной теории вероятности. Том. 48. Чепмен и Холл . ISBN 0-412-39860-5 .

[14] Марриотт, Пол; Лосось, Марк, ред. (2000). Приложения дифференциальной геометрии к эконометрике . Издательство Кембриджского университета. ISBN 0-521-65116-6 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]