Информационная геометрия

Информационная геометрия — междисциплинарная область, которая применяет методы дифференциальной геометрии для изучения теории вероятностей и статистики . ^[1] Он изучает статистические многообразия , которые являются римановыми многообразиями , точки которых соответствуют распределениям вероятностей .

Введение [ править ]

Исторически информационная геометрия восходит к работам Ч.Р. Рао , который первым рассматривал матрицу Фишера как риманову метрику . ^[2]^[3] Современная теория во многом обязана Сюнъити Амари , чьи работы оказали большое влияние на развитие этой области. ^[4]

Классически информационная геометрия рассматривала параметризованную статистическую модель как риманово многообразие . Для таких моделей естественным является выбор римановой метрики, известной как информационная метрика Фишера . В частном случае, когда статистическая модель представляет собой экспоненциальное семейство , можно создать статистическое многообразие с помощью метрики Гессе (т. е. римановой метрики, заданной потенциалом выпуклой функции). В этом случае многообразие естественным образом наследует две плоские аффинные связности , а также каноническую расходимость Брегмана . Исторически сложилось так, что большая часть работы была посвящена изучению связанной геометрии этих примеров. В современных условиях информационная геометрия применяется к гораздо более широкому контексту, включая неэкспоненциальные семейства, непараметрическую статистику и даже абстрактные статистические многообразия, не выведенные из известной статистической модели. Результаты сочетают в себе методы теории информации , аффинной дифференциальной геометрии , выпуклого анализа и многих других областей.

Стандартными ссылками в этой области являются книга Шуничи Амари и Хироши Нагаока « Методы информационной геометрии» . ^[5] и более поздняя книга Нихата Ай и других. ^[6] Небольшое введение содержится в обзоре Фрэнка Нильсена. ^[7] В 2018 году вышел журнал Information Geometry , посвященный этой области.

Участники [ править ]

История информационной геометрии связана с открытиями как минимум следующих людей и многих других.

Рональд Фишер
Харальд Крамер
Кальямпуди Радхакришна Рао
Гарольд Джеффрис
Соломон Кульбак
Жан-Луи Кошуль
Ричард Лейблер
Клод Шеннон
Имре Чисар
Николай Ченцов (также пишется как Н. Н. Ченцов)
Брэдли Эфрон
Шуничи Амари
Оле Барндорф-Нильсен
Фрэнк Нильсен
Дамиано Бриго
AWF Эдвардс
Грант Хиллер
Кес Ян ван Гардерен

Приложения [ править ]

Как междисциплинарная область, информационная геометрия использовалась в различных приложениях.

Вот неполный список:

Статистические выводы ^[8]
Временные ряды и линейные системы
Проблема с фильтрацией ^[9]
Квантовые системы ^[10]
Нейронные сети
Машинное обучение
Статистическая механика
Биология
Статистика ^[11] ^[12]
Математические финансы ^[13]

См. также [ править ]

Ссылки [ править ]

^ Нильсен, Франк (2022). «Многоликая информационная геометрия» (PDF) . Уведомления АМС . 69 (1). Американское математическое общество: 36-45.
^ Рао, ЧР (1945). «Информация и точность, достижимые при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37 : 81–91. Перепечатано в Прорывы в статистике . Спрингер. 1992. стр. 235–247. дои : 10.1007/978-1-4612-0919-5_16 . S2CID 117034671 .
^ Нильсен, Ф. (2013). «Нижняя граница Крамера-Рао и информационная геометрия». В Бхатиа, Р.; Раджан, CS (ред.). На связи в бесконечности II: О работах индийских математиков . Тексты и чтения по математике. Том. Специальный том текстов и материалов для чтения по математике (TRIM). Книжное агентство Индостан. стр. 18–37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2 . ISBN 978-93-80250-51-9 . S2CID 16759683 .
^ Амари, Шуничи (1983). «Основы информационной геометрии» . Электроника и связь в Японии . 66 (6): 1–10. дои : 10.1002/ecja.4400660602 .
^ Амари, Шуничи; Нагаока, Хироши (2000). Методы информационной геометрии . Переводы математических монографий. Том. 191. Американское математическое общество. ISBN 0-8218-0531-2 .
^ Да, Нихат; Йост, Юрген ; Ле, Хонг Ван; Шваххёфер, Лоренц (2017). Информационная геометрия . Результаты математики и ее пограничные области. Том 64. Спрингер. ISBN 978-3-319-56477-7 .
^ Нильсен, Франк (2018). «Элементарное введение в информационную геометрию» . Энтропия . 22 (10).
^ Касс, Р.Э.; Вос, П.В. (1997). Геометрические основы асимптотического вывода . Серия по вероятности и статистике. Уайли. ISBN 0-471-82668-5 .
^ Бриго, Дамиано ; Ханзон, Бернард; ЛеГланд, Франсуа (1998). «Дифференциально-геометрический подход к нелинейной фильтрации: проекционный фильтр» (PDF) . Транзакции IEEE при автоматическом управлении . 43 (2): 247–252. дои : 10.1109/9.661075 .
^ ван Гендель, Рамон; Мабути, Хидео (2005). «Квантовый проекционный фильтр для сильно нелинейной модели в резонаторной КЭД». Журнал оптики B: Квантовая и полуклассическая оптика . 7 (10): С226–С236. arXiv : Quant-ph/0503222 . Бибкод : 2005JOptB...7S.226V . дои : 10.1088/1464-4266/7/10/005 . S2CID 15292186 .
^ Амари, Шуничи (1985). Дифференциально-геометрические методы в статистике . Конспект лекций по статистике. Берлин: Springer-Verlag. ISBN 0-387-96056-2 .
^ Мюррей, М.; Райс, Дж. (1993). Дифференциальная геометрия и статистика . Монографии по статистике и прикладной теории вероятности. Том. 48. Чепмен и Холл . ISBN 0-412-39860-5 .
^ Марриотт, Пол; Лосось, Марк, ред. (2000). Приложения дифференциальной геометрии к эконометрике . Издательство Кембриджского университета. ISBN 0-521-65116-6 .

Внешние ссылки [ править ]

[1] Журнал Information Geometry, издательство Springer.
Обзор информационной геометрии , автор Косма Рохилла Шализи, июль 2010 г.
по информационной геометрии Заметки Джона Баэза , ноябрь 2012 г.
Информационная геометрия для нейронных сетей (pdf) , Дэниел Вагенаар

[1] Нильсен, Франк (2022). «Многоликая информационная геометрия» (PDF) . Уведомления АМС . 69 (1). Американское математическое общество: 36-45.

[2] Рао, ЧР (1945). «Информация и точность, достижимые при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37 : 81–91. Перепечатано в Прорывы в статистике . Спрингер. 1992. стр. 235–247. дои : 10.1007/978-1-4612-0919-5_16 . S2CID 117034671 .

[3] Нильсен, Ф. (2013). «Нижняя граница Крамера-Рао и информационная геометрия». В Бхатиа, Р.; Раджан, CS (ред.). На связи в бесконечности II: О работах индийских математиков . Тексты и чтения по математике. Том. Специальный том текстов и материалов для чтения по математике (TRIM). Книжное агентство Индостан. стр. 18–37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2 . ISBN 978-93-80250-51-9 . S2CID 16759683 .

[4] Амари, Шуничи (1983). «Основы информационной геометрии» . Электроника и связь в Японии . 66 (6): 1–10. дои : 10.1002/ecja.4400660602 .

[5] Амари, Шуничи; Нагаока, Хироши (2000). Методы информационной геометрии . Переводы математических монографий. Том. 191. Американское математическое общество. ISBN 0-8218-0531-2 .

[6] Да, Нихат; Йост, Юрген ; Ле, Хонг Ван; Шваххёфер, Лоренц (2017). Информационная геометрия . Результаты математики и ее пограничные области. Том 64. Спрингер. ISBN 978-3-319-56477-7 .

[7] Нильсен, Франк (2018). «Элементарное введение в информационную геометрию» . Энтропия . 22 (10).

[8] Касс, Р.Э.; Вос, П.В. (1997). Геометрические основы асимптотического вывода . Серия по вероятности и статистике. Уайли. ISBN 0-471-82668-5 .

[brigoieee-9] Бриго, Дамиано ; Ханзон, Бернард; ЛеГланд, Франсуа (1998). «Дифференциально-геометрический подход к нелинейной фильтрации: проекционный фильтр» (PDF) . Транзакции IEEE при автоматическом управлении . 43 (2): 247–252. дои : 10.1109/9.661075 .

[handel-10] ван Гендель, Рамон; Мабути, Хидео (2005). «Квантовый проекционный фильтр для сильно нелинейной модели в резонаторной КЭД». Журнал оптики B: Квантовая и полуклассическая оптика . 7 (10): С226–С236. arXiv : Quant-ph/0503222 . Бибкод : 2005JOptB...7S.226V . дои : 10.1088/1464-4266/7/10/005 . S2CID 15292186 .

[11] Амари, Шуничи (1985). Дифференциально-геометрические методы в статистике . Конспект лекций по статистике. Берлин: Springer-Verlag. ISBN 0-387-96056-2 .

[12] Мюррей, М.; Райс, Дж. (1993). Дифференциальная геометрия и статистика . Монографии по статистике и прикладной теории вероятности. Том. 48. Чепмен и Холл . ISBN 0-412-39860-5 .

[13] Марриотт, Пол; Лосось, Марк, ред. (2000). Приложения дифференциальной геометрии к эконометрике . Издательство Кембриджского университета. ISBN 0-521-65116-6 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]