Инфо-метрика

Не путать с информаметрикой .

Инфо-метрика — это междисциплинарный подход к научному моделированию , выводам и эффективной обработке информации . Это наука о моделировании, рассуждениях и выводах в условиях зашумленной и ограниченной информации. С точки зрения науки, эта структура находится на пересечении теории информации , статистических методов вывода, прикладной математики , информатики , эконометрики , теории сложности , анализа решений , моделирования и философии науки .

Инфометрика обеспечивает ограниченную структуру оптимизации для решения недостаточно определенных или некорректно поставленных задач – проблем, для которых недостаточно информации для поиска уникального решения. Подобные проблемы очень распространены во всех науках: доступная информация неполна , ограничена, зашумлена и неопределенна . Инфометрика полезна для моделирования , обработки информации, построения теории и решения задач по всему научному спектру. Инфометрику также можно использовать для проверки гипотез о конкурирующих теориях или причинных механизмах .

История

Инфо-метрика развилась из классического формализма максимальной энтропии , основанного на работах Шеннона . Первые вклады были в основном в естественные и математические/статистические науки. С середины 1980-х и особенно в середине 1990-х годов подход максимальной энтропии был обобщен и расширен для решения более широкого класса проблем в социальных и поведенческих науках, особенно для сложных проблем и данных. Слово «инфометрика» было придумано в 2009 году Амосом Голаном, прямо перед открытием междисциплинарного института инфометрики.

Предварительные определения

Рассмотрим случайную величину ${\textstyle X}$ что может привести к одному из K различных результатов. Вероятность ​ ${\textstyle p_{k}}$ каждого результата ${\textstyle x_{k}}$ является ${\textstyle p_{k}=p(x_{k})}$ для ${\textstyle k=1,2,\ldots ,K}$. Таким образом, ${\textstyle P}$ представляет собой K -мерное распределение вероятностей, определенное для ${\textstyle X}$ такой, что $p_{k}\epsilon [0,1]$ и ${\textstyle \sum _{k}p_{k}=1}$. Определить информационное содержание отдельного результата ${\textstyle x_{k}}$ быть ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (например, Шеннон). Наблюдение результата в хвосте распределения (редкое событие) дает гораздо больше информации, чем наблюдение другого, более вероятного результата. Энтропия — ожидаемое информационное содержание результата случайной величины X, распределение вероятностей которой равно P :

$$H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]$$

Здесь $p_{k}\log _{2}(p_{k})\equiv 0$ если $p_{k}=0$, и $\operatorname {E}$ является оператором ожидания .

Основная

Рассмотрим проблему моделирования и вывода ненаблюдаемого распределения вероятностей некоторой K -мерной дискретной случайной величины, учитывая только среднее (ожидаемое значение) этой переменной. Мы также знаем, что вероятности неотрицательны и нормализованы (т. е. в сумме составляют ровно 1). Для всех K > 2 задача недоопределена. В рамках инфометрики решение состоит в том, чтобы максимизировать энтропию случайной величины при соблюдении двух ограничений: среднего значения и нормализации. Это дает обычное решение с максимальной энтропией. Решения этой проблемы можно расширить и обобщить несколькими способами. Во-первых, вместо энтропии Шеннона можно использовать другую энтропию. Во-вторых, тот же подход можно использовать для непрерывных случайных величин, для всех типов условных моделей (например, регрессии, моделей неравенства и нелинейных моделей) и для многих ограничений. В-третьих, априорные достижения могут быть включены в эту структуру. В-четвертых, ту же структуру можно расширить, чтобы учесть большую неопределенность: неопределенность в отношении наблюдаемых значений и/или неопределенность в отношении самой модели. Наконец, одну и ту же базовую структуру можно использовать для разработки новых моделей/теорий, проверки этих моделей с использованием всей доступной информации и проверки статистических гипотез относительно модели.

Примеры

Шестигранная игральная кость

Вывод, основанный на информации, полученной в результате повторных независимых экспериментов.

Следующий пример приписывается Больцману и в дальнейшем популяризировался Джейнсом . Рассмотрим шестигранный кубик , где событием является бросок кубика , а различными результатами являются числа от 1 до 6 на верхней грани кубика . Эксперимент представляет собой независимые повторения бросания одной и той же игральной кости .Предположим, вы наблюдаете только эмпирическое среднее значение y при N бросках шестигранной игральной кости . Учитывая эту информацию, вы хотите сделать вывод о вероятности того, что определенное значение грани выпадет при следующем броске игральной кости . Вы также знаете, что сумма вероятностей должна быть равна 1. Максимизация энтропии (и использование логарифмической базы 2) с учетом этих двух ограничений (среднего значения и нормализации) дает наиболее неинформативное решение.

$${\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}$$

для ${\textstyle x_{k}=k}$ и ${\textstyle k=1,2,\ldots ,6}$ . Решение

$${\widehat {p}}_{k}={\frac {2^{-{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv {\frac {2^{-\lambda x_{k}}}{\Omega }}$$

где ${\textstyle {\widehat {p}}_{k}}$ - предполагаемая вероятность события ${\textstyle k}$, ${\textstyle {\widehat {\lambda }}}$ — предполагаемые множители Лагранжа, связанные со средним ограничением, и ${\textstyle \Omega }$ – статистическая сумма (нормализация). Если это честная игральная кость со средним значением 3,5, можно ожидать, что все грани равновероятны и вероятности равны. Вот что дает решение с максимальной энтропией. Если игральная кость несправедлива (или загружена) со средним значением 4, результирующее решение с максимальной энтропией будет ${\textstyle p_{k}=(0.103,0.123,0.146,0.174,0.207,0.247)}$. Для сравнения минимизируем критерий наименьших квадратов ${\textstyle \left(\sum _{k=1}^{6}p_{k}^{2}\right)}$ вместо максимизации выхода энтропии ${\textstyle p_{k}(LS)=(0.095,0.124,0.152,0.181,0.210,0.238)}$.

междисциплинарные

Прогноз количества осадков : Используя ожидаемое ежедневное количество осадков (среднее арифметическое), можно использовать структуру максимальной энтропии для вывода и прогнозирования ежедневного распределения осадков.

Управление портфелем : предположим, что есть управляющий портфелем, которому необходимо распределить некоторые активы или присвоить веса портфеля различным активам, принимая во внимание ограничения и предпочтения инвестора. Используя эти предпочтения и ограничения, а также наблюдаемую информацию, такую ​​​​как средняя рыночная доходность и ковариации каждого актива за определенный период времени, можно использовать структуру максимизации энтропии для определения оптимальных весов портфеля. В этом случае энтропия портфеля отражает его разнообразие. Эту структуру можно изменить, включив в нее другие ограничения, такие как минимальная дисперсия, максимальное разнообразие и т. д. Эта модель предполагает неравенство и может быть дополнительно обобщена для включения коротких продаж. Дополнительные примеры и связанный с ними код можно найти на странице

Обширный список работ, связанных с инфометрикой, можно найти здесь: http://info-metrics.org/bibliography.html.

См. также

• Теория информации
• Энтропия
• Принцип максимальной энтропии
• Вывод
• Статистический вывод
• Ограниченная оптимизация

Дальнейшее чтение

Классика

• Рудольф Клаузиус . «Xi. О природе движения, которое мы называем теплом». Философский журнал и журнал науки Лондона, Эдинбурга и Дублина , 14 (91): 108–127, 1857.
• Людвиг Больцман. «Дальнейшие исследования теплового равновесия молекул газа». Известия Академии наук, класс математических и естественных наук , стр. 275–370, 1872 г.
• Дж. У. Гиббс . Элементарные начала статистической механики . (Нью-Хейвен, Коннектикут: Издательство Йельского университета), 1902 г.
• CE Шеннон . «Математическая теория связи». Технический журнал Bell System , 27 : 379–423, 1948.
• Ю. Альхассид и Р.Д. Левин. «Экспериментальные и присущие неопределенности в теоретическом подходе к информации». Письма по химической физике , 73 (1): 16–20, 1980.
• РБ Эш. Теория информации . Интерсайенс, Нью-Йорк, 1965 год.
• Катича. Относительная энтропия и индуктивный вывод . 2004.
• Катича. «Лекции по вероятности, энтропии и статистической физике». MaxEnt, Сан-Паулу, Бразилия , 2008 г.
• Ян М. Ван Кампенхаут Кавер и Томас М. «Максимальная энтропия и условная вероятность». Транзакции IEEE по теории информации , IT-27, № 4, 1981.
• И. Чисар. «Почему метод наименьших квадратов и максимальная энтропия? Аксиоматический подход к выводу для линейной обратной задачи». Анналы статистики , 19 : 2032–2066, 1991.
• Дэвид Донохо, Хоссейн Какаванд и Джеймс Маммен. «Простейшее решение недоопределенной системы линейных уравнений». В теории информации, Международный симпозиум IEEE 2006 г. , страницы 1924–1928. ИИЭР, 2007.

Фундаментальные книги и научные монографии

• Голан, Амос. Основы инфометрики: моделирование, умозаключения и несовершенная информация . Издательство Оксфордского университета, 2018.
• Голаны. «Информационная и энтропийная эконометрика – обзор и синтез». Основы и тенденции в эконометрике , 2(1-2):1–145, 2008.
• Р. Д. Левин и М. Трибус. Формализм максимальной энтропии . MIT Press, Кембридж, Массачусетс, 1979.
• Дж. Н. Капур. Модели максимальной энтропии в науке и технике . Уайли, 1993.
• Дж. Харт. Максимальная энтропия и экология: теория изобилия, распределения и энергетики . Оксфорд Ю Пресс, 2011.
• А. Голан, Г. Джадж и Д. Миллер. Эконометрика максимальной энтропии: робастная оценка с ограниченными данными . Джон Уайли и сыновья, 1996.
• ET Джейнс . Теория вероятностей: логика науки . Издательство Кембриджского университета, 2003.

Другие репрезентативные приложения

• Дж. Р. Банавар, А. Маритан и И. Волков. «Применения принципа максимальной энтропии: от физики к экологии». Журнал физики конденсированного состояния , 22 (6), 2010.
• Анил К. Бера и Сунг Ю. Пак. «Оптимальная диверсификация портфеля с использованием принципа максимальной энтропии». Эконометрические обзоры , 27(4-6):484–512, 2008 г.
• Бхати, Б. Буюксахин и А. Голан. «Реконструкция изображения: теоретико-информационный подход». Труды Американской статистической ассоциации , 2005 г.
• Питер Бухен и Майкл Келли. «Максимальное распределение энтропии актива, выведенное из цен опционов». Журнал финансового и количественного анализа , 31(01):143–159, 1996.
• Рэндалл К. Кэмпбелл и Р. Картер Хилл. «Прогнозирование полиномиального выбора с использованием максимальной энтропии». Письма по экономике , 64(3):263–269, 1999.
• Ариэль Катиша и Амос Голан. «Энтропийная основа для моделирования экономики». Physica A: Статистическая механика и ее приложения , 408:149–163, 2014.
• Марша Куршан, Амос Голан и Дэвид Никерсон. «Оценка и оценка кредитной дискриминации: информационный подход». Журнал жилищных исследований , 11(1):67–90, 2000.
• Цукаса Фудзивара и Ёсио Мияхара. « Минимальные энтропийные мартингальные меры для геометрических процессов Леви». Финансы и стохастика , 7(4):509–531, 2003.

Марко Фриттелли. «Минимальная мартингальная мера энтропии и проблема оценки на неполных рынках». Математические финансы , 10(1):39–52, 2000.

• Д. Гленнон и А. Голан. «Марковская модель банкротства банков, оцененная с использованием теоретико-информационного подхода банков». Отчет, Казначейство США, 2003 г.
• А. Голан. «Многомерная стохастическая теория распределения фирм по размерам с эмпирическими данными». Достижения в эконометрике , 10:1–46, 1994.
• А. Голан. «Модель Modcomp влияния вознаграждения на удержание персонала – теоретико-информационный подход». Отчет ВМС США, февраль 2003 г.

Амос Голан и Волкер Дозе. «Обобщенный информационно-теоретический подход к томографической реконструкции». Журнал физики A: Mathematical and General , 34(7):1271, 2001.

• Барт Хэгеман и Рампал С. Этьен. «Максимизация энтропии и пространственное распределение видов». Американский натуралист , 175(4):E74–E90, 2010.
• У.Ф. Туссен, А. Голан, В. Дозе и «Максимальное энтропийное разложение четверных масс-спектров». Журнал вакуумной науки и техники, A 22 (2), март/апрель 2004 г., стр. 401–406.
• Голан А. и Д. Волкер, «Обобщенный информационно-теоретический подход к томографической реконструкции», Журнал физики A: Mathematical and General (2001) 1271–1283.

Внешние ссылки

• «Институт инфо-метрики: теоретико-информационный анализ и представление данных | Американский университет, Вашингтон, округ Колумбия» american.edu . Проверено 7 ноября 2017 г.
• «Центр науки информации ННФ НТЦ» . soihub.org . Проверено 7 ноября 2017 г.
• http://info-metrics.org/