Энтропия Реньи

В теории информации энтропия Реньи — это величина, которая обобщает различные понятия энтропии , включая энтропию Хартли , энтропию Шеннона , энтропию столкновений и мин-энтропию . Энтропия Реньи названа в честь Альфреда Реньи , который искал наиболее общий способ количественной оценки информации, сохраняя при этом аддитивность для независимых событий. В контексте оценки фрактальной размерности энтропия Реньи лежит в основе концепции обобщенных размерностей .

Энтропия Реньи важна в экологии и статистике как показатель разнообразия . Энтропия Реньи также важна в квантовой информации , где ее можно использовать как меру запутанности . В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция от α может быть вычислена явно, поскольку она является автоморфной функцией по отношению к определенной подгруппе модулярной группы . В теоретической информатике минимальная энтропия используется в контексте экстракторов случайности .

Определение

Энтропия порядка Реньи $\alpha$, где $0<\alpha <\infty$ и $\alpha \neq 1$, определяется как

$\mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}.$

Это дополнительно определено в $\alpha =0,1,\infty$ как

$\mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).$

Здесь, $X$ — дискретная случайная величина с возможными исходами в множестве ${\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}$ и соответствующие вероятности $p_{i}\doteq \Pr(X=x_{i})$ для $i=1,\dots ,n$. Результирующая единица информации определяется основанием логарифма , например, Шеннон для основания 2 или nat для основания e . Если вероятности $p_{i}=1/n$ для всех $i=1,\dots ,n$, то все энтропии Реньи распределения равны: $\mathrm {H} _{\alpha }(X)=\log n$. В общем случае для всех дискретных случайных величин $X$, $\mathrm {H} _{\alpha }(X)$ является невозрастающей функцией $\alpha$.

В приложениях часто используется следующая связь между энтропией Реньи и α - нормой вектора вероятностей:

$\mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left(\|P\|_{\alpha }\right)$ .

Здесь дискретное распределение вероятностей $P=(p_{1},\dots ,p_{n})$ интерпретируется как вектор в $\mathbb {R} ^{n}$ с $p_{i}\geq 0$ и ${\textstyle \sum _{i=1}^{n}p_{i}=1}$.

Энтропия Реньи для любого $\alpha \geq 0$ Шур вогнутый . Доказано критерием Шура-Островского.

Особые случаи

Энтропия Реньи случайной величины с двумя возможными исходами против p ₁ , где P = ( p ₁ , 1 − p ₁ ) . Показаны Η ₀ , Η ₁ , Η ₂ и Η _∞ , причем единица измерения на вертикальной оси — шеннон .

Как $\alpha$ приближается к нулю, энтропия Реньи все более одинаково взвешивает все события с ненулевой вероятностью, независимо от их вероятностей. В лимите на $\alpha \to 0$, энтропия Реньи — это просто логарифм размера носителя X . Лимит на $\alpha \to 1$ – энтропия Шеннона . Как $\alpha$ приближается к бесконечности, энтропия Реньи все больше определяется событиями наибольшей вероятности.

Хартли или максимальная энтропия

При условии, что вероятности не равны нулю, $\mathrm {H} _{0}$ – логарифм мощности алфавита ( ${\mathcal {A}}$) из $X$, иногда называемую Хартли энтропией $X$,

$\mathrm {H} _{0}(X)=\log n=\log |{\mathcal {A}}|\,$

Энтропия Шеннона

Предельное значение $\mathrm {H} _{\alpha }$ как $\alpha \to 1$ Шеннона энтропия :

$\mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1}^{n}p_{i}\log p_{i}$

Энтропия столкновений

Энтропия столкновений , иногда называемая просто «энтропией Реньи», относится к случаю $\alpha =2$,

$\mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y),$

где X и Y независимы и одинаково распределены . Энтропия столкновений связана с индексом совпадения .

Минимальная энтропия

Основная статья: Минимальная энтропия

В пределе как $\alpha \rightarrow \infty$, энтропия Реньи $\mathrm {H} _{\alpha }$ сходится к минимальной энтропии $\mathrm {H} _{\infty }$:

$\mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}\,.$

Эквивалентно, минимальная энтропия $\mathrm {H} _{\infty }(X)$ — наибольшее действительное число b такое, что все события происходят с вероятностью не более $2^{-b}$.

Название «мин-энтропия» происходит от того факта, что это наименьшая мера энтропии в семействе энтропий Реньи. В этом смысле это самый надежный способ измерить информативность дискретной случайной величины. В частности, минимальная энтропия никогда не превышает энтропию Шеннона .

Минимальная энтропия имеет важные приложения для экстракторов случайных чисел в теоретической информатике : Экстракторы способны извлекать случайные данные из случайных источников с большой минимальной энтропией; просто наличия большой энтропии Шеннона недостаточно для этой задачи.

Неравенства для разных порядков α

Что $\mathrm {H} _{\alpha }$ не увеличивается в $\alpha$ для любого заданного распределения вероятностей $p_{i}$, что можно доказать дифференцированием, как

$-{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{KL}(z\|p)$

которая пропорциональна расходимости Кульбака – Лейблера (которая всегда неотрицательна), где $z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }$. В частности, оно строго положительно, за исключением случаев, когда распределение равномерно.

На $\alpha \to 1$ предел, у нас есть $-{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}(\ln p_{i}+H(p))^{2}$.

В частных случаях неравенства можно доказать и с помощью неравенства Йенсена :

$\log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.$

Для значений $\alpha >1$, справедливы и неравенства в другую сторону. В частности, у нас есть

$\mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.$

С другой стороны, энтропия Шеннона $\mathrm {H} _{1}$ может быть сколь угодно большим для случайной величины $X$ который имеет заданную минимальную энтропию. Примером этого может служить последовательность случайных величин $X_{n}\sim \{0,\ldots ,n\}$ для $n\geq 1$ такой, что $P(X_{n}=0)=1/2$ и $P(X_{n}=x)=1/(2n)$ с $\mathrm {H} _{\infty }(X_{n})=\log 2$ но $\mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2$.

Расхождение Реньи

Помимо абсолютных энтропий Реньи, Реньи также определил спектр мер дивергенции, обобщающих дивергенцию Кульбака – Лейблера .

Дивергенция Реньи порядка α или альфа-дивергенция распределения P от распределения Q определяется как

$D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}[(p_{i}/q_{i})^{\alpha -1}]\,$

когда 0 < α < ∞ и α ≠ 1 . Мы можем определить дивергенцию Реньи для специальных значений α = 0, 1, ∞, взяв предел, и, в частности, предел α → 1 дает дивергенцию Кульбака – Лейблера.

Некоторые особые случаи:

$D_{0}(P\|Q)=-\log Q(\{i:p_{i}>0\})$ : минус логарифмическая вероятность при Q того, что p _i > 0 ;

$D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}$ : минус двойной логарифм коэффициента Бхаттачарьи ; ( Нильсен и Больц (2010) )

$D_{1}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}$ : расхождение Кульбака–Лейблера ;

$D_{2}(P\|Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }$ : лог ожидаемого отношения вероятностей;

$D_{\infty }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : журнал максимального отношения вероятностей.

Расхождение Реньи действительно является расхождением , означая просто, что $D_{\alpha }(P\|Q)$ больше или равно нулю, и ноль только тогда, когда P = Q . Для любых фиксированных распределений P и Q дивергенция Реньи не убывает как функция своего порядка α и непрерывна на множестве α, для которого она конечна: или для краткости — информация порядка α, , если распределение P заменить распределением Q. полученная

Финансовая интерпретация

Пару распределений вероятностей можно рассматривать как азартную игру, в которой одно из распределений определяет официальные шансы, а другое содержит фактические вероятности. Знание реальных вероятностей позволяет игроку получить прибыль от игры. Ожидаемая норма прибыли связана с дивергенцией Реньи следующим образом:

${\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,$

где $m$ это распределение, определяющее официальные коэффициенты (т.е. «рынок») для игры, $b$ это распределение, по мнению инвесторов, и $R$ – неприятие риска инвестором ( относительное неприятие риска Эрроу – Пратта ).

Если истинное распределение $p$ (не обязательно совпадающее с мнением инвестора) $b$), долгосрочная реализованная ставка сходится к истинному ожиданию, которое имеет аналогичную математическую структуру

${\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.$

Свойства, характерные для α = 1

Значение α = 1 , которое дает энтропию Шеннона и дивергенцию Кульбака – Лейблера , является единственным значением, при котором точно выполняется цепное правило условной вероятности :

$\mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}$

для абсолютной энтропии и

$D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},$

для относительных энтропий.

Последнее, в частности, означает, что если мы ищем распределение p ( x , a ) , которое минимизирует отклонение от некоторой базовой априорной меры m ( x , a ) , и мы получаем новую информацию, которая влияет только на распределение a , то распределение p ( x | a ) остается m ( x | a ) без изменений.

Другие расходимости Реньи удовлетворяют критериям положительности и непрерывности, инвариантности относительно преобразований координат 1 к 1 и аддитивного комбинирования, когда A и X независимы, так что если p ( A , X ) = p ( A ) p ( X ) , тогда

$\mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;$

и

$D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).$

Более сильные свойства величин α = 1 позволяют определить условную информацию и взаимную информацию из теории связи.

Экспоненциальные семьи

Энтропии и дивергенции Реньи для экспоненциального семейства допускают простые выражения

$\mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)$

и

$D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}$

где

$J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')$

– это разностная дивергенция Дженсена.

Физический смысл

Энтропия Реньи в квантовой физике не считается наблюдаемой из -за ее нелинейной зависимости от матрицы плотности. (Эта нелинейная зависимость применима даже в частном случае энтропии Шеннона.) Однако ей можно придать оперативный смысл посредством двукратных измерений (также известных как статистика полного счета) передачи энергии. .

Предел квантовомеханической энтропии Реньи как $\alpha \to 1$ — энтропия фон Неймана .

См. также

• Индексы разнообразия
• Энтропия Цаллиса
• Обобщенный индекс энтропии

Ссылки

• Бек, Кристиан; Шлёгль, Фридрих (1993). Термодинамика хаотических систем: введение . Издательство Кембриджского университета. ISBN  0521433673 .
• Джизба, П.; Аримицу, Т. (2004). «Мир по Реньи: термодинамика мультифрактальных систем». Анналы физики . 312 (1): 17–59. arXiv : cond-mat/0207707 . Бибкод : 2004АнФиз.312...17J . дои : 10.1016/j.aop.2004.01.002 . S2CID   119704502 .
• Джизба, П.; Аримицу, Т. (2004). «О наблюдаемости энтропии Реньи». Физический обзор E . 69 (2): 026128. arXiv : cond-mat/0307698 . Бибкод : 2004PhRvE..69b6128J . дои : 10.1103/PhysRevE.69.026128 . ПМИД   14995541 . S2CID   39231939 .
• Бромили, Пенсильвания; Такер, Северная Каролина; Бухова-Такер, Э. (2004), Энтропия Шеннона, энтропия Реньи и информация , CiteSeerX   10.1.1.330.9856
• Франкини, Ф.; Это, АР; Корепин, В.Е. (2008). «Энтропия Реньи как мера запутанности в квантовой спиновой цепочке». Физический журнал A: Математический и теоретический . 41 (25302): 025302. arXiv : 0707.2534 . Бибкод : 2008JPhA...41b5302F . дои : 10.1088/1751-8113/41/2/025302 . S2CID   119672750 .
• «Тест Реньи» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Герой, АО; Майкл, О.; Горман, Дж. (2002). Альфа-дивергенция для классификации, индексирования и поиска (PDF) (Технический отчет CSPL-328). Лаборатория связи и обработки сигналов Мичиганского университета. CiteSeerX   10.1.1.373.2763 .
• Это, АР; Корепин, В.Е. (2010). «Обобщенная энтропия спиновой цепи Гейзенберга». Теоретическая и математическая физика . 164 (3): 1136–1139. Бибкод : 2010TMP...164.1136I . дои : 10.1007/s11232-010-0091-6 . S2CID   119525704 .
• Нильсен, Ф.; Больц, С. (2010). «Центроиды Бурбеа-Рао и Бхаттачарья». Транзакции IEEE по теории информации . 57 (8): 5455–5466. arXiv : 1004.5049 . дои : 10.1109/TIT.2011.2159046 . S2CID   14238708 .
• Нильсен, Франк; Нок, Ричард (2012). «Выражение в замкнутой форме для энтропии Шармы – Миттала экспоненциальных семейств». Журнал физики А. 45 (3): 032003. arXiv : 1112.4221 . Бибкод : 2012JPhA...45c2003N . дои : 10.1088/1751-8113/45/3/032003 . S2CID   8653096 .
• Нильсен, Франк; Нок, Ричард (2011). «Об энтропии и расходимости Реньи и Цаллиса для экспоненциальных семейств». Журнал физики А. 45 (3): 032003. arXiv : 1105.3259 . Бибкод : 2012JPhA...45c2003N . дои : 10.1088/1751-8113/45/3/032003 . S2CID   8653096 .
• Реньи, Альфред (1961). «О мерах информации и энтропии» (PDF) . Труды четвертого симпозиума по математике, статистике и вероятности в Беркли, 1960 г. стр. 547–561.
• Россо, ОА (2006). «Анализ ЭЭГ с использованием информационных инструментов на основе вейвлетов». Журнал методов нейробиологии . 153 (2): 163–182. дои : 10.1016/j.jneumeth.2005.10.009 . ПМИД   16675027 . S2CID   7134638 .
• Захос, СК (2007). «Классическая граница квантовой энтропии». Журнал физики А. 40 (21): Ф407–Ф412. arXiv : hep-th/0609148 . Бибкод : 2007JPhA...40..407Z . дои : 10.1088/1751-8113/40/21/F02 . S2CID   1619604 .
• Назаров Ю. (2011). «Потоки энтропии Реньи». Физический обзор B . 84 (10): 205437. arXiv : 1108.3537 . Бибкод : 2015PhRvB..91j4303A . дои : 10.1103/PhysRevB.91.104303 . S2CID   40312624 .
• Ансари, Мохаммед Х.; Назаров, Юлий В. (2015). «Энтропия Реньи течет из квантовых тепловых двигателей». Физический обзор B . 91 (10): 104303. arXiv : 1408.3910 . Бибкод : 2015PhRvB..91j4303A . дои : 10.1103/PhysRevB.91.104303 . S2CID   40312624 .
• Ансари, Мохаммед Х.; Назаров, Юлий В. (2015). «Точное соответствие между потоками энтропии Реньи и физическими потоками». Физический обзор B . 91 (17): 174307. arXiv : 1502.08020 . Бибкод : 2015PhRvB..91q4307A . дои : 10.1103/PhysRevB.91.174307 . S2CID   36847902 .
• Соклаков, АН (2020). «Экономика разногласий — финансовая интуиция для расхождения Реньи» . Энтропия . 22 (8): 860. arXiv : 1811.08308 . Бибкод : 2020Entrp..22..860S . дои : 10.3390/e22080860 . ПМЦ   7517462 . ПМИД   33286632 .
• Ансари, Мохаммед Х.; ван Стинсел, Элвин; Назаров, Юлий В. (2019). «Производство энтропии в квантовой системе другое» . Энтропия . 21 (9): 854. arXiv : 1907.09241 . дои : 10.3390/e21090854 . S2CID   198148019 .
• Риуль, Оливье (2021). «Это ОНО: Учебник по энтропии и информации Шеннона» (PDF) . Теория информации . Прогресс математической физики. Том. 78. Биркхойзер. стр. 49–86. дои : 10.1007/978-3-030-81480-9_2 . ISBN  978-3-030-81479-3 . S2CID   204783328 .