Энтропийная неопределенность

В квантовой механике , теории информации и анализе Фурье энтропийная неопределенность или неопределенность Хиршмана определяется как сумма временной и спектральной энтропии Шеннона . Оказывается, принцип неопределенности Гейзенберга можно выразить как нижнюю границу суммы этих энтропий. Это сильнее , чем обычное утверждение принципа неопределенности в терминах произведения стандартных отклонений.

В 1957 году ^[1] Хиршман рассмотрел функцию f и ее преобразование Фурье g такие, что

g(y)\approx \int _{-\infty }^{\infty }\exp(-2\pi ixy)f(x)\,dx,\qquad f(x)\approx \int _{-\infty }^{\infty }\exp(2\pi ixy)g(y)\,dy~,

где «≈» указывает на сходимость в $L$ ², и нормирован так, что (по теореме Планшереля )

\int _{-\infty }^{\infty }|f(x)|^{2}\,dx=\int _{-\infty }^{\infty }|g(y)|^{2}\,dy=1~.

Он показал, что для любых таких функций сумма энтропий Шеннона неотрицательна,

H(|f|^{2})+H(|g|^{2})\equiv -\int _{-\infty }^{\infty }|f(x)|^{2}\log |f(x)|^{2}\,dx-\int _{-\infty }^{\infty }|g(y)|^{2}\log |g(y)|^{2}\,dy\geq 0.

Более тесная связь,

$H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}}~,$

было предположено Хиршманом ^[1] и Эверетт , ^[2] доказано в 1975 году В. Бекнером ^[3] и Мисельским как обобщенный квантовомеханический принцип неопределенности и в том же году интерпретирован Бялыницким-Бирулой . ^[4]Равенство справедливо в случае гауссовских распределений . ^[5]Однако обратите внимание, что приведенная выше энтропийная функция неопределенности явно отличается от квантовой энтропии фон Неймана, представленной в фазовом пространстве .

Эскиз доказательства

Доказательство этого строгого неравенства зависит от так называемой ( q , p )-нормы преобразования Фурье. (Установление этой нормы — самая трудная часть доказательства.)

Исходя из этой нормы, можно установить нижнюю границу суммы (дифференциальных) энтропий Реньи H $α (|f|²)+H β (|g|²)$ , где $1/α + 1/β = 2$ , которые обобщают энтропии Шеннона. Для простоты мы рассматриваем это неравенство только в одном измерении; расширение на несколько измерений является простым, и его можно найти в цитируемой литературе.

Babenko–Beckner inequality

преобразования ( q , p )-норма Фурье определяется как ^[6]

\|{\mathcal {F}}\|_{q,p}=\sup _{f\in L^{p}(\mathbb {R} )}{\frac {\|{\mathcal {F}}f\|_{q}}{\|f\|_{p}}},

где

1<p\leq 2~,

и

{\frac {1}{p}}+{\frac {1}{q}}=1.

В 1961 году Бабенко ^[7] нашел эту норму для четных целых значений q . Наконец, в 1975 г.используя функции Эрмита в качестве собственных функций преобразования Фурье, Бекнер ^[3] доказал, что значение этой нормы (в одном измерении) для всех q ≥ 2 равно

\|{\mathcal {F}}\|_{q,p}={\sqrt {p^{1/p}/q^{1/q}}}.

Таким образом, мы имеем неравенство Бабенко–Бекнера , которое

\|{\mathcal {F}}f\|_{q}\leq \left(p^{1/p}/q^{1/q}\right)^{1/2}\|f\|_{p}.

Граница энтропии Реньи

выражение принципа неопределенности через энтропию Реньи . Из этого неравенства можно вывести ^[6]^[8]

Сдача в аренду $g={\mathcal {F}}f$ , 2 α = p и 2 β = q , так что $1/α + 1/β = 2$ и 1/2< α <1< β , мы имеем

\left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)^{1/2\beta }\leq {\frac {(2\alpha )^{1/4\alpha }}{(2\beta )^{1/4\beta }}}\left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)^{1/2\alpha }.

Возводя обе части в квадрат и логарифмируя, получаем

{\frac {1}{\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\leq {\frac {1}{2}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}+{\frac {1}{\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right).

Умножив обе части на

{\frac {\beta }{1-\beta }}=-{\frac {\alpha }{1-\alpha }}

меняет смысл неравенства,

{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}-{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)~.

Перестановка членов в конечном итоге дает неравенство в терминах суммы энтропий Реньи:

{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)+{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}};

H_{\alpha }(|f|^{2})+H_{\beta }(|g|^{2})\geq {\frac {1}{2}}\left({\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right)-\log 2~.

Обратите внимание, что это неравенство симметрично относительно $α$ и $β$ : больше нет необходимости предполагать, что $α<β$ ; только то, что они положительны, а не оба одновременно, и что 1/α + 1/β = 2. Чтобы увидеть эту симметрию, просто поменяйте местами роли i и − i в преобразовании Фурье.

Энтропийный предел Шеннона

Взяв предел этого последнего неравенства при α, β → 1, получим менее общее энтропийное неравенство Шеннона:

H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}},\quad {\textrm {where}}\quad g(y)\approx \int _{\mathbb {R} }e^{-2\pi ixy}f(x)\,dx~,

справедливо для любой системы логарифмов, если мы выбираем подходящую единицу информации, бит , nat и т. д.

Однако константа будет другой для другой нормализации преобразования Фурье (например, той, которая обычно используется в физике, с нормализацией, выбранной так, чтобы ħ =1), т.е.

H(|f|^{2})+H(|g|^{2})\geq \log(\pi e)\quad {\textrm {for}}\quad g(y)\approx {\frac {1}{\sqrt {2\pi }}}\int _{\mathbb {R} }e^{-ixy}f(x)\,dx~.

В этом случае расширение квадрата абсолютного преобразования Фурье в 2 $π$ просто добавляет log(2 $π$ ) к его энтропии.

Границы энтропии и дисперсии

Гауссово или нормальное распределение вероятностей играет важную роль во взаимосвязи между дисперсией и энтропией : задача вариационного исчисления состоит в том, чтобы показать, что это распределение максимизирует энтропию для данной дисперсии и в то же время минимизирует дисперсию для данной дисперсии. энтропия. Действительно, для любой функции плотности вероятности $\phi$ на реальной линии неравенство энтропии Шеннона определяет:

H(\phi )\leq \log {\sqrt {2\pi eV(\phi )}},

где H — энтропия Шеннона, а V — дисперсия, неравенство, которое является насыщенным только в случае нормального распределения .

Более того, преобразование Фурье гауссовой функции амплитуды вероятности также является гауссовым, и абсолютные квадраты обоих из них также являются гауссовыми. Затем это можно использовать для вывода обычного неравенства неопределенности дисперсии Робертсона из приведенного выше энтропийного неравенства, что позволяет последнему быть более точным, чем первое . То есть (для ħ =1), возведя в степень неравенство Хиршмана и используя приведенное выше выражение Шеннона,

1/2\leq \exp(H(|f|^{2})+H(|g|^{2}))/(2e\pi )\leq {\sqrt {V(|f|^{2})V(|g|^{2})}}~.

Хиршман ^[1] объяснил, что энтропия — его версия энтропии была отрицательной по сравнению с версией Шеннона — является «мерой концентрации [распределения вероятностей] во множестве малых мер». Таким образом, низкая или большая отрицательная энтропия Шеннона означает, что значительная масса распределения вероятностей ограничена множеством малых мер .

Обратите внимание, что этот набор малой меры не обязательно должен быть непрерывным; распределение вероятностей может иметь несколько концентраций массы в интервалах небольшой меры, и энтропия все равно может быть низкой, независимо от того, насколько широко разбросаны эти интервалы. С дисперсией дело обстоит иначе: дисперсия измеряет концентрацию массы вокруг среднего значения распределения, а низкая дисперсия означает, что значительная масса распределения вероятностей сосредоточена в непрерывном интервале небольшой меры.

Чтобы формализовать это различие, мы говорим, что две функции плотности вероятности $\phi _{1}$ и $\phi _{2}$ равноизмеримы , если

\forall \delta >0,\,\mu \{x\in \mathbb {R} |\phi _{1}(x)\geq \delta \}=\mu \{x\in \mathbb {R} |\phi _{2}(x)\geq \delta \},

где $µ$ — мера Лебега . Любые две равноизмеримые функции плотности вероятности имеют одинаковую энтропию Шеннона и, по сути, одну и ту же энтропию Реньи любого порядка. Однако то же самое нельзя сказать о дисперсии. Любая функция плотности вероятности имеет радиально убывающую эквиизмеримую «перестановку», дисперсия которой меньше (с точностью до перевода), чем любая другая перестановка функции; и существуют перестановки со сколь угодно высокой дисперсией (все они имеют одинаковую энтропию).

См. также

Ссылки

^ Jump up to: ^а ^б ^с Хиршман II младший (1957), «Заметки об энтропии», American Journal of Mathematics , 79 (1): 152–156, doi : 10.2307/2372390 , JSTOR 2372390 .
^ Хью Эверетт , III. Многомировая интерпретация квантовой механики: теория универсальной волновой функции. Диссертация Эверетта
^ Jump up to: ^а ^б Бекнер, В. (1975), «Неравенства в анализе Фурье», Annals of Mathematics , 102 (6): 159–182, doi : 10.2307/1970980 , JSTOR 1970980 , PMC 432369 , PMID 16592223 .
^ Бялыницкий-Бирула, И.; Мысельский, Дж. (1975), «Соотношения неопределенности для информационной энтропии в волновой механике» , Communications in Mathematical Physics , 44 (2): 129, Бибкод : 1975CMaPh..44..129B , doi : 10.1007/BF01608825 , S2CID 122277352
^ Озайдин, Мурад; Пшебинда, Томаш (2004). «Принцип неопределенности, основанный на энтропии, для локально компактной абелевой группы» (PDF) . Журнал функционального анализа . 215 (1). Elsevier Inc.: 241–252. дои : 10.1016/j.jfa.2003.11.008 . Проверено 23 июня 2011 г.
^ Jump up to: ^а ^б Бялыницкий-Бирула, И. (2006). «Формулировка соотношений неопределенности в терминах энтропии Реньи». Физический обзор А. 74 (5): 052101. arXiv : quant-ph/0608116 . Бибкод : 2006PhRvA..74e2101B . doi : 10.1103/PhysRevA.74.052101 . S2CID 19123961 .
^ К.И. Бабенко. Неравенство в теории интегралов Фурье. Изв. Акад. Наук СССР, сер. Мат. 25 (1961), стр. 531–542. Английский перевод, амер. Математика. Соц. Перевод (2) 44 , стр. 115-128.
^ HP Heinig и М. Смит, Расширения неравенства Гейзенберга – Вейля. Интерн. Дж. Математика. и математика. наук., Том. 9, № 1 (1986), стр. 185–192. [1]

Дальнейшее чтение

Джизба, П.; Может.; Хейс, А.; Даннингем, Дж. А. (2016). «Однопараметрический класс отношений неопределенности, основанный на степени энтропии». Физ. Ред. E 93 (6): 060104(R). doi:10.1103/PhysRevE.93.060104 .
Зозор, С.; Вигнат, К. (2007). «О классах негауссовских асимптотических минимизаторов в принципах энтропийной неопределенности». Физика А: Статистическая механика и ее приложения . 375 (2): 499. arXiv : math/0605510 . Бибкод : 2007PhyA..375..499Z . дои : 10.1016/j.physa.2006.09.019 . S2CID 119718352 . arXiv:math/0605510v1
Маассен, Х.; Уффинк, Дж. (1988). «Обобщенные энтропийные соотношения неопределенностей» (PDF) . Письма о физических отзывах . 60 (12): 1103–1106. Бибкод : 1988PhRvL..60.1103M . дои : 10.1103/PhysRevLett.60.1103 . ПМИД 10037942 .
Баллестер, М.; Венер, С. (2007). «Энтропийные отношения неопределенности и блокировка: жесткие границы для взаимно несмещенных оснований». Физический обзор А. 75 (2): 022319. arXiv : quant-ph/0606244 . Бибкод : 2007PhRvA..75b2319B . дои : 10.1103/PhysRevA.75.022319 . S2CID 119470256 .
Жирарди, Дж.; Маринатто, Л.; Романо, Р. (2003). «Оптимальное энтропийное соотношение неопределенности в двумерном гильбертовом пространстве». Буквы по физике А. 317 (1–2): 32–36. arXiv : Quant-ph/0310120 . Бибкод : 2003PhLA..317...32G . дои : 10.1016/j.physleta.2003.08.029 . S2CID 9267554 .
Сальседо, LL (1998). «Минимальная неопределенность для антисимметричных волновых функций». Письма по математической физике . 43 (3): 233–248. arXiv : Quant-ph/9706015 . Бибкод : 1997quant.ph..6015S . дои : 10.1023/А:1007464229188 . S2CID 18118758 .

[Hirschman-1] Jump up to: ^а ^б ^с Хиршман II младший (1957), «Заметки об энтропии», American Journal of Mathematics , 79 (1): 152–156, doi : 10.2307/2372390 , JSTOR 2372390 .

[2] Хью Эверетт , III. Многомировая интерпретация квантовой механики: теория универсальной волновой функции. Диссертация Эверетта

[Beckner-3] Jump up to: ^а ^б Бекнер, В. (1975), «Неравенства в анализе Фурье», Annals of Mathematics , 102 (6): 159–182, doi : 10.2307/1970980 , JSTOR 1970980 , PMC 432369 , PMID 16592223 .

[BBM-4] Бялыницкий-Бирула, И.; Мысельский, Дж. (1975), «Соотношения неопределенности для информационной энтропии в волновой механике» , Communications in Mathematical Physics , 44 (2): 129, Бибкод : 1975CMaPh..44..129B , doi : 10.1007/BF01608825 , S2CID 122277352

[5] Озайдин, Мурад; Пшебинда, Томаш (2004). «Принцип неопределенности, основанный на энтропии, для локально компактной абелевой группы» (PDF) . Журнал функционального анализа . 215 (1). Elsevier Inc.: 241–252. дои : 10.1016/j.jfa.2003.11.008 . Проверено 23 июня 2011 г.

[Bialynicki-6] Jump up to: ^а ^б Бялыницкий-Бирула, И. (2006). «Формулировка соотношений неопределенности в терминах энтропии Реньи». Физический обзор А. 74 (5): 052101. arXiv : quant-ph/0608116 . Бибкод : 2006PhRvA..74e2101B . doi : 10.1103/PhysRevA.74.052101 . S2CID 19123961 .

[7] К.И. Бабенко. Неравенство в теории интегралов Фурье. Изв. Акад. Наук СССР, сер. Мат. 25 (1961), стр. 531–542. Английский перевод, амер. Математика. Соц. Перевод (2) 44 , стр. 115-128.

[8] HP Heinig и М. Смит, Расширения неравенства Гейзенберга – Вейля. Интерн. Дж. Математика. и математика. наук., Том. 9, № 1 (1986), стр. 185–192. [1]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]