Неравенство энтропийной мощности

В теории информации неравенство степени энтропии ( EPI ) — это результат, который относится к так называемой «мощности энтропии» случайных величин . Он показывает, что энтропийная степень случайных величин с хорошим поведением является супераддитивной функцией . Неравенство энтропийной степени было доказано в 1948 году Клодом Шенноном в его основополагающей статье « Математическая теория коммуникации ». Шеннон также предоставил достаточное условие равенства; Стам (1959) показал, что это условие действительно необходимо.

Формулировка неравенства

Для случайного вектора X : Ω → R ^н с функцией плотности вероятности f : R ^н → R , дифференциальная энтропия X h , обозначаемая ( X ) , определяется как

$h(X)=-\int _{\mathbb {R} ^{n}}f(x)\log f(x)\,dx$

а степень энтропии X , обозначаемая N ( X ), определяется как

$N(X)={\frac {1}{2\pi e}}e^{{\frac {2}{n}}h(X)}.$

В частности, N ( X ) = | К | ^{1/ н} когда X нормально распределен с ковариационной K. матрицей

Пусть X и Y — независимые случайные величины с функциями плотности вероятности в L ^п пространство L ^п ( Р ^н ) для некоторого p > 1. Тогда

$N(X+Y)\geq N(X)+N(Y).\,$

Более того, равенство имеет место тогда и только тогда, когда X и Y являются многомерными нормальными случайными величинами с пропорциональными ковариационными матрицами .

неравенства

Неравенство энтропийной мощности можно переписать в эквивалентной форме, которая не зависит явно от определения энтропийной мощности (см. ссылку Косты и Ковера ниже).

Пусть X и Y — независимые случайные величины , как указано выше. Тогда пусть X' и Y' — независимо распределенные случайные величины с гауссовым распределением, такие, что

$h(X')=h(X)$ и $h(Y')=h(Y)$

Затем,

$h(X+Y)\geq h(X'+Y')$

См. также

• Информационная энтропия
• Теория информации
• Предельная плотность дискретных точек
• Самоинформация
• Расхождение Кульбака – Лейблера
• Оценка энтропии

Ссылки

• Дембо, Амир; Обложка, Томас М.; Томас, Джой А. (1991). «Информационно-теоретические неравенства». IEEE Транс. Инф. Теория . 37 (6): 1501–1518. дои : 10.1109/18.104312 . МР   1134291 . S2CID   845669 .
• Коста, Макс ХМ; Обложка, Томас М. (1984). «О подобии энтропийно-степенного неравенства и неравенства Брунна-Минковского». IEEE Транс. Инф. Теория . 30 (6): 837–839. дои : 10.1109/TIT.1984.1056983 .
• Гарднер, Ричард Дж. (2002). «Неравенство Брунна – Минковского» . Бык. амер. Математика. Соц. (НС) . 39 (3): 355–405 (электронный). дои : 10.1090/S0273-0979-02-00941-2 .
• Шеннон, Клод Э. (1948). «Математическая теория связи». Белл Систем Тех. Дж. 27 (3): 379–423, 623–656. дои : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 .
• Стам, Эй Джей (1959). «Некоторые неравенства, удовлетворяемые количествами информации Фишера и Шеннона» . Информация и контроль . 2 (2): 101–112. дои : 10.1016/S0019-9958(59)90348-1 .