Предельная плотность дискретных точек

В теории информации предельная плотность дискретных точек является корректировкой формулы Клода Шеннона для дифференциальной энтропии .

Он был сформулирован Эдвином Томпсоном Джейнсом для устранения дефектов первоначального определения дифференциальной энтропии.

Определение [ править ]

Первоначально Шеннон записал следующую формулу для энтропии непрерывного распределения, известную как дифференциальная энтропия :

h(X)=-\int p(x)\log p(x)\,dx.

Однако, в отличие от формулы Шеннона для дискретной энтропии, она не является результатом какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии интегралом), и в ней отсутствуют многие свойства, которые делают дискретную энтропию полезной мерой неопределенность. В частности, оно не инвариантно при замене переменных и может стать отрицательным. Кроме того, это даже не правильно по размеру. С $h(X)$ будет безразмерным, $p(x)$ должны иметь единицы ${\frac {1}{dx}}$ , что означает, что аргумент логарифма не является безразмерным, как требуется.

Джейнс утверждал, что формулу непрерывной энтропии следует вывести, взяв предел все более плотных дискретных распределений. ^[1]^[2] Предположим, что у нас есть набор $N$ дискретные точки $\{x_{i}\}$ , такой, что в пределе $N\to \infty$ их плотность приближается к функции $m(x)$ называется «инвариантной мерой»:

\lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{number of points in }}a<x<b)=\int _{a}^{b}m(x)\,dx.

Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, как он утверждал, следует считать правильной формулой:

\lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.

Обычно, когда это пишут, термин $\log(N)$ опускается, поскольку обычно оно не является конечным. Таким образом, фактическое общее определение таково:

H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.

В тех случаях, когда неясно, является ли $\log(N)$ термин следует опустить, можно было бы написать

H_{N}(X)\sim \log(N)+H(X).

Обратите внимание, что в формуле Джейнса $m(x)$ – плотность вероятности. Для любого конечного $N$ что $m(x)$ ^{[ нужны дальнейшие объяснения ]} — это равномерная плотность при квантовании непрерывного пространства, которая используется в сумме Римана. В пределе, $m(x)$ - это непрерывная предельная плотность точек при квантовании, используемая для представления непрерывной переменной $x$ .

Предположим, у вас есть числовой формат, который принял $N$ возможные значения, распределенные согласно $m(x)$ . Затем $H_{N}(X)$ (если $N$ достаточно велика, чтобы можно было использовать непрерывное приближение) — это дискретная энтропия переменной $x$ в этой кодировке. Это равно среднему количеству бит, необходимых для передачи этой информации, и составляет не более $\log(N)$ . Поэтому, $H(X)$ можно рассматривать как количество информации, полученной благодаря знанию того, что переменная $x$ следует за распределением $p(x)$ , и не распределяется равномерно по возможным квантованным значениям, как это было бы в случае, если бы это следовало $m(x)$ . $H(X)$ на самом деле это (отрицательное) расхождение Кульбака – Лейблера от $m(x)$ к $p(x)$ , которая считается информацией, полученной в результате изучения того, что переменная, ранее считавшаяся распределенной как $m(x)$ фактически распределяется как $p(x)$ .

Формула непрерывной энтропии Джейнса обладает свойством инвариантности относительно замены переменных при условии, что $m(x)$ и $p(x)$ преобразуются таким же образом. (Это объясняет название «инвариантная мера» для m .) Это решает многие трудности, возникающие при применении формулы непрерывной энтропии Шеннона. Сам Джейнс уронил $\log(N)$ термин, поскольку он не имел отношения к его работе (распределения максимальной энтропии), и несколько неудобно иметь в расчетах бесконечный член. К сожалению, с этим ничего не поделаешь, если квантование сделать сколь угодно точным, как это было бы в случае непрерывного предела. Обратите внимание, что $H(X)$ как определено здесь (без $\log(N)$ член) всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным.

Если это так, $m(x)$ постоянен в некотором интервале размеров $r$ , и $p(x)$ вне этого интервала практически равна нулю, то предельная плотность дискретных точек (LDDP) тесно связана с дифференциальной энтропией $h(X)$ :

H_{N}(X)\approx \log(N)-\log(r)+h(X).

Ссылки [ править ]

^ Джейнс, ET (1963). «Теория информации и статистическая механика». В К. Форде (ред.). Статистическая физика (PDF) . Бенджамин, Нью-Йорк. п. 181.
^ Джейнс, ET (1968). «Априорные вероятности» (PDF) . Транзакции IEEE по системным наукам и кибернетике . SSC-4 (3): 227–241. дои : 10.1109/TSSC.1968.300117 .

Дальнейшее чтение [ править ]

Джейнс, ET (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN 978-0521592710 .

[1] Джейнс, ET (1963). «Теория информации и статистическая механика». В К. Форде (ред.). Статистическая физика (PDF) . Бенджамин, Нью-Йорк. п. 181.

[2] Джейнс, ET (1968). «Априорные вероятности» (PDF) . Транзакции IEEE по системным наукам и кибернетике . SSC-4 (3): 227–241. дои : 10.1109/TSSC.1968.300117 .

[1]

[2]