Бинарная функция энтропии

Энтропия испытания Бернулли как функция вероятности бинарного результата, называемая функцией бинарной энтропии .

В теории информации двоичная функция энтропии , обозначаемая $\operatorname {H} (p)$ или $\operatorname {H} _{\text{b}}(p)$, определяется как энтропия процесса Бернулли с вероятностью $p$ одного из двух значений. Это частный случай $\mathrm {H} (X)$, функция энтропии . Математически суд Бернулли моделируется как случайная величина. $X$ который может принимать только два значения: 0 и 1, которые являются взаимоисключающими и исчерпывающими.

Если $\operatorname {Pr} (X=1)=p$, затем $\operatorname {Pr} (X=0)=1-p$ и энтропия $X$ (в Шеннонсе ) определяется выражением

$\operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$,

где $0\log _{2}0$ принимается равным 0. Логарифмы в этой формуле обычно берутся (как показано на графике) по основанию 2. См. двоичный логарифм .

Когда $p={\tfrac {1}{2}}$, двоичная функция энтропии достигает максимального значения. Это случай беспристрастного подбрасывания монеты .

$\operatorname {H} (p)$ отличается от функции энтропии $\mathrm {H} (X)$ одно действительное число, в том, что первый принимает в качестве параметра тогда как второй принимает в качестве параметра распределение или случайную величину.Иногда функцию двоичной энтропии также записывают как $\operatorname {H} _{2}(p)$.Однако она отличается от энтропии Реньи и ее не следует путать с ней , которая обозначается как $\mathrm {H} _{2}(X)$.

Объяснение

С точки зрения теории информации, энтропия считается мерой неопределенности сообщения. Интуитивно говоря, предположим, $p=0$. При этой вероятности событие наверняка никогда не произойдет, и поэтому неопределенности вообще нет, что приводит к энтропии, равной 0. Если $p=1$, результат снова очевиден, поэтому энтропия здесь также равна 0. Когда $p=1/2$, неопределенность максимальна; если в этом случае сделать честную ставку на исход, то нельзя получить никакого преимущества, зная заранее вероятности. В этом случае энтропия максимальна при значении 1 бит. Промежуточные значения находятся между этими случаями; например, если $p=1/4$, все еще существует определенная степень неопределенности в отношении результата, но чаще всего результат можно предсказать правильно, поэтому мера неопределенности, или энтропия, составляет менее 1 полного бита.

Производная

Производная может быть двоичной функции энтропии выражена как отрицательное значение логит- функции:

${d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)$.

${d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln 2}}$

Серия Тейлора

Ряд Тейлора бинарной функции энтропии в окрестности 1/2 равен

$\operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}$

для $0\leq p\leq 1$.

Границы

Для $0<p<1$:

$\ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)$

и

$4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}$

где $\ln$ обозначает натуральный логарифм.

См. также

• Метрическая энтропия
• Теория информации
• Информационная энтропия
• Количество информации

Дальнейшее чтение

• Маккей, Дэвид Дж. К. Теория информации, вывод и алгоритмы обучения. Кембридж: Издательство Кембриджского университета, 2003. ISBN   0-521-64298-1