Информационный контент

В теории информации , содержание информации самоинформация , неожиданность или информация Шеннона — это базовая величина, полученная из вероятности того, что конкретное событие произойдет из- за случайной величины . Его можно рассматривать как альтернативный способ выражения вероятности, очень похожий на шансы или логарифм шансов , но имеющий особые математические преимущества в рамках теории информации.

Информацию Шеннона можно интерпретировать как количественную оценку уровня «неожиданности» конкретного результата. Поскольку это такая базовая величина, она также появляется в некоторых других параметрах, таких как длина сообщения, необходимая для передачи события, при оптимальном исходном кодировании случайной величины.

Информация Шеннона тесно связана с энтропией , которая представляет собой ожидаемое значение собственной информации случайной величины, определяющее, насколько удивительна случайная величина «в среднем». Это среднее количество информации, которую наблюдатель ожидает получить о случайной величине при ее измерении.

Информационное содержание может быть выражено в различных единицах информации , из которых наиболее распространенным является «бит» (более формально называемый шенноном ) , как поясняется ниже.

Термин «недоумение» использовался в языковом моделировании для количественной оценки неопределенности, присущей набору предполагаемых событий.

Определение

Клодом Шенноном Определение самоинформации, данное , было выбрано с учетом нескольких аксиом:

1. Событие с вероятностью 100% совершенно неудивительно и не несет никакой информации.
2. Чем менее вероятно событие, тем оно удивительнее и тем больше информации оно дает.
3. Если два независимых события измеряются отдельно, общий объем информации представляет собой сумму самоинформации отдельных событий.

Подробный вывод приведен ниже, но можно показать, что существует уникальная функция вероятности, которая соответствует этим трем аксиомам, с точностью до мультипликативного масштабного коэффициента. В общих чертах, учитывая действительное число $b>1$ и событие $x$ с вероятностью $P$, информационное содержание определяется следующим образом: $$\mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.$$

База b соответствует коэффициенту масштабирования, указанному выше. Разный выбор b соответствует разным единицам информации: когда b = 2 , единицей является шеннон (символ Sh), часто называемый «битом»; когда b = e , единицей является естественная единица информации (символ nat); а когда b = 10 , единицей измерения является Хартли (символ Харт).

Формально, учитывая дискретную случайную величину $X$ с функцией массы вероятности $p_{X}{\left(x\right)}$, самоинформация об измерении $X$ как результат $x$ определяется как $$\operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.$$

Использование обозначений $I_{X}(x)$ для самостоятельной информации, приведенной выше, не является универсальным. Поскольку обозначения $I(X;Y)$ также часто используется для обозначения количества взаимной информации , многие авторы используют строчную букву $h_{X}(x)$ вместо этого ради самоэнтропии, отражая использование капитала $H(X)$ для энтропии.

Характеристики

Монотонно убывающая функция вероятности

Для данного вероятностного пространства измерение более редких событий интуитивно более «неожиданно» и дает больше информации, чем более распространенные значения. Таким образом, самоинформация представляет собой строго убывающую монотонную функцию вероятности, которую иногда называют «антитонной» функцией.

В то время как стандартные вероятности представлены действительными числами в интервале $[0,1]$, собственная информация представлена ​​расширенными действительными числами в интервале $[0,\infty ]$. В частности, для любого выбора логарифмического основания имеем следующее:

• Если определенное событие имеет 100% вероятность наступления, то его самоинформация равна $-\log(1)=0$: его появление «совершенно неудивительно» и не дает никакой информации.
• Если вероятность возникновения конкретного события равна 0%, то его самоинформация равна $-\log(0)=\infty$: его возникновение «бесконечно удивительно».

Отсюда мы можем получить несколько общих свойств:

• Интуитивно, больше информации можно получить, наблюдая за неожиданным событием — оно «удивительно».
  • Например, если , составляет один на миллион вероятность того, что Алиса выиграет в лотерею , ее друг Боб получит значительно больше информации, узнав, что она выиграла , чем о том, что она проиграла в определенный день. (См. также Математика лотереи .)
• Это устанавливает неявную связь между самоинформацией случайной величины и ее дисперсией .

Связь с логарифмом шансов

Информация Шеннона тесно связана с логарифмом шансов . В частности, при некотором событии $x$, предположим, что $p(x)$ это вероятность $x$ происходит, и это $p(\lnot x)=1-p(x)$ это вероятность $x$ не происходит. Тогда у нас есть следующее определение логарифмических шансов: $${\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)$$

Это можно выразить как разность двух данных Шеннона: $${\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)$$

Другими словами, логарифм шансов можно интерпретировать как уровень неожиданности, когда событие не происходит, минус уровень неожиданности, когда событие все же происходит.

Аддитивность независимых событий

Информативность двух независимых событий представляет собой сумму информативности каждого события. Это свойство известно как аддитивность в математике и сигма-аддитивность, в частности, в теории меры и вероятности. Рассмотрим две независимые случайные величины ${\textstyle X,\,Y}$ с функциями вероятностной массы $p_{X}(x)$ и $p_{Y}(y)$ соответственно. Совместная функция массы вероятности равна

$$p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)$$

потому что ${\textstyle X}$ и ${\textstyle Y}$ независимы ​ . Информативность результата $(X,Y)=(x,y)$ является $${\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}$$См. § Два независимых, одинаково распределенных кубика пример в ниже.

Соответствующее свойство правдоподобия состоит в том, что логарифмическая вероятность независимых событий представляет собой сумму логарифмических вероятностей каждого события. Интерпретируя логарифмическую правдоподобность как «поддержку» или отрицательную неожиданность (степень, в которой событие поддерживает данную модель: модель поддерживается событием в той степени, в которой событие не является неожиданным, учитывая модель), это означает, что независимые события добавляют поддержка: информация, которую эти два события вместе предоставляют для статистических выводов, представляет собой сумму их независимой информации.

Связь с энтропией

Энтропия Шеннона случайной величины $X$ выше определяется как $${\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}$$по определению равна ожидаемой информативности измерения $X$. Ожидание принимается по дискретным значениям, а не по его поддержке .

Иногда саму энтропию называют «самоинформацией» случайной величины, возможно, потому, что энтропия удовлетворяет условию $\mathrm {H} (X)=\operatorname {I} (X;X)$, где $\operatorname {I} (X;X)$ это информация взаимная $X$ с самим собой.

Для непрерывных случайных величин соответствующим понятием является дифференциальная энтропия .

Примечания

Эту меру также называют неожиданностью , поскольку она представляет собой « неожиданность » результата (весьма маловероятный результат очень удивителен). Этот термин (как логарифмическая мера вероятности) был введен Майроном Трибусом в его книге «Термостатика и термодинамика» 1961 года .

Когда событие представляет собой случайную реализацию (переменной), самоинформация переменной определяется как ожидаемое значение самоинформации реализации.

Самоинформация является примером правильного правила подсчета очков .

Примеры

Честный подбрасывание монеты

Рассмотрим процесс Бернулли, когда бросали честную монету. $X$. Вероятности событий выпадения монеты орлом ${\text{H}}$ и решка ${\text{T}}$ (см. честную монету , аверс и реверс ) составляют по половине каждая, ${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$. При измерении переменной в виде голов соответствующий прирост информации равен $$\operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,$$таким образом, информационный выигрыш от честного выпадения монеты орлом составляет 1 шеннон . Аналогично, выигрыш в информации от измерения хвостов $T$ является $$\operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.$$

Честный бросок кубика

Предположим, у нас есть честная шестигранная игральная кость . Значение броска игральной кости представляет собой дискретную однородную случайную величину. $X\sim \mathrm {DU} [1,6]$ с функцией массы вероятности $$p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}$$Вероятность выпадения 4 равна ${\textstyle p_{X}(4)={\frac {1}{6}}}$, как и любой другой действительный бросок. Информационное содержание выпадения 4, таким образом, $$\operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}$$информации.

Два независимых, одинаково распределенных кубика

Предположим, у нас есть две независимые, одинаково распределенные случайные величины. ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ каждый соответствует независимому справедливому 6-стороннему броску кубиков. Совместное распространение ​ $X$ и $Y$ является $${\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}$$

Информационное содержание случайной величины $(X,Y)=(2,\,4)$ является $${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}$$а также может быть рассчитано по аддитивности событий $${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}$$

Информация о частоте рулонов

Если мы получаем информацию о значении игральной кости, не зная, какая игральная кость имела какое значение, мы можем формализовать подход с помощью так называемых счетных переменных. $$C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}$$для $k\in \{1,2,3,4,5,6\}$, затем ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ и значения имеют полиномиальное распределение $${\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}$$

Чтобы убедиться в этом, 6 исходов ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ соответствовать событию $C_{k}=2$ и полная вероятность ⁠ 1 / 6 ⁠ . Это единственные события, которые достоверно сохранены с идентичностью того, какие игральные кости были брошены и какой результат, потому что результаты одинаковы. Без знания, чтобы отличить кости, бросающие другие числа, другие ${\textstyle {\binom {6}{2}}=15}$ комбинации соответствуют тому, что на одной игральной кости выбрасывается одно число, а на другой — другое число, каждая из которых имеет вероятность ⁠ 1/18 ​ ​ ⁠ . Действительно, ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$, как требуется.

Неудивительно, что информативность знания о том, что на обоих кубиках выпало одно и то же число, превышает информативность знания того, что на одном кубике было одно число, а на другом — другое. Возьмем для примера события $A_{k}=\{(X,Y)=(k,k)\}$ и $B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}$ для $j\neq k,1\leq j,k\leq 6$. Например, $A_{2}=\{X=2{\text{ and }}Y=2\}$ и $B_{3,4}=\{(3,4),(4,3)\}$.

Информационное содержание $$\operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}$$$$\operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}$$

Позволять ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ быть событием, когда на обеих игральных костях выпало одинаковое значение и ${\text{Diff}}={\overline {\text{Same}}}$ быть событием, когда игральные кости разошлись. Затем ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ и ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$. Информационное содержание мероприятий $$\operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}$$$$\operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.$$

Информация из суммы кубиков

Вероятностная масса или функция плотности (совместно вероятностная мера ) суммы двух независимых случайных величин представляет собой свертку каждой вероятностной меры . В случае независимых честных бросков шестигранных игральных костей случайная величина $Z=X+Y$ имеет функцию массы вероятности ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$, где $*$ представляет собой дискретную свертку . Результат ​ $Z=5$ имеет вероятность ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$. Таким образом, заявленная информация является $$\operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.$$

Общее дискретное равномерное распределение

Обобщая приведенный выше пример § Справедливого броска игральной кости , рассмотрим общую дискретную равномерную случайную величину (DURV). $X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.$ Для удобства определим ${\textstyle N:=b-a+1}$. Функция массы вероятности равна $$p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}$$В общем, значения DURV не обязательно должны быть целыми числами или, для целей теории информации, даже равномерно распределенными; они должны быть только равновероятными . Прирост информации от любого наблюдения $X=k$ является $$\operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.$$

Особый случай: постоянная случайная величина

Если $b=a$ выше, $X$ вырождается в постоянную случайную величину с детерминированным распределением вероятностей, определяемым формулой $X=b$ и вероятностная мера – мера Дирака ${\textstyle p_{X}(k)=\delta _{b}(k)}$. Единственная ценность $X$ можно принять, это детерминировано $b$, поэтому информативность любого измерения $X$ является $$\operatorname {I} _{X}(b)=-\log _{2}{1}=0.$$Как правило, в результате измерения известной величины информация не получена.

Категориальное распределение

Обобщая все вышеперечисленные случаи, рассмотрим категориальную дискретную случайную величину с носителем ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ и функция массы вероятности, определяемая выражением

$$p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}$$

Для целей теории информации значения $s\in {\mathcal {S}}$ не обязательно должны быть числа ; это могут быть любые взаимоисключающие события в пространстве меры конечной меры к , нормализованном вероятностной мере. $p$. Без ограничения общности можно предположить, что категориальное распределение поддерживается на множестве ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$; математическая структура изоморфна с точки зрения теории вероятностей и, следовательно, теории информации .

Информация о результате $X=x$ дан

$$\operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.$$

Из этих примеров можно вычислить информацию любого набора независимых DRV с известными распределениями по аддитивности .

Вывод

По определению, информация передается от исходного объекта, обладающего информацией, к принимающему объекту только в том случае, если получатель не знал эту информацию априори . Если принимающий объект заранее знал содержание сообщения до получения сообщения, объем информации полученного сообщения равен нулю. Только когда предварительное знание содержания сообщения получателем менее чем на 100% достоверно, сообщение действительно передает информацию.

Например, цитируя персонажа (Хиппи Диппи Метеоролог) комика Джорджа Карлина :

Прогноз погоды на сегодня: темно. Ночью продолжалась темнота, а к утру свет был широко рассеян.

Если предположить, что человек не проживает вблизи полярных регионов , объем информации, передаваемой в этом прогнозе, равен нулю, поскольку еще до получения прогноза известно, что с ночью всегда приходит темнота.

Соответственно, количество собственной информации, содержащейся в сообщении, передающем контент, информирующий о возникновении события , $\omega _{n}$, зависит только от вероятности этого события.

$$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$$для какой-то функции $f(\cdot )$ будет определено ниже. Если $\operatorname {P} (\omega _{n})=1$, затем $\operatorname {I} (\omega _{n})=0$. Если $\operatorname {P} (\omega _{n})<1$, затем $\operatorname {I} (\omega _{n})>0$.

Кроме того, по определению мера самоинформации неотрицательна и аддитивна. Если сообщение, информирующее о событии $C$ это пересечение двух независимых событий $A$ и $B$, то информация о событии $C$ происходящее представляет собой составное сообщение обоих независимых событий $A$ и $B$ происходит. Количество информации составного сообщения $C$ ожидается, что оно будет равно сумме объемов информации отдельных компонентных сообщений. $A$ и $B$ соответственно: $$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).$$

Из-за независимости событий $A$ и $B$, вероятность события $C$ является $$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).$$

Однако, применяя функцию $f(\cdot )$ приводит к $${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$$

Благодаря работе над функциональным уравнением Коши , единственные монотонные функции $f(\cdot )$ иметь такое имущество, что $$f(x\cdot y)=f(x)+f(y)$$являются логарифма функциями $\log _{b}(x)$. Единственное функциональное различие между логарифмами разных оснований заключается в разных масштабных константах, поэтому мы можем предположить

$$f(x)=K\log(x)$$

где $\log$ это натуральный логарифм . Поскольку вероятности событий всегда находятся в диапазоне от 0 до 1, а информация, связанная с этими событиями, должна быть неотрицательной, для этого требуется, чтобы $K<0$.

Учитывая эти свойства, самоинформация $\operatorname {I} (\omega _{n})$ связанный с результатом $\omega _{n}$ с вероятностью $\operatorname {P} (\omega _{n})$ определяется как: $$\operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$$

Чем меньше вероятность события $\omega _{n}$, тем больше количество внутренней информации, связанной с сообщением о том, что событие действительно произошло. Если приведенный выше логарифм имеет основание 2, единица измерения $I(\omega _{n})$ это Шеннон . Это наиболее распространенная практика. При использовании натурального логарифма по основанию $e$, единицей будет nat . Для логарифма по основанию 10 единицей информации является хартли .

В качестве быстрой иллюстрации: информационное содержание, связанное с выпадением 4 орлов (или любого конкретного результата) при 4 последовательных бросках монеты, будет равно 4 шеннонам (вероятность 1/16), а информационное содержание, связанное с получением результата, отличного от указанный будет ~ 0,09 Шеннона (вероятность 15/16). Подробные примеры смотрите выше.

См. также

• Колмогоровская сложность
• Неожиданный анализ

Дальнейшее чтение

• CE Шеннон , Математическая теория связи , Технический журнал Bell Systems , Vol. 27, стр. 379–423, (Часть I), 1948.

Внешние ссылки

• Примеры внезапных мер
• «Неожиданная» запись в глоссарии молекулярной теории информации.
• Байесовская теория неожиданности