Источник информации (математика)

В математике источником информации является последовательность случайных величин, расположенных в конечном алфавите Γ и имеющих стационарное распределение .

Неопределенность уровень или энтропии источника информации определяется как

$H\{\mathbf {X} \}=\lim _{n\to \infty }H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})$

где

$X_{0},X_{1},\dots ,X_{n}$

– последовательность случайных величин, определяющих источник информации, и

$H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})$

– условная информационная энтропия последовательности случайных величин. Эквивалентно, у человека есть

$H\{\mathbf {X} \}=\lim _{n\to \infty }{\frac {H(X_{0},X_{1},\dots ,X_{n-1},X_{n})}{n+1}}.$

См. также

• Марковский источник информации
• Свойство асимптотического равнораспределения

Ссылки

• Роберт Б. Эш, Теория информации , (1965) Dover Publications. ISBN   0-486-66521-6