Уровень энтропии

В математической теории вероятностей или уровень энтропии уровень исходной информации представляет собой функцию, определяющую энтропию случайного процесса .

Для сильно стационарного процесса условная энтропия последней случайной величины в конечном итоге стремится к этому значению скорости.

Определение

Процесс $X$ со счетным индексом порождает последовательность ее совместных энтропий $H_{n}(X_{1},X_{2},\dots X_{n})$ . Если предел существует, уровень энтропии определяется как

H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.

Заметим, что для любой последовательности $(a_{n})_{n}$ с $a_{0}=0$ и позволяя $\Delta a_{k}:=a_{k}-a_{k-1}$ , телескопируя, можно получить $a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}$ . Таким образом, уровень энтропии вычисляет среднее значение первого $n$ такие изменения энтропии, с $n$ уходя в бесконечность .Поведение совместной энтропии от одного индекса к другому также явно является предметом некоторых характеристик энтропии .

Обсуждение

Пока $X$ можно понимать как последовательность случайных величин, уровень энтропии $H(X)$ представляет собой среднее изменение энтропии на одну случайную величину в долгосрочном периоде.

Его можно рассматривать как общее свойство стохастических источников — это предмет свойства асимптотического равнораспределения .

Для сильно стационарных процессов

Случайный процесс также порождает последовательность условных энтропий, включающую все больше и больше случайных величин.Для сильно стационарных случайных процессов скорость энтропии равна пределу этой последовательности.

H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})

Величина, заданная пределом справа, также обозначается $H'(X)$ , что мотивировано тем, что здесь это снова скорость, связанная с процессом, в указанном выше смысле.

Для цепей Маркова

Поскольку случайный процесс, определяемый Маркова цепью неприводимой , апериодический и положительный рекуррентный имеет стационарное распределение , уровень энтропии не зависит от начального распределения.

Например, рассмотрим цепь Маркова, определенную на счетном числе состояний. Учитывая правильную матрицу стохастического перехода $P_{ij}$ и энтропия

h_{i}:=-\sum _{j}P_{ij}\log P_{ij}

связанные с каждым состоянием, можно обнаружить

\displaystyle H(X)=\sum _{i}\mu _{i}h_{i},

где $\mu _{i}$ – асимптотическое распределение цепи.

В частности, отсюда следует, что скорость энтропии iid случайного процесса такая же, как и энтропия любого отдельного участника процесса.

Для скрытых марковских моделей

Уровень энтропии скрытых марковских моделей (HMM) не имеет известного решения в замкнутой форме. Однако он имеет известные верхние и нижние границы. Пусть основная цепь Маркова $X_{1:\infty }$ быть неподвижным, и пусть $Y_{1:\infty }$ быть наблюдаемыми состояниями, то мы имеем $H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})$ и на пределе $n\to \infty$ , обе стороны сходятся к середине. ^[1]

Приложения

Уровень энтропии можно использовать для оценки сложности случайных процессов. Он используется в различных приложениях: от определения сложности языков, слепого разделения источников до оптимизации квантователей и алгоритмов сжатия данных. Например, критерий максимального уровня энтропии может использоваться для выбора функций в машинном обучении . ^[2]

См. также

Источник информации (математика)
Марковский источник информации
Свойство асимптотического равнораспределения
Случайное блуждание с максимальной энтропией - выбрано для максимизации уровня энтропии.

Ссылки

^ Обложка, Томас М.; Томас, Джой А. (2006). «4.5. Функции цепей Маркова». Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0-471-24195-9 .
^ Эйнике, Джорджия (2018). «Выбор признаков с максимальной степенью энтропии для классификации изменений динамики коленного и голеностопного суставов во время бега». Журнал IEEE по биомедицинской и медицинской информатике . 28 (4): 1097–1103. дои : 10.1109/JBHI.2017.2711487 . ПМИД 29969403 . S2CID 49555941 .

Ковер Т. и Томас Дж. (1991) Элементы теории информации, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]

[1] Обложка, Томас М.; Томас, Джой А. (2006). «4.5. Функции цепей Маркова». Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0-471-24195-9 .

[2] Эйнике, Джорджия (2018). «Выбор признаков с максимальной степенью энтропии для классификации изменений динамики коленного и голеностопного суставов во время бега». Журнал IEEE по биомедицинской и медицинской информатике . 28 (4): 1097–1103. дои : 10.1109/JBHI.2017.2711487 . ПМИД 29969403 . S2CID 49555941 .

[1]

[2]