нат (единица измерения)

Естественная единица информации (обозначение: nat ), ^[1] иногда также nit или nepit — это единица информации или информационной энтропии , основанная на натуральных логарифмах и степенях е , а не на степенях 2 и логарифмах по основанию 2 , которые определяют Шеннон . Эта единица также известна под своим символом, nat. Один nat — это информационное содержание события, когда вероятность того, что это событие произойдет, равна 1/ e .

Один нат равен 1 / ln 2 шеннонов ≈ 1,44 Ш или, что то же самое, 1 / ln 10 хартли ≈ 0,434 Харт. ^[1]

История [ править ]

Бултон и Уоллес использовали термин nit в сочетании с минимальной длиной сообщения . ^[2] который впоследствии был изменен сообществом минимальной длины описания на nat, чтобы избежать путаницы с нитами, используемыми в качестве единицы яркости . ^[3]

Алан Тьюринг использовал естественный запрет . ^[4]

Энтропия [ править ]

Энтропия Шеннона (информационная энтропия), являясь ожидаемой величиной информации о событии, по своей сути является однотипной величиной и с единицей информации. Международная система единиц , присваивая одну и ту же единицу ( джоуль на кельвин ) как теплоемкости , так и термодинамической энтропии, неявно рассматривает информационную энтропию как величину единичного измерения , при этом 1 nat = 1 . ^[а] Системы натуральных единиц, которые нормализуют константу Больцмана до 1, эффективно измеряют термодинамическую энтропию, используя в качестве единицы измерения nat.

Когда энтропия Шеннона записана с использованием натурального логарифма,

\mathrm {H} =-\sum _{i}p_{i}\ln p_{i}

это неявно дает число, измеренное в натах.

Примечания [ править ]

^ Это косвенно также делает nat связной единицей информации в SI.

Ссылки [ править ]

^ Jump up to: Перейти обратно: ^а ^б «МЭК 80000-13:2008» . Международная электротехническая комиссия . Проверено 21 июля 2013 г.
^ Бултон, DM; Уоллес, CS (1970). «Программа числовой классификации» . Компьютерный журнал . 13 (1): 63–69. дои : 10.1093/comjnl/13.1.63 .
^ Комли, Дж. В. и Доу, Д. Л. (2005). «Минимальная длина сообщения, MDL и обобщенные байесовские сети с асимметричными языками» . В Грюнвальде П.; Мьюнг, Эй Джей и Питт, Массачусетс (ред.). Достижения в минимальной длине описания: теория и приложения . Кембридж: MIT Press. сек. 11.4.1, стр.271 . ISBN 0-262-07262-9 .
^ Ходжес, Эндрю (1983). Алан Тьюринг: Загадка . Нью-Йорк : Саймон и Шустер . ISBN 0-671-49207-1 . ОСЛК 10020685 .

Дальнейшее чтение [ править ]

Реза, Фазлолла М. (1994). Введение в теорию информации . Нью-Йорк: Дувр. ISBN 0-486-68210-2 .

[5] Это косвенно также делает nat связной единицей информации в SI.

[IEC_80000-13:2008-1] Jump up to: Перейти обратно: ^а ^б «МЭК 80000-13:2008» . Международная электротехническая комиссия . Проверено 21 июля 2013 г.

[2] Бултон, DM; Уоллес, CS (1970). «Программа числовой классификации» . Компьютерный журнал . 13 (1): 63–69. дои : 10.1093/comjnl/13.1.63 .

[3] Комли, Дж. В. и Доу, Д. Л. (2005). «Минимальная длина сообщения, MDL и обобщенные байесовские сети с асимметричными языками» . В Грюнвальде П.; Мьюнг, Эй Джей и Питт, Массачусетс (ред.). Достижения в минимальной длине описания: теория и приложения . Кембридж: MIT Press. сек. 11.4.1, стр.271 . ISBN 0-262-07262-9 .

[4] Ходжес, Эндрю (1983). Алан Тьюринг: Загадка . Нью-Йорк : Саймон и Шустер . ISBN 0-671-49207-1 . ОСЛК 10020685 .

[1]

[2]

[3]

[4]

[а]