нат (единица измерения)
|
Единицы информация |
| Информационно-теоретический |
|---|
|
| Хранилище данных |
|
| Квантовая информация |
Естественная единица информации (обозначение: nat ), [1] иногда также nit или nepit — это единица информации или информационной энтропии , основанная на натуральных логарифмах и степенях е , а не на степенях 2 и логарифмах по основанию 2 , которые определяют Шеннон . Эта единица также известна под своим символом, nat. Один nat — это информационное содержание события, когда вероятность того, что это событие произойдет, равна 1/ e .
Один нат равен 1 / ln 2 шеннонов ≈ 1,44 Ш или, что то же самое, 1 / ln 10 хартли ≈ 0,434 Харт. [1]
История [ править ]
Бултон и Уоллес использовали термин nit в сочетании с минимальной длиной сообщения . [2] который впоследствии был изменен сообществом минимальной длины описания на nat, чтобы избежать путаницы с нитами, используемыми в качестве единицы яркости . [3]
Алан Тьюринг использовал естественный запрет . [4]
Энтропия [ править ]
Энтропия Шеннона (информационная энтропия), являясь ожидаемой величиной информации о событии, по своей сути является однотипной величиной и с единицей информации. Международная система единиц , присваивая одну и ту же единицу ( джоуль на кельвин ) как теплоемкости , так и термодинамической энтропии , неявно рассматривает информационную энтропию как величину единичного измерения , где 1 nat = 1 . [а] Системы натуральных единиц, которые нормализуют константу Больцмана до 1, эффективно измеряют термодинамическую энтропию, используя в качестве единицы измерения nat.
Когда энтропия Шеннона записана с использованием натурального логарифма,
Примечания [ править ]
- ^ Это косвенно также делает nat связной единицей информации в SI.
Ссылки [ править ]
- ^ Перейти обратно: а б «МЭК 80000-13:2008» . Международная электротехническая комиссия . Проверено 21 июля 2013 г.
- ^ Бултон, DM; Уоллес, CS (1970). «Программа числовой классификации» . Компьютерный журнал . 13 (1): 63–69. дои : 10.1093/comjnl/13.1.63 .
- ^ Комли, Дж. В. и Доу, Д. Л. (2005). «Минимальная длина сообщения, MDL и обобщенные байесовские сети с асимметричными языками» . В Грюнвальде П.; Мьюнг, Эй Джей и Питт, Массачусетс (ред.). Достижения в минимальной длине описания: теория и приложения . Кембридж: MIT Press. сек. 11.4.1, стр.271 . ISBN 0-262-07262-9 .
- ^ Ходжес, Эндрю (1983). Алан Тьюринг: Загадка . Нью-Йорк : Саймон и Шустер . ISBN 0-671-49207-1 . ОСЛК 10020685 .
Дальнейшее чтение [ править ]
- Реза, Фазлолла М. (1994). Введение в теорию информации . Нью-Йорк: Дувр. ISBN 0-486-68210-2 .