Шеннон (единица)
| Единицы информация |
| Информационно-теоретический |
|---|
|
| Хранение данных |
|
| Квантовая информация |
Шеннон названная (символ: Sh) — единица информации, в честь Клода Шеннона , основателя теории информации . МЭК 80000-13 определяет шеннон как информационное содержание, связанное с событием, когда вероятность возникновения события равна 1/2 . Он понимается как таковой в сфере теории информации и концептуально отличается от бита , термина, используемого при обработке и хранении данных для обозначения одного экземпляра двоичного сигнала . Последовательность из n двоичных символов (например, содержащаяся в памяти компьютера или при передаче двоичных данных) правильно описывается как состоящая из n битов, но информационное содержание этих n символов может быть больше или меньше n Шеннонов в зависимости от априорной вероятности. реальной последовательности символов. [1]
Шеннон также служит единицей информационной энтропии события, которая определяется как ожидаемое значение информационного содержания события (т. е. средневзвешенное по вероятности информационного содержания всех потенциальных событий). Учитывая количество возможных исходов, в отличие от содержания информации, энтропия имеет верхнюю границу, которая достигается, когда возможные исходы равновероятны. Максимальная энтропия n бит равна n Sh. Еще одной величиной, для которой он используется, является пропускная способность канала , которая обычно представляет собой максимальное ожидаемое значение информационного контента, закодированного по каналу, который может быть передан с незначительной вероятностью ошибки, обычно в форме скорости передачи данных.
чаще можно услышать термин «биты информации» или просто «биты» Тем не менее, даже в области теории информации и коммуникации , а не «Шеннон» ; поэтому простое высказывание битов может быть неоднозначным. Использование единицы Шеннон является явной ссылкой на количество информационного контента, информационную энтропию или пропускную способность канала и не ограничивается двоичными данными. [2] тогда как «биты» также могут относиться к количеству задействованных двоичных символов, как и этот термин, используемый в таких областях, как обработка данных.
Подобные подразделения [ править ]
Шеннон связан через константы пропорциональности с двумя другими единицами информации: [3]
Хартли , инженера-электронщика , , редко используемая единица, названа в честь Ральфа Хартли интересующегося пропускной способностью каналов связи. Несмотря на более ограниченный характер, его ранние работы, предшествовавшие работе Шеннона, сделали его также признанным пионером теории информации. Точно так же, как Шеннон описывает максимально возможную информационную емкость двоичного символа, Хартли описывает информацию, которая может содержаться в 10-значном символе, то есть цифровое значение в диапазоне от 0 до 9, когда априорная вероятность каждого значение 1/10 . Коэффициент пересчета, указанный выше, определяется log 10 (2).
В математических выражениях нат является более естественной единицей информации, но 1 нат не соответствует случаю, когда все возможности равновероятны, в отличие от Шеннона и Хартли. В каждом случае формулы для количественной оценки информационной емкости или энтропии включают логарифмирование выражения , включающего вероятности. Если используются логарифмы с основанием 2, результат выражается в шеннонах, если с основанием 10 ( десятичные логарифмы ), то результат выражается в хартли, а если используются натуральные логарифмы (основание е ), результат выражается в нац. Например, информационная емкость 16-битной последовательности (достигаемая, когда все 65536 возможных последовательностей равновероятны) определяется выражением log(65536), таким образом log 10 (65536) Hart ≈ 4,82 Hart , log e (65536) nat ≈ 11,09 nat , или log 2 (65536) Sh = 16 Sh .
меры Информационные
В теории информации и производных областях, таких как теория кодирования , невозможно количественно оценить «информацию» в одном сообщении (последовательности символов) вне контекста, а скорее делается ссылка на модель канала (например, коэффициент ошибок по битам ). или к базовой статистике источника информации. Таким образом, существуют различные меры информации или связанные с ней , и все они могут использовать шеннон в качестве единицы. [ нужна ссылка ]
Например, в приведенном выше примере можно сказать, что 16-битный канал имеет пропускную способность 16 Sh, но при подключении к конкретному источнику информации, который отправляет только одно из 8 возможных сообщений, можно было бы вычислить энтропию его вывода. как не более 3 Ш. А если уже было проинформировано по побочному каналу, в котором находится сообщение из набора из 4 возможных сообщений, то можно было бы вычислить взаимную информацию нового сообщения (имеющего 8 возможных состояний) как не более 2 Ш. Хотя существуют бесконечные возможности для выбора действительного числа от 0 до 1, так называемая дифференциальная энтропия может использоваться для количественной оценки информационного содержания аналогового сигнала, например, связанного с улучшением отношения сигнал/шум или достоверностью проверка гипотезы . [ нужна ссылка ]
Ссылки [ править ]
- ^ Поскольку информация, связанная с результатом события, который имеет априорную вероятность p , например, что один заданный бит данных принимает значение 0, задается как H = -log p , и p может лежать где угодно в диапазоне 0 < p ≤ 1 информационное содержание может лежать где угодно в диапазоне 0 ≤ H < ∞ .
- ^ Оливье Риуль (2018). «Это ОНО: учебник по энтропии и информации Шеннона» (PDF) . L'Information, Семинар Пуанкаре . XXIII : 43–77 . Проверено 23 мая 2021 г.
Международная система единиц рекомендует использовать шеннон ( Sh) в качестве информационной единицы вместо бита , чтобы отличить объем информации от количества данных, которые могут быть использованы для представления этой информации. Таким образом, согласно стандарту СИ, H ( X ) фактически должно выражаться в шеннонах. Энтропия одного бита лежит между 0 и 1 Sh.
- ^ «МЭК 80000-13:2008» . Международная организация по стандартизации . Проверено 21 июля 2013 г.