Шеннон (единица)

Шеннон , (символ: Sh) — единица информации названная в честь Клода Шеннона , основателя теории информации . МЭК 80000-13 определяет шеннон как информационное содержание, связанное с событием, когда вероятность возникновения события равна 1/2 ​ ​ . Он понимается как таковой в сфере теории информации и концептуально отличается от бита , термина, используемого при обработке и хранении данных для обозначения единственного экземпляра двоичного сигнала . Последовательность из n двоичных символов (например, содержащаяся в памяти компьютера или при передаче двоичных данных) правильно описывается как состоящая из n битов, но информационное содержание этих n символов может быть больше или меньше n Шеннонов в зависимости от априорной вероятности. реальной последовательности символов.

Шеннон также служит единицей информационной энтропии события, которая определяется как ожидаемое значение информационного содержания события (т. е. средневзвешенное по вероятности информационного содержания всех потенциальных событий). Учитывая количество возможных исходов, в отличие от содержания информации, энтропия имеет верхнюю границу, которая достигается, когда возможные исходы равновероятны. Максимальная энтропия n бит равна n Sh. Еще одной величиной, для которой он используется, является пропускная способность канала , которая обычно представляет собой максимальное ожидаемое значение информационного контента, закодированного по каналу, который может быть передан с незначительной вероятностью ошибки, обычно в форме скорости передачи данных.

чаще можно услышать термин «биты информации» или просто «биты» Тем не менее, даже в области теории информации и коммуникации , а не «Шеннон» ; поэтому простое высказывание битов может быть неоднозначным. Использование единицы Шеннон является явной ссылкой на количество информационного контента, информационную энтропию или пропускную способность канала и не ограничивается двоичными данными. тогда как «биты» также могут относиться к количеству задействованных двоичных символов, как и этот термин, используемый в таких областях, как обработка данных.

Подобные подразделения

Шеннон связан через константы пропорциональности с двумя другими единицами информации:

1 Ш ≈ 0,693 ночь ≈ 0,301 Харт .

Хартли , редко используемая единица, названа в честь Ральфа Хартли , инженера-электронщика, интересующегося пропускной способностью каналов связи. Несмотря на более ограниченный характер, его ранние работы, предшествовавшие работе Шеннона, сделали его также признанным пионером теории информации. Точно так же, как Шеннон описывает максимально возможную информационную емкость двоичного символа, Хартли описывает информацию, которая может содержаться в 10-значном символе, то есть цифровое значение в диапазоне от 0 до 9, когда априорная вероятность каждого значение 1/10 ​ ​ . Коэффициент пересчета, указанный выше, определяется log ₁₀ (2).

В математических выражениях нат является более естественной единицей информации, но 1 нат не соответствует случаю, когда все возможности равновероятны, в отличие от Шеннона и Хартли. В каждом случае формулы для количественной оценки информационной емкости или энтропии включают логарифмирование выражения, включающего вероятности. Если используются логарифмы с основанием 2, результат выражается в шеннонах, если с основанием 10 ( десятичные логарифмы ), то результат выражается в хартли, а если используются натуральные логарифмы (основание е ), результат выражается в нац. Например, информационная емкость 16-битной последовательности (достигаемая, когда все 65536 возможных последовательностей равновероятны) определяется выражением log(65536), таким образом log ₁₀ (65536) Hart ≈ ​​4,82 Hart , log _e (65536) nat ≈ 11,09 nat , или log ₂ (65536) Sh = 16 Sh .

Информационные

В теории информации и производных областях, таких как теория кодирования , невозможно количественно оценить «информацию» в отдельном сообщении (последовательности символов) вне контекста, а скорее делается ссылка на модель канала (например, коэффициент ошибок по битам ). или к базовой статистике источника информации. Таким образом, существуют различные меры информации или связанные с ней , и все они могут использовать шеннон в качестве единицы.

Например, в приведенном выше примере можно сказать, что 16-битный канал имеет пропускную способность 16 Sh, но при подключении к конкретному источнику информации, который отправляет только одно из 8 возможных сообщений, можно было бы вычислить энтропию его вывода. как не более 3 Ш. А если уже было проинформировано по побочному каналу, в котором сообщение находится в наборе из 4 возможных сообщений, то можно было бы вычислить взаимную информацию нового сообщения (имеющего 8 возможных состояний) как не более 2 Ш. Хотя существуют бесконечные возможности для выбора действительного числа от 0 до 1, так называемая дифференциальная энтропия может использоваться для количественной оценки информационного содержания аналогового сигнала, например, связанного с улучшением отношения сигнал/шум или достоверностью проверка гипотезы .