Теорема Шеннона – Хартли

В теории информации теорема Шеннона -Хартли определяет максимальную скорость, с которой информация может передаваться по каналу связи с заданной полосой пропускания в присутствии шума . Это применение теоремы кодирования канала с шумом к типичному случаю непрерывного аналогового канала связи, подверженного гауссовскому шуму . Теорема устанавливает пропускную способность канала Шеннона для такой линии связи, ограничение максимального количества безошибочной информации в единицу времени, которое может быть передано с заданной полосой пропускания при наличии шумовых помех, предполагая, что мощность сигнала ограничена: и что процесс гауссовского шума характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли .

Формулировка теоремы [ править ]

Теорема Шеннона – Хартли утверждает пропускную способность канала. $C$ , что означает теоретическую самую точную верхнюю границу скорости передачи данных, которые могут передаваться с произвольно низкой частотой ошибок, используя среднюю мощность принимаемого сигнала. $S$ через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму (AWGN) мощности $N$ :

C=B\log _{2}\left(1+{\frac {S}{N}}\right)

где

$C$ — пропускная способность канала в битах в секунду , теоретическая верхняя граница чистой скорости передачи данных (скорости передачи информации, иногда обозначаемой $I$ ) исключая коды исправления ошибок;
$B$ – полоса пропускания канала в герцах ( полоса пропускания в случае полосового сигнала);
$S$ — средняя мощность принятого сигнала по полосе пропускания (в случае передачи в полосе пропускания с модуляцией несущей, часто обозначаемая C ), измеряемая в ваттах (или вольтах в квадрате);
$N$ — средняя мощность шума и помех по полосе пропускания, измеряемая в ваттах (или вольтах в квадрате); и
$S/N$ — это отношение сигнал/шум (SNR) или отношение несущей к шуму (CNR) сигнала связи к шуму и помехам в приемнике (выраженное как линейное отношение мощности, а не как логарифмические децибелы ).

Историческое развитие [ править ]

В конце 1920-х годов Гарри Найквист и Ральф Хартли разработали несколько фундаментальных идей, связанных с передачей информации, особенно в контексте телеграфа как системы связи. В то время эти концепции были мощными прорывами по отдельности, но они не были частью всеобъемлющей теории. В 1940-х годах Клод Шеннон разработал концепцию пропускной способности канала, частично основанную на идеях Найквиста и Хартли, а затем сформулировал полную теорию информации и ее передачи.

Коэффициент Найквиста [ править ]

В 1927 году Найквист определил, что количество независимых импульсов, которые можно пройти через телеграфный канал в единицу времени, ограничено удвоенной полосой пропускания канала. В символических обозначениях

f_{p}\leq 2B

где $f_{p}$ - частота импульсов (в импульсах в секунду) и $B$ — полоса пропускания (в герцах). Количество $2B$ позже стали называть частотой Найквиста , а передача осуществлялась с предельной частотой импульсов $2B$ импульсов в секунду как сигнализация на частоте Найквиста . Найквист опубликовал свои результаты в 1928 году в рамках своей статьи «Некоторые темы теории телеграфной передачи». ^[1]

Закон Хартли [ править ]

В 1928 году Хартли сформулировал способ количественной оценки информации и ее скорости передачи данных (также известной как скорость передачи данных R бит в секунду). ^[2] Этот метод, позже известный как закон Хартли, стал важным предшественником более сложной концепции Шеннона о пропускной способности канала.

Хартли утверждал, что максимальное количество различимых уровней импульсов, которые можно надежно передавать и принимать по каналу связи, ограничено динамическим диапазоном амплитуды сигнала и точностью, с которой приемник может различать уровни амплитуды. В частности, если амплитуда передаваемого сигнала ограничена диапазоном [− A ... + A ] вольт, а точность приемника составляет ±Δ V вольт, то максимальное количество отдельных импульсов M определяется выражением

M=1+{A \over \Delta V}

.

Принимая информацию за импульс в битах/импульсах как логарифм по основанию 2 количества различных сообщений M , которые могут быть отправлены, Хартли ^[3] построил меру скорости линии R как:

R=f_{p}\log _{2}(M),

где $f_{p}$ — частота импульсов, также известная как скорость передачи символов, в символах/секунду или бодах .

Затем Хартли объединил приведенную выше количественную оценку с наблюдением Найквиста о том, что количество независимых импульсов, которые можно провести через канал с полосой пропускания, $B$ герц был $2B$ импульсов в секунду, чтобы получить количественную меру достижимой скорости линии.

Закон Хартли иногда называют просто пропорциональностью между аналоговой полосой пропускания , $B$ , в герцах и то, что сегодня называется цифровой полосой пропускания , $R$ , в бит/с. ^[4]В других случаях оно указывается в более количественной форме, как достижимая скорость строки $R$ бит в секунду: ^[5]

R\leq 2B\log _{2}(M).

Хартли не выяснил, как именно число M должно зависеть от статистики шума канала или как можно сделать связь надежной, даже если отдельные импульсы символов не могут быть надежно различены до M уровней ; со статистикой гауссовского шума разработчикам системы пришлось выбрать очень консервативное значение $M$ для достижения низкого уровня ошибок.

Концепция безошибочной емкости ждала Клода Шеннона, который основывался на наблюдениях Хартли о логарифмической мере информации и наблюдениях Найквиста о влиянии ограничений полосы пропускания.

Результат Хартли можно рассматривать как пропускную способность безошибочного M -арного канала $2B$ символов в секунду. Некоторые авторы называют это способностью. Но такой безошибочный канал является идеализацией, и если M выбрано достаточно малым, чтобы сделать шумный канал почти безошибочным, результат обязательно будет меньше, чем пропускная способность Шеннона шумного канала с полосой пропускания. $B$ , что является результатом Хартли-Шеннона, который последовал позже.

о кодировании зашумленного канала и пропускная способность Теорема

Клодом Шенноном Развитие теории информации во время Второй мировой войны стало следующим большим шагом в понимании того, насколько много информации можно надежно передать по зашумленным каналам. Основываясь на принципах Хартли, теорема Шеннона о кодировании каналов с шумом (1948) описывает максимально возможную эффективность методов исправления ошибок в зависимости от уровней шумовых помех и искажения данных. ^[6]^[7] Доказательство теоремы показывает, что случайно построенный код, исправляющий ошибки, по существу так же хорош, как и наилучший возможный код; теорема доказывается на основе статистики таких случайных кодов.

Теорема Шеннона показывает, как вычислить пропускную способность канала на основе статистического описания канала, и устанавливает, что для зашумленного канала с пропускной способностью $C$ и информация передается со скоростью линии $R$ , то если

R<C

существует метод кодирования, позволяющий сделать вероятность ошибки в приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок почти до предела $C$ бит в секунду.

Обратное также важно. Если

R>C

вероятность ошибки в приемнике неограниченно возрастает по мере увеличения скорости. Поэтому никакая полезная информация не может быть передана за пределами пропускной способности канала. Теорема не рассматривает редкую ситуацию, когда скорость и емкость равны.

Теорема Шеннона-Хартли устанавливает, какова эта пропускная способность для канала с конечной полосой пропускания и непрерывного времени, подверженного гауссовскому шуму. Он соединяет результат Хартли с теоремой Шеннона о пропускной способности канала в форме, которая эквивалентна указанию M в формуле скорости линии Хартли в терминах отношения сигнал/шум, но надежность достигается за счет кодирования с коррекцией ошибок, а не за счет надежно различимых уровней импульсов. .

Если бы существовала такая вещь, как свободный от шума аналоговый канал, по нему можно было бы передавать неограниченное количество безошибочных данных в единицу времени (обратите внимание, что аналоговый канал с бесконечной полосой пропускания не мог бы передавать неограниченное количество безошибочных данных при отсутствии бесконечная мощность сигнала). Однако реальные каналы подвержены ограничениям, налагаемым как конечной полосой пропускания, так и ненулевым шумом.

Пропускная способность и шум влияют на скорость передачи информации по аналоговому каналу. Ограничения полосы пропускания сами по себе не налагают ограничения на максимальную скорость передачи данных, поскольку сигнал все еще может принимать неопределенно большое количество различных уровней напряжения в каждом символьном импульсе, причем каждому немного отличающемуся уровню присваивается различное значение или последовательность битов. . Однако, принимая во внимание как ограничения шума, так и ограничения полосы пропускания, существует предел объема информации, который может быть передан сигналом ограниченной мощности, даже когда используются сложные методы многоуровневого кодирования.

В канале, рассматриваемом теоремой Шеннона–Хартли, шум и сигнал объединяются путем сложения. То есть приемник измеряет сигнал, равный сумме сигнала, кодирующего нужную информацию, и непрерывной случайной величины, представляющей шум. Это дополнение создает неопределенность относительно значения исходного сигнала. Если приемник имеет некоторую информацию о случайном процессе, генерирующем шум, в принципе можно восстановить информацию в исходном сигнале, рассмотрев все возможные состояния шумового процесса. В случае теоремы Шеннона–Хартли предполагается, что шум генерируется гауссовским процессом с известной дисперсией. Поскольку дисперсия гауссовского процесса эквивалентна его мощности, эту дисперсию принято называть мощностью шума.

Такой канал называется каналом аддитивного белого гауссовского шума, поскольку к сигналу добавляется гауссов шум; «Белый» означает равное количество шума на всех частотах в пределах полосы пропускания канала. Такой шум может возникать как из-за случайных источников энергии, так и из-за ошибок кодирования и измерения в отправителе и получателе соответственно. Поскольку суммы независимых гауссовских случайных величин сами по себе являются гауссовскими случайными величинами, это удобно упрощает анализ, если предположить, что такие источники ошибок также являются гауссовыми и независимыми.

теоремы Следствия

способности Шеннона с Хартли Сравнение законом

Сравнивая пропускную способность канала со скоростью передачи информации по закону Хартли, мы можем найти эффективное число различимых уровней M : ^[8]

2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)

M={\sqrt {1+{\frac {S}{N}}}}.

Квадратный корень эффективно преобразует коэффициент мощности обратно в коэффициент напряжения, поэтому количество уровней примерно пропорционально отношению среднеквадратичной амплитуды сигнала к стандартному отклонению шума.

Это сходство по форме между способностью Шеннона и законом Хартли не следует интерпретировать как означающее, что $M$ уровни пульса могут быть отправлены буквально без какой-либо путаницы. Требуется больше уровней, чтобы обеспечить избыточное кодирование и исправление ошибок, но чистая скорость передачи данных, которую можно достичь с помощью кодирования, эквивалентна использованию этого $M$ в законе Хартли.

Случай частотно-зависимого (цветного шума) [ править ]

В приведенной выше простой версии сигнал и шум полностью некоррелированы, и в этом случае $S+N$ — общая мощность принятого сигнала и шума вместе. Обобщение приведенного выше уравнения для случая, когда аддитивный шум не является белым (или когда $S/N$ не является постоянной в зависимости от частоты по всей полосе пропускания) получается путем параллельного рассмотрения канала как множества узких независимых гауссовских каналов:

C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df

где

$C$ – пропускная способность канала в битах в секунду;
$B$ – полоса пропускания канала в Гц;
$S(f)$ сигнала спектр мощности
$N(f)$ спектр мощности шума
$f$ — частота в Гц.

Примечание: теорема применима только к гауссовскому стационарному шуму процесса. Способ введения этой формулы частотно-зависимого шума не может описать все шумовые процессы, непрерывные во времени. Например, рассмотрим шумовой процесс, состоящий из добавления случайной волны, амплитуда которой равна 1 или -1 в любой момент времени, и канала, который добавляет такую волну к исходному сигналу. Частотные компоненты такой волны сильно зависят. Хотя такой шум может иметь большую мощность, довольно легко передать непрерывный сигнал с гораздо меньшей мощностью, чем нужно, если бы основной шум представлял собой сумму независимых шумов в каждой полосе частот.

Приближения [ править ]

Для больших или малых и постоянных отношений сигнал/шум формулу емкости можно аппроксимировать:

Случай с ограниченной полосой пропускания [ править ]

Когда SNR велико ( $S / N ≫ 1$ ), логарифм аппроксимируется выражением

\log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},

в этом случае емкость является логарифмической по мощности и приблизительно линейной по полосе пропускания (не совсем линейной, поскольку $N$ увеличивается с увеличением полосы пропускания, создавая логарифмический эффект). Это называется режимом с ограниченной полосой пропускания .

C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)}

где

\mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.

Случай с ограниченной мощностью [ править ]

Аналогично, когда SNR мало (если $S/N\ll 1$ ), применяя приближение к логарифму:

\log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};

тогда емкость линейна по мощности. Это называется режимом ограничения власти .

C\approx 1.44\cdot B\cdot {S \over N}.

В этом приближении с низким SNR пропускная способность не зависит от полосы пропускания, если шум белый, от спектральной плотности. $N_{0}$ ватт на герц, и в этом случае общая мощность шума равна $N=B\cdot N_{0}$ .

C\approx 1.44\cdot {S \over N_{0}}

Примеры [ править ]

При SNR 0 дБ (мощность сигнала = мощность шума) пропускная способность в битах/с равна полосе пропускания в герцах.
Если SNR составляет 20 дБ, а доступная полоса пропускания составляет 4 кГц, что подходит для телефонной связи, то C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 кбит/с. Обратите внимание, что значение S/N = 100 эквивалентно SNR 20 дБ.
Если требуется передача со скоростью 50 кбит/с и используется полоса пропускания 10 кГц, то требуемое минимальное отношение сигнал/шум определяется как 50000 = 10000 log ₂ (1+S/N), поэтому C/B = 5, тогда Серийный номер = 2 ⁵ − 1 = 31, что соответствует отношению сигнал/шум 14,91 дБ (10 x log ₁₀ (31)).
Какова пропускная способность канала для сигнала с полосой пропускания 1 МГц, полученного с отношением сигнал/шум –30 дБ? Это означает, что сигнал глубоко погружен в шум. −30 дБ означает отношение сигнал/шум = 10. ⁻³. Это приводит к максимальной скорости передачи информации 10 ⁶ журнал ₂ (1 + 10 ⁻³) = 1443 бит/с. Эти значения типичны для принимаемых сигналов определения дальности GPS, где навигационное сообщение передается со скоростью 50 бит/с (ниже пропускной способности канала для данного S/N), а полоса пропускания которого расширяется примерно до 1 МГц псевдо- умножение шума перед передачей.
Как указано выше, пропускная способность канала пропорциональна пропускной способности канала и логарифму SNR. Это означает, что пропускная способность канала может быть увеличена линейно либо за счет увеличения полосы пропускания канала с учетом фиксированного требования к SNR, либо, при фиксированной полосе пропускания, за счет использования модуляций более высокого порядка , для работы которых требуется очень высокое SNR. По мере увеличения скорости модуляции спектральная эффективность улучшается, но за счет требования SNR. Таким образом, требования к SNR экспоненциально возрастают, если используется 16QAM или 64QAM ; однако спектральная эффективность улучшается.

См. также [ править ]

Примечания [ править ]

^ Найквист, Гарри (апрель 1928 г.). «Некоторые темы теории телеграфной передачи» (PDF) . Пер. АИЭЭ . 47 (2): 617–44. Бибкод : 1928TAIEE..47..617N . дои : 10.1109/T-AIEE.1928.5055024 . Также переиздание 2002 г. дои : 10.1109/5.989873
^ Хартли, РВЛ (июль 1928 г.). «Передача информации» (PDF) . Технический журнал Bell System . 7 (3): 535–563. дои : 10.1002/j.1538-7305.1928.tb01236.x .
^ Белл, Д.А. (1962). Теория информации; и его инженерные приложения (3-е изд.). Нью-Йорк: Питман. ISBN 9780273417576 .
^ Гохале, Ану А. (2004). Введение в телекоммуникации (2-е изд.). Томсон Делмар Обучение. ISBN 1-4018-5648-9 .
^ Данлоп, Джон; Смит, Д. Джеффри (1998). Телекоммуникационная инженерия . ЦРК Пресс. ISBN 0-7487-4044-9 .
^ Шеннон, CE (1998) [1949]. Математическая теория связи (PDF) . Урбана, Иллинойс: Издательство Университета Иллинойса.
^ Шеннон, CE (январь 1949 г.). «Связь в условиях шума» (PDF) . Труды Института радиоинженеров . 37 (1): 10–21. дои : 10.1109/JRPROC.1949.232969 . S2CID 52873253 . Архивировано из оригинала (PDF) 8 февраля 2010 года.
^ Пирс, Джон Робинсон (1980). Введение в теорию информации: символы, сигналы и шум . Курьер. ISBN 0-486-24061-4 .

Ссылки [ править ]

Тауб, Герберт; Шиллинг, Дональд Л. (1986). Принципы систем связи . МакГроу-Хилл. ISBN 978-0-07-062956-1 . ОСЛК 12107009 .
Возенкрафт, Джон М.; Джейкобс, Ирвин Марк (1965). Принципы коммуникационной инженерии . Уайли. ISBN 978-0-471-96240-3 . OCLC 1325622 .

Внешние ссылки [ править ]

Онлайн-учебник «Теория информации, вывод и алгоритмы обучения » Дэвида Маккея представляет собой увлекательное и подробное введение в теорию Шеннона, включая два доказательства теоремы о кодировании канала с шумом. В этом тексте также обсуждаются современные методы теории кодирования, такие как коды с низкой плотностью проверки четности и турбокоды .
Статья MIT News о Шеннон Лимит

[Nyquist-1] Найквист, Гарри (апрель 1928 г.). «Некоторые темы теории телеграфной передачи» (PDF) . Пер. АИЭЭ . 47 (2): 617–44. Бибкод : 1928TAIEE..47..617N . дои : 10.1109/T-AIEE.1928.5055024 . Также переиздание 2002 г. дои : 10.1109/5.989873

[2] Хартли, РВЛ (июль 1928 г.). «Передача информации» (PDF) . Технический журнал Bell System . 7 (3): 535–563. дои : 10.1002/j.1538-7305.1928.tb01236.x .

[3] Белл, Д.А. (1962). Теория информации; и его инженерные приложения (3-е изд.). Нью-Йорк: Питман. ISBN 9780273417576 .

[4] Гохале, Ану А. (2004). Введение в телекоммуникации (2-е изд.). Томсон Делмар Обучение. ISBN 1-4018-5648-9 .

[5] Данлоп, Джон; Смит, Д. Джеффри (1998). Телекоммуникационная инженерия . ЦРК Пресс. ISBN 0-7487-4044-9 .

[6] Шеннон, CE (1998) [1949]. Математическая теория связи (PDF) . Урбана, Иллинойс: Издательство Университета Иллинойса.

[7] Шеннон, CE (январь 1949 г.). «Связь в условиях шума» (PDF) . Труды Института радиоинженеров . 37 (1): 10–21. дои : 10.1109/JRPROC.1949.232969 . S2CID 52873253 . Архивировано из оригинала (PDF) 8 февраля 2010 года.

[8] Пирс, Джон Робинсон (1980). Введение в теорию информации: символы, сигналы и шум . Курьер. ISBN 0-486-24061-4 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]