Аддитивный белый гауссов шум

Аддитивный белый гауссов шум ( AWGN ) — это базовая модель шума, используемая в теории информации для имитации эффекта многих случайных процессов, происходящих в природе. Модификаторы обозначают конкретные характеристики:

Аддитивный , поскольку он добавляется к любому шуму, который может быть свойственен информационной системе.
Уайт имеет в виду идею о том, что он имеет однородную спектральную плотность мощности во всем диапазоне частот информационной системы. Это аналогия с белым цветом , который можно реализовать посредством равномерного излучения на всех частотах видимого спектра .
Гауссовым , потому что он имеет нормальное распределение во временной области со средним значением во временной области, равным нулю ( гауссов процесс ).

Широкополосный шум исходит от многих естественных источников шума, таких как тепловые колебания атомов в проводниках (называемые тепловым шумом или шумом Джонсона-Найквиста ), дробовой шум , излучение черного тела от Земли и других теплых объектов, а также от небесных источников. например, Солнце. Центральная предельная теорема теории вероятностей указывает, что суммирование многих случайных процессов будет иметь тенденцию иметь распределение, называемое гауссовским или нормальным.

AWGN часто используется в качестве модели канала , в которой единственным ухудшением связи является линейное добавление широкополосного или белого шума с постоянной спектральной плотностью (выраженной в ваттах на герц полосы пропускания ) и гауссовым распределением амплитуды. Модель не учитывает замирания , частотную избирательность, помехи , нелинейность или дисперсию . Однако он создает простые и понятные математические модели, которые полезны для понимания основного поведения системы до того, как будут рассмотрены другие явления.

Канал AWGN является хорошей моделью для многих каналов спутниковой связи и связи в дальнем космосе. Это не очень хорошая модель для большинства наземных линий связи из-за многолучевости, блокировки рельефа местности, помех и т. д. Однако при моделировании наземной трассы AWGN обычно используется для моделирования фонового шума исследуемого канала в дополнение к многолучевости, блокировке рельефа местности и т. д. помехи, помехи от земли и собственные помехи, с которыми сталкиваются современные радиосистемы при наземной работе.

Пропускная способность канала

Канал AWGN представлен серией выходов. $Y_{i}$ по индексу событий дискретного времени $i$ . $Y_{i}$ это сумма входных данных $X_{i}$ и шум, $Z_{i}$ , где $Z_{i}$ независимо и одинаково распределено с нулевым средним и получено из нормального распределения с дисперсией $N$ (шум). $Z_{i}$ предполагается, что они не коррелируют с $X_{i}$ .

Z_{i}\sim {\mathcal {N}}(0,N)\,\!

Y_{i}=X_{i}+Z_{i}.\,\!

Пропускная способность канала бесконечна, если шум $N$ не равно нулю, и $X_{i}$ достаточно ограничены. Наиболее распространенным ограничением на ввод является так называемое ограничение «степени», требующее, чтобы для кодового слова $(x_{1},x_{2},\dots ,x_{k})$ передаваемые по каналу, имеем:

{\frac {1}{k}}\sum _{i=1}^{k}x_{i}^{2}\leq P,

где $P$ представляет максимальную мощность канала.Следовательно, пропускная способность канала с ограничением мощности определяется выражением: ^{[ нужны разъяснения ]}

C=\max \left\{I(X;Y):f{\text{ s.t. }}E\left(X^{2}\right)\leq P\right\}\,\!

где $f$ это распределение $X$ . Расширять $I(X;Y)$ , записав это через дифференциальную энтропию :

{\begin{aligned}&I(X;Y)=h(Y)-h(Y\mid X)\\[5pt]={}&h(Y)-h(X+Z\mid X)\\[5pt]={}&h(Y)-h(Z\mid X)\end{aligned}}\,\!

Но $X$ и $Z$ независимы, поэтому:

I(X;Y)=h(Y)-h(Z)\,\!

Оценка дифференциальной энтропии гауссиана дает:

h(Z)={\frac {1}{2}}\log(2\pi eN)\,\!

Потому что $X$ и $Z$ независимы и их сумма дает $Y$ :

E(Y^{2})=E((X+Z)^{2})=E(X^{2})+2E(X)E(Z)+E(Z^{2})\leq P+N\,\!

Из этой оценки мы заключаем, исходя из свойства дифференциальной энтропии, что

h(Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))\,\!

Следовательно, пропускная способность канала определяется максимально достижимой границей взаимной информации :

I(X;Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))-{\frac {1}{2}}\log(2\pi eN)\,\!

Где $I(X;Y)$ максимизируется, когда:

X\sim {\mathcal {N}}(0,P)\,\!

Таким образом, пропускная способность канала $C$ для канала AWGN определяется следующим образом:

C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!

Пропускная способность канала и упаковка сфер

Предположим, что мы отправляем сообщения через канал с индексом от $1$ к $M$ , количество различных возможных сообщений. Если мы закодируем $M$ сообщения для $n$ бит, то мы определяем скорость $R$ как:

R={\frac {\log M}{n}}\,\!

Говорят, что скорость достижима, если существует последовательность кодов, так что максимальная вероятность ошибки стремится к нулю как $n$ приближается к бесконечности. Емкость $C$ это максимально достижимый показатель.

Рассмотрим кодовое слово длиной $n$ отправляется через канал AWGN с уровнем шума $N$ . При получении дисперсия вектора кодового слова теперь равна $N$ , а его среднее значение — это отправленное кодовое слово. Весьма вероятно, что вектор содержится в сфере радиуса ${\textstyle {\sqrt {n(N+\varepsilon )}}}$ вокруг отправленного кодового слова. Если мы декодируем, отображая каждое полученное сообщение на кодовое слово в центре этой сферы, то ошибка возникает только тогда, когда полученный вектор находится за пределами этой сферы, что очень маловероятно.

Каждый вектор кодового слова имеет связанную сферу полученных векторов кодового слова, которые декодируются в него, и каждая такая сфера должна однозначно отображаться в кодовое слово. Поскольку эти сферы не должны пересекаться, мы сталкиваемся с проблемой упаковки сфер . Сколько различных кодовых слов мы можем упаковать в нашу $n$ -битный вектор кодового слова? Полученные векторы имеют максимальную энергию $n(P+N)$ и, следовательно, должен занимать сферу радиуса ${\textstyle {\sqrt {n(P+N)}}}$ . Каждая сфера кодового слова имеет радиус ${\sqrt {nN}}$ . Объем n -мерной сферы прямо пропорционален $r^{n}$ , поэтому максимальное количество однозначно декодируемых сфер, которые можно упаковать в нашу сферу с мощностью передачи P, равно:

{\frac {(n(P+N))^{n/2}}{(nN)^{n/2}}}=2^{(n/2)\log \left(1+P/N\right)}\,\!

Согласно этому аргументу, скорость R не может быть больше, чем ${\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)$ .

Достижимость

В этом разделе мы показываем достижимость верхней границы ставки из последнего раздела.

Кодовая книга, известная как кодировщику, так и декодеру, генерируется путем выбора кодовых слов длины n , iid Gaussian с дисперсией $P-\varepsilon$ и означает ноль. При больших n эмпирическая дисперсия кодовой книги будет очень близка к дисперсии ее распределения, что позволяет вероятностно избежать нарушения степенного ограничения.

Полученные сообщения декодируются в сообщение в кодовой книге, которое является уникальным и типичным. Если такого сообщения нет или если ограничение мощности нарушено, объявляется ошибка декодирования.

Позволять $X^{n}(i)$ обозначаем кодовое слово для сообщения $i$ , пока $Y^{n}$ есть, как и раньше полученный вектор. Определите следующие три события:

Событие $U$ :мощность полученного сообщения больше, чем $P$ .
Событие $V$ : переданные и полученные кодовые слова не являются совместно типичными.
Событие $E_{j}$ : $(X^{n}(j),Y^{n})$ находится в $A_{\varepsilon }^{(n)}$ , типичный набор , где $i\neq j$ , то есть неправильное кодовое слово является типичным совместно с полученным вектором.

Таким образом, ошибка возникает, если $U$ , $V$ или любой из $E_{i}$ происходить. По закону больших чисел, $P(U)$ стремится к нулю, когда n приближается к бесконечности, и согласно совместному свойству асимптотического равнораспределения то же самое применимо к $P(V)$ . Следовательно, для достаточно большого $n$ , оба $P(U)$ и $P(V)$ каждый меньше, чем $\varepsilon$ . С $X^{n}(i)$ и $X^{n}(j)$ независимы для $i\neq j$ , у нас это есть $X^{n}(i)$ и $Y^{n}$ также независимы. Таким образом, совместным AEP, $P(E_{j})=2^{-n(I(X;Y)-3\varepsilon )}$ . Это позволяет нам рассчитать $P_{e}^{(n)}$ , вероятность ошибки следующая:

{\begin{aligned}P_{e}^{(n)}&\leq P(U)+P(V)+\sum _{j\neq i}P(E_{j})\\&\leq \varepsilon +\varepsilon +\sum _{j\neq i}2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{3n\varepsilon })2^{-n(I(X;Y)-R)}\\&\leq 3\varepsilon \end{aligned}}

Следовательно, когда n приближается к бесконечности, $P_{e}^{(n)}$ стремится к нулю и $R<I(X;Y)-3\varepsilon$ . Следовательно, существует код скорости R, сколь угодно близкий к полученной ранее мощности.

Обратная теорема кодирования

Здесь мы показываем, что ставки выше мощности $C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)$ не достижимы.

Предположим, что ограничение мощности удовлетворяется для кодовой книги, а также предположим, что сообщения следуют равномерному распределению. Позволять $W$ быть входными сообщениями и ${\hat {W}}$ выходные сообщения. Таким образом, информация передается следующим образом:

$W\longrightarrow X^{(n)}(W)\longrightarrow Y^{(n)}\longrightarrow {\hat {W}}$

Использование неравенства Фано дает:

$H(W\mid {\hat {W}})\leq 1+nRP_{e}^{(n)}=n\varepsilon _{n}$ где $\varepsilon _{n}\rightarrow 0$ как $P_{e}^{(n)}\rightarrow 0$

Позволять $X_{i}$ быть закодированным сообщением с индексом кодового слова i . Затем:

{\begin{aligned}nR&=H(W)\\&=I(W;{\hat {W}})+H(W\mid {\hat {W}})\\&\leq I(W;{\hat {W}})+n\varepsilon _{n}\\&\leq I(X^{(n)};Y^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Y^{(n)}\mid X^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}h(Y_{i})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}I(X_{i};Y_{i})+n\varepsilon _{n}\end{aligned}}

Позволять $P_{i}$ быть средней степенью кодового слова индекса i:

P_{i}={\frac {1}{2^{nR}}}\sum _{w}x_{i}^{2}(w)\,\!

где сумма рассчитана по всем входным сообщениям $w$ . $X_{i}$ и $Z_{i}$ независимы, поэтому ожидание силы $Y_{i}$ это по уровню шума $N$ :

E(Y_{i}^{2})=P_{i}+N\,\!

И, если $Y_{i}$ нормально распределен, у нас есть это

h(Y_{i})\leq {\frac {1}{2}}\log {2\pi e}(P_{i}+N)\,\!

Поэтому,

{\begin{aligned}nR&\leq \sum (h(Y_{i})-h(Z_{i}))+n\varepsilon _{n}\\&\leq \sum \left({\frac {1}{2}}\log(2\pi e(P_{i}+N))-{\frac {1}{2}}\log(2\pi eN)\right)+n\varepsilon _{n}\\&=\sum {\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)+n\varepsilon _{n}\end{aligned}}

Мы можем применить равенство Дженсена к $\log(1+x)$ , вогнутая (нисходящая) функция x , чтобы получить:

{\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\,\!

Поскольку каждое кодовое слово индивидуально удовлетворяет ограничению мощности, среднее значение также удовлетворяет ограничению мощности. Поэтому,

{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}},\,\!

которое мы можем применить, чтобы упростить приведенное выше неравенство и получить:

{\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right).\,\!

Следовательно, должно быть так $R\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)+\varepsilon _{n}$ . Следовательно, R должно быть меньше значения, сколь угодно близкого к емкости, полученной ранее, поскольку $\varepsilon _{n}\rightarrow 0$ .

Эффекты во временной области

При последовательной передаче данных математическая модель AWGN используется для моделирования ошибки синхронизации, вызванной случайным джиттером (RJ).

На графике справа показан пример ошибок синхронизации, связанных с AWGN. Переменная Δt представляет неопределенность при пересечении нуля. По мере увеличения амплитуды AWGN отношение сигнал/шум уменьшается. Это приводит к увеличению неопределенности Δt . ^[1]

Под воздействием AWGN среднее количество положительных или отрицательных пересечений нуля в секунду на выходе узкополосного фильтра, когда входной сигнал представляет собой синусоидальную волну, составляет

{\begin{aligned}&{\frac {\text{positive zero crossings}}{\text{second}}}={\frac {\text{negative zero crossings}}{\text{second}}}\\[8pt]={}&f_{0}{\sqrt {\frac {{\text{SNR}}+1+{\frac {B^{2}}{12f_{0}^{2}}}}{{\text{SNR}}+1}}},\end{aligned}}

где

ƒ ₀ = центральная частота фильтра,

B = полоса пропускания фильтра,

SNR = отношение мощности сигнала к шуму в линейном выражении.

Эффекты в векторной области

В современных системах связи нельзя игнорировать AWGN с ограниченной полосой пропускания. При моделировании AWGN с ограниченной полосой пропускания в векторной области статистический анализ показывает, что амплитуды действительного и мнимого вкладов являются независимыми переменными, которые следуют модели распределения Гаусса . При объединении величина результирующего вектора представляет собой случайную величину, распределенную по Рэлею , а фаза распределяется равномерно от 0 до 2 $π$ .

На графике справа показан пример того, как AWGN с ограниченной полосой может повлиять на когерентный сигнал несущей. Мгновенный отклик вектора шума невозможно точно предсказать, однако его усредненный по времени отклик можно предсказать статистически. Как показано на графике, мы с уверенностью прогнозируем, что вектор шума будет находиться около 38% времени внутри круга 1 σ , около 86% времени внутри круга 2 σ и около 98% времени внутри круга 3 σ. круг. ^[1]

См. также

Ссылки

^ Перейти обратно: ^а ^б МакКлейнинг, Кевин, проектировщик радиоприемников , Noble Publishing Corporation

[rrd-1] Перейти обратно: ^а ^б МакКлейнинг, Кевин, проектировщик радиоприемников , Noble Publishing Corporation

[1]