Пропускная способность канала

Пропускная способность канала в электротехнике , информатике и теории информации — это теоретическая максимальная скорость, с которой информация может надежно передаваться по каналу связи .

Согласно теореме о кодировании канала с шумом , пропускная способность данного канала — это наивысшая скорость передачи информации (в единицах информации в единицу времени), которая может быть достигнута со сколь угодно малой вероятностью ошибки.

Теория информации , разработанная Клодом Э. Шенноном в 1948 году, определяет понятие пропускной способности канала и предоставляет математическую модель, с помощью которой ее можно вычислить. Ключевой результат гласит, что пропускная способность канала, как определено выше, определяется максимумом взаимной информации между входом и выходом канала, причем максимизация осуществляется по отношению к входному распределению.

Понятие пропускной способности канала стало центральным в развитии современных систем проводной и беспроводной связи с появлением новых механизмов кодирования с коррекцией ошибок , которые привели к достижению производительности, очень близкой к пределам, обещанным пропускной способностью канала.

Формальное определение

Базовая математическая модель системы связи следующая:

${\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c|}\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c|}\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c|}\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}$

где:

• $W$ какое сообщение необходимо передать;
• $X$ — входной символ канала ( $X^{n}$ представляет собой последовательность $n$ символы), взятые в алфавите ${\mathcal {X}}$;
• $Y$ — выходной символ канала ( $Y^{n}$ представляет собой последовательность $n$ символы), взятые в алфавите ${\mathcal {Y}}$;
• ${\hat {W}}$ – оценка передаваемого сообщения;
• $f_{n}$ — функция кодирования блока длины $n$;
• $p(y|x)=p_{Y|X}(y|x)$ – зашумленный канал, моделируемый условным распределением вероятностей ; и,
• $g_{n}$ — функция декодирования блока длиной $n$.

Позволять $X$ и $Y$ моделировать как случайные величины. Кроме того, пусть $p_{Y|X}(y|x)$ — распределения вероятностей условная функция $Y$ данный $X$, что является неотъемлемым фиксированным свойством канала связи. Тогда выбор маргинального распределения $p_{X}(x)$ полностью определяет совместное распределение $p_{X,Y}(x,y)$ из-за идентичности

$\ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)$

что, в свою очередь, вызывает взаимное информирование $I(X;Y)$. определяется Пропускная способность канала как

$\ C=\sup _{p_{X}(x)}I(X;Y)\,$

где верхняя грань берется за все возможные варианты выбора $p_{X}(x)$.

Аддитивность пропускной способности канала

Пропускная способность канала суммируется по независимым каналам. Это означает, что совместное использование двух независимых каналов обеспечивает такую ​​же теоретическую пропускную способность, как и их независимое использование. Более формально, пусть $p_{1}$ и $p_{2}$ быть двумя независимыми каналами, смоделированными, как указано выше; $p_{1}$ наличие входного алфавита ${\mathcal {X}}_{1}$ и выходной алфавит ${\mathcal {Y}}_{1}$. То же самое для $p_{2}$. Определяем канал продукта $p_{1}\times p_{2}$ как $\forall (x_{1},x_{2})\in ({\mathcal {X}}_{1},{\mathcal {X}}_{2}),\;(y_{1},y_{2})\in ({\mathcal {Y}}_{1},{\mathcal {Y}}_{2}),\;(p_{1}\times p_{2})((y_{1},y_{2})|(x_{1},x_{2}))=p_{1}(y_{1}|x_{1})p_{2}(y_{2}|x_{2})$

Эта теорема гласит: $$C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})$$

Доказательство

Сначала мы покажем, что $C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})$.

Позволять $X_{1}$ и $X_{2}$ быть двумя независимыми случайными величинами. Позволять $Y_{1}$ быть случайной величиной, соответствующей выходу $X_{1}$ через канал $p_{1}$, и $Y_{2}$ для $X_{2}$ через $p_{2}$.

По определению $C(p_{1}\times p_{2})=\sup _{p_{X_{1},X_{2}}}(I(X_{1},X_{2}:Y_{1},Y_{2}))$.

С $X_{1}$ и $X_{2}$ независимы, а также $p_{1}$ и $p_{2}$, $(X_{1},Y_{1})$ не зависит от $(X_{2},Y_{2})$. Мы можем применить следующее свойство взаимной информации : $I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})$

На данный момент нам нужно только найти распределение $p_{X_{1},X_{2}}$ такой, что $I(X_{1},X_{2}:Y_{1},Y_{2})\geq I(X_{1}:Y_{1})+I(X_{2}:Y_{2})$. Фактически, $\pi _{1}$ и $\pi _{2}$, два распределения вероятностей для $X_{1}$ и $X_{2}$ достижение $C(p_{1})$ и $C(p_{2})$, достаточно:

$C(p_{1}\times p_{2})\geq I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})=C(p_{1})+C(p_{2})$

то есть. $C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})$

Теперь давайте покажем, что $C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})$.

Позволять $\pi _{12}$ быть каким-нибудь дистрибутивом для канала $p_{1}\times p_{2}$ определение $(X_{1},X_{2})$ и соответствующий вывод $(Y_{1},Y_{2})$. Позволять ${\mathcal {X}}_{1}$ быть алфавитом $X_{1}$, ${\mathcal {Y}}_{1}$ для $Y_{1}$и аналогично ${\mathcal {X}}_{2}$ и ${\mathcal {Y}}_{2}$.

По определению взаимной информации мы имеем

${\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&=H(Y_{1},Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\\&\leq H(Y_{1})+H(Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\end{aligned}}$

Перепишем последний член энтропии .

$H(Y_{1},Y_{2}|X_{1},X_{2})=\sum _{(x_{1},x_{2})\in {\mathcal {X}}_{1}\times {\mathcal {X}}_{2}}\mathbb {P} (X_{1},X_{2}=x_{1},x_{2})H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})$

По определению продуктового канала, $\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})=\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1})\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2})$. Для данной пары $(x_{1},x_{2})$, мы можем переписать $H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})$ как:

${\begin{aligned}H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})\log(\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2}))\\&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})[\log(\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1}))+\log(\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2}))]\\&=H(Y_{1}|X_{1}=x_{1})+H(Y_{2}|X_{2}=x_{2})\end{aligned}}$

Суммируя это равенство по всем $(x_{1},x_{2})$, мы получаем $H(Y_{1},Y_{2}|X_{1},X_{2})=H(Y_{1}|X_{1})+H(Y_{2}|X_{2})$.

Теперь мы можем дать верхнюю границу взаимной информации:

${\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&\leq H(Y_{1})+H(Y_{2})-H(Y_{1}|X_{1})-H(Y_{2}|X_{2})\\&=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})\end{aligned}}$

Это соотношение сохраняется в супремуме. Поэтому

$C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})$

Объединив два доказанных нами неравенства, получаем результат теоремы:

$C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})$

Шенноновская емкость графа

Основная статья: Шенноновская емкость графа

Если G — неориентированный граф , его можно использовать для определения канала связи, в котором символы являются вершинами графа, и два кодовых слова могут быть перепутаны друг с другом, если их символы в каждой позиции равны или смежны. Вычислительная сложность определения пропускной способности Шеннона такого канала остается открытой, но она может быть ограничена сверху другим важным инвариантом графа — числом Ловаса .

Теорема о кодировании зашумленного канала

Теорема кодирования шумного канала утверждает, что для любой вероятности ошибки ε > 0 и для любой скорости передачи R, меньшей, чем пропускная способность канала C , существует схема кодирования и декодирования, передающая данные со скоростью R , вероятность ошибки которой меньше ε, для достаточно большая длина блока. Кроме того, для любой скорости, превышающей пропускную способность канала, вероятность ошибки в приемнике достигает 0,5, поскольку длина блока стремится к бесконечности.

Пример приложения

Применение концепции пропускной способности канала к с аддитивным белым гауссовским шумом каналу B Гц (AWGN) с полосой пропускания и отношением сигнал/шум представляет собой теорему Шеннона – Хартли :

$C=B\log _{2}\left(1+{\frac {S}{N}}\right)\$

C измеряется в битах в секунду, если логарифм берется по основанию 2, или в нацах в секунду, если натуральный логарифм используется , предполагая, что B находится в герцах ; мощности сигнала и шума S и N выражаются в линейных единицах мощности (например, ваттах или вольтах) . ² ). Поскольку значения сигнал/шум часто приводятся в дБ , может потребоваться преобразование. Например, отношение сигнал/шум 30 дБ соответствует линейному отношению мощности $10^{30/10}=10^{3}=1000$.

Оценка пропускной способности канала

Для определения пропускной способности канала необходимо найти распределение достижения пропускной способности $p_{X}(x)$ и оценить взаимную информацию $I(X;Y)$. Исследования в основном были сосредоточены на изучении аддитивных шумовых каналов при определенных ограничениях по мощности и распределениях шума, поскольку аналитические методы неосуществимы в большинстве других сценариев. Следовательно, альтернативные подходы, такие как исследование входной поддержки, расслабление и границы мощности, были предложены в литературе.

Пропускную способность дискретного канала без памяти можно вычислить с помощью алгоритма Блахута-Аримото .

Глубокое обучение можно использовать для оценки пропускной способности канала. Фактически, пропускная способность канала и распределение достижения пропускной способности любого непрерывного векторного канала без памяти в дискретном времени могут быть получены с помощью КОРТИКАЛЬНОГО, кооперативная структура, вдохновленная генеративно-состязательными сетями . CORTICAL состоит из двух взаимодействующих сетей: генератора с целью обучения выборке из входного распределения, обеспечивающего пропускную способность, и дискриминатора с целью научиться различать парные и непарные выборки и оценки ввода-вывода каналов. $I(X;Y)$.

Пропускная способность канала беспроводной связи

Этот раздел фокусируется на сценарии «точка-точка» с одной антенной. О пропускной способности канала в системах с несколькими антеннами читайте в статье о MIMO .

Канал AWGN с ограниченной полосой пропускания

Основная статья: теорема Шеннона – Хартли

Пропускная способность канала AWGN с указанием режима ограничения мощности и режима ограничения полосы пропускания. Здесь, ${\frac {\bar {P}}{N_{0}}}=1$; B и C можно пропорционально масштабировать для других значений.

Если средняя полученная мощность ${\bar {P}}$ [Вт], общая полоса пропускания $W$ в герцах, а спектральная плотность мощности шума равна $N_{0}$ [Вт/Гц], пропускная способность канала AWGN равна

$C_{\text{AWGN}}=W\log _{2}\left(1+{\frac {\bar {P}}{N_{0}W}}\right)$ [бит/с],

где ${\frac {\bar {P}}{N_{0}W}}$ — полученное отношение сигнал/шум (SNR). Этот результат известен как теорема Шеннона-Хартли .

Когда отношение сигнал/шум велико (SNR ≫ 0 дБ), пропускная способность $C\approx W\log _{2}{\frac {\bar {P}}{N_{0}W}}$ является логарифмическим по мощности и приблизительно линейным по полосе пропускания. Это называется режимом с ограниченной полосой пропускания .

Когда отношение сигнал/шум мало (SNR ≪ 0 дБ), пропускная способность $C\approx {\frac {\bar {P}}{N_{0}\ln 2}}$ является линейным по мощности, но нечувствительным к полосе пропускания. Это называется режимом ограничения власти .

На рисунке показаны режим с ограниченной полосой пропускания и режим с ограниченной мощностью.

Частотно-избирательный канал AWGN

Пропускная способность частотно-избирательного канала определяется так называемым распределением мощности заполнения водой ,

$C_{N_{c}}=\sum _{n=0}^{N_{c}-1}\log _{2}\left(1+{\frac {P_{n}^{*}|{\bar {h}}_{n}|^{2}}{N_{0}}}\right),$

где $P_{n}^{*}=\max \left\{\left({\frac {1}{\lambda }}-{\frac {N_{0}}{|{\bar {h}}_{n}|^{2}}}\right),0\right\}$ и $|{\bar {h}}_{n}|^{2}$ это усиление подканала $n$, с $\lambda$ выбрано с учетом ограничения мощности.

Медленно затухающий канал

В канале с медленным замиранием , где время когерентности превышает требования к задержке, не существует определенной пропускной способности как максимальной скорости надежной связи, поддерживаемой каналом. $\log _{2}(1+|h|^{2}SNR)$, зависит от случайного усиления канала $|h|^{2}$, который неизвестен передатчику. Если передатчик кодирует данные со скоростью $R$ [бит/с/Гц], существует ненулевая вероятность того, что вероятность ошибки декодирования не может быть сделана сколь угодно малой,

$p_{out}=\mathbb {P} (\log(1+|h|^{2}SNR)<R)$,

в этом случае говорят, что система отключена. При ненулевой вероятности того, что канал находится в состоянии глубокого замирания, пропускная способность канала с медленным замиранием в строгом смысле равна нулю. Однако можно определить наибольшее значение $R$ такая, что вероятность отключения $p_{out}$ меньше, чем $\epsilon$. Это значение известно как $\epsilon$-аварийная мощность.

Быстрозатухающий канал

В канале с быстрым замиранием , где требования к задержке больше, чем время когерентности, а длина кодового слова охватывает множество периодов когерентности, можно усреднить по множеству независимых замираний канала путем кодирования по большому количеству временных интервалов когерентности. Таким образом, можно добиться надежной скорости связи $\mathbb {E} (\log _{2}(1+|h|^{2}SNR))$ [бит/с/Гц], и об этом значении имеет смысл говорить как о пропускной способности канала с быстрым замиранием.

Обратная связь

Пропускная способность обратной связи — это наибольшая скорость, с которой информация «точка-точка», может надежно передаваться в единицу времени по каналу связи при котором приемник передает выходные данные канала передатчику. Теоретико-информационный анализ коммуникационных систем, включающих обратную связь, является более сложным и сложным, чем без обратной связи. Возможно, именно по этой причине К.Э. Шеннон выбрал обратную связь в качестве темы первой лекции Шеннона, прочитанной на Международном симпозиуме IEEE по теории информации в 1973 году в Ашкелоне, Израиль.

Пропускная способность обратной связи характеризуется максимумом направленной информации между входами канала и выходами канала, причем максимизация относится к причинно-следственной обусловленности входа с учетом выхода. Направленная информация была придумана Джеймсом Мэсси. в 1990 году, который показал, что это верхний предел мощности обратной связи. Для каналов без памяти Шеннон показал что обратная связь не увеличивает пропускную способность, а пропускная способность обратной связи совпадает с пропускной способностью канала, характеризуемой взаимной информацией между входом и выходом. Пропускная способность обратной связи известна как выражение в закрытой форме только для нескольких примеров, таких как: канал-лазейка, Канал Изинга, канал двоичного стирания с ограничением на вход без последовательных единиц, каналы NOST.

Базовая математическая модель системы связи следующая:

Общение с обратной связью

Вот формальное определение каждого элемента (где единственной разницей в отношении пропускной способности без обратной связи является определение кодера):

• $W$ это сообщение, которое нужно передать, записанное в алфавите ${\mathcal {W}}$;
• $X$ — входной символ канала ( $X^{n}$ представляет собой последовательность $n$ символы), взятые в алфавите ${\mathcal {X}}$;
• $Y$ — выходной символ канала ( $Y^{n}$ представляет собой последовательность $n$ символы), взятые в алфавите ${\mathcal {Y}}$;
• ${\hat {W}}$ – оценка передаваемого сообщения;
• $f_{i}:{\mathcal {W}}\times {\mathcal {Y}}^{i-1}\to {\mathcal {X}}$ это функция кодирования во времени $i$, для блока длиной $n$;
• $p(y_{i}|x^{i},y^{i-1})=p_{Y_{i}|X^{i},Y^{i-1}}(y_{i}|x^{i},y^{i-1})$ самый шумный канал в данный момент $i$, который моделируется условным распределением вероятностей ; и,
• ${\hat {w}}:{\mathcal {Y}}^{n}\to {\mathcal {W}}$ — функция декодирования блока длиной $n$.

То есть за каждый раз $i$ существует обратная связь предыдущего вывода $Y_{i-1}$ так, чтобы кодер имел доступ ко всем предыдущим выходам $Y^{i-1}$. Ан $(2^{nR},n)$ код — это пара отображений кодирования и декодирования с ${\mathcal {W}}=[1,2,\dots ,2^{nR}]$, и $W$ распределяется равномерно. ставка $R$ называется достижимой, если существует последовательность кодов $(2^{nR},n)$ такая, что средняя вероятность ошибки: $P_{e}^{(n)}\triangleq \Pr({\hat {W}}\neq W)$ стремится к нулю, так как $n\to \infty$.

Емкость обратной связи обозначается $C_{\text{feedback}}$и определяется как верхняя граница всех достижимых скоростей.

Основные результаты по возможности обратной связи

Позволять $X$ и $Y$ моделировать как случайные величины. Причинная обусловленность $P(y^{n}||x^{n})\triangleq \prod _{i=1}^{n}P(y_{i}|y^{i-1},x^{i})$ описывает данный канал. Выбор причинно-условного распределения $P(x^{n}||y^{n-1})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})$ определяет совместное распределение $p_{X^{n},Y^{n}}(x^{n},y^{n})$ из-за цепного правила причинной обусловленности $P(y^{n},x^{n})=P(y^{n}||x^{n})P(x^{n}||y^{n-1})$ что, в свою очередь, вызывает направленную информацию $I(X^{N}\rightarrow Y^{N})=\mathbf {E} \left[\log {\frac {P(Y^{N}||X^{N})}{P(Y^{N})}}\right]$.

Пропускная способность обратной связи определяется выражением

$\ C_{\text{feedback}}=\lim _{n\to \infty }{\frac {1}{n}}\sup _{P_{X^{n}||Y^{n-1}}}I(X^{n}\to Y^{n})\,$,

где верхняя грань берется за все возможные варианты выбора $P_{X^{n}||Y^{n-1}}(x^{n}||y^{n-1})$.

Гауссовая обратная связь

Когда гауссов шум окрашен, канал имеет память. Рассмотрим, например, простой случай авторегрессионного модельного шумового процесса. $z_{i}=z_{i-1}+w_{i}$ где $w_{i}\sim N(0,1)$ это iid-процесс.

Методы решения

Емкость обратной связи в общем случае решить сложно. Существуют некоторые методы, связанные с теорией управления и марковскими процессами принятия решений, если канал дискретен.

См. также

• Пропускная способность (вычисления)
• Пропускная способность (обработка сигнала)
• Битрейт
• Скорость кода
• Они объяснят ошибку
• ставка Найквиста
• Негэнтропия
• Резервирование
• Отправитель , Сжатие данных , Получатель
• Теорема Шеннона – Хартли
• Спектральная эффективность
• Пропускная способность

Продвинутые темы общения

• НЕСМОТРЯ НА
• Кооперативное разнообразие

Внешние ссылки

• «Скорость передачи канала» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Пропускная способность канала AWGN с различными ограничениями на вход канала (интерактивная демонстрация)