Принцип ортогональности

В статистике и обработке сигналов принцип ортогональности является необходимым и достаточным условием оптимальности байесовской оценки . Грубо говоря, принцип ортогональности гласит, что вектор ошибок оптимальной оценки (в смысле среднеквадратической ошибки ) ортогонален любой возможной оценке. Принцип ортогональности чаще всего формулируется для линейных оценок, но возможны и более общие формулировки. Поскольку этот принцип является необходимым и достаточным условием оптимальности, его можно использовать для нахождения минимальной оценки среднеквадратической ошибки .

Принцип ортогональности для линейных оценок

Принцип ортогональности чаще всего используется при линейной оценке. В этом контексте пусть x будет неизвестным случайным вектором , который необходимо оценить на основе вектора наблюдения y . Требуется построить линейную оценку ${\hat {x}}=Hy+c$ для некоторой матрицы H и вектора c . Тогда принцип ортогональности утверждает, что оценка ${\hat {x}}$ достигает минимальной среднеквадратической ошибки тогда и только тогда, когда

• $\operatorname {E} \{({\hat {x}}-x)y^{T}\}=0,$ и
• $\operatorname {E} \{{\hat {x}}-x\}=0.$

Если x и y имеют нулевое среднее, то достаточно потребовать выполнения первого условия.

Пример

Предположим, x — гауссова случайная величина со средним значением m и дисперсией $\sigma _{x}^{2}.$ Предположим также, что мы наблюдаем значение $y=x+w,$ где w — гауссовский шум, который не зависит от x и имеет среднее значение 0 и дисперсию $\sigma _{w}^{2}.$ Мы хотим найти линейную оценку ${\hat {x}}=hy+c$ минимизация MSE. Подставив выражение ${\hat {x}}=hy+c$ на два требования принципа ортогональности, получаем

$0=\operatorname {E} \{({\hat {x}}-x)y\}$

$0=\operatorname {E} \{(hx+hw+c-x)(x+w)\}$

$0=h(\sigma _{x}^{2}+\sigma _{w}^{2})+hm^{2}+cm-\sigma _{x}^{2}-m^{2}$

и

$0=\operatorname {E} \{{\hat {x}}-x\}$

$0=\operatorname {E} \{hx+hw+c-x\}$

$0=(h-1)m+c.$

Решение этих двух линейных уравнений для h и c приводит к

$h={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}},\quad c={\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m,$

так что линейная минимальная оценка среднеквадратической ошибки определяется выражением

${\hat {x}}={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}y+{\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m.$

Эту оценку можно интерпретировать как средневзвешенное значение между зашумленными измерениями y и предшествующим ожидаемым значением m . Если дисперсия шума $\sigma _{w}^{2}$ мала по сравнению с дисперсией предыдущего $\sigma _{x}^{2}$ (соответствует высокому SNR ), тогда большая часть веса отдается измерениям y , которые считаются более надежными, чем априорная информация. И наоборот, если дисперсия шума относительно выше, то оценка будет близка к m , поскольку измерения недостаточно надежны, чтобы перевесить априорную информацию.

Наконец, обратите внимание, что, поскольку переменные x и y совместно являются гауссовскими, минимальная оценка MSE является линейной. Следовательно, в этом случае приведенная выше оценка минимизирует СКО среди всех оценок, а не только среди линейных оценок.

Общая формулировка

Позволять $V$ гильбертово пространство случайных величин со скалярным произведением , определяемым формулой $\langle x,y\rangle =\operatorname {E} \{x^{H}y\}$. Предполагать $W$ является замкнутым подпространством $V$, представляющий пространство всех возможных оценок. Человек хочет найти вектор ${\hat {x}}\in W$ который будет аппроксимировать вектор $x\in V$. Точнее, хотелось бы минимизировать среднеквадратичную ошибку (MSE). $\operatorname {E} \|x-{\hat {x}}\|^{2}$ между ${\hat {x}}$ и $x$.

В частном случае линейных оценок, описанных выше, пространство $V$ представляет собой совокупность всех функций $x$ и $y$, пока $W$ — набор линейных оценок, т. е. линейных функций от $y$ только. Другие настройки, которые можно сформулировать таким образом, включают подпространство причинных линейных фильтров и подпространство всех (возможно, нелинейных) оценок.

Геометрически мы можем увидеть эту проблему в следующем простом случае, когда $W$ представляет собой одномерное подпространство:

Мы хотим найти ближайшее приближение к вектору $x$ по вектору ${\hat {x}}$ в космосе $W$. Из геометрической интерпретации интуитивно понятно, что наилучшее приближение или наименьшая ошибка возникает, когда вектор ошибки $e$, ортогонален векторам в пространстве $W$.

Точнее, общий принцип ортогональности гласит следующее: учитывая замкнутое подпространство $W$ оценок в гильбертовом пространстве $V$ и элемент $x$ в $V$, элемент ${\hat {x}}\in W$ достигает минимального MSE среди всех элементов в $W$ тогда и только тогда, когда $\operatorname {E} \{(x-{\hat {x}})y^{T}\}=0$ для всех $y\in W.$

Сформулированный таким образом, этот принцип представляет собой просто формулировку теоремы о проекции Гильберта . Тем не менее, широкое использование этого результата в обработке сигналов привело к появлению названия «принцип ортогональности».

Решение проблем минимизации ошибок

Ниже приведен один из способов найти минимальную оценку среднеквадратической ошибки , используя принцип ортогональности.

Мы хотим иметь возможность аппроксимировать вектор $x$ к

$x={\hat {x}}+e\,$

где

${\hat {x}}=\sum _{i}c_{i}p_{i}$

является приближением $x$ как линейная комбинация векторов в подпространстве $W$ охватываемый $p_{1},p_{2},\ldots .$ Следовательно, мы хотим иметь возможность решать коэффициенты, $c_{i}$, так что мы можем записать наше приближение в известных терминах.

По теореме ортогональности квадрат нормы вектора ошибок $\left\Vert e\right\Vert ^{2}$, минимизируется, когда для всех j ,

$\left\langle x-\sum _{i}c_{i}p_{i},p_{j}\right\rangle =0.$

Развивая это уравнение, получаем

$\left\langle x,p_{j}\right\rangle =\left\langle \sum _{i}c_{i}p_{i},p_{j}\right\rangle =\sum _{i}c_{i}\left\langle p_{i},p_{j}\right\rangle .$

Если существует конечное число $n$ векторов $p_{i}$, это уравнение можно записать в матричной форме как

${\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}.$

Предполагая $p_{i}$ , линейно независимы матрицу Грамиана можно инвертировать, чтобы получить

${\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}^{-1}{\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}},$

тем самым давая выражение для коэффициентов $c_{i}$ минимальной оценки среднеквадратической ошибки.

См. также

• Минимальная среднеквадратическая ошибка
• Теорема о проекции Гильберта

Ссылки

• Кей, С.М. (1993). Основы статистической обработки сигналов: теория оценивания . Прентис Холл. ISBN  0-13-042268-1 .
• Мун, Тодд К. (2000). Математические методы и алгоритмы обработки сигналов . Прентис-Холл. ISBN  0-201-36186-8 .