Минимальная среднеквадратическая ошибка

В статистике и обработке сигналов оценщик минимальной среднеквадратической ошибки ( MMSE ) — это метод оценки, который минимизирует среднеквадратическую ошибку (MSE), которая является общей мерой качества оценщика подобранных значений зависимой переменной . В байесовском подходе термин MMSE более конкретно относится к оценке с квадратичной функцией потерь . В таком случае оценка MMSE определяется апостериорным средним значением оцениваемого параметра. Поскольку вычислить апостериорное среднее сложно, форма оценки MMSE обычно ограничивается определенным классом функций. Линейные оценщики MMSE являются популярным выбором, поскольку они просты в использовании, легко рассчитываются и очень универсальны. Он породил множество популярных оценщиков, таких как фильтр Винера-Колмогорова и фильтр Калмана .

Мотивация

Термин MMSE более конкретно относится к оценке в байесовских условиях с квадратичной функцией стоимости. Основная идея байесовского подхода к оценке проистекает из практических ситуаций, когда у нас часто есть некоторая предварительная информация об оцениваемом параметре. Например, у нас может быть предварительная информация о диапазоне, который может принимать параметр; или у нас может быть старая оценка параметра, которую мы хотим изменить, когда станет доступно новое наблюдение; или статистика фактического случайного сигнала, такого как речь. Это контрастирует с небайесовским подходом, таким как несмещенная оценка с минимальной дисперсией (MVUE), где предполагается, что о параметре заранее ничего не известно и который не учитывает такие ситуации. В байесовском подходе такая априорная информация фиксируется априорной функцией плотности вероятности параметров; и основанный непосредственно на теореме Байеса , он позволяет нам делать более точные апостериорные оценки по мере того, как становится доступно больше наблюдений. Таким образом, в отличие от небайесовского подхода, где интересующие параметры предполагаются детерминированными, но неизвестными константами, байесовский оценщик пытается оценить параметр, который сам по себе является случайной величиной. Более того, байесовская оценка также может применяться к ситуациям, когда последовательность наблюдений не обязательно является независимой. Таким образом, байесовская оценка обеспечивает еще одну альтернативу MVUE. Это полезно, когда MVUE не существует или не может быть найден.

Определение

Позволять $x$ быть $n\times 1$ скрытая случайная векторная переменная, и пусть $y$ быть $m\times 1$ известная случайная векторная переменная (измерение или наблюдение), причем обе они не обязательно имеют одну и ту же размерность. Оценщик ​ ${\hat {x}}(y)$ из $x$ любая функция измерения $y$. Вектор ошибки оценки определяется выражением $e={\hat {x}}-x$ а его среднеквадратическая ошибка (MSE) определяется следом ковариационной ошибок. матрицы

$\operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},$

где ожидание $\operatorname {E}$ взят во владение $x$ обусловлено $y$. Когда $x$ является скалярной переменной, выражение MSE упрощается до $\operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}$. Обратите внимание, что MSE можно эквивалентно определить и другими способами, поскольку

$\operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.$

Затем оценщик MMSE определяется как оценщик, достигающий минимального MSE:

${\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .$

Характеристики

• Когда средние значения и дисперсии конечны, оценщик MMSE определяется однозначно. и дается:

${\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.$

Другими словами, оценщик MMSE — это условное ожидание $x$ при известном наблюдаемом значении измерений. Кроме того, поскольку ${\hat {x}}_{\mathrm {MMSE} }$ - апостериорное среднее, ковариационная матрица ошибок $C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}$ равно апостериорной ковариации $C_{X|Y}$ матрица,

$C_{e}=C_{X|Y}$.

• Оценка MMSE является несмещенной (при упомянутых выше предположениях о регулярности):

$\operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.$

• Оценка MMSE асимптотически несмещена и сходится по распределению к нормальному распределению:

${\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),$

где $I(x)$ это Фишера информация $x$. Таким образом, оценка MMSE асимптотически эффективна .

• Принцип ортогональности : когда $x$ является скаляром, оценщиком, ограниченным определенной формой ${\hat {x}}=g(y)$ является оптимальной оценкой, т.е. ${\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),$ тогда и только тогда, когда

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0$

для всех $g(y)$ в замкнутом линейном подпространстве ${\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}$ измерений. Для случайных векторов, поскольку MSE для оценки случайного вектора представляет собой сумму MSE координат, поиск оценки MMSE случайного вектора разлагается на поиск оценок MMSE координат X отдельно:

$\operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,$

для всех я и j . Проще говоря, взаимная корреляция между минимальной ошибкой оценки ${\hat {x}}_{\operatorname {MMSE} }-x$ и оценщик ${\hat {x}}$ должно быть равно нулю,

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.$

• Если $x$ и $y$ являются совместно гауссовскими , то оценка MMSE является линейной, т. е. имеет вид $Wy+b$ для матрицы $W$ и постоянный $b$. Это можно непосредственно показать с помощью теоремы Байеса. Как следствие, чтобы найти оценщик MMSE, достаточно найти линейный оценщик MMSE.

Линейный оценщик MMSE

Во многих случаях невозможно определить аналитическое выражение оценщика MMSE. Два основных численных подхода к получению оценки MMSE зависят от нахождения условного ожидания $\operatorname {E} \{x\mid y\}$ или нахождение минимумов MSE. Прямая численная оценка условного ожидания требует больших вычислительных затрат, поскольку часто требует многомерного интегрирования, обычно выполняемого с помощью методов Монте-Карло . Другой вычислительный подход заключается в прямом поиске минимумов MSE с использованием таких методов, как методы стохастического градиентного спуска ; но этот метод все же требует оценки ожидания. Хотя эти численные методы оказались плодотворными, выражение в замкнутой форме для оценки MMSE, тем не менее, возможно, если мы готовы пойти на некоторые компромиссы.

Одна из возможностей состоит в том, чтобы отказаться от требований полной оптимальности и искать метод, минимизирующий MSE в рамках определенного класса оценщиков, например класса линейных оценщиков. Таким образом, мы постулируем, что условное математическое ожидание $x$ данный $y$ представляет собой простую линейную функцию от $y$, $\operatorname {E} \{x\mid y\}=Wy+b$, где измерение $y$ является случайным вектором, $W$ представляет собой матрицу и $b$ является вектором. Это можно рассматривать как тейлоровское приближение первого порядка $\operatorname {E} \{x\mid y\}$. Линейная оценка MMSE — это оценка, достигающая минимального значения MSE среди всех оценок такой формы. То есть решает следующую задачу оптимизации:

$\min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.$

Одним из преимуществ такой линейной оценки MMSE является то, что нет необходимости явно вычислять апостериорную функцию плотности вероятности $x$. Такая линейная оценка зависит только от первых двух моментов $x$ и $y$. Поэтому, хотя может быть удобно предположить, что $x$ и $y$ являются совместно гауссовскими, нет необходимости делать это предположение, если предполагаемое распределение имеет четко определенные первый и второй моменты. Форма линейной оценки не зависит от типа предполагаемого основного распределения.

Выражение для оптимального $b$ и $W$ дается:

$b={\bar {x}}-W{\bar {y}},$

$W=C_{XY}C_{Y}^{-1}.$

где ${\bar {x}}=\operatorname {E} \{x\}$, ${\bar {y}}=\operatorname {E} \{y\},$ тот $C_{XY}$ представляет собой матрицу взаимной ковариации между $x$ и $y$, $C_{Y}$ - автоковариационная матрица $y$.

Таким образом, выражение для линейной оценки MMSE, его среднего значения и автоковариации определяется выражением

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},$

$\operatorname {E} \{{\hat {x}}\}={\bar {x}},$

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

где $C_{YX}$ представляет собой матрицу взаимной ковариации между $y$ и $x$.

Наконец, ковариация ошибок и минимальная среднеквадратическая ошибка, достижимые с помощью такой оценки, равны

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.$

показывать

Вывод с использованием принципа ортогональности

Let us have the optimal linear MMSE estimator given as ${\hat {x}}=Wy+b$, where we are required to find the expression for $W$ and $b$. It is required that the MMSE estimator be unbiased. This means,

$\operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.$

Plugging the expression for ${\hat {x}}$ in above, we get

$b={\bar {x}}-W{\bar {y}},$

where ${\bar {x}}=\operatorname {E} \{x\}$ and ${\bar {y}}=\operatorname {E} \{y\}$. Thus we can re-write the estimator as

${\hat {x}}=W(y-{\bar {y}})+{\bar {x}}$

and the expression for estimation error becomes

${\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).$

From the orthogonality principle, we can have $\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0$, where we take $g(y)=y-{\bar {y}}$. Here the left-hand-side term is

${\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}$

When equated to zero, we obtain the desired expression for $W$ as

$W=C_{XY}C_{Y}^{-1}.$

The $C_{XY}$ is cross-covariance matrix between X and Y, and $C_{Y}$ is auto-covariance matrix of Y. Since $C_{XY}=C_{YX}^{T}$, the expression can also be re-written in terms of $C_{YX}$ as

$W^{T}=C_{Y}^{-1}C_{YX}.$

Thus the full expression for the linear MMSE estimator is

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$

Since the estimate ${\hat {x}}$ is itself a random variable with $\operatorname {E} \{{\hat {x}}\}={\bar {x}}$, we can also obtain its auto-covariance as

${\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}$

Putting the expression for $W$ and $W^{T}$, we get

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.$

Lastly, the covariance of linear MMSE estimation error will then be given by

${\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}$

The first term in the third line is zero due to the orthogonality principle. Since $W=C_{XY}C_{Y}^{-1}$, we can re-write $C_{e}$ in terms of covariance matrices as

$C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.$

This we can recognize to be the same as $C_{e}=C_{X}-C_{\hat {X}}.$ Thus the minimum mean square error achievable by such a linear estimator is

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}$.

Одномерный случай

Для особого случая, когда оба $x$ и $y$ являются скалярами, приведенные выше соотношения упрощаются до

${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},$

$\sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},$

где $\rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}$ Пирсона коэффициент корреляции между $x$ и $y$.

Два приведенных выше уравнения позволяют нам интерпретировать коэффициент корреляции либо как нормированный наклон линейной регрессии.

$\left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)$

или как квадратный корень из отношения двух дисперсий

$\rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}$.

Когда $\rho =0$, у нас есть ${\hat {x}}={\bar {x}}$ и $\sigma _{e}^{2}=\sigma _{X}^{2}$. В этом случае в результате измерений не почерпнуто никакой новой информации, которая могла бы уменьшить погрешность измерения. $x$. С другой стороны, когда $\rho =\pm 1$, у нас есть ${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}$ и $\sigma _{e}^{2}=0$. Здесь $x$ полностью определяется $y$, как задано уравнением прямой.

Вычисление

Стандартный метод, такой как исключение Гаусса, можно использовать для решения матричного уравнения для $W$. Более численно устойчивый метод обеспечивает метод QR-разложения . Поскольку матрица $C_{Y}$ представляет собой симметричную положительно определенную матрицу, $W$ можно решить в два раза быстрее с помощью разложения Холецкого , а для больших разреженных систем метод сопряженных градиентов более эффективен . Рекурсия Левинсона — быстрый метод, когда $C_{Y}$ также является матрицей Теплица . Это может произойти, когда $y$ представляет собой стационарный процесс в широком смысле. В таких стационарных случаях эти оценки также называются фильтрами Винера – Колмогорова .

Линейная оценка MMSE для процесса линейного наблюдения

Давайте далее смоделируем основной процесс наблюдения как линейный процесс: $y=Ax+z$, где $A$ – известная матрица и $z$ вектор случайного шума со средним значением $\operatorname {E} \{z\}=0$ и перекрестная ковариация $C_{XZ}=0$. Здесь требуемое среднее и ковариационная матрицы будут

$\operatorname {E} \{y\}=A{\bar {x}},$

$C_{Y}=AC_{X}A^{T}+C_{Z},$

$C_{XY}=C_{X}A^{T}.$

Таким образом, выражение для линейной матрицы оценки MMSE $W$ далее модифицируется на

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

Подставляя все в выражение для ${\hat {x}}$, мы получаем

${\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.$

Наконец, ковариация ошибок равна

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

Существенное различие между задачей оценивания, рассмотренной выше, и задачей наименьших квадратов и оценкой Гаусса–Маркова состоит в том, что число наблюдений m (т.е. размерность $y$) не обязательно должно быть, по крайней мере, таким же большим, как число неизвестных n (т. е. размерность $x$). Оценка для процесса линейного наблюдения существует до тех пор, пока m - m матрица $(AC_{X}A^{T}+C_{Z})^{-1}$ существует; это верно для любого m, если, например, $C_{Z}$ является положительно определенным. Физически причина этого свойства состоит в том, что, поскольку $x$ теперь является случайной величиной, то можно сформировать значимую оценку (а именно ее среднее значение) даже без каких-либо измерений. Каждое новое измерение просто предоставляет дополнительную информацию, которая может изменить нашу первоначальную оценку. Другая особенность этой оценки состоит в том, что при m < n не должно быть ошибки измерения. Таким образом, мы можем иметь $C_{Z}=0$, потому что пока $AC_{X}A^{T}$ положительно определена, оценка все еще существует. Наконец, этот метод может обрабатывать случаи, когда шум коррелирует.

Альтернативная форма

Альтернативную форму выражения можно получить, используя матричное тождество

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

которое можно получить путем последующего умножения на $(AC_{X}A^{T}+C_{Z})$ и предварительно умножив на $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ чтобы получить

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

и

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

С $W$ теперь можно записать в терминах $C_{e}$ как $W=C_{e}A^{T}C_{Z}^{-1}$, мы получаем упрощенное выражение для ${\hat {x}}$ как

${\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.$

В этой форме приведенное выше выражение можно легко сравнить с гребневой регрессией , взвешенным методом наименьших квадратов и оценкой Гаусса – Маркова . В частности, когда $C_{X}^{-1}=0$, соответствующий бесконечной дисперсии априорной информации о $x$, результат $W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}$ идентично взвешенной линейной оценке методом наименьших квадратов с $C_{Z}^{-1}$ как весовая матрица. Более того, если компоненты $z$ некоррелированы и имеют одинаковую дисперсию, так что $C_{Z}=\sigma ^{2}I,$ где $I$ является единичной матрицей, то $W=(A^{T}A)^{-1}A^{T}$ идентично обычной оценке методом наименьших квадратов. Когда априорная информация доступна как $C_{X}^{-1}=\lambda I$ и $z$ некоррелированы и имеют одинаковую дисперсию, мы имеем $W=(A^{T}A+\lambda I)^{-1}A^{T}$, что идентично решению гребневой регрессии.

Последовательная линейная оценка MMSE

Во многих приложениях реального времени данные наблюдений не доступны в одном пакете. Вместо этого наблюдения проводятся последовательно. Один из возможных подходов — использовать последовательные наблюдения для обновления старой оценки по мере появления дополнительных данных, что приведет к более точным оценкам. Одно из важнейших различий между пакетной оценкой и последовательной оценкой заключается в том, что последовательная оценка требует дополнительного предположения Маркова.

В рамках байесовской модели такую ​​рекурсивную оценку легко выполнить с помощью правила Байеса. Данный $k$ наблюдения, $y_{1},\ldots ,y_{k}$, правило Байеса дает нам апостериорную плотность $x_{k}$ как

${\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}$

The $p(x_{k}|y_{1},\ldots ,y_{k})$ называется апостериорной плотностью, $p(y_{k}|x_{k})$ называется функцией правдоподобия, а $p(x_{k}|y_{1},\ldots ,y_{k-1})$ — априорная плотность k -го временного шага. Здесь мы предположили условную независимость $y_{k}$ из предыдущих наблюдений $y_{1},\ldots ,y_{k-1}$ данный $x$ как

$p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).$

Это предположение Маркова.

Оценка MMSE ${\hat {x}}_{k}$ учитывая k -е наблюдение, тогда это среднее значение апостериорной плотности $p(x_{k}|y_{1},\ldots ,y_{k})$. При отсутствии динамической информации о том, как состояние $x$ меняется со временем, мы сделаем дальнейшее предположение о стационарности относительно предыдущего:

$p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).$

Таким образом, априорная плотность для k -го временного шага является апостериорной плотностью ( k -1)-го временного шага. Эта структура позволяет нам сформулировать рекурсивный подход к оценке.

В контексте линейной оценки MMSE формула оценки будет иметь ту же форму, что и раньше: ${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$ Однако средние и ковариационные матрицы $X$ и $Y$ необходимо будет заменить на те, что имели прежнюю плотность. $p(x_{k}|y_{1},\ldots ,y_{k-1})$ и вероятность $p(y_{k}|x_{k})$, соответственно.

Для предшествующей плотности $p(x_{k}|y_{1},\ldots ,y_{k-1})$, его среднее значение определяется предыдущей оценкой MMSE,

${\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}$,

и его ковариационная матрица определяется предыдущей ковариационной матрицей ошибок,

$C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},$

в соответствии со свойствами оценок MMSE и предположением о стационарности.

Аналогично, для процесса линейного наблюдения среднее значение правдоподобия $p(y_{k}|x_{k})$ дается ${\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}$ и ковариационная матрица такая же, как и раньше

${\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}$.

Разница между прогнозируемым значением $Y_{k}$, как указано ${\bar {y}}_{k}=A{\hat {x}}_{k-1}$, и его наблюдаемое значение $y_{k}$ дает ошибку прогноза ${\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}$, который также называют инновацией или остатком. Линейную MMSE удобнее представлять через ошибку прогноза, среднее значение которой и ковариация равны $\mathrm {E} [{\tilde {y}}_{k}]=0$ и $C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}$.

Следовательно, в формуле обновления оценки нам следует заменить ${\bar {x}}$ и $C_{X}$ к ${\hat {x}}_{k-1}$ и $C_{e_{k-1}}$, соответственно. Также нам следует заменить ${\bar {y}}$ и $C_{Y}$ к ${\bar {y}}_{k-1}$ и $C_{{\tilde {Y}}_{k}}$. Наконец, мы заменяем $C_{XY}$ к

${\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}$

Таким образом, мы имеем новую оценку как новое наблюдение $y_{k}$ прибывает как

${\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}$

и новая ковариация ошибок как

$C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.$

С точки зрения линейной алгебры, для последовательного оценивания, если у нас есть оценка ${\hat {x}}_{1}$ на основе измерений, генерирующих пространство $Y_{1}$, то после получения еще одного набора измерений следует вычесть из этих измерений ту часть, которую можно было предвидеть по результату первых измерений. Другими словами, обновление должно основываться на той части новых данных, которая ортогональна старым данным.

Повторное использование двух приведенных выше уравнений по мере появления большего количества наблюдений приводит к использованию методов рекурсивной оценки. Выражения можно более компактно записать как

$W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

$C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.$

Матрица $W_{k}$ часто называют коэффициентом усиления Калмана. Альтернативная формулировка приведенного выше алгоритма даст

$C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,$

$W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

Повторение этих трех шагов по мере поступления большего количества данных приводит к итеративному алгоритму оценки. Обобщение этой идеи на нестационарные случаи приводит к появлению фильтра Калмана . Три шага обновления, описанные выше, действительно образуют этап обновления фильтра Калмана.

Особый случай: скалярные наблюдения

В качестве важного частного случая можно получить простое в использовании рекурсивное выражение, когда в каждый k -й момент времени основной процесс линейного наблюдения дает скаляр такой, что $y_{k}=a_{k}^{T}x_{k}+z_{k}$, где $a_{k}$ - n 1 известный вектор-столбец, значения которого могут меняться со временем, $x_{k}$ - это случайный вектор-столбец размерностью n на 1, который нужно оценить, и $z_{k}$ скалярный шумовой член с дисперсией $\sigma _{k}^{2}$. После ( k +1)-го наблюдения прямое использование приведенных выше рекурсивных уравнений дает выражение для оценки ${\hat {x}}_{k+1}$ как:

${\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})$

где $y_{k+1}$ это новое скалярное наблюдение и коэффициент усиления $w_{k+1}$ - это вектор-столбец n -x1, заданный формулой

$w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.$

The $C_{e_{k+1}}$ - это n на размером n ковариационная матрица ошибок , определяемая формулой

$C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.$

Здесь не требуется никакого обращения матрицы. Кроме того, коэффициент усиления, $w_{k+1}$, зависит от нашей уверенности в новой выборке данных, измеренной с помощью дисперсии шума, по сравнению с предыдущими данными. Начальные значения ${\hat {x}}$ и $C_{e}$ считаются средним значением и ковариацией априорной функции плотности вероятности $x$.

Альтернативные подходы: этот важный частный случай также породил множество других итерационных методов (или адаптивных фильтров ), таких как фильтр наименьших квадратов и рекурсивный фильтр наименьших квадратов , которые напрямую решают исходную задачу оптимизации MSE с использованием стохастических градиентных спусков . Однако, поскольку ошибка оценки $e$ невозможно наблюдать напрямую, эти методы пытаются минимизировать среднеквадратичную ошибку прогнозирования. $\mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}$. Например, в случае скалярных наблюдений мы имеем градиент $\nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.$ Таким образом, уравнение обновления для фильтра наименьших квадратов имеет вид

${\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},$

где $\eta _{k}$ — скалярный размер шага, а математическое ожидание аппроксимируется мгновенным значением $\mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}$. Как мы видим, эти методы обходят необходимость в ковариационных матрицах.

Особый случай: векторное наблюдение с некоррелированным шумом

Во многих практических приложениях шум наблюдения некоррелирован. То есть, $C_{Z}$ является диагональной матрицей. В таких случаях целесообразно рассматривать компоненты $y$ как независимые скалярные измерения, а не как векторные измерения. Это позволяет сократить время вычислений за счет обработки $m\times 1$ вектор измерения как $m$ скалярные измерения. Использование формулы скалярного обновления позволяет избежать инверсии матрицы при реализации уравнений обновления ковариации, тем самым улучшая численную устойчивость к ошибкам округления. Обновление может быть реализовано итеративно следующим образом:

$w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}$

$C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}$

${\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})$

где $\ell =1,2,\ldots ,m$, используя начальные значения $C_{e_{k+1}}^{(0)}=C_{e_{k}}$ и ${\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}$. Промежуточные переменные $C_{Z_{k+1}}^{(\ell )}$ это $\ell$-й диагональный элемент $m\times m$ диагональная матрица $C_{Z_{k+1}}$; пока $A_{k+1}^{(\ell )}$ это $\ell$-й ряд $m\times n$ матрица $A_{k+1}$. Окончательные значения $C_{e_{k+1}}^{(m)}=C_{e_{k+1}}$ и ${\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}$.

Примеры

Пример 1

возьмем задачу линейного прогнозирования В качестве примера . Пусть линейная комбинация наблюдаемых скалярных случайных величин $z_{1},z_{2}$ и $z_{3}$ использоваться для оценки другой будущей скалярной случайной величины $z_{4}$ такой, что ${\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}$. Если случайные величины $z=[z_{1},z_{2},z_{3},z_{4}]^{T}$ являются действительными гауссовскими случайными величинами с нулевым средним значением и ее ковариационной матрицей, заданной выражением

$\operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],$

тогда наша задача — найти коэффициенты $w_{i}$ такой, что он даст оптимальную линейную оценку ${\hat {z}}_{4}$.

Используя терминологию, развитую в предыдущих разделах, для этой задачи имеем вектор наблюдения $y=[z_{1},z_{2},z_{3}]^{T}$, матрица оценки $W=[w_{1},w_{2},w_{3}]$ как вектор-строка, а предполагаемая переменная $x=z_{4}$ как скалярная величина. Матрица автокорреляции $C_{Y}$ определяется как

$C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].$

Матрица взаимной корреляции $C_{YX}$ определяется как

$C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].$

Теперь решаем уравнение $C_{Y}W^{T}=C_{YX}$ путем инвертирования $C_{Y}$ и предварительно умножив, чтобы получить

$C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.$

Итак, у нас есть $w_{1}=2.57,$ $w_{2}=-0.142,$ и $w_{3}=.5714$как оптимальные коэффициенты для ${\hat {z}}_{4}$. Вычисление минимумасреднеквадратическая ошибка тогда дает $\left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857$. Обратите внимание, что нет необходимости получать явную матрицу, обратную матрице $C_{Y}$ чтобы вычислить значение $W$. Матричное уравнение можно решить хорошо известными методами, например методом исключения Гаусса. Более короткий нечисловой пример можно найти в принципе ортогональности .

Пример 2

Рассмотрим вектор $y$ формируется путем принятия $N$ наблюдения фиксированного, но неизвестного скалярного параметра $x$ нарушается белым гауссовским шумом. Мы можем описать процесс линейным уравнением $y=1x+z$, где $1=[1,1,\ldots ,1]^{T}$. В зависимости от контекста будет ясно, если $1$ представляет скаляр или вектор. Предположим, что мы знаем $[-x_{0},x_{0}]$ быть диапазоном, в котором значение $x$ упадет. Мы можем смоделировать нашу неопределенность $x$ априорным равномерным распределением на интервале $[-x_{0},x_{0}]$, и таким образом $x$ будет иметь дисперсию $\sigma _{X}^{2}=x_{0}^{2}/3.$. Пусть вектор шума $z$ нормально распределяться как $N(0,\sigma _{Z}^{2}I)$ где $I$ является единичной матрицей. Также $x$ и $z$ независимы и $C_{XZ}=0$. Это легко увидеть

${\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}$

Таким образом, линейная оценка MMSE имеет вид

${\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}$

Мы можем упростить выражение, используя альтернативную форму для $W$ как

${\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}$

где для $y=[y_{1},y_{2},\ldots ,y_{N}]^{T}$ у нас есть ${\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.$

Аналогично, дисперсия оценки равна

$\sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.$

Таким образом, MMSE этой линейной оценки равна

$\operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.$

Для очень больших $N$, мы видим, что MMSE-оценка скаляра с равномерным априорным распределением может быть аппроксимирована средним арифметическим всех наблюдаемых данных

${\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},$

в то время как на дисперсию не влияют данные $\sigma _{\hat {X}}^{2}=\sigma _{X}^{2},$ и LMMSE оценки будет стремиться к нулю.

Однако оценка неоптимальна, поскольку она ограничена линейностью. Если бы случайная величина $x$ также была гауссовой, то оценка была бы оптимальной. Заметим, что вид оценки останется неизменным независимо от априорного распределения $x$, при условии, что среднее значение и дисперсия этих распределений одинаковы.

Пример 3

Рассмотрим вариант приведенного выше примера: на выборах баллотируются два кандидата. Пусть доля голосов, которую получит кандидат в день выборов, равна $x\in [0,1].$ Таким образом, доля голосов, которую получит другой кандидат, будет равна $1-x.$ Мы возьмем $x$ как случайная величина с равномерным априорным распределением по $[0,1]$ так что его среднее значение равно ${\bar {x}}=1/2$ и дисперсия $\sigma _{X}^{2}=1/12.$ За несколько недель до выборов двумя разными социологическими центрами были проведены два независимых опроса общественного мнения. Первый опрос показал, что кандидат, скорее всего, получит $y_{1}$ доля голосов. Поскольку некоторая ошибка всегда присутствует из-за конечной выборки и конкретной принятой методологии опроса, первый опросник объявляет, что его оценка содержит ошибку. $z_{1}$ с нулевым средним и дисперсией $\sigma _{Z_{1}}^{2}.$ Аналогично, второй опросник заявляет, что их оценка равна $y_{2}$ с ошибкой $z_{2}$ с нулевым средним и дисперсией $\sigma _{Z_{2}}^{2}.$ Обратите внимание, что, за исключением среднего значения и дисперсии ошибки, распределение ошибок не указано. Как следует объединить два опроса, чтобы получить прогноз голосования для данного кандидата?

Как и в предыдущем примере, мы имеем

${\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}$

Здесь оба $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2$. Таким образом, мы можем получить оценку LMMSE как линейную комбинацию $y_{1}$ и $y_{2}$ как

${\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},$

где веса задаются выражением

${\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}$

Здесь, поскольку знаменатель постоянен, опросу с меньшей ошибкой присваивается больший вес, чтобы предсказать результат выборов. Наконец, дисперсия ${\hat {x}}$ дается

$\sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},$

что делает $\sigma _{\hat {X}}^{2}$ меньше, чем $\sigma _{X}^{2}.$ Таким образом, LMMSE определяется выражением

$\mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.$

В общем, если у нас есть $N$ опросы общественного мнения, затем ${\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},$ где вес i -го опроса определяется выражением $w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}$ и LMMSE определяется выражением $\mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

Пример 4

Предположим, что музыкант играет на инструменте и звук принимается двумя микрофонами, каждый из которых расположен в двух разных местах. Пусть затухание звука из-за расстояния у каждого микрофона будет $a_{1}$ и $a_{2}$, которые считаются известными константами. Аналогично, пусть шум каждого микрофона равен $z_{1}$ и $z_{2}$, каждый с нулевым средним значением и дисперсией $\sigma _{Z_{1}}^{2}$ и $\sigma _{Z_{2}}^{2}$ соответственно. Позволять $x$ обозначают звук, издаваемый музыкантом, который представляет собой случайную величину с нулевым средним значением и дисперсией $\sigma _{X}^{2}.$ Как объединить записанную музыку с этих двух микрофонов после синхронизации друг с другом?

Мы можем смоделировать звук, принимаемый каждым микрофоном, как

${\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}$

Здесь оба $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0$. Таким образом, мы можем объединить два звука как

$y=w_{1}y_{1}+w_{2}y_{2}$

где i -й вес задается как

$w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

См. также

• Байесовский оценщик
• Среднеквадратическая ошибка
• Наименьшие квадраты
• Несмещенная оценка с минимальной дисперсией (MVUE)
• Принцип ортогональности
• Венский фильтр
• Фильтр Калмана
• Линейное предсказание
• Эквалайзер с нулевым принуждением

Дальнейшее чтение

• Джонсон, Д. «Оценщики минимальной среднеквадратической ошибки» . Связи. Архивировано из Оценщиков минимальной среднеквадратической ошибки (оригинал) 25 июля 2008 года . Проверено 8 января 2013 г. {{cite web}}: Проверять |url= ценность ( помощь )
• Джейнс, ET (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN  978-0521592710 .
• Бибби, Дж.; Тутенбург, Х. (1977). Прогнозирование и улучшенная оценка в линейных моделях . Уайли. ISBN  9780471016564 .
• Леманн, Эль; Казелла, Г. (1998). «Глава 4». Теория точечной оценки (2-е изд.). Спрингер. ISBN  0-387-98502-6 .
• Кей, С.М. (1993). Основы статистической обработки сигналов: теория оценивания . Прентис Холл. стр. 344–350 . ISBN  0-13-042268-1 .
• Люенбергер, Д.Г. (1969). «Глава 4, Оценка методом наименьших квадратов». Оптимизация методами векторного пространства (1-е изд.). Уайли. ISBN  978-0471181170 .
• Мун, ТК; Стерлинг, WC (2000). Математические методы и алгоритмы обработки сигналов (1-е изд.). Прентис Холл. ISBN  978-0201361865 .
• Ван Трис, HL (1968). Теория обнаружения, оценки и модуляции, часть I. Нью-Йорк: Уайли. ISBN  0-471-09517-6 .
• Хайкин, С.О. (2013). Теория адаптивных фильтров (5-е изд.). Прентис Холл. ISBN  978-0132671453 .