Теорема Косамби–Карунена–Лёва

В теории случайных процессов применяется теорема Карунена-Лёва (названная в честь Кари Кархунена и Мишеля Лёва ), также известная как теорема Косамби-Карунена-Лёва. (после Дамодара Дхармананды Косамби ) утверждает, что случайный процесс может быть представлен как бесконечная линейная комбинация ортогональных функций , аналогично ряда Фурье представлению функции в виде на ограниченном интервале. Это преобразование также известно как преобразование Хотеллинга и преобразование собственного вектора и тесно связано с методом анализа главных компонент (PCA), широко используемым при обработке изображений и анализе данных во многих областях.

случайного процесса: если процесс проиндексирован по [ a , b ] , любой ортонормированный базис L Существует много таких расширений ² ([ a , b ]) дает его расширение в этой форме. Важность теоремы Карунена-Лоэва заключается в том, что она дает лучший такой базис в том смысле, что минимизирует общую среднеквадратическую ошибку .

В отличие от ряда Фурье, где коэффициенты являются фиксированными числами, а базис разложения состоит из синусоидальных функций (то есть функций синуса и косинуса ), коэффициенты в теореме Карунена-Лоэва являются случайными величинами , а базис разложения зависит от процесса. Фактически, ортогональные базисные функции, используемые в этом представлении, определяются ковариационной функцией процесса. Можно думать, что преобразование Карунена-Лоэва адаптируется к этому процессу, чтобы создать наилучшую возможную основу для его расширения.

В случае центрированного случайного процесса { X _t } _{t ∈ [ a , b ]} ( центрированное означает E [ X _t ] = 0 для всех t ∈ [ a , b ] ), удовлетворяющего техническим условиям непрерывности, X допускает разложение

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

где Z _k — попарно некоррелированные случайные величины, а функции ek _— непрерывные вещественнозначные функции на [ a , b ], попарно ортогональные в L ² ([ а , б ]) . Поэтому иногда говорят, что разложение биортогонально , поскольку случайные коэффициенты Z _k ортогональны в вероятностном пространстве, тогда как детерминированные функции e _k ортогональны во временной области. процесса X _t Общий случай нецентрированного можно свести к случаю центрированного процесса, рассмотрев X _t − E [ X _t ], который является центрированным процессом.

Более того, если процесс гауссов , то случайные величины Z _k гауссовы и стохастически независимы . Этот результат обобщает преобразование Карунена-Лёва . Важным примером центрированного реального случайного процесса на [0, 1] является винеровский процесс ; теорема Карунена-Лоэва может быть использована для обеспечения его канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.

Вышеупомянутое разложение на некоррелированные случайные величины также известно как расширение Карунена-Лоэва или разложение Карунена-Лоэва . Эмпирическая правильное ортогональное версия (т. е. с коэффициентами, вычисленными на основе выборки) известна как преобразование Карунена-Лоэва (KLT), анализ главных компонентов , разложение (POD) , эмпирические ортогональные функции (термин, используемый в метеорологии и геофизике ), или Хотеллинга преобразование .

Формулировка

• В этой статье мы будем рассматривать случайный процесс X _t, определенный в вероятностном пространстве (Ω, F , P ) и индексируемый на замкнутом интервале [ a , b ] , который интегрируем с квадратом , имеет нулевое среднее и с ковариацией. функция K _Икс ( s , т ) . Другими словами, мы имеем:

$\forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),\quad {\text{i.e. }}\mathbf {E} [X_{t}^{2}]<\infty ,$

$\forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,$

$\forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].$

Квадратно-интегрируемое условие $\mathbf {E} [X_{t}^{2}]<\infty$ логически эквивалентно $K_{X}(s,t)$ быть конечным для всех $s,t\in [a,b]$.

• Мы сопоставляем K _X линейный оператор (точнее, интегральный оператор Гильберта–Шмидта ) T _{K X,} определенный следующим образом:

${\begin{aligned}&T_{K_{X}}&:L^{2}([a,b])&\to L^{2}([a,b])\\&&:f\mapsto T_{K_{X}}f&=\int _{a}^{b}K_{X}(s,\cdot )f(s)\,ds\end{aligned}}$

Поскольку T _{K X} — линейный оператор, имеет смысл говорить о его собственных значениях λ _k и собственных функциях , _ek которые находятся из решения однородного интегрального уравнения Фредгольма второго рода

$\int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)$

Формулировка теоремы

Теорема . Пусть X _t — стохастический процесс, интегрируемый с нулевым средним квадратом, определенный в вероятностном пространстве (Ω, F , P ) и индексированный на замкнутом и ограниченном интервале [ a , b ], с непрерывной ковариационной функцией K _X ( s , t ). .

Тогда K _X ( s,t ) — ядро ​​Мерсера и пусть ek _— ортонормированный базис на L ² ([ a , b ]), образованная собственными функциями T _{K X} с соответствующими собственными значениями λ _k , X _t, допускает следующее представление

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

где сходимость находится в L ² , равномерный по t и

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

Кроме того, случайные величины Z _k имеют нулевое среднее, некоррелированы и имеют дисперсию λ _k

$\mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N}$

Обратите внимание, что с помощью обобщений теоремы Мерсера мы можем заменить интервал [ a , b ] другими компактами C а меру Лебега на [ a , b ] борелевской мерой, носителем которой является C. ,

Доказательство

• Ковариационная функция K _X удовлетворяет определению ядра Мерсера. По теореме Мерсера существует множество λk _{, следовательно ,} , ek _{образующих} ( t ) собственных значений и собственных функций T _{K X,} ортонормированный базис L ² ([ a , b ]) и K _X можно выразить как

$K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)$

• Процесс X _t можно разложить по собственным функциям e _k следующим образом:

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

где коэффициенты (случайные величины) Z _k задаются проекцией X _t на соответствующие собственные функции

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

• Затем мы можем вывести

${\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)\,dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)\,dt\right)\,ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)\,ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}$

где мы воспользовались тем, что e _k являются собственными функциями T _{K X} и ортонормированы.

• Покажем теперь, что сходимость находится в L ² . Позволять

$S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).$

Затем:

${\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{\ell }e_{k}(t)e_{\ell }(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)\,ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}$

которое стремится к 0 по теореме Мерсера.

Свойства преобразования Карунена–Лоэва

Особый случай: распределение Гаусса.

Поскольку предел среднего значения совместно гауссовских случайных величин является совместно гауссовским, а совместно гауссовские случайные (центрированные) переменные независимы тогда и только тогда, когда они ортогональны, мы также можем заключить:

Теорема . Переменные Z _i имеют совместное гауссово распределение и стохастически независимы, если исходный процесс { X _t } _t является гауссовским.

В гауссовском случае, поскольку переменные Z _i независимы, мы можем сказать больше:

$\lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )$

почти наверняка.

Преобразование Карунена-Лоэва декоррелирует процесс.

Это следствие независимости Z _k .

Разложение Карунена – Лоэва минимизирует общую среднеквадратическую ошибку.

Во введении мы упомянули, что усеченное разложение Карунена–Лоэва является лучшим приближением исходного процесса в том смысле, что оно уменьшает общую среднеквадратическую ошибку, возникающую в результате его усечения. Из-за этого свойства часто говорят, что преобразование КЛ оптимально уплотняет энергию.

Точнее, для любого ортонормированного базиса { f _k } L ² ([ a , b ]) мы можем разложить процесс X _t как:

$X_{t}(\omega )=\sum _{k=1}^{\infty }A_{k}(\omega )f_{k}(t)$

где

$A_{k}(\omega )=\int _{a}^{b}X_{t}(\omega )f_{k}(t)\,dt$

и мы можем аппроксимировать X _t конечной суммой

${\hat {X}}_{t}(\omega )=\sum _{k=1}^{N}A_{k}(\omega )f_{k}(t)$

для некоторого целого N. числа

Требовать . Из всех подобных приближений приближение КЛ минимизирует общую среднеквадратическую ошибку (при условии, что мы расположили собственные значения в порядке убывания).

Доказательство

Рассмотрим ошибку, возникающую в результате усечения N -го члена в следующем ортонормированном разложении:

$\varepsilon _{N}(t)=\sum _{k=N+1}^{\infty }A_{k}(\omega )f_{k}(t)$

Среднеквадратическая ошибка ε _N ² ( t ) можно записать как:

${\begin{aligned}\varepsilon _{N}^{2}(t)&=\mathbf {E} \left[\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }A_{i}(\omega )A_{j}(\omega )f_{i}(t)f_{j}(t)\right]\\&=\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}f_{i}(t)f_{j}(s)\,ds\,dt\right]f_{i}(t)f_{j}(t)\\&=\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }f_{i}(t)f_{j}(t)\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{i}(t)f_{j}(s)\,ds\,dt\end{aligned}}$

Затем мы интегрируем это последнее равенство по [ a , b ]. Ортонормальность f _k дает:

$\int _{a}^{b}\varepsilon _{N}^{2}(t)\,dt=\sum _{k=N+1}^{\infty }\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{k}(t)f_{k}(s)\,ds\,dt$

задача минимизации общей среднеквадратической ошибки сводится к минимизации правой части этого равенства при условии fk _{Таким образом ,} нормализации . Поэтому мы вводим β _k , множители Лагранжа, связанные с этими ограничениями, и стремимся минимизировать следующую функцию:

$Er[f_{k}(t),k\in \{N+1,\ldots \}]=\sum _{k=N+1}^{\infty }\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{k}(t)f_{k}(s)\,ds\,dt-\beta _{k}\left(\int _{a}^{b}f_{k}(t)f_{k}(t)\,dt-1\right)$

Дифференцирование по f _i ( t ) (это функциональная производная ) и присвоение производной значения 0 дает:

${\frac {\partial Er}{\partial f_{i}(t)}}=\int _{a}^{b}\left(\int _{a}^{b}K_{X}(s,t)f_{i}(s)\,ds-\beta _{i}f_{i}(t)\right)\,dt=0$

которое выполняется, в частности, когда

$\int _{a}^{b}K_{X}(s,t)f_{i}(s)\,ds=\beta _{i}f_{i}(t).$

Другими словами, когда f _k выбираются в качестве собственных функций T _{K X} , что приводит к разложению KL.

Объясненная дисперсия

Важным наблюдением является то, что, поскольку случайные коэффициенты Z _k разложения КЛ некоррелированы, формула Бьенеме утверждает, что дисперсия X _t представляет собой просто сумму дисперсий отдельных компонентов суммы:

$\operatorname {var} [X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}\operatorname {var} [Z_{k}]=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}$

Интегрируя по [ a , b ] и используя ортонормированность ek , _{мы получаем ,} что полная дисперсия процесса равна:

$\int _{a}^{b}\operatorname {var} [X_{t}]\,dt=\sum _{k=1}^{\infty }\lambda _{k}$

В частности, полная дисперсия N -усеченного приближения равна

$\sum _{k=1}^{N}\lambda _{k}.$

В результате N -усеченное разложение объясняет

${\frac {\sum _{k=1}^{N}\lambda _{k}}{\sum _{k=1}^{\infty }\lambda _{k}}}$

дисперсии; и если мы довольствуемся приближением, которое объясняет, скажем, 95% дисперсии, то нам просто нужно определить $N\in \mathbb {N}$ такой, что

${\frac {\sum _{k=1}^{N}\lambda _{k}}{\sum _{k=1}^{\infty }\lambda _{k}}}\geq 0.95.$

Расширение Карунена-Лоэва обладает свойством минимальной энтропии представления.

Учитывая представление $X_{t}=\sum _{k=1}^{\infty }W_{k}\varphi _{k}(t)$, для некоторого ортонормированного базиса $\varphi _{k}(t)$ и случайный $W_{k}$, мы позволяем $p_{k}=\mathbb {E} [|W_{k}|^{2}]/\mathbb {E} [|X_{t}|_{L^{2}}^{2}]$, так что $\sum _{k=1}^{\infty }p_{k}=1$. представления Затем мы можем определить энтропию как $H(\{\varphi _{k}\})=-\sum _{i}p_{k}\log(p_{k})$. Тогда у нас есть $H(\{\varphi _{k}\})\geq H(\{e_{k}\})$, для всех вариантов $\varphi _{k}$. То есть KL-расширение имеет минимальную энтропию представления.

Доказательство:

Обозначим коэффициенты, полученные для базиса $e_{k}(t)$ как $p_{k}$и для $\varphi _{k}(t)$ как $q_{k}$.

Выбирать $N\geq 1$. Обратите внимание, что поскольку $e_{k}$ минимизирует среднеквадратическую ошибку, мы имеем, что

$\mathbb {E} \left|\sum _{k=1}^{N}Z_{k}e_{k}(t)-X_{t}\right|_{L^{2}}^{2}\leq \mathbb {E} \left|\sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right|_{L^{2}}^{2}$

Разложив правую руку по размеру, получим:

$\mathbb {E} \left|\sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right|_{L^{2}}^{2}=\mathbb {E} |X_{t}^{2}|_{L^{2}}+\sum _{k=1}^{N}\sum _{\ell =1}^{N}\mathbb {E} [W_{\ell }\varphi _{\ell }(t)W_{k}^{*}\varphi _{k}^{*}(t)]_{L^{2}}-\sum _{k=1}^{N}\mathbb {E} [W_{k}\varphi _{k}X_{t}^{*}]_{L^{2}}-\sum _{k=1}^{N}\mathbb {E} [X_{t}W_{k}^{*}\varphi _{k}^{*}(t)]_{L^{2}}$

Используя ортонормированность $\varphi _{k}(t)$и расширение $X_{t}$ в $\varphi _{k}(t)$ исходя из этого, мы получаем, что размер правой руки равен:

$\mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|W_{k}|^{2}]$

Мы можем провести идентичный анализ для $e_{k}(t)$, и поэтому перепишем приведенное выше неравенство как:

${\displaystyle \mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|Z_{k}|^{2}]}\leq {\displaystyle \mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|W_{k}|^{2}]}$

Вычитая общий первый член и деля на $\mathbb {E} [|X_{t}|_{L^{2}}^{2}]$, мы получаем, что:

$\sum _{k=1}^{N}p_{k}\geq \sum _{k=1}^{N}q_{k}$

Это подразумевает, что:

$-\sum _{k=1}^{\infty }p_{k}\log(p_{k})\leq -\sum _{k=1}^{\infty }q_{k}\log(q_{k})$

Линейные приближения Карунена – Лёва

Рассмотрим целый класс сигналов, которые мы хотим аппроксимировать по первым M векторам базиса. Эти сигналы моделируются как реализации случайного вектора Y [ n ] размера N . Для оптимизации аппроксимации мы разрабатываем базис, который минимизирует среднюю ошибку аппроксимации. В этом разделе доказывается, что оптимальными базами являются базы Карунена–Лёве, которые диагонализуют ковариационную матрицу Y . Случайный вектор Y можно разложить по ортогональному базису.

$\left\{g_{m}\right\}_{0\leq m\leq N}$

следующее:

$Y=\sum _{m=0}^{N-1}\left\langle Y,g_{m}\right\rangle g_{m},$

где каждый

$\left\langle Y,g_{m}\right\rangle =\sum _{n=0}^{N-1}{Y[n]}g_{m}^{*}[n]$

является случайной величиной. Аппроксимация по первым M ≤ N векторам базиса имеет вид

$Y_{M}=\sum _{m=0}^{M-1}\left\langle Y,g_{m}\right\rangle g_{m}$

Сохранение энергии в ортогональном базисе подразумевает

$\varepsilon [M]=\mathbf {E} \left\{\left\|Y-Y_{M}\right\|^{2}\right\}=\sum _{m=M}^{N-1}\mathbf {E} \left\{\left|\left\langle Y,g_{m}\right\rangle \right|^{2}\right\}$

Эта ошибка связана с ковариацией Y, определяемой формулой

$R[n,m]=\mathbf {E} \left\{Y[n]Y^{*}[m]\right\}$

Для любого вектора x [ n ] мы обозначаем K ковариационный оператор, представленный этой матрицей,

$\mathbf {E} \left\{\left|\langle Y,x\rangle \right|^{2}\right\}=\langle Kx,x\rangle =\sum _{n=0}^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]$

Таким образом, ошибка ε [ M ] представляет собой сумму последних N − M коэффициентов ковариационного оператора.

$\varepsilon [M]=\sum _{m=M}^{N-1}{\left\langle Kg_{m},g_{m}\right\rangle }$

Ковариационный оператор K является эрмитовым и положительным и, таким образом, диагонализуется в ортогональном базисе, называемом базисом Карунена – Лёве. Следующая теорема утверждает, что базис Карунена – Лёве оптимален для линейных приближений.

Теорема (оптимальность базиса Карунена–Лёва). Пусть K — ковариационный оператор. Для всех M ≥ 1 ошибка аппроксимации

$\varepsilon [M]=\sum _{m=M}^{N-1}\left\langle Kg_{m},g_{m}\right\rangle$

минимально тогда и только тогда, когда

$\left\{g_{m}\right\}_{0\leq m<N}$

представляет собой базис Карунена–Лёве, упорядоченный по убыванию собственных значений.

$\left\langle Kg_{m},g_{m}\right\rangle \geq \left\langle Kg_{m+1},g_{m+1}\right\rangle ,\qquad 0\leq m<N-1.$

Нелинейная аппроксимация в базисах

проецируют сигнал на M Линейные аппроксимации априори векторов. Аппроксимацию можно уточнить, выбрав M ортогональных векторов в зависимости от свойств сигнала. В этом разделе анализируется общая эффективность этих нелинейных аппроксимаций. Сигнал $f\in \mathrm {H}$ аппроксимируется M векторами, выбранными адаптивно в ортонормированном базисе для $\mathrm {H}$

$\mathrm {B} =\left\{g_{m}\right\}_{m\in \mathbb {N} }$

Позволять $f_{M}$ — проекция f на M векторов, индексы которых находятся в I _M :

$f_{M}=\sum _{m\in I_{M}}\left\langle f,g_{m}\right\rangle g_{m}$

Ошибка аппроксимации равна сумме остальных коэффициентов

$\varepsilon [M]=\left\{\left\|f-f_{M}\right\|^{2}\right\}=\sum _{m\notin I_{M}}^{N-1}\left\{\left|\left\langle f,g_{m}\right\rangle \right|^{2}\right\}$

Чтобы минимизировать эту ошибку, индексы в I _M должны соответствовать векторам M, имеющим наибольшую амплитуду внутреннего продукта.

$\left|\left\langle f,g_{m}\right\rangle \right|.$

Это векторы, которые лучше всего коррелируют f. Таким образом, их можно интерпретировать как основные черты f. Результирующая ошибка обязательно меньше, чем ошибка линейной аппроксимации, которая выбирает M векторов аппроксимации независимо от f. Давайте сортировать

$\left\{\left|\left\langle f,g_{m}\right\rangle \right|\right\}_{m\in \mathbb {N} }$

в порядке убывания

$\left|\left\langle f,g_{m_{k}}\right\rangle \right|\geq \left|\left\langle f,g_{m_{k+1}}\right\rangle \right|.$

Наилучшим нелинейным приближением является

$f_{M}=\sum _{k=1}^{M}\left\langle f,g_{m_{k}}\right\rangle g_{m_{k}}$

Это также можно записать как определение порога внутреннего продукта:

$f_{M}=\sum _{m=0}^{\infty }\theta _{T}\left(\left\langle f,g_{m}\right\rangle \right)g_{m}$

с

$T=\left|\left\langle f,g_{m_{M}}\right\rangle \right|,\qquad \theta _{T}(x)={\begin{cases}x&|x|\geq T\\0&|x|<T\end{cases}}$

Нелинейная ошибка

$\varepsilon [M]=\left\{\left\|f-f_{M}\right\|^{2}\right\}=\sum _{k=M+1}^{\infty }\left\{\left|\left\langle f,g_{m_{k}}\right\rangle \right|^{2}\right\}$

эта ошибка быстро стремится к нулю по мере увеличения M, если отсортированные значения $\left|\left\langle f,g_{m_{k}}\right\rangle \right|$ имеют быстрый спад с увеличением k. Этот распад количественно определяется путем вычисления $\mathrm {I} ^{\mathrm {P} }$ норма внутренних продуктов сигнала в B:

$\|f\|_{\mathrm {B} ,p}=\left(\sum _{m=0}^{\infty }\left|\left\langle f,g_{m}\right\rangle \right|^{p}\right)^{\frac {1}{p}}$

Следующая теорема связывает распад ε [ M ] с $\|f\|_{\mathrm {B} ,p}$

Теорема (затухание погрешности). Если $\|f\|_{\mathrm {B} ,p}<\infty$ при p < 2 тогда

$\varepsilon [M]\leq {\frac {\|f\|_{\mathrm {B} ,p}^{2}}{{\frac {2}{p}}-1}}M^{1-{\frac {2}{p}}}$

и

$\varepsilon [M]=o\left(M^{1-{\frac {2}{p}}}\right).$

И наоборот, если $\varepsilon [M]=o\left(M^{1-{\frac {2}{p}}}\right)$ затем

$\|f\|_{\mathrm {B} ,q}<\infty$ для любого q > p .

Неоптимальность базисов Карунена – Лоэва.

Чтобы дополнительно проиллюстрировать различия между линейными и нелинейными аппроксимациями, мы изучаем разложение простого негауссовского случайного вектора в базисе Карунена-Лоэва. Процессы, реализации которых имеют случайный сдвиг, являются стационарными. Тогда базис Карунена-Лоэва является базисом Фурье, и мы изучаем его характеристики. Чтобы упростить анализ, рассмотрим случайный вектор Y [ n ] размера N , который представляет собой случайный сдвиг по модулю N детерминированного сигнала f [ n ] с нулевым средним значением.

$\sum _{n=0}^{N-1}f[n]=0$

$Y[n]=f[(n-p){\bmod {N}}]$

Случайный сдвиг P равномерно распределен на [0, N − 1]:

$\Pr(P=p)={\frac {1}{N}},\qquad 0\leq p<N$

Четко

$\mathbf {E} \{Y[n]\}={\frac {1}{N}}\sum _{p=0}^{N-1}f[(n-p){\bmod {N}}]=0$

и

$R[n,k]=\mathbf {E} \{Y[n]Y[k]\}={\frac {1}{N}}\sum _{p=0}^{N-1}f[(n-p){\bmod {N}}]f[(k-p){\bmod {N}}]={\frac {1}{N}}f\Theta {\bar {f}}[n-k],\quad {\bar {f}}[n]=f[-n]$

Следовательно

$R[n,k]=R_{Y}[n-k],\qquad R_{Y}[k]={\frac {1}{N}}f\Theta {\bar {f}}[k]$

Поскольку _RY является N-периодическим, Y — круговой стационарный случайный вектор. Ковариационный оператор представляет собой круговую свертку с R _Y и поэтому диагонализуется в дискретном базисе Фурье Карунена – Лоэва.

$\left\{{\frac {1}{\sqrt {N}}}e^{i2\pi mn/N}\right\}_{0\leq m<N}.$

Спектр мощности представляет собой преобразование RY _Фурье :

$P_{Y}[m]={\hat {R}}_{Y}[m]={\frac {1}{N}}\left|{\hat {f}}[m]\right|^{2}$

Пример: рассмотрим крайний случай, когда $f[n]=\delta [n]-\delta [n-1]$. Изложенная выше теорема гарантирует, что базис Фурье Карунена – Лоэва дает меньшую ожидаемую ошибку аппроксимации, чем канонический базис Дирака. $\left\{g_{m}[n]=\delta [n-m]\right\}_{0\leq m<N}$. Действительно, мы априори не знаем абсциссы ненулевых коэффициентов Y , поэтому не существует конкретного Дирака, который был бы лучше приспособлен для выполнения аппроксимации. Но векторы Фурье покрывают всю основу Y и таким образом поглощают часть энергии сигнала.

$\mathbf {E} \left\{\left|\left\langle Y[n],{\frac {1}{\sqrt {N}}}e^{i2\pi mn/N}\right\rangle \right|^{2}\right\}=P_{Y}[m]={\frac {4}{N}}\sin ^{2}\left({\frac {\pi k}{N}}\right)$

Выбор более высокочастотных коэффициентов Фурье дает лучшее среднеквадратичное приближение, чем априорный выбор нескольких векторов Дирака для выполнения аппроксимации. Совершенно иная ситуация наблюдается в нелинейных приближениях. Если $f[n]=\delta [n]-\delta [n-1]$ тогда дискретный базис Фурье крайне неэффективен, потому что f и, следовательно, Y имеют энергию, которая почти равномерно распределена среди всех векторов Фурье. Напротив, поскольку f имеет только два ненулевых коэффициента в базисе Дирака, нелинейная аппроксимация Y с M ≥ 2 дает нулевую ошибку.

Анализ главных компонентов

Основная статья: Анализ главных компонентов

Мы установили теорему Карунена–Лоэва и вывели некоторые ее свойства. Мы также отметили, что одним из препятствий в его применении были численные затраты на определение собственных значений и собственных функций его ковариационного оператора с помощью интегрального уравнения Фредгольма второго рода.

$\int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t).$

Однако применительно к дискретному и конечному процессу $\left(X_{n}\right)_{n\in \{1,\ldots ,N\}}$, проблема принимает гораздо более простую форму, и для выполнения вычислений можно использовать стандартную алгебру.

Обратите внимание, что непрерывный процесс также может быть выбран в N моментах времени, чтобы свести проблему к конечной версии.

В дальнейшем мы рассматриваем случайный N -мерный вектор $X=\left(X_{1}~X_{2}~\ldots ~X_{N}\right)^{T}$. Как упоминалось выше, X может содержать N выборок сигнала, но может содержать и гораздо больше представлений в зависимости от области применения. Например, это могут быть ответы на опрос или экономические данные эконометрического анализа.

Как и в непрерывной версии, мы предполагаем, что X центрировано, в противном случае мы можем положить $X:=X-\mu _{X}$ (где $\mu _{X}$ — средний вектор X ) , который центрирован.

Адаптируем процедуру к дискретному случаю.

Ковариационная матрица

Напомним, что основным следствием и сложностью преобразования КЛ является вычисление собственных векторов линейного оператора, связанного с ковариационной функцией, которые задаются решениями написанного выше интегрального уравнения.

Определите Σ, ковариационную матрицу X , как матрицу размера N × N, элементы которой задаются формулой:

$\Sigma _{ij}=\mathbf {E} [X_{i}X_{j}],\qquad \forall i,j\in \{1,\ldots ,N\}$

Переписав приведенное выше интегральное уравнение для дискретного случая, мы заметим, что оно превращается в:

$\sum _{j=1}^{N}\Sigma _{ij}e_{j}=\lambda e_{i}\quad \Leftrightarrow \quad \Sigma e=\lambda e$

где $e=(e_{1}~e_{2}~\ldots ~e_{N})^{T}$ является N -мерным вектором.

Таким образом, интегральное уравнение сводится к простой матричной проблеме собственных значений, что объясняет, почему PCA имеет такую ​​широкую область применения.

Поскольку Σ — положительно определенная симметричная матрица, она обладает набором ортонормированных собственных векторов, образующих базис $\mathbb {R} ^{N}$, и мы пишем $\{\lambda _{i},\varphi _{i}\}_{i\in \{1,\ldots ,N\}}$ этот набор собственных значений и соответствующих собственных векторов, перечисленных в убывающих значениях λ _i . Пусть также Φ — ортонормированная матрица, состоящая из этих собственных векторов:

${\begin{aligned}\Phi &:=\left(\varphi _{1}~\varphi _{2}~\ldots ~\varphi _{N}\right)^{T}\\\Phi ^{T}\Phi &=I\end{aligned}}$

Преобразование главного компонента

Осталось выполнить фактическое преобразование KL, называемое в данном случае преобразованием главного компонента . Напомним, что преобразование было найдено путем расширения процесса по базису, натянутому на собственные векторы ковариационной функции. Таким образом, в данном случае мы имеем:

$X=\sum _{i=1}^{N}\langle \varphi _{i},X\rangle \varphi _{i}=\sum _{i=1}^{N}\varphi _{i}^{T}X\varphi _{i}$

В более компактной форме преобразование главного компонента X определяется следующим образом:

${\begin{cases}Y=\Phi ^{T}X\\X=\Phi Y\end{cases}}$

й компонент i - Y равен $Y_{i}=\varphi _{i}^{T}X$, проекция X на $\varphi _{i}$ а обратное преобразование X = Φ Y дает разложение X в пространстве, охватываемом $\varphi _{i}$:

$X=\sum _{i=1}^{N}Y_{i}\varphi _{i}=\sum _{i=1}^{N}\langle \varphi _{i},X\rangle \varphi _{i}$

Как и в непрерывном случае, мы можем уменьшить размерность задачи, усекая сумму в некоторой точке. $K\in \{1,\ldots ,N\}$ такой, что

${\frac {\sum _{i=1}^{K}\lambda _{i}}{\sum _{i=1}^{N}\lambda _{i}}}\geq \alpha$

где α — объясненный порог дисперсии, который мы хотим установить.

Мы также можем уменьшить размерность за счет использования многоуровневой оценки доминантного собственного вектора (MDEE).

Примеры

Винеровский процесс

Существует множество эквивалентных характеристик винеровского процесса , который представляет собой математическую формализацию броуновского движения . Здесь мы рассматриваем его как центрированный стандартный гауссов процесс W _t с ковариационной функцией

$K_{W}(t,s)=\operatorname {cov} (W_{t},W_{s})=\min(s,t).$

Мы ограничиваем временную область до [ a , b ]=[0,1] без потери общности.

Собственные векторы ковариационного ядра легко определяются. Это

$e_{k}(t)={\sqrt {2}}\sin \left(\left(k-{\tfrac {1}{2}}\right)\pi t\right)$

и соответствующие собственные значения равны

$\lambda _{k}={\frac {1}{(k-{\frac {1}{2}})^{2}\pi ^{2}}}.$

Доказательство

Для того чтобы найти собственные значения и собственные векторы, нам необходимо решить интегральное уравнение:

${\begin{aligned}\int _{a}^{b}K_{W}(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{1}\min(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{t}se(s)\,ds+t\int _{t}^{1}e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\end{aligned}}$

дифференцирование один раз по t дает:

$\int _{t}^{1}e(s)\,ds=\lambda e'(t)$

второе дифференцирование дает следующее дифференциальное уравнение:

$-e(t)=\lambda e''(t)$

Общее решение которого имеет вид:

$e(t)=A\sin \left({\frac {t}{\sqrt {\lambda }}}\right)+B\cos \left({\frac {t}{\sqrt {\lambda }}}\right)$

где A и B — две константы, которые необходимо определить с помощью граничных условий. Установка t = 0 в исходном интегральном уравнении дает e (0) = 0, что означает, что B = 0, и аналогично, установка t = 1 в первом дифференцировании дает e' (1) = 0, откуда:

$\cos \left({\frac {1}{\sqrt {\lambda }}}\right)=0$

что, в свою очередь, означает, что собственные значения T _{K X} :

$\lambda _{k}=\left({\frac {1}{(k-{\frac {1}{2}})\pi }}\right)^{2},\qquad k\geq 1$

Таким образом, соответствующие собственные функции имеют вид:

$e_{k}(t)=A\sin \left((k-{\frac {1}{2}})\pi t\right),\qquad k\geq 1$

Затем A выбирается так, чтобы нормализовать e _k :

$\int _{0}^{1}e_{k}^{2}(t)\,dt=1\quad \implies \quad A={\sqrt {2}}$

Это дает следующее представление винеровского процесса:

Теорема . Существует последовательность { Z _i } _i независимых гауссовских случайных величин со средним нулем и дисперсией 1 такая, что

$W_{t}={\sqrt {2}}\sum _{k=1}^{\infty }Z_{k}{\frac {\sin \left(\left(k-{\frac {1}{2}}\right)\pi t\right)}{\left(k-{\frac {1}{2}}\right)\pi }}.$

Обратите внимание, что это представление справедливо только для $t\in [0,1].$ На больших интервалах приращения не являются независимыми. Как утверждается в теореме, сходимость происходит в L ² норма и равномерность по t .

Броуновский мост

Аналогично броуновский мост $B_{t}=W_{t}-tW_{1}$ который представляет собой случайный процесс с ковариационной функцией

$K_{B}(t,s)=\min(t,s)-ts$

можно представить в виде ряда

$B_{t}=\sum _{k=1}^{\infty }Z_{k}{\frac {{\sqrt {2}}\sin(k\pi t)}{k\pi }}$

Приложения

Системы адаптивной оптики иногда используют функции K–L для восстановления информации о фазе волнового фронта (Dai 1996, JOSA A). Расширение Карунена-Лоэва тесно связано с разложением по сингулярным значениям . Последний имеет множество применений в обработке изображений, радиолокации, сейсмологии и т.п. Если у вас есть независимые векторные наблюдения из векторного стохастического процесса, то левые сингулярные векторы являются оценками максимального правдоподобия расширения ансамбля KL.

Приложения для оценки и обнаружения сигналов

Обнаружение известного непрерывного сигнала S ( t )

В общении нам обычно приходится решать, содержит ли сигнал из зашумленного канала ценную информацию. Следующая проверка гипотезы используется для обнаружения непрерывного сигнала s ( t ) с выхода канала. X ( t ), N ( t ) — это шум канала, который обычно считается нулевым средним гауссовским процессом с корреляционной функцией. $R_{N}(t,s)=E[N(t)N(s)]$

$H:X(t)=N(t),$

$K:X(t)=N(t)+s(t),\quad t\in (0,T)$

Обнаружение сигнала в белом шуме

Когда шум канала белый, его корреляционная функция равна

$R_{N}(t)={\tfrac {1}{2}}N_{0}\delta (t),$

и он имеет постоянную спектральную плотность мощности. В физически практическом канале мощность шума конечна, поэтому:

$S_{N}(f)={\begin{cases}{\frac {N_{0}}{2}}&|f|<w\\0&|f|>w\end{cases}}$

Тогда корреляционная функция шума представляет собой функцию sinc с нулями в точке ${\frac {n}{2\omega }},n\in \mathbf {Z} .$ Поскольку они некоррелированы и гауссовы, они независимы. Таким образом, мы можем брать образцы из X ( t ) с интервалом во времени.

$\Delta t={\frac {n}{2\omega }}{\text{ within }}(0,''T'').$

Позволять $X_{i}=X(i\,\Delta t)$. У нас есть всего $n={\frac {T}{\Delta t}}=T(2\omega )=2\omega T$ иид наблюдения $\{X_{1},X_{2},\ldots ,X_{n}\}$ разработать тест отношения правдоподобия. Определить сигнал $S_{i}=S(i\,\Delta t)$, проблема становится,

$H:X_{i}=N_{i},$

$K:X_{i}=N_{i}+S_{i},i=1,2,\ldots ,n.$

Логарифмическое отношение правдоподобия

${\mathcal {L}}({\underline {x}})=\log {\frac {\sum _{i=1}^{n}(2S_{i}x_{i}-S_{i}^{2})}{2\sigma ^{2}}}\Leftrightarrow \Delta t\sum _{i=1}^{n}S_{i}x_{i}=\sum _{i=1}^{n}S(i\,\Delta t)x(i\,\Delta t)\,\Delta t\gtrless \lambda _{\cdot }2$

При t → 0 пусть:

$G=\int _{0}^{T}S(t)x(t)\,dt.$

Тогда G — это статистика теста, а оптимальный детектор Неймана – Пирсона равен

$G({\underline {x}})>G_{0}\Rightarrow K<G_{0}\Rightarrow H.$

Поскольку G является гауссовой, мы можем охарактеризовать ее, найдя ее среднее значение и дисперсии. Тогда мы получим

$H:G\sim N\left(0,{\tfrac {1}{2}}N_{0}E\right)$

$K:G\sim N\left(E,{\tfrac {1}{2}}N_{0}E\right)$

где

$\mathbf {E} =\int _{0}^{T}S^{2}(t)\,dt$

– энергия сигнала.

Ошибка ложной тревоги

$\alpha =\int _{G_{0}}^{\infty }N\left(0,{\tfrac {1}{2}}N_{0}E\right)\,dG\Rightarrow G_{0}={\sqrt {{\tfrac {1}{2}}N_{0}E}}\Phi ^{-1}(1-\alpha )$

И вероятность обнаружения:

$\beta =\int _{G_{0}}^{\infty }N\left(E,{\tfrac {1}{2}}N_{0}E\right)\,dG=1-\Phi \left({\frac {G_{0}-E}{\sqrt {{\tfrac {1}{2}}N_{0}E}}}\right)=\Phi \left({\sqrt {\frac {2E}{N_{0}}}}-\Phi ^{-1}(1-\alpha )\right),$

где Φ — функция распределения стандартной нормальной или гауссовой переменной.

Обнаружение сигнала в цветном шуме

Когда N(t) окрашено (коррелировано по времени), гауссов шум с нулевым средним и ковариационной функцией $R_{N}(t,s)=E[N(t)N(s)],$ мы не можем выбирать независимые дискретные наблюдения, равномерно распределяя время. Вместо этого мы можем использовать расширение K – L, чтобы декоррелировать шумовой процесс и получить независимые «выборки» гауссовских наблюдений. K-L-разложение N ( t ):

$N(t)=\sum _{i=1}^{\infty }N_{i}\Phi _{i}(t),\quad 0<t<T,$

где $N_{i}=\int N(t)\Phi _{i}(t)\,dt$ и ортонормированные базисы $\{\Phi _{i}{t}\}$ генерируются ядром $R_{N}(t,s)$, то есть решение

$\int _{0}^{T}R_{N}(t,s)\Phi _{i}(s)\,ds=\lambda _{i}\Phi _{i}(t),\quad \operatorname {var} [N_{i}]=\lambda _{i}.$

Сделайте расширение:

$S(t)=\sum _{i=1}^{\infty }S_{i}\Phi _{i}(t),$

где $S_{i}=\int _{0}^{T}S(t)\Phi _{i}(t)\,dt$, затем

$X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t)\,dt=N_{i}$

под H и $N_{i}+S_{i}$ под К. Пусть ${\overline {X}}=\{X_{1},X_{2},\dots \}$, у нас есть

$N_{i}$ являются независимыми гауссовскими случайными величинами с дисперсией $\lambda _{i}$

под Н: $\{X_{i}\}$ являются независимыми гауссовскими с.в.

$f_{H}[x(t)|0<t<T]=f_{H}({\underline {x}})=\prod _{i=1}^{\infty }{\frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {x_{i}^{2}}{2\lambda _{i}}}\right)$

под К: $\{X_{i}-S_{i}\}$ являются независимыми гауссовскими с.в.

$f_{K}[x(t)\mid 0<t<T]=f_{K}({\underline {x}})=\prod _{i=1}^{\infty }{\frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {(x_{i}-S_{i})^{2}}{2\lambda _{i}}}\right)$

Следовательно, log-LR определяется выражением

${\mathcal {L}}({\underline {x}})=\sum _{i=1}^{\infty }{\frac {2S_{i}x_{i}-S_{i}^{2}}{2\lambda _{i}}}$

и оптимальный детектор

$G=\sum _{i=1}^{\infty }S_{i}x_{i}\lambda _{i}>G_{0}\Rightarrow K,<G_{0}\Rightarrow H.$

Определять

$k(t)=\sum _{i=1}^{\infty }\lambda _{i}S_{i}\Phi _{i}(t),0<t<T,$

затем $G=\int _{0}^{T}k(t)x(t)\,dt.$

Как найти k ( t )

С

$\int _{0}^{T}R_{N}(t,s)k(s)\,ds=\sum _{i=1}^{\infty }\lambda _{i}S_{i}\int _{0}^{T}R_{N}(t,s)\Phi _{i}(s)\,ds=\sum _{i=1}^{\infty }S_{i}\Phi _{i}(t)=S(t),$

k(t) — решение

$\int _{0}^{T}R_{N}(t,s)k(s)\,ds=S(t).$

Если N ( t ) стационарен в широком смысле,

$\int _{0}^{T}R_{N}(t-s)k(s)\,ds=S(t),$

которое известно как уравнение Винера–Хопфа . Уравнение можно решить с помощью преобразования Фурье, но это практически неосуществимо, поскольку бесконечный спектр требует пространственной факторизации. Особый случай, который легко вычислить k ( t ), — это белый гауссов шум.

$\int _{0}^{T}{\frac {N_{0}}{2}}\delta (t-s)k(s)\,ds=S(t)\Rightarrow k(t)=CS(t),\quad 0<t<T.$

Соответствующая импульсная характеристика равна часу ( т ) = k ( Т - т ) = CS ( Т - т ). Пусть C = 1, это как раз тот результат, к которому мы пришли в предыдущем разделе для обнаружения сигнала в белом шуме.

Порог тестирования для детектора Неймана – Пирсона

Поскольку X(t) — гауссов процесс,

$G=\int _{0}^{T}k(t)x(t)\,dt,$

— это гауссова случайная величина, которую можно охарактеризовать средним значением и дисперсией.

${\begin{aligned}\mathbf {E} [G\mid H]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid H]\,dt=0\\\mathbf {E} [G\mid K]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid K]\,dt=\int _{0}^{T}k(t)S(t)\,dt\equiv \rho \\\mathbf {E} [G^{2}\mid H]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)R_{N}(t,s)\,dt\,ds=\int _{0}^{T}k(t)\left(\int _{0}^{T}k(s)R_{N}(t,s)\,ds\right)=\int _{0}^{T}k(t)S(t)\,dt=\rho \\\operatorname {var} [G\mid H]&=\mathbf {E} [G^{2}\mid H]-(\mathbf {E} [G\mid H])^{2}=\rho \\\mathbf {E} [G^{2}\mid K]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)\mathbf {E} [x(t)x(s)]\,dt\,ds=\int _{0}^{T}\int _{0}^{T}k(t)k(s)(R_{N}(t,s)+S(t)S(s))\,dt\,ds=\rho +\rho ^{2}\\\operatorname {var} [G\mid K]&=\mathbf {E} [G^{2}|K]-(\mathbf {E} [G|K])^{2}=\rho +\rho ^{2}-\rho ^{2}=\rho \end{aligned}}$

Следовательно, мы получаем распределения H и K :

$H:G\sim N(0,\rho )$

$K:G\sim N(\rho ,\rho )$

Ошибка ложной тревоги – это

$\alpha =\int _{G_{0}}^{\infty }N(0,\rho )\,dG=1-\Phi \left({\frac {G_{0}}{\sqrt {\rho }}}\right).$

Таким образом, порог тестирования оптимального детектора Неймана – Пирсона равен

$G_{0}={\sqrt {\rho }}\Phi ^{-1}(1-\alpha ).$

Его способность обнаружения

$\beta =\int _{G_{0}}^{\infty }N(\rho ,\rho )\,dG=\Phi \left({\sqrt {\rho }}-\Phi ^{-1}(1-\alpha )\right)$

Когда шум представляет собой белый гауссовский процесс, мощность сигнала равна

$\rho =\int _{0}^{T}k(t)S(t)\,dt=\int _{0}^{T}S(t)^{2}\,dt=E.$

Предварительное отбеливание

Для некоторых типов цветного шума типичной практикой является добавление фильтра предварительного отбеливания перед согласованным фильтром для преобразования цветного шума в белый шум. Например, N(t) — это стационарный цветной шум широкого смысла с корреляционной функцией

$R_{N}(\tau )={\frac {BN_{0}}{4}}e^{-B|\tau |}$

$S_{N}(f)={\frac {N_{0}}{2(1+({\frac {w}{B}})^{2})}}$

Передаточная функция фильтра предварительного отбеливания:

$H(f)=1+j{\frac {w}{B}}.$

Обнаружение гауссовского случайного сигнала в аддитивном белом гауссовском шуме (AWGN)

Когда сигнал, который мы хотим обнаружить из зашумленного канала, также является случайным, например, белый гауссовский процесс X ( t ), мы все равно можем реализовать расширение K – L, чтобы получить независимую последовательность наблюдений. В этом случае проблема обнаружения описывается следующим образом:

$H_{0}:Y(t)=N(t)$

$H_{1}:Y(t)=N(t)+X(t),\quad 0<t<T.$

X ( t ) — случайный процесс с корреляционной функцией $R_{X}(t,s)=E\{X(t)X(s)\}$

K-L-разложение X ( t ) равно

$X(t)=\sum _{i=1}^{\infty }X_{i}\Phi _{i}(t),$

где

$X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t)\,dt$

и $\Phi _{i}(t)$ являются решениями

$\int _{0}^{T}R_{X}(t,s)\Phi _{i}(s)ds=\lambda _{i}\Phi _{i}(t).$

Так $X_{i}$представляют собой независимую последовательность с.в. с нулевым средним значением и дисперсией. $\lambda _{i}$. Расширение Y ( t ) и N ( t ) на $\Phi _{i}(t)$, мы получаем

$Y_{i}=\int _{0}^{T}Y(t)\Phi _{i}(t)\,dt=\int _{0}^{T}[N(t)+X(t)]\Phi _{i}(t)=N_{i}+X_{i},$

где

$N_{i}=\int _{0}^{T}N(t)\Phi _{i}(t)\,dt.$

Поскольку N ( t ) — гауссовский белый шум, $N_{i}$'s - это iid последовательность rv с нулевым средним значением и дисперсией ${\tfrac {1}{2}}N_{0}$, то задача упрощается следующим образом:

$H_{0}:Y_{i}=N_{i}$

$H_{1}:Y_{i}=N_{i}+X_{i}$

Оптимальный критерий Неймана-Пирсона:

$\Lambda ={\frac {f_{Y}\mid H_{1}}{f_{Y}\mid H_{0}}}=Ce^{-\sum _{i=1}^{\infty }{\frac {y_{i}^{2}}{2}}{\frac {\lambda _{i}}{{\tfrac {1}{2}}N_{0}({\tfrac {1}{2}}N_{0}+\lambda _{i})}}},$

поэтому логарифмическое отношение правдоподобия равно

${\mathcal {L}}=\ln(\Lambda )=K-\sum _{i=1}^{\infty }{\tfrac {1}{2}}y_{i}^{2}{\frac {\lambda _{i}}{{\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\right)}}.$

С

${\widehat {X}}_{i}={\frac {\lambda _{i}}{{\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\right)}}$

это всего лишь минимально-среднеквадратическая оценка $X_{i}$ данный $Y_{i}$х,

${\mathcal {L}}=K+{\frac {1}{N_{0}}}\sum _{i=1}^{\infty }Y_{i}{\widehat {X}}_{i}.$

Расширение K – L обладает следующим свойством: если

$f(t)=\sum f_{i}\Phi _{i}(t),g(t)=\sum g_{i}\Phi _{i}(t),$

где

$f_{i}=\int _{0}^{T}f(t)\Phi _{i}(t)\,dt,\quad g_{i}=\int _{0}^{T}g(t)\Phi _{i}(t)\,dt.$

затем

$\sum _{i=1}^{\infty }f_{i}g_{i}=\int _{0}^{T}g(t)f(t)\,dt.$

Так что пусть

${\widehat {X}}(t\mid T)=\sum _{i=1}^{\infty }{\widehat {X}}_{i}\Phi _{i}(t),\quad {\mathcal {L}}=K+{\frac {1}{N_{0}}}\int _{0}^{T}Y(t){\widehat {X}}(t\mid T)\,dt.$

Непричинный фильтр Q ( t , s ) может использоваться, чтобы получить оценку через

${\widehat {X}}(t\mid T)=\int _{0}^{T}Q(t,s)Y(s)\,ds.$

По принципу ортогональности Q ( t , s ) удовлетворяет

$\int _{0}^{T}Q(t,s)R_{X}(s,t)\,ds+{\tfrac {N_{0}}{2}}Q(t,\lambda )=R_{X}(t,\lambda ),0<\lambda <T,0<t<T.$

Однако по практическим соображениям необходимо дополнительно вывести причинный фильтр h ( t , s ), где h ( t , s ) = 0 для s > t , чтобы получить оценку ${\widehat {X}}(t\mid t)$. Конкретно,

$Q(t,s)=h(t,s)+h(s,t)-\int _{0}^{T}h(\lambda ,t)h(s,\lambda )\,d\lambda$

См. также

• Анализ главных компонентов
• Полиномиальный хаос
• Воспроизведение ядра гильбертова пространства
• Теорема Мерсера

Ссылки

• Старк, Генри; Вудс, Джон В. (1986). Вероятность, случайные процессы и теория оценок для инженеров . Прентис-Холл, Inc. ISBN  978-0-13-711706-2 . ОЛ   21138080М .
• Ганем, Роджер; Спанос, Пол (1991). Стохастические конечные элементы: спектральный подход . Спрингер-Верлаг. ISBN  978-0-387-97456-9 . ОЛ   1865197М .
• Гуйхман И.; Скороход, А. (1977). Введение в теорию случайных процессов . Издания МИР.
• Саймон, Б. (1979). Функциональная интеграция и квантовая физика . Академическая пресса.
• Кархунен, Кари (1947). «О линейных методах теории вероятностей». Энн. акад. наук. Фенники. Сер. А I. Матем.-Физ . 37 :1–79.
• Лоев, М. (1978). Теория вероятностей Том. II . Тексты для аспирантов по математике. Том. 46 (4-е изд.). Спрингер-Верлаг. ISBN  978-0-387-90262-3 .
• Дай, Г. (1996). «Реконструкция модального волнового фронта с помощью полиномов Цернике и функций Карунена – Лёве». ЖОСА А. 13 (6): 1218. Бибкод : 1996JOSAA..13.1218D . дои : 10.1364/JOSAA.13.001218 .
• Ву Б., Чжу Дж., Наджм Ф. (2005) «Непараметрический подход к оценке динамического диапазона нелинейных систем». В материалах конференции по автоматизации проектирования (841-844), 2005 г.
• Ву Б., Чжу Дж., Наджм Ф. (2006) «Оценка динамического диапазона». Транзакции IEEE по автоматизированному проектированию интегральных схем и систем, Vol. 25 Выпуск: 9 (1618–1636) 2006 г.
• Йоргенсен, Палле ET; Сон, Мён Син (2007). «Энтропийное кодирование, гильбертово пространство и преобразования Карунена – Лоэва». Журнал математической физики . 48 (10): 103503. arXiv : math-ph/0701056 . Бибкод : 2007JMP....48j3503J . дои : 10.1063/1.2793569 . S2CID   17039075 .

Внешние ссылки

• Mathematica KarhunenLoeveDecomposition . Функция
• E161: Заметки проф. по компьютерной обработке и анализу изображений. Руе Ван в колледже Харви Мадда [1]