Функциональный анализ главных компонентов

Функциональный анализ главных компонентов ( FPCA ) представляет собой статистический метод исследования доминирующих режимов изменения функциональных данных . С помощью этого метода случайная функция представляется в собственном базисе, который является ортонормированным базисом гильбертова пространства L ² который состоит из собственных функций автоковариационного оператора . FPCA представляет функциональные данные наиболее экономным способом в том смысле, что при использовании фиксированного числа базисных функций базис собственных функций объясняет больше вариаций, чем любое другое расширение базиса. FPCA может применяться для представления случайных функций, или в функциональной регрессии и классификация.

Формулировка

Для ), интегрируемого с квадратом случайного процесса X ( t , t ∈ 𝒯, пусть

$\mu (t)={\text{E}}(X(t))$

и

$G(s,t)={\text{Cov}}(X(s),X(t))=\sum _{k=1}^{\infty }\lambda _{k}\varphi _{k}(s)\varphi _{k}(t),$

где $\lambda _{1}\geq \lambda _{2}\geq ...\geq 0$ являются собственными значениями и $\varphi _{1}$, $\varphi _{2}$, ... — ортонормированные собственные функции линейного оператора Гильберта–Шмидта

$G:L^{2}({\mathcal {T}})\rightarrow L^{2}({\mathcal {T}}),\,G(f)=\int _{\mathcal {T}}G(s,t)f(s)ds.$

По теореме Карунена-Лёва можно выразить центрированный процесс в собственном базисе:

$X(t)-\mu (t)=\sum _{k=1}^{\infty }\xi _{k}\varphi _{k}(t),$

где

$\xi _{k}=\int _{\mathcal {T}}(X(t)-\mu (t))\varphi _{k}(t)dt$

– главная компонента, связанная с k -й собственной функцией $\varphi _{k}$, со свойствами

${\text{E}}(\xi _{k})=0,{\text{Var}}(\xi _{k})=\lambda _{k}{\text{ and }}{\text{E}}(\xi _{k}\xi _{l})=0{\text{ for }}k\neq l.$

Тогда центрированный процесс эквивалентен ξ ₁ , ξ ₂ , .... Обычное предположение состоит в том, что X может быть представлен только несколькими первыми собственными функциями (после вычитания средней функции), т.е.

$X(t)\approx X_{m}(t)=\mu (t)+\sum _{k=1}^{m}\xi _{k}\varphi _{k}(t),$

где

$\mathrm {E} \left(\int _{\mathcal {T}}\left(X(t)-X_{m}(t)\right)^{2}dt\right)=\sum _{j>m}\lambda _{j}\rightarrow 0{\text{ as }}m\rightarrow \infty .$

Интерпретация собственных функций

Первая собственная функция $\varphi _{1}$ изображает доминирующий способ изменения X .

$\varphi _{1}={\underset {\Vert \mathbf {\varphi } \Vert =1}{\operatorname {arg\,max} }}\left\{\operatorname {Var} (\int _{\mathcal {T}}(X(t)-\mu (t))\varphi (t)dt)\right\},$

где

$\Vert \mathbf {\varphi } \Vert =\left(\int _{\mathcal {T}}\varphi (t)^{2}dt\right)^{\frac {1}{2}}.$

k -я собственная функция $\varphi _{k}$ является доминирующим способом изменения, ортогональным $\varphi _{1}$, $\varphi _{2}$, ... , $\varphi _{k-1}$,

$\varphi _{k}={\underset {\Vert \mathbf {\varphi } \Vert =1,\langle \varphi ,\varphi _{j}\rangle =0{\text{ for }}j=1,\dots ,k-1}{\operatorname {arg\,max} }}\left\{\operatorname {Var} (\int _{\mathcal {T}}(X(t)-\mu (t))\varphi (t)dt)\right\},$

где

$\langle \varphi ,\varphi _{j}\rangle =\int _{\mathcal {T}}\varphi (t)\varphi _{j}(t)dt,{\text{ for }}j=1,\dots ,k-1.$

Оценка

Пусть Y _ij = X _i ( t _ij ) + ε _ij — наблюдения, сделанные в точках (обычно в моменты времени) t _ij , где X _i — i -я реализация гладкого случайного процесса, который генерирует данные, а _ij ε одинаково и независимо распределенная нормальная случайная величина со средним значением 0 и дисперсией σ ² , j знак равно 1, 2, ..., м _я . Чтобы получить оценку функции среднего µ ( t _ij ), если доступна плотная выборка на регулярной сетке, можно взять среднее значение в каждом месте t _ij :

${\hat {\mu }}(t_{ij})={\frac {1}{n}}\sum _{i=1}^{n}Y_{ij}.$

Если наблюдения редки, необходимо сгладить данные, объединенные из всех наблюдений, чтобы получить среднюю оценку: использование таких методов сглаживания, как локальное линейное сглаживание или сплайновое сглаживание .

Тогда оценка ковариационной функции ${\hat {G}}(s,t)$ получается путем усреднения (в плотном случае) или сглаживания (в разреженном случае) необработанных ковариаций

$G_{i}(t_{ij},t_{il})=(Y_{ij}-{\hat {\mu }}(t_{ij}))(Y_{il}-{\hat {\mu }}(t_{il})),j\neq l,i=1,\dots ,n.$

Обратите внимание, что диагональные элементы Gi _. следует удалить, поскольку они содержат ошибку измерения

На практике, ${\hat {G}}(s,t)$ дискретизируется до плотной равноотстоящей сетки, а оценка собственных значений λ _k и собственных векторов v _k выполняется с помощью численной линейной алгебры. Оценки собственных функций ${\hat {\varphi }}_{k}$ затем можно получить интерполяцией собственных векторов ${\hat {v_{k}}}.$

Подобранная ковариация должна быть положительно определенной и симметричной и тогда получается как

${\tilde {G}}(s,t)=\sum _{\lambda _{k}>0}{\hat {\lambda }}_{k}{\hat {\varphi }}_{k}(s){\hat {\varphi }}_{k}(t).$

Позволять ${\hat {V}}(t)$ быть сглаженной версией диагональных элементов G _i ( t _ij , t _ij ) необработанных ковариационных матриц. Затем ${\hat {V}}(t)$ является оценкой ( G ( t , t ) + σ ² ). Оценка σ ² получается путем

${\hat {\sigma }}^{2}={\frac {2}{|{\mathcal {T}}|}}\int _{\mathcal {T}}({\hat {V}}(t)-{\tilde {G}}(t,t))dt,$ если ${\hat {\sigma }}^{2}>0;$ в противном случае ${\hat {\sigma }}^{2}=0.$

Если наблюдения X _ij , j =1, 2, ..., m _i плотны в 𝒯, то k -ый ФПК ξ _k можно оценить путем численного интегрирования , реализуя

${\hat {\xi }}_{k}=\langle X-{\hat {\mu }},{\hat {\varphi }}_{k}\rangle .$

Однако если наблюдений мало, этот метод не сработает. Вместо этого можно использовать лучшие линейные несмещенные предикторы , уступчивость

${\hat {\xi }}_{k}={\hat {\lambda }}_{k}{\hat {\varphi }}_{k}^{T}{\hat {\Sigma }}_{Y_{i}}^{-1}(Y_{i}-{\hat {\mu }}),$

где

${\hat {\Sigma }}_{Y_{i}}={\tilde {G}}+{\hat {\sigma }}^{2}\mathbf {I} _{m_{i}}$,

и ${\tilde {G}}$ оценивается в точках сетки, генерируемых t _ij , j = 1, 2, ..., m _i . Алгоритм PACE имеет доступный пакет Matlab. и пакет R

Исследованы свойства асимптотической сходимости этих оценок.

Приложения

FPCA может применяться для отображения режимов функциональных изменений , в диаграммах рассеяния FPC друг против друга или ответов на FPC для моделирования разреженных продольных данных , или для функциональной регрессии и классификации (например, функциональной линейной регрессии). осыпные графики Для определения количества включенных компонентов можно использовать и другие методы. Функциональный анализ главных компонентов имеет различные применения в анализе временных рядов. В настоящее время этот метод адаптируется из традиционных многомерных методов для анализа наборов финансовых данных, таких как индексы фондового рынка, и создания графиков подразумеваемой волатильности. Хорошим примером преимуществ функционального подхода является метод Smoothed FPCA (SPCA), разработанный Сильверманом [1996] и изученный Пеццулли и Сильверманом [1993], который позволяет напрямую комбинировать FPCA вместе с общим подходом сглаживания, который позволяет использовать информацию хранятся в некоторых возможных линейных дифференциальных операторах. Важное применение FPCA, уже известное из многомерного PCA, мотивировано разложением Карунена-Лоэва случайной функции на набор функциональных параметров - фактор-функций и соответствующих факторных нагрузок (скалярных случайных величин). Это приложение гораздо важнее, чем стандартный многомерный PCA, поскольку распределение случайной функции, как правило, слишком сложно для непосредственного анализа, а разложение Карунена-Лоэва сводит анализ к интерпретации фактор-функций и распределению скалярных случайных величин. переменные. Благодаря уменьшению размерности, а также точности представления данных, существует широкий простор для дальнейшего развития методов функциональных главных компонентов в финансовой области.

Применение PCA в автомобилестроении.

Связь с анализом главных компонент

В следующей таблице показано сравнение различных элементов анализа главных компонентов (PCA) и FPCA. Оба метода используются для уменьшения размерности . В реализациях FPCA используется шаг PCA.

Однако PCA и FPCA различаются в некоторых важных аспектах. Во-первых, порядок многомерных данных в PCA может быть изменен , что не влияет на анализ, но порядок функциональных данных несет в себе информацию о времени или пространстве и не может быть переупорядочен. Во-вторых, интервал наблюдений в FPCA имеет значение, тогда как в PCA проблемы с интервалом нет. В-третьих, обычный PCA не работает для многомерных данных без регуляризации , тогда как FPCA имеет встроенную регуляризацию из-за гладкости функциональных данных и усечения до конечного числа включенных компонентов.

Элемент	В ПКА	В ФПКА
Данные	$X\in \mathbb {R} ^{p}$	$X\in L^{2}({\mathcal {T}})$
Измерение	$p<\infty$	$\infty$
Иметь в виду	$\mu ={\text{E}}(X)$	$\mu (t)={\text{E}}(X(t))$
Ковариация	${\text{Cov}}(X)=\Sigma _{p\times p}$	${\text{Cov}}(X(s),X(t))=G(s,t)$
Собственные значения	$\lambda _{1},\lambda _{2},\dots ,\lambda _{p}$	$\lambda _{1},\lambda _{2},\dots$
Собственные векторы/собственные функции	$\mathbf {v} _{1},\mathbf {v} _{2},\dots ,\mathbf {v} _{p}$	$\varphi _{1}(t),\varphi _{2}(t),\dots$
Внутренний продукт	$\langle \mathbf {X} ,\mathbf {Y} \rangle =\sum _{k=1}^{p}X_{k}Y_{k}$	$\langle X,Y\rangle =\int _{\mathcal {T}}X(t)Y(t)dt$
Основные компоненты	$z_{k}=\langle X-\mu ,\mathbf {v_{k}} \rangle ,k=1,2,\dots ,p$	$\xi _{k}=\langle X-\mu ,\varphi _{k}\rangle ,k=1,2,\dots$

См. также

• Анализ главных компонентов

Ссылки

• Джеймс О. Рамзи; Б.В. Сильверман (8 июня 2005 г.). Функциональный анализ данных . Спрингер. ISBN  978-0-387-40080-8 .