Функциональный анализ данных

Функциональный анализ данных (FDA) — это раздел статистики , который анализирует данные, предоставляя информацию о кривых, поверхностях или чем-либо еще, изменяющемся в континууме. В самой общей форме, в рамках FDA, каждый элемент выборки функциональных данных считается случайной функцией. Физическим континуумом, в котором определяются эти функции, часто является время, но также может быть пространственное местоположение, длина волны, вероятность и т. д. По своей сути функциональные данные бесконечномерны. Высокая внутренняя размерность этих данных создает проблемы как для теории, так и для вычислений, причем эти проблемы зависят от того, как были выбраны функциональные данные. Однако многомерная или бесконечномерная структура данных является богатым источником информации, и существует множество интересных задач для исследований и анализа данных.

История

Функциональный анализ данных уходит своими корнями в работы Гренандера и Кархунена в 1940-х и 1950-х годах. Они рассмотрели разложение интегрируемого с квадратом стохастического процесса с непрерывным временем на собственные компоненты, теперь известное как разложение Карунена-Лоэва . Строгий анализ анализа главных функциональных компонентов был проведен в 1970-х годах Клеффе, Досуа и Пуссом, включая результаты об асимптотическом распределении собственных значений. Совсем недавно, в 1990-х и 2000-х годах, эта область больше сосредоточилась на приложениях и понимании эффектов плотных и разреженных схем наблюдений. Термин «Функциональный анализ данных» был придуман Джеймсом О. Рамзи .

Математический формализм

Случайные функции можно рассматривать как случайные элементы, принимающие значения в гильбертовом пространстве , или как случайный процесс . Первое математически удобно, тогда как второе несколько более пригодно с прикладной точки зрения. Эти два подхода совпадают, если случайные функции непрерывны и условие, называемое среднеквадратичной непрерывностью . выполняется

Гильбертовы случайные величины

С точки зрения гильбертова пространства рассматривается $H$-значный случайный элемент $X$, где $H$ - сепарабельное гильбертово пространство, такое как пространство интегрируемых с квадратом функций $L^{2}[0,1]$. При условии интегрируемости, что $\mathbb {E} \|X\|_{L^{2}}^{2}=\mathbb {E} (\int _{0}^{1}|X(t)|^{2}dt)<\infty$, можно определить среднее значение $X$ как уникальный элемент $\mu \in H$ удовлетворяющий

$\mathbb {E} \langle X,h\rangle =\langle \mu ,h\rangle ,\qquad h\in H.$

Эта формулировка представляет собой интеграл Петтиса , но среднее значение также можно определить как интеграл Бохнера. $\mu =\mathbb {E} X$. При условии интегрируемости, что $\mathbb {E} \|X\|_{L^{2}}^{2}$ конечен, оператор ковариационный $X$ является линейным оператором ${\mathcal {C}}:H\to H$ однозначно определяемое соотношением

${\mathcal {C}}h=\mathbb {E} [\langle h,X-\mu \rangle (X-\mu )],\qquad h\in H,$

или, в тензорной форме, ${\mathcal {C}}=\mathbb {E} [(X-\mu )\otimes (X-\mu )]$. Спектральная теорема позволяет разложить $X$ как разложение Карунена-Лоэва

$X=\mu +\sum _{i=1}^{\infty }\langle X,\varphi _{i}\rangle \varphi _{i},$

где $\varphi _{i}$ являются собственными векторами ${\mathcal {C}}$, соответствующие неотрицательным собственным значениям ${\mathcal {C}}$, в невозрастающем порядке. Усечение этого бесконечного ряда до конечного порядка лежит в основе функционального анализа главных компонент .

Случайные процессы

Гильбертова точка зрения математически удобна, но абстрактна; приведенные выше соображения не обязательно даже рассматривают $X$ вообще как функция, поскольку общий выбор $H$ нравиться $L^{2}[0,1]$ и пространства Соболева состоят из классов эквивалентности, а не из функций. Перспективы стохастического процесса $X$ как набор случайных величин

$\{X(t)\}_{t\in [0,1]}$

индексируется единичным интервалом (или, в более общем смысле, интервалом ${\mathcal {T}}$). Функции среднего и ковариации определяются поточечно как

$\mu (t)=\mathbb {E} X(t),\qquad \Sigma (s,t)={\textrm {Cov}}(X(s),X(t)),\qquad s,t\in [0,1]$

(если $\mathbb {E} [X(t)^{2}]<\infty$ для всех $t\in [0,1]$).

При среднеквадратичной непрерывности $\mu$ и $\Sigma$ являются непрерывными функциями, а затем ковариационная функция $\Sigma$ определяет ковариационный оператор ${\mathcal {C}}:H\to H$ данный

$$({\mathcal {C}}f)(t)=\int _{0}^{1}\Sigma (s,t)f(s)\,\mathrm {d} s.$$ ( 1 )

Спектральная теорема применима к ${\mathcal {C}}$, что дает собственные пары $(\lambda _{j},\varphi _{j})$, так что в тензорного произведения записи ${\mathcal {C}}$ пишет

${\mathcal {C}}=\sum _{j=1}^{\infty }\lambda _{j}\varphi _{j}\otimes \varphi _{j}.$

Более того, поскольку ${\mathcal {C}}f$ является непрерывным для всех $f\in H$, все $\varphi _{j}$ являются непрерывными. Теорема Мерсера утверждает, что

$\sup _{s,t\in [0,1]}\left|\Sigma (s,t)-\sum _{j=1}^{K}\lambda _{j}\varphi _{j}(s)\varphi _{j}(t)\right|\to 0,\qquad K\to \infty .$

Наконец, при дополнительном предположении, что $X$ имеет непрерывные пути выборки, а именно, что с вероятностью единица случайная функция $X:[0,1]\to \mathbb {R}$ является непрерывным, приведенное выше разложение Карунена-Лёва справедливо для $X$ и впоследствии может быть применена космическая машина Гильберта. Непрерывность выборочных путей можно показать с помощью теоремы о непрерывности Колмогорова .

Функциональный дизайн данных

Функциональные данные рассматриваются как реализации случайного процесса. $X(t),\ t\in [0,1]$ это $L^{2}$ процесс на ограниченном и замкнутом интервале $[0,1]$ со средней функцией $\mu (t)=\mathbb {E} (X(t))$ и ковариационная функция $\Sigma (s,t)={\textrm {Cov}}(X(s),X(t))$. Реализация процесса для i-го субъекта равна $X_{i}(\cdot )$, и предполагается, что выборка состоит из $n$ самостоятельные субъекты. График отбора проб может варьироваться в зависимости от субъекта, обозначаемого как $T_{i1},...,T_{iN_{i}}$ по i-му предмету. Соответствующее i-е наблюдение обозначается как ${\textbf {X}}_{i}=(X_{i1},...,X_{iN_{i}})$, где $X_{ij}=X_{i}(T_{ij})$. Кроме того, измерение $X_{ij}$ предполагается, что он имеет случайный шум $\epsilon _{ij}$ с $\mathbb {E} (\epsilon _{ij})=0$ и ${\textrm {Var}}(\epsilon _{ij})=\sigma _{ij}^{2}$, которые независимы во всех $i$ и $j$.

1. Полностью наблюдаемые функции без шума на произвольно плотной сетке.

Измерения $Y_{it}=X_{i}(t)$ доступен для всех $t\in {\mathcal {I}},\,i=1,\ldots ,n$

Часто нереально, но математически удобно.

Пример из реальной жизни: спектральные данные Tecator.

2. Функции с плотной выборкой и измерениями с шумом (плотный дизайн)

Измерения $Y_{ij}=X_{i}(T_{ij})+\varepsilon _{ij}$, где $T_{ij}$ записываются на регулярной сетке,

$T_{i1},\ldots ,T_{iN_{i}}$, и $N_{i}\rightarrow \infty$ применяется к типичным функциональным данным.

Пример из реальной жизни: данные исследования роста Беркли и данные о запасах

3. Разреженные функции с зашумленными измерениями (продольные данные)

Измерения $Y_{ij}=X_{i}(T_{ij})+\varepsilon _{ij}$, где $T_{ij}$ случайные моменты времени и их количество $N_{i}$ на каждого субъекта случайна и конечна.

Пример из реальной жизни: данные по количеству CD4 у больных СПИДом.

Функциональный анализ главных компонентов

Функциональный анализ главных компонентов (FPCA) является наиболее распространенным инструментом в FDA, отчасти потому, что FPCA облегчает уменьшение размерности изначально бесконечномерных функциональных данных до конечномерного случайного вектора оценок. Более конкретно, уменьшение размерности достигается за счет расширения наблюдаемых случайных траекторий. $X_{i}(t)$ в функциональном базисе, состоящем из собственных функций ковариационного оператора на $X$. Рассмотрим ковариационный оператор ${\mathcal {C}}:L^{2}[0,1]\rightarrow L^{2}[0,1]$ как в ( 1 ), который является компактным оператором в гильбертовом пространстве .

По теореме Мерсера ядро ${\mathcal {C}}$, т. е. ковариационная функция $\Sigma (\cdot ,\cdot )$, имеет спектральное разложение $\Sigma (s,t)=\sum _{k=1}^{\infty }\lambda _{k}\varphi _{k}(s)\varphi _{k}(t)$, где сходимость ряда абсолютна и равномерна, и $\lambda _{k}$ являются действительными неотрицательными собственными значениями в порядке убывания с соответствующими ортонормированными собственными функциями. $\varphi _{k}(t)$ . По теореме Карунена-Лоэва разложение FPCA базовой случайной траектории равно $X_{i}(t)=\mu (t)+\sum _{k=1}^{\infty }A_{ik}\varphi _{k}(t)$, где $A_{ik}=\int _{0}^{1}(X_{i}(t)-\mu (t))\varphi _{k}(t)dt$ являются функциональными главными компонентами (FPC), иногда называемыми баллами. Разложение Карунена-Лоэва облегчает уменьшение размерности в том смысле, что частичная сумма сходится равномерно, т. е. $\sup _{t\in [0,1]}\mathbb {E} [X_{i}(t)-\mu (t)-\sum _{k=1}^{K}A_{ik}\varphi _{k}(t)]^{2}\rightarrow 0$ как $K\rightarrow \infty$ и, таким образом, частичная сумма с достаточно большим $K$ дает хорошее приближение к бесконечной сумме. Тем самым информация в $X_{i}$ сводится из бесконечномерного к $K$-мерный вектор $A_{i}=(A_{i1},...,A_{iK})$ с приближенным процессом:

$$X_{i}^{(K)}(t)=\mu (t)+\sum _{k=1}^{K}A_{ik}\varphi _{k}(t)$$ ( 2 )

Другие популярные базы включают сплайны , ряды Фурье и вейвлеты. Важные применения FPCA включают режимы вариации и регрессию главных функциональных компонентов.

Модели функциональной линейной регрессии

Функциональные линейные модели можно рассматривать как расширение традиционных многомерных линейных моделей , которые связывают векторные реакции с векторными ковариатами. Традиционная линейная модель со скалярным откликом $Y\in \mathbb {R}$ и векторная ковариата $X\in \mathbb {R} ^{p}$ может быть выражено как

$$Y=\beta _{0}+\langle X,\beta \rangle +\varepsilon =\beta _{0}+X_{1}\beta _{1}+\dots +X_{p}\beta _{p}+\varepsilon ,$$ ( 3 )

где $\langle \cdot ,\cdot \rangle$ обозначает скалярный продукт в евклидовом пространстве , $\beta _{0}\in \mathbb {R}$ и $\beta \in \mathbb {R} ^{p}$ обозначаем коэффициенты регрессии, а $\varepsilon$ — случайная ошибка (шум) с нулевой средней конечной дисперсией . Функциональные линейные модели можно разделить на два типа в зависимости от ответов.

Модели функциональной регрессии со скалярным откликом

Замена векторной ковариаты $X$ и вектор коэффициентов $\beta$ в модели ( 3 ) по центрированной функциональной ковариате $X^{c}(t)=X(t)-\mu (t)$ и коэффициентная функция $\beta =\beta (t)$ для $t\in [0,1]$ и заменив скалярный продукт в евклидовом пространстве на продукт в гильбертовом пространстве. $L^{2}$, приходим к функциональной линейной модели

$$Y=\beta _{0}+\langle X^{c},\beta \rangle +\varepsilon =\beta _{0}+\int _{0}^{1}X^{c}(t)\beta (t)\,dt+\varepsilon .$$ ( 4 )

Простая функциональная линейная модель ( 4 ) может быть расширена до нескольких функциональных ковариат, $\{X_{j}\}_{j=1}^{p}$, включая дополнительные векторные ковариаты $Z=(Z_{1},\cdots ,Z_{q})$, где $Z_{1}=1$, к

$$Y=\langle Z,\theta \rangle +\sum _{j=1}^{p}\int _{0}^{1}X_{j}^{c}(t)\beta _{j}(t)\,dt+\varepsilon ,$$ ( 5 )

где $\theta \in \mathbb {R^{q}}$ коэффициент регрессии для $Z$, область $X_{j}$ является $[0,1]$, $X_{j}^{c}$ - это центрированная функциональная ковариата, определяемая формулой $X_{j}^{c}(t)=X_{j}(t)-\mu _{j}(t)$, и $\beta _{j}$ — функция коэффициента регрессии для $X_{j}^{c}$, для $j=1,\ldots ,p$. Модели ( 4 ) и ( 5 ) были тщательно изучены.

Модели функциональной регрессии с функциональным ответом

Рассмотрим функциональный ответ $Y(s)$ на $[0,1]$ и несколько функциональных ковариат $X_{j}(t)$, $t\in [0,1]$, $j=1,\ldots ,p$. В этой установке были рассмотрены две основные модели. Одну из этих двух моделей, обычно называемую функциональной линейной моделью (FLM), можно записать как:

$$Y(s)=\alpha _{0}(s)+\sum _{j=1}^{p}\int _{0}^{1}\alpha _{j}(s,t)X_{j}^{c}(t)\,dt+\varepsilon (s),\ {\text{for}}\ s\in [0,1]$$ ( 6 )

где $\alpha _{0}(s)$ является функциональным перехватом, поскольку $j=1,\ldots ,p$ , $X_{j}^{c}(t)=X_{j}(t)-\mu _{j}(t)$ представляет собой центрированную функциональную ковариату $[0,1]$, $\alpha _{j}(s,t)$ — соответствующие функциональные наклоны с той же областью соответственно, и $\varepsilon (s)$ обычно представляет собой случайный процесс с нулевым средним значением и конечной дисперсией. В этом случае в любой момент времени $s\in [0,1]$, значение $Y$, то есть, $Y(s)$, зависит от всей траектории $\{X_{j}(t)\}_{j=1}^{p}$. Модель ( 6 ) тщательно изучалась.

Регрессия функции на скаляре

В частности, взяв $X_{j}(\cdot )$ как постоянная функция дает частный случай модели ( 6 ) $$Y(s)=\alpha _{0}(s)+\sum _{j=1}^{p}X_{j}\alpha _{j}(s)+\varepsilon (s),\ {\text{for}}\ s\in [0,1],$$которая представляет собой функциональную линейную модель с функциональными откликами и скалярными ковариатами.

Модели параллельной регрессии

Эта модель определяется

$$Y(s)=\beta _{0}(s)+\sum _{j=1}^{p}\beta _{j}(s)X_{j}(s)+\varepsilon (s),\ {\text{for}}\ s\in [0,1],$$ ( 7 )

где $X_{1},\ldots ,X_{p}$ являются функциональными ковариатами $[0,1]$, $\beta _{0},\beta _{1},\ldots ,\beta _{p}$ являются коэффициентными функциями, определенными на одном и том же интервале, и $\varepsilon (s)$ обычно предполагается, что это случайный процесс с нулевым средним значением и конечной дисперсией. Эта модель предполагает, что значение $Y(s)$ зависит от текущей стоимости $\{X_{j}(s)\}_{j=1}^{p}$ только и не история $\{X_{j}(t):t\leq s\}_{j=1}^{p}$ или будущая стоимость. Следовательно, это «модель параллельной регрессии», которую также называют моделью «с переменным коэффициентом». Кроме того, были предложены различные методы оценки.

Модели функциональной нелинейной регрессии

Прямые нелинейные расширения классических моделей функциональной линейной регрессии (FLM) по-прежнему включают линейный предиктор, но объединяют его с нелинейной функцией связи, аналогично идее обобщенной линейной модели из традиционной линейной модели. Разработка моделей полностью непараметрической регрессии для функциональных данных сталкивается с такими проблемами, как проклятие размерности . Чтобы обойти «проклятие» и проблему выбора метрик, мы стремимся рассмотреть модели нелинейной функциональной регрессии, которые подвержены некоторым структурным ограничениям, но не слишком нарушают гибкость. Желательны модели, сохраняющие полиномиальную скорость сходимости, но при этом более гибкие, чем, скажем, функциональные линейные модели. Такие модели особенно полезны, когда диагностика функциональной линейной модели указывает на несоответствие, что часто встречается в реальных жизненных ситуациях. В частности, функциональные полиномиальные модели, функциональные модели с одним и несколькими индексами и функциональные аддитивные модели. представляют собой три особых случая моделей функциональной нелинейной регрессии.

Модели функциональной полиномиальной регрессии

Модели функциональной полиномиальной регрессии можно рассматривать как естественное расширение функциональных линейных моделей (FLM) со скалярными откликами, аналогично расширению модели линейной регрессии до полиномиальной регрессии модели . Для скалярного ответа $Y$ и функциональная ковариата $X(\cdot )$ с доменом $[0,1]$ и соответствующие центрированные процессы прогнозирования $X^{c}$Самым простым и наиболее известным членом семейства моделей функциональной полиномиальной регрессии является квадратичная функциональная регрессия. дано следующим образом: $$\mathbb {E} (Y|X)=\alpha +\int _{0}^{1}\beta (t)X^{c}(t)\,dt+\int _{0}^{1}\int _{0}^{1}\gamma (s,t)X^{c}(s)X^{c}(t)\,ds\,dt$$где $X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))$ - центрированная функциональная ковариата, $\alpha$ скалярный коэффициент, $\beta (\cdot )$ и $\gamma (\cdot ,\cdot )$ являются коэффициентными функциями с областями определения $[0,1]$ и $[0,1]\times [0,1]$, соответственно. В дополнение к функции параметра β, которую вышеупомянутая модель функциональной квадратичной регрессии разделяет с FLM, она также имеет поверхность параметра γ. По аналогии с FLM со скалярными откликами, оценку функциональных полиномиальных моделей можно получить путем расширения как центрированной ковариаты $X^{c}$ и коэффициентные функции $\beta$ и $\gamma$ в ортонормированном базисе.

Функциональные модели с одним и несколькими индексами

Ниже представлена ​​функциональная модель с несколькими индексами, где символы имеют свои обычные значения, описанные ранее: $$\mathbb {E} (Y|X)=g\left(\int _{0}^{1}X^{c}(t)\beta _{1}(t)\,dt,\ldots ,\int _{0}^{1}X^{c}(t)\beta _{p}(t)\,dt\right)$$Здесь g представляет собой (неизвестную) общую гладкую функцию, определенную в p-мерной области. Дело $p=1$ дает функциональную модель с одним индексом, тогда как модели с несколькими индексами соответствуют случаю $p>1$. Однако для $p>1$Эта модель проблематична из-за проклятия размерности . С $p>1$ и относительно небольших размерах выборки, оценка, данная этой моделью, часто имеет большую дисперсию.

Функционально-аддитивные модели (ФАМ)

Для данного ортонормированного базиса $\{\phi _{k}\}_{k=1}^{\infty }$ на $L^{2}[0,1]$, мы можем расширить $X^{c}(t)=\sum _{k=1}^{\infty }x_{k}\phi _{k}(t)$ в домене $[0,1]$.

Таким образом, функциональную линейную модель со скалярными откликами (см. ( 3 )) можно записать следующим образом: $$\mathbb {E} (Y|X)=\mathbb {E} (Y)+\sum _{k=1}^{\infty }\beta _{k}x_{k}.$$Одна из форм FAM получается заменой линейной функции $x_{k}$ в приведенном выше выражении (т.е. $\beta _{k}x_{k}$) общей гладкой функцией $f_{k}$, аналогично расширению моделей множественной линейной регрессии до аддитивных моделей и выражается как: $$\mathbb {E} (Y|X)=\mathbb {E} (Y)+\sum _{k=1}^{\infty }f_{k}(x_{k}),$$где $f_{k}$ удовлетворяет $\mathbb {E} (f_{k}(x_{k}))=0$ для $k\in \mathbb {N}$. Это ограничение на общие гладкие функции $f_{k}$ обеспечивает идентифицируемость в том смысле, что оценки этих аддитивных компонентных функций не мешают оценке члена $\mathbb {E} (Y)$. Другой формой FAM является непрерывно-аддитивная модель. выражается как, $$\mathbb {E} (Y|X)=\mathbb {E} (Y)+\int _{0}^{1}g(t,X(t))dt$$для двумерной гладкой аддитивной поверхности $g:[0,1]\times \mathbb {R} \longrightarrow \mathbb {R}$ который необходим для удовлетворения $\mathbb {E} [g(t,X(t))]=0$ для всех $t\in [0,1]$, чтобы обеспечить идентификацию.

Обобщенная функциональная линейная модель

Очевидным и прямым расширением FLM со скалярными откликами (см. ( 3 )) является добавление функции связи, ведущей к обобщенной функциональной линейной модели (GFLM). по аналогии с обобщенной линейной моделью (ОЛМ). Тремя компонентами GFLM являются:

1. Линейный предиктор $\eta =\beta _{0}+\int _{0}^{1}X^{c}(t)\beta (t)\,dt$; [систематический компонент]
2. Функция дисперсии ${\text{Var}}(Y|X)=V(\mu )$, где $\mu =\mathbb {E} (Y|X)$ – условное среднее ; [случайный компонент]
3. Функция связи $g$ соединяющее условное среднее $\mu$ и линейный предиктор $\eta$ через $\mu =g(\eta )$. [систематический компонент]

Кластеризация и классификация функциональных данных

Для векторных многомерных данных двумя основными подходами являются методы разделения k-средних и иерархическая кластеризация . Эти классические концепции кластеризации векторных многомерных данных были распространены на функциональные данные. Для кластеризации функциональных данных методы кластеризации k-средних более популярны, чем методы иерархической кластеризации. Для кластеризации k-средних по функциональным данным средние функции обычно рассматриваются как центры кластеров. Ковариационные структуры также были приняты во внимание. Помимо кластеризации типа k-средних, функциональная кластеризация основанный на смешанных моделях , также широко используется при кластеризации векторных многомерных данных и был расширен до функциональной кластеризации данных. Кроме того, байесовская иерархическая кластеризация также играет важную роль в разработке функциональной кластеризации на основе моделей.

Функциональная классификация присваивает членство в группе новому объекту данных либо на основе функциональной регрессии, либо функционального дискриминантного анализа. Методы классификации функциональных данных, основанные на моделях функциональной регрессии, используют уровни классов в качестве ответов, а наблюдаемые функциональные данные и другие ковариаты в качестве предикторов. Для моделей функциональной классификации, основанных на регрессии, обычно используются функциональные обобщенные линейные модели или, более конкретно, функциональная бинарная регрессия, такая как функциональная логистическая регрессия для бинарных ответов. обобщенная модель функциональной линейной регрессии, основанная на подходе FPCA . В более общем смысле используется Функциональный линейный дискриминантный анализ (FLDA) также рассматривается как метод классификации функциональных данных. Также была предложена функциональная классификация данных, включающая коэффициенты плотности. Исследование асимптотического поведения предложенных классификаторов в пределе большой выборки показывает, что при определенных условиях уровень ошибочной классификации стремится к нулю - явление, которое получило название «идеальная классификация».

Искажение времени

Мотивации

Структуры в поперечном сечении в среднем разрушаются, если игнорировать изменения во времени. Напротив, структуры в среднем поперечном сечении хорошо фиксируются после восстановления изменения во времени.

Помимо изменения амплитуды, Можно также предположить, что изменение во времени присутствует в функциональных данных. Изменение времени происходит, когда время определенных интересующих событий, специфичное для субъекта, различается у разных субъектов. Одним из классических примеров являются данные исследования экономического роста Беркли . где изменение амплитуды представляет собой скорость роста, а изменение во времени объясняет разницу в биологическом возрасте детей, в котором произошел пубертатный и препубертатный всплеск роста. При наличии изменений во времени функция поперечного среднего может оказаться неэффективной оценкой, поскольку пики и минимумы расположены случайным образом, и, таким образом, значимые сигналы могут быть искажены или скрыты.

Искажение времени, также известное как регистрация кривой, выравнивание кривой или синхронизация времени направлено на выявление и разделение изменений амплитуды и изменений во времени. Если присутствуют изменения как во времени, так и в амплитуде, то наблюдаемые функциональные данные $Y_{i}$ можно смоделировать как $Y_{i}(t)=X_{i}[h_{i}^{-1}(t)],t\in [0,1]$, где $X_{i}{\overset {iid}{\sim }}X$ является функцией скрытой амплитуды и $h_{i}{\overset {iid}{\sim }}h$ — это скрытая функция деформации времени, которая соответствует кумулятивной функции распределения. Функции деформации времени $h$ предполагаются обратимыми и удовлетворяющими $\mathbb {E} (h^{-1}(t))=t$.

Простейшим случаем семейства функций деформации для задания изменения фазы является линейное преобразование, то есть $h(t)=\delta +\gamma t$, который искажает время базовой функции шаблона за счет смещения и масштаба, специфичного для субъекта. Более общий класс функций деформации включает диффеоморфизмы области в себя, то есть, грубо говоря, класс обратимых функций, которые отображают компактную область в себя так, что и функция, и ее обратная являются гладкими. Множество линейных преобразований содержится в множестве диффеоморфизмов . Одной из проблем при искажении времени является идентифицируемость изменения амплитуды и фазы. Чтобы преодолеть эту неидентифицируемость, необходимы конкретные предположения.

Методы

Более ранние подходы включают динамическое искажение времени (DTW), используемое для таких приложений, как распознавание речи . Еще одним традиционным методом искажения времени является регистрация ориентиров. который выравнивает специальные функции, такие как пиковые местоположения, со средним местоположением. Другие соответствующие методы деформации включают парную деформацию, регистрация с помощью ${\mathcal {L}}^{2}$ расстояние и упругая деформация.

Динамическое искажение времени

Функция шаблона определяется посредством итерационного процесса, начиная со среднего значения поперечного сечения, выполняя регистрацию и пересчитывая среднее значение поперечного сечения для искривленных кривых, ожидая сходимости после нескольких итераций. DTW минимизирует функцию стоимости посредством динамического программирования. Проблемы негладких дифференцируемых искажений или жадных вычислений в DTW можно решить, добавив член регуляризации в функцию стоимости.

Регистрация ориентира

Регистрация ориентиров (или выравнивание признаков) предполагает наличие хорошо выраженных признаков во всех выборочных кривых и использует расположение таких признаков в качестве золотого стандарта. Специальные функции, такие как местоположения пиков или впадин в функциях или производных, выравниваются по их средним местоположениям в шаблонной функции. Затем вводится функция деформации посредством плавного преобразования среднего местоположения в местоположения, специфичные для объекта. Проблема регистрации ориентиров заключается в том, что объекты могут отсутствовать или их трудно идентифицировать из-за шума в данных.

Расширения

До сих пор мы рассматривали скалярнозначный случайный процесс, $\{X(t)\}_{t\in {\mathcal {T}}}$, определенный в одномерной временной области.

Многомерная область $X(\cdot )$

Домен $X(\cdot )$ может быть в $R^{p}$, например, данные могут представлять собой выборку случайных поверхностей.

Многомерный случайный процесс

Набор диапазонов случайного процесса может быть расширен от $R$ к $R^{p}$ и далее к нелинейным многообразиям, гильбертовые пространства и, в конечном итоге, к метрическим пространствам.

Python Пакеты

Существуют пакеты Python для работы с функциональными данными и их представления, выполнения исследовательского анализа или предварительной обработки, а также других задач, таких как вывод, классификация, регрессия или кластеризация функциональных данных.

• scikit-FDA

R- пакеты

Некоторые пакеты могут обрабатывать функциональные данные как в плотном, так и в продольном исполнении.

• FDA
• возвращать деньги
• fdapace
• ФДбуст
• классифунк
• fda.usc
• время в пути
• fdasrvf

См. также

• Функциональный анализ главных компонентов
• Теорема Карунена – Лёва
• Режимы вариаций
• Функциональная регрессия
• Обобщенная функциональная линейная модель
• Случайные процессы
• пространство ЛП
• Функция дисперсии

Дальнейшее чтение

• Рамзи, Дж.О. и Сильверман, Б.В. (2005) Функциональный анализ данных , 2-е изд., Нью-Йорк: Springer, ISBN   0-387-40080-X
• Хорват Л. и Кокошка П. (2012) Вывод функциональных данных с помощью приложений , Нью-Йорк: Springer, ISBN   978-1-4614-3654-6
• Хсинг, Т. и Юбанк, Р. (2015) Теоретические основы функционального анализа данных, с введением в линейные операторы , ряды Вили по вероятности и статистике, John Wiley & Sons, Ltd, ISBN   978-0-470-01691-6
• Моррис, Дж. (2015) Функциональная регрессия, Ежегодный обзор статистики и ее применения, Том. 2, 321–359, https://doi.org/10.1146/annurev-statistics-010814-020413.
• Ван и др. (2016) Функциональный анализ данных, Ежегодный обзор статистики и ее применения, Том. 3, 257-295, https://doi.org/10.1146/annurev-statistics-041715-033624

Категория:Регрессионный анализ