Нарезанная обратная регрессия

Срезная обратная регрессия ( SIR ) — это инструмент уменьшения размерности в области многомерной статистики . ^[1]

В статистике регрессионный анализ — это метод изучения взаимосвязи между переменной отклика y и ее входной переменной. ${\underline {x}}$ , который является p -мерным вектором. В категории регрессии существует несколько подходов. Например, параметрические методы включают множественную линейную регрессию, а непараметрические методы включают локальное сглаживание.

Поскольку количество наблюдений, необходимых для использования методов локального сглаживания, экспоненциально масштабируется с многомерными данными (по мере роста p ), уменьшение количества измерений может сделать операцию вычислимой. Снижение размерности направлено на достижение этой цели путем отображения только наиболее важных измерений данных. SIR использует кривую обратной регрессии, $E({\underline {x}}\,|\,y)$ , чтобы выполнить взвешенный анализ главных компонент.

Модель

Учитывая переменную ответа $\,Y$ и (случайный) вектор $X\in \mathbb {R} ^{p}$ объясняющих переменных, SIR основан на модели

Y=f(\beta _{1}^{\top }X,\ldots ,\beta _{k}^{\top }X,\varepsilon )\quad \quad \quad \quad \quad (1)

где $\beta _{1},\ldots ,\beta _{k}$ – неизвестные векторы проекций, $\,k$ неизвестное число, меньшее $\,p$ , $\;f$ это неизвестная функция на $\mathbb {R} ^{k+1}$ поскольку это зависит только от $\,k$ аргументы и $\varepsilon$ — случайная величина, представляющая ошибку с $E[\varepsilon |X]=0$ и конечная дисперсия $\sigma ^{2}$ . Модель описывает идеальное решение, при котором $\,Y$ зависит от $X\in \mathbb {R} ^{p}$ только через $\,k$ размерное подпространство; т. е. можно уменьшить размерность объясняющих переменных с $\,p$ на меньшее число $\,k$ без потери какой-либо информации.

Эквивалентная версия $\,(1)$ это: условное распределение $\,Y$ данный $\,X$ зависит от $\,X$ только через $\,k$ размерный случайный вектор $(\beta _{1}^{\top }X,\ldots ,\beta _{k}^{\top }X)$ . Предполагается, что этот уменьшенный вектор столь же информативен, как и исходный. $\,X$ в объяснении $\,Y$ .

Неизвестное $\,\beta _{i}'s$ называются эффективными направлениями уменьшения размерности (EDR-направлениями). Пространство, охватываемое этими векторами, обозначается пространством уменьшения эффективной размерности (EDR-пространством).

Соответствующий опыт линейной алгебры

Данный ${\underline {a}}_{1},\ldots ,{\underline {a}}_{r}\in \mathbb {R} ^{n}$ , затем $V:=L({\underline {a}}_{1},\ldots ,{\underline {a}}_{r})$ , набор всех линейных комбинаций этих векторов называется линейным подпространством и, следовательно, является векторным пространством. Уравнение говорит, что векторы ${\underline {a}}_{1},\ldots ,{\underline {a}}_{r}$ охватывать $\,V$ , но векторы, охватывающие пространство $\,V$ не являются уникальными.

Размерность $\,V(\in \mathbb {R} ^{n})$ равно максимальному числу линейно независимых векторов в $\,V$ . Набор $\,n$ линейные независимые векторы $\mathbb {R} ^{n}$ составляет основу $\mathbb {R} ^{n}$ . Размерность векторного пространства уникальна, но сам базис — нет. Несколько баз могут занимать одно и то же пространство. Зависимые векторы все еще могут охватывать пространство, но линейные комбинации последних подходят только к множеству векторов, лежащих на прямой.

Обратная регрессия

Вычисление кривой обратной регрессии (IR) означает, что вместо поиска

$\,E[Y|X=x]$ , которая представляет собой кривую $\mathbb {R} ^{p}$

это на самом деле

$\,E[X|Y=y]$ , которая также является кривой $\mathbb {R} ^{p}$ , но состоящий из $\,p$ одномерные регрессии.

Центр кривой обратной регрессии расположен в точке $\,E[E[X|Y]]=E[X]$ . Следовательно, центрированная кривая обратной регрессии равна

$\,E[X|Y=y]-E[X]$

который представляет собой $\,p$ размерная кривая в $\mathbb {R} ^{p}$ .

Обратная регрессия против уменьшения размерности

Центрированная кривая обратной регрессии лежит на $\,k$ -мерное подпространство, охватываемое $\,\Sigma _{xx}\beta _{i}\,'s$ . Это связь между моделью и обратной регрессией.

Учитывая это условие и $\,(1)$ , центрированная кривая обратной регрессии $\,E[X|Y=y]-E[X]$ содержится в линейном подпространстве, натянутом на $\,\Sigma _{xx}\beta _{k}(k=1,\ldots ,K)$ , где $\,\Sigma _{xx}=Cov(X)$ .

Оценка EDR-направлений

После рассмотрения всех теоретических свойств цель теперь состоит в том, чтобы оценить направления МЭД. Для этой цели необходим анализ взвешенных главных компонентов. Если образец означает $\,{\hat {m}}_{h}\,'s$ , $\,X$ был бы стандартизирован до $\,Z=\Sigma _{xx}^{-1/2}\{X-E(X)\}$ . В соответствии с приведенной выше теоремой ИК-кривая $\,m_{1}(y)=E[Z|Y=y]$ лежит в пространстве, охватываемом $\,(\eta _{1},\ldots ,\eta _{k})$ , где $\,\eta _{i}=\Sigma _{xx}^{1/2}\beta _{i}$ . Как следствие, ковариационная матрица $\,cov[E[Z|Y]]$ вырождается в любом направлении, ортогональном относительно $\,\eta _{i}\,'s$ . Следовательно, собственные векторы $\,\eta _{k}(k=1,\ldots ,K)$ связан с крупнейшим $\,K$ собственные значения — это стандартизированные EDR-направления.

Алгоритм

Алгоритм оценки направлений EDR через SIR заключается в следующем.

1. Пусть $\,\Sigma _{xx}$ быть ковариационной матрицей $\,X$ . Стандартизировать $\,X$ к

\,Z=\Sigma _{xx}^{-1/2}\{X-E(X)\}

( $\,(1)$ также можно переписать как

Y=f(\eta _{1}^{\top }Z,\ldots ,\eta _{k}^{\top }Z,\varepsilon )

где $\,\eta _{k}=\beta _{k}\Sigma _{xx}^{1/2}\quad \forall \;k$ .)

2. Разделите диапазон $\,y_{i}$ в $\,S$ непересекающиеся фрагменты $\,H_{s}(s=1,\ldots ,S).\;n_{s}$ количество наблюдений внутри каждого среза и $\,I_{H_{s}}$ – индикаторная функция для среза:

n_{s}=\sum _{i=1}^{n}I_{H_{s}}(y_{i})

3. Вычислите среднее значение $\,z_{i}$ по всем срезам, что является грубой оценкой $\,{\hat {m}}_{1}$ кривой обратной регрессии $\,m_{1}$ :

\,{\bar {z}}_{s}=n_{s}^{-1}\sum _{i=1}^{n}z_{i}I_{H_{s}}(y_{i})

4. Рассчитайте оценку $\,Cov\{m_{1}(y)\}$ :

\,{\hat {V}}=n^{-1}\sum _{i=1}^{S}n_{s}{\bar {z}}_{s}{\bar {z}}_{s}^{\top }

5. Определить собственные значения $\,{\hat {\lambda }}_{i}$ и собственные векторы $\,{\hat {\eta }}_{i}$ из $\,{\hat {V}}$ , которые являются стандартизированными EDR-направлениями.

6. Преобразуйте стандартизированные направления EDR обратно в исходный масштаб. Оценки для EDR-направлений даны по формуле:

\,{\hat {\beta }}_{i}={\hat {\Sigma }}_{xx}^{-1/2}{\hat {\eta }}_{i}

(которые не обязательно ортогональны)

Ссылки

^ Ли, Кер-Чау (1991). «Срезная обратная регрессия для уменьшения размеров» . Журнал Американской статистической ассоциации . 86 (414): 316–327. дои : 10.2307/2290563 . ISSN 0162-1459 .

Ли, КЦ. (1991) «Срезная обратная регрессия для уменьшения размерности», Журнал Американской статистической ассоциации , 86, 316–327 Jstor.
Кук, Р.Д. и Сэнфорд Вейсберг, С. (1991) «Срезная обратная регрессия для уменьшения размерности: комментарий», Журнал Американской статистической ассоциации , 86, 328–332 Jstor
Хердл В. и Симар Л. (2003) Прикладной многомерный статистический анализ , Springer Verlag. ISBN 3-540-03079-4
Краткая версия лекции Математика II в летнем семестре 2005 г. А. Брандта

[1] Ли, Кер-Чау (1991). «Срезная обратная регрессия для уменьшения размеров» . Журнал Американской статистической ассоциации . 86 (414): 316–327. дои : 10.2307/2290563 . ISSN 0162-1459 .

[1]