Регрессия главных компонентов

В статистике регрессия главных компонентов ( PCR ) — это метод регрессионного анализа , основанный на анализе главных компонентов (PCA). Более конкретно, ПЦР используется для оценки неизвестных коэффициентов регрессии в стандартной модели линейной регрессии .

В ПЦР вместо прямой регрессии зависимой переменной на объясняющие переменные главные компоненты используются в качестве регрессоров независимых переменных . Обычно для регрессии используется только подмножество всех основных компонентов, что делает ПЦР своего рода регуляризованной процедурой, а также своего рода оценщиком усадки .

главные компоненты с более высокими дисперсиями (основанные на собственных векторах, более высоким собственным значениям выборочной соответствующих дисперсионно-ковариационной матрицы Часто в качестве регрессоров выбираются объясняющих переменных). Однако для прогнозирования результата главные компоненты с низкими дисперсиями также могут быть важны, а в некоторых случаях даже более важны.

Одно из основных применений ПЦР заключается в преодолении проблемы мультиколлинеарности , которая возникает, когда две или более объясняющих переменных близки к коллинеарности . ПЦР может успешно справиться с такими ситуациями, исключив некоторые основные компоненты с низкой дисперсией на этапе регрессии. Кроме того, обычно регрессируя только по подмножеству всех основных компонентов, PCR может привести к уменьшению размерности за счет существенного снижения эффективного количества параметров, характеризующих базовую модель. Это может быть особенно полезно в ситуациях с многомерными ковариатами . Кроме того, благодаря соответствующему выбору основных компонентов, которые будут использоваться для регрессии, ПЦР может привести к эффективному прогнозированию результата на основе предполагаемой модели.

Принцип

Метод ПЦР можно условно разделить на три основных этапа:

1. $\;\;$ Выполните PCA на матрице наблюдаемых данных для независимых переменных, чтобы получить основные компоненты, а затем (обычно) выберите на основе некоторых подходящих критериев подмножество полученных таким образом главных компонентов для дальнейшего использования.

2. $\;\;$ Теперь выполните регрессию наблюдаемого вектора результатов по выбранным главным компонентам как ковариатам, используя обычную регрессию наименьших квадратов ( линейную регрессию ), чтобы получить вектор оцененных коэффициентов регрессии (с размерностью, равной количеству выбранных главных компонентов).

3. $\;\;$ Теперь преобразуйте этот вектор обратно в шкалу фактических ковариат, используя выбранные нагрузки PCA (собственные векторы, соответствующие выбранным главным компонентам), чтобы получить окончательную оценку PCR (с размерностью, равной общему количеству ковариат) для оценки коэффициентов регрессии. характеризующие исходную модель.

Подробности метода

Представление данных: Пусть $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ обозначаем вектор наблюдаемых результатов и $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ обозначают соответствующую матрицу данных наблюдаемых ковариат, где $n$ и $p$ обозначают размер наблюдаемой выборки и количество ковариат соответственно, где $n\geq p$. Каждый из $n$ ряды $\mathbf {X}$ обозначает один набор наблюдений для $p$ размерная ковариата и соответствующая запись $\mathbf {Y}$ обозначает соответствующий наблюдаемый результат.

Предварительная обработка данных: предположим, что $\mathbf {Y}$ и каждый из $p$ столбцы $\mathbf {X}$ уже отцентрированы, так что все они имеют нулевые эмпирические средства . Этот шаг центрирования имеет решающее значение (по крайней мере, для колонн $\mathbf {X}$), поскольку ПЦР предполагает использование PCA на $\mathbf {X}$ и PCA чувствителен к центрированию данных.

Базовая модель: после центрирования используется стандартная Гаусса – Маркова модель линейной регрессии для $\mathbf {Y}$ на $\mathbf {X}$ можно представить как: $\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\;$ где ${\boldsymbol {\beta }}\in \mathbb {R} ^{p}$ обозначает неизвестный вектор параметров коэффициентов регрессии и ${\boldsymbol {\varepsilon }}$ обозначает вектор случайных ошибок с $\operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \;$ и $\;\operatorname {Var} \left({\boldsymbol {\varepsilon }}\right)=\sigma ^{2}I_{n\times n}$ для какого-то неизвестного дисперсии параметра $\sigma ^{2}>0\;\;$

Цель: Основная цель — получить эффективный оценщик. ${\widehat {\boldsymbol {\beta }}}$ для параметра ${\boldsymbol {\beta }}$, исходя из данных. Одним из часто используемых подходов для этого является обычная регрессия наименьших квадратов , которая, предполагая $\mathbf {X}$ полный ранг столбца , дает несмещенную оценку : ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ из ${\boldsymbol {\beta }}$. ПЦР — еще один метод, который можно использовать с той же целью оценки ${\boldsymbol {\beta }}$.

Шаг PCA: PCR начинается с выполнения PCA для центрированной матрицы данных. $\mathbf {X}$. Для этого пусть $\mathbf {X} =U\Delta V^{T}$ обозначают сингулярным значениям разложение по $\mathbf {X}$ где, $\Delta _{p\times p}=\operatorname {diag} \left[\delta _{1},\ldots ,\delta _{p}\right]$ с $\delta _{1}\geq \cdots \geq \delta _{p}\geq 0$ обозначая неотрицательные сингулярные значения $\mathbf {X}$, столбцы а $U_{n\times p}=[\mathbf {u} _{1},\ldots ,\mathbf {u} _{p}]$ и $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ оба являются ортонормированными наборами векторов, обозначающими левый и правый сингулярные векторы $\mathbf {X}$ соответственно.

Основные компоненты: $V\Lambda V^{T}$ дает разложение спектральное $\mathbf {X} ^{T}\mathbf {X}$ где $\Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}$ с $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ обозначающие неотрицательные собственные значения (также известные как главные значения ) $\mathbf {X} ^{T}\mathbf {X}$, а столбцы $V$ обозначаем соответствующий ортонормированный набор собственных векторов. Затем, $\mathbf {X} \mathbf {v} _{j}$ и $\mathbf {v} _{j}$ соответственно обозначают $j^{th}$ главный компонент и $j^{th}$ направление главного компонента (или нагрузка PCA ), соответствующее $j^{\text{th}}$ наибольшая основная стоимость $\lambda _{j}$ для каждого $j\in \{1,\ldots ,p\}$.

Производные ковариаты: для любого $k\in \{1,\ldots ,p\}$, позволять $V_{k}$ обозначают $p\times k$ матрица с ортонормированными столбцами, состоящими из первых $k$ столбцы $V$. Позволять $W_{k}=\mathbf {X} V_{k}$ $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ обозначают $n\times k$ матрица, имеющая первый $k$ основные компоненты в качестве столбцов. $W$ можно рассматривать как матрицу данных, полученную с использованием преобразованных ковариат $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ вместо использования исходных ковариат $\mathbf {x} _{i}\in \mathbb {R} ^{p}\;\;\forall \;\;1\leq i\leq n$.

Оценщик ПЦР: Пусть ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ обозначают вектор оцененных коэффициентов регрессии, полученных методом обычной регрессии наименьших квадратов вектора отклика. $\mathbf {Y}$ в матрице данных $W_{k}$. Тогда для любого $k\in \{1,\ldots ,p\}$, окончательная оценка PCR ${\boldsymbol {\beta }}$ на основе использования первого $k$ основные компоненты определяются как: ${\widehat {\boldsymbol {\beta }}}_{k}=V_{k}{\widehat {\gamma }}_{k}\in \mathbb {R} ^{p}$.

Основные характеристики и применение оценщика PCR

Два основных свойства

Процесс подбора для получения оценки PCR включает регрессию вектора ответа в полученной матрице данных. $W_{k}$ который имеет ортогональные столбцы для любого $k\in \{1,\ldots ,p\}$ поскольку главные компоненты взаимно ортогональны друг другу. Таким образом, на этапе регрессии совместное выполнение множественной линейной регрессии на $k$ выбранные главные компоненты в качестве ковариат эквивалентны выполнению $k$ независимые простые линейные регрессии (или одномерные регрессии) отдельно по каждому из $k$ выбранные главные компоненты в качестве ковариаты.

Когда все главные компоненты выбраны для регрессии так, что $k=p$, то оценка PCR эквивалентна обычной оценке методом наименьших квадратов . Таким образом, ${\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$. Это легко увидеть из того, что $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ а также наблюдая за этим $V$ является ортогональной матрицей .

Уменьшение дисперсии

Для любого $k\in \{1,\ldots ,p\}$, дисперсия ${\widehat {\boldsymbol {\beta }}}_{k}$ дается

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\sigma ^{2}\;V_{k}(W_{k}^{T}W_{k})^{-1}V_{k}^{T}=\sigma ^{2}\;V_{k}\;\operatorname {diag} \left(\lambda _{1}^{-1},\ldots ,\lambda _{k}^{-1}\right)V_{k}^{T}=\sigma ^{2}\sideset {}{}\sum _{j=1}^{k}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.$

В частности:

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{p})=\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\sigma ^{2}\sideset {}{}\sum _{j=1}^{p}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.$

Следовательно для всех $k\in \{1,\ldots ,p-1\}$ у нас есть:

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\sigma ^{2}\sideset {}{}\sum _{j=k+1}^{p}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.$

Таким образом, для всех $k\in \{1,\ldots ,p\}$ у нас есть:

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$

где $A\succeq 0$ указывает на то, что квадратно-симметричная матрица $A$ является неотрицательно определенным . Следовательно, любая данная линейная форма оценки PCR имеет меньшую дисперсию по сравнению с той же линейной формой обычной оценки наименьших квадратов.

Решение проблемы мультиколлинеарности

При мультиколлинеарности две или более ковариаты сильно коррелируют , так что одну из них можно линейно предсказать на основе других с нетривиальной степенью точности. Следовательно, столбцы матрицы данных $\mathbf {X}$ которые соответствуют наблюдениям для этих ковариат, имеют тенденцию становиться линейно зависимыми и, следовательно, $\mathbf {X}$ имеет тенденцию терять свой ранг, теряя полную структуру ранга столбцов. В более количественном отношении одно или несколько меньших собственных значений $\mathbf {X} ^{T}\mathbf {X}$ получить(-ют) очень близко или стать(-ют) точно равными $0$ в таких ситуациях. Приведенные выше выражения дисперсии показывают, что эти небольшие собственные значения оказывают максимальное влияние инфляции на дисперсию оценки наименьших квадратов, тем самым значительно дестабилизируя оценку, когда они близки к $0$. Эту проблему можно эффективно решить, используя оценщик PCR, полученный путем исключения главных компонентов, соответствующих этим небольшим собственным значениям.

Уменьшение размеров

ПЦР также может использоваться для уменьшения размеров . Чтобы увидеть это, позвольте $L_{k}$ обозначать любой $p\times k$ матрица, имеющая ортонормированные столбцы, для любого $k\in \{1,\ldots ,p\}.$ Предположим теперь, что мы хотим аппроксимировать каждое из ковариатных наблюдений $\mathbf {x} _{i}$ через звание $k$ линейное преобразование $L_{k}\mathbf {z} _{i}$ для некоторых $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$.

Тогда можно показать, что

$\sum _{i=1}^{n}\left\|\mathbf {x} _{i}-L_{k}\mathbf {z} _{i}\right\|^{2}$

минимизируется при $L_{k}=V_{k},$ матрица с первым $k$ Направления главных компонентов в виде столбцов и $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ соответствующий $k$ производные ковариаты размерностей. Таким образом, $k$ размерные главные компоненты обеспечивают лучшее линейное приближение ранга $k$ к матрице наблюдаемых данных $\mathbf {X}$.

Соответствующая ошибка реконструкции определяется выражением:

$\sum _{i=1}^{n}\left\|\mathbf {x} _{i}-V_{k}\mathbf {x} _{i}^{k}\right\|^{2}={\begin{cases}\sum _{j=k+1}^{n}\lambda _{j}&1\leqslant k<p\\0&k=p\end{cases}}$

Таким образом, любое потенциальное уменьшение размеров может быть достигнуто путем выбора $k$, количество главных компонентов, которые будут использоваться, посредством соответствующего порогового значения по кумулятивной сумме собственных значений $\mathbf {X} ^{T}\mathbf {X}$. Поскольку меньшие собственные значения не вносят существенного вклада в совокупную сумму, соответствующие главные компоненты можно продолжать отбрасывать до тех пор, пока не будет превышен желаемый пороговый предел. Те же критерии могут также использоваться для решения проблемы мультиколлинеарности , при которой главные компоненты, соответствующие меньшим собственным значениям, могут игнорироваться до тех пор, пока сохраняется пороговый предел.

Эффект регуляризации

Поскольку оценщик PCR обычно использует только подмножество всех основных компонентов регрессии, его можно рассматривать как своего рода регуляризованную процедуру. Точнее, для любого $1\leqslant k<p$, оценщик ПЦР ${\widehat {\boldsymbol {\beta }}}_{k}$ обозначает регуляризованное решение следующей задачи минимизации с ограничениями :

$\min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\left\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\right\|^{2}\quad {\text{ subject to }}\quad {\boldsymbol {\beta }}_{*}\perp \{\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\}.$

Ограничение может быть эквивалентно записано как:

$V_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} ,$

где:

$V_{(p-k)}=\left[\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\right]_{p\times (p-k)}.$

Таким образом, когда для регрессии выбирается только правильное подмножество всех главных компонентов, полученная таким образом оценка PCR основана на жесткой форме регуляризации , которая ограничивает результирующее решение пространством столбцов выбранных направлений главных компонентов и, следовательно, ограничивает его. быть ортогональными исключенным направлениям.

Оптимальность ПЦР среди класса регуляризованных оценок

Учитывая задачу ограниченной минимизации, определенную выше, рассмотрим следующую ее обобщенную версию:

$\min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0}$

где, $L_{(p-k)}$ обозначает любую матрицу полного ранга столбца порядка $p\times (p-k)$ с $1\leqslant k<p$.

Позволять ${\widehat {\boldsymbol {\beta }}}_{L}$ обозначим соответствующее решение. Таким образом

${\widehat {\boldsymbol {\beta }}}_{L}=\arg \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} .$

Тогда оптимальный выбор матрицы ограничения $L_{(p-k)}$ для которого соответствующая оценка ${\widehat {\boldsymbol {\beta }}}_{L}$ достигает минимальной ошибки прогнозирования, определяется как:

$L_{(p-k)}^{*}=V_{(p-k)}\Lambda _{(p-k)}^{1/2},$

где

$\Lambda _{(p-k)}^{1/2}=\operatorname {diag} \left(\lambda _{k+1}^{1/2},\ldots ,\lambda _{p}^{1/2}\right).$

Совершенно очевидно, что полученная оптимальная оценка ${\widehat {\boldsymbol {\beta }}}_{L^{*}}$ затем просто задается оценщиком PCR ${\widehat {\boldsymbol {\beta }}}_{k}$ на основе первого $k$ основные компоненты.

Эффективность

Поскольку обычная оценка методом наименьших квадратов несмещена для ${\boldsymbol {\beta }}$, у нас есть

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }),$

где MSE обозначает среднеквадратическую ошибку . Теперь, если для некоторых $k\in \{1,\ldots ,p\}$, у нас дополнительно есть: $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$, то соответствующий ${\widehat {\boldsymbol {\beta }}}_{k}$ также является беспристрастным для ${\boldsymbol {\beta }}$ и поэтому

$\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k}).$

Мы это уже видели

$\forall j\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{j})\succeq 0,$

что тогда подразумевает:

$\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$

для этого конкретного $k$. Таким образом, в этом случае соответствующий ${\widehat {\boldsymbol {\beta }}}_{k}$ будет более эффективной оценкой ${\boldsymbol {\beta }}$ по сравнению с ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$, основанный на использовании среднеквадратической ошибки в качестве критерия производительности. Кроме того, любая заданная линейная форма соответствующего ${\widehat {\boldsymbol {\beta }}}_{k}$ также будет иметь меньшую среднеквадратическую ошибку по сравнению с той же линейной формой ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$.

Теперь предположим, что для данного $k\in \{1,\ldots ,p\},V_{(p-k)}^{T}{\boldsymbol {\beta }}\neq \mathbf {0}$. Тогда соответствующий ${\widehat {\boldsymbol {\beta }}}_{k}$ относится предвзято к ${\boldsymbol {\beta }}$. Однако, поскольку

$\forall k\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0,$

все еще возможно, что $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$, особенно если $k$ таково, что исключенные главные компоненты соответствуют меньшим собственным значениям, что приводит к меньшему смещению .

Чтобы обеспечить эффективную оценку и прогнозирование производительности ПЦР как средства оценки ${\boldsymbol {\beta }}$, Парк (1981) предлагает следующее руководство по выбору основных компонентов, которые будут использоваться для регрессии: $j^{th}$ главная компонента тогда и только тогда, когда $\lambda _{j}<(p\sigma ^{2})/{\boldsymbol {\beta }}^{T}{\boldsymbol {\beta }}.$ Практическая реализация этого руководства, конечно, требует оценки неизвестных параметров модели. $\sigma ^{2}$ и ${\boldsymbol {\beta }}$. В общем, их можно оценить, используя неограниченные оценки наименьших квадратов, полученные из исходной полной модели. Однако Парк (1981) предлагает несколько модифицированный набор оценок, который, возможно, лучше подходит для этой цели.

В отличие от критериев, основанных на накопленной сумме собственных значений $\mathbf {X} ^{T}\mathbf {X}$, который, вероятно, больше подходит для решения проблемы мультиколлинеарности и для выполнения уменьшения размерности, вышеупомянутые критерии на самом деле пытаются улучшить эффективность прогнозирования и оценки оценщика PCR, вовлекая как результат, так и ковариаты в процесс выбора главного компоненты, которые будут использоваться на этапе регрессии. Альтернативные подходы с аналогичными целями включают выбор основных компонентов на основе перекрестной проверки или Маллоу _{критериев C p} . Часто основные компоненты также выбираются на основе степени их связи с результатом.

Эффект усадки ПЦР

В общем, ПЦР, по сути, представляет собой средство оценки усадки , которое обычно сохраняет главные компоненты с высокой дисперсией (соответствующие более высоким собственным значениям $\mathbf {X} ^{T}\mathbf {X}$) как ковариаты в модели и отбрасывает оставшиеся компоненты с низкой дисперсией (соответствующие нижним собственным значениям $\mathbf {X} ^{T}\mathbf {X}$). Таким образом, он оказывает дискретный эффект сжатия на компоненты с низкой дисперсией, полностью сводя на нет их вклад в исходную модель. Напротив, оценщик гребневой регрессии оказывает эффект плавного сжатия за счет параметра регуляризации (или параметра настройки), который по своей сути участвует в его построении. Хотя он не отбрасывает полностью ни один из компонентов, он непрерывно оказывает эффект сжатия на все из них, так что степень сжатия выше для компонентов с низкой дисперсией и ниже для компонентов с высокой дисперсией. Фрэнк и Фридман (1993) пришли к выводу, что для целей самого прогнозирования гребневый оценщик благодаря эффекту плавного сжатия, возможно, является лучшим выбором по сравнению с оценщиком PCR, имеющим дискретный эффект сжатия.

Кроме того, главные компоненты получаются из собственного разложения $\mathbf {X}$ это включает в себя наблюдения только за объясняющими переменными. Следовательно, итоговая оценка ПЦР, полученная с использованием этих основных компонентов в качестве ковариат, не обязательно должна иметь удовлетворительную прогностическую эффективность для результата. Несколько похожий метод оценки, который пытается решить эту проблему посредством самой своей конструкции, — это метод частичной наименьших квадратов (PLS). Подобно ПЦР, PLS также использует производные ковариаты более низких размеров. Однако, в отличие от ПЦР, производные ковариаты для PLS получаются на основе использования как результата, так и ковариат. В то время как ПЦР ищет направления с высокой дисперсией в пространстве ковариат, PLS ищет направления в пространстве ковариат, которые наиболее полезны для прогнозирования результата.

В 2006 году был предложен вариант классической ПЦР, известный как контролируемая ПЦР . По духу, аналогичному PLS, он пытается получить производные ковариаты более низких измерений на основе критерия, который включает в себя как результат, так и ковариаты. Метод начинается с выполнения набора $p$ простые линейные регрессии (или одномерные регрессии), в которых вектор результата регрессируется отдельно по каждому из $p$ ковариаты, взятые по одной. Затем для некоторых $m\in \{1,\ldots ,p\}$, первый $m$ ковариаты, которые оказываются наиболее коррелирующими с результатом (на основании степени значимости соответствующих оцененных коэффициентов регрессии), отбираются для дальнейшего использования. Затем проводится традиционная ПЦР, как описано ранее, но теперь она основана только на $n\times m$ матрица данных, соответствующая наблюдениям для выбранных ковариат. Количество использованных ковариат: $m\in \{1,\ldots ,p\}$ и последующее количество используемых основных компонентов: $k\in \{1,\ldots ,m\}$ обычно выбираются путем перекрестной проверки .

Обобщение настроек ядра

Классический метод ПЦР, описанный выше, основан на классическом PCA и рассматривает модель линейной регрессии для прогнозирования результата на основе ковариат. Однако ее можно легко обобщить на настройку машины с ядром , при этом функция регрессии не обязательно должна быть линейной по ковариатам, а вместо этого может принадлежать воспроизводящему ядерному гильбертову пространству, связанному с любым произвольным (возможно, нелинейным ), симметричным положительным определенное ядро ​​. Модель линейной регрессии оказывается частным случаем этого параметра, когда в качестве функции ядра выбрано линейное ядро .

В общем, при настройке машины ядра вектор ковариат сначала отображается в многомерное (потенциально бесконечномерное ) пространство признаков, характеризующееся выбранной функцией ядра . Полученное таким образом отображение известно как карта признаков , и каждая из его координат , также известная как элементы признаков , соответствует одному признаку (может быть линейным или нелинейным ) из ковариат. линейную комбинацию Предполагается, что функция регрессии представляет собой этих элементов признаков . Таким образом, базовая модель регрессии в настройках машины ядра по сути представляет собой модель линейной регрессии с пониманием того, что вместо исходного набора ковариат предикторы теперь задаются вектором (потенциально бесконечномерным ) элементов признаков, путем преобразования полученным фактические ковариаты с использованием карты признаков .

Однако трюк с ядром на самом деле позволяет нам работать в пространстве признаков даже без явного вычисления карты признаков . Оказывается, достаточно только вычислить попарные внутренние продукты среди карт признаков для наблюдаемых векторов ковариат, и эти внутренние продукты просто задаются значениями функции ядра , оцененной в соответствующих парах векторов ковариат. Таким образом, полученные таким образом попарные скалярные продукты можно представить в виде $n\times n$ симметричная неотрицательно определенная матрица, также известная как матрица ядра .

PCR в настройках машины ядра теперь можно реализовать, сначала соответствующим образом центрируя эту матрицу ядра (скажем, K) относительно пространства признаков , а затем выполняя PCA ядра на центрированной матрице ядра (скажем, K'), в результате чего собственное разложение K ' получается. Затем ПЦР ядра (обычно) выбирает подмножество всех полученных таким образом собственных векторов и затем выполняет стандартную линейную регрессию конечного вектора на этих выбранных собственных векторах . Собственные векторы, которые будут использоваться для регрессии, обычно выбираются с помощью перекрестной проверки . Оцененные коэффициенты регрессии (имеющие ту же размерность, что и количество выбранных собственных векторов) вместе с соответствующими выбранными собственными векторами затем используются для прогнозирования результата будущего наблюдения. В машинном обучении этот метод также известен как спектральная регрессия .

Очевидно, что ядерная ПЦР имеет дискретный эффект сжатия на собственные векторы K', очень похожий на эффект дискретного сжатия классической ПЦР на главные компоненты, как обсуждалось ранее. Однако карта признаков, связанная с выбранным ядром, потенциально может быть бесконечномерной, и, следовательно, соответствующие главные компоненты и направления главных компонент также могут быть бесконечномерными. Следовательно, эти величины часто практически не поддаются измерению при настройке машины ядра. Kernel PCR по существу решает эту проблему, рассматривая эквивалентную двойную формулировку, основанную на использовании спектрального разложения соответствующей ядерной матрицы. В рамках модели линейной регрессии (которая соответствует выбору функции ядра в качестве линейного ядра) это равнозначно рассмотрению спектрального разложения соответствующих $n\times n$ матрица ядра $\mathbf {X} \mathbf {X} ^{T}$ а затем регрессию вектора результата на выбранном подмножестве собственных векторов $\mathbf {X} \mathbf {X} ^{T}$ так получилось. Можно легко показать, что это то же самое, что регрессия вектора результата по соответствующим главным компонентам (которые в данном случае конечномерны), как это определено в контексте классической PCR. Таким образом, для линейного ядра PCR ядра, основанный на двойной формулировке, в точности эквивалентен классическому PCR, основанному на первичной формулировке. Однако для произвольных (и, возможно, нелинейных) ядер эта основная формулировка может стать трудноразрешимой из-за бесконечной размерности соответствующей карты признаков. Таким образом, классическая ПЦР в этом случае становится практически неосуществимой, но ядерная ПЦР, основанная на двойной формулировке, по-прежнему остается применимой и масштабируемой в вычислительном отношении.

См. также

• Анализ главных компонентов
• Частичная регрессия наименьших квадратов
• Гребневая регрессия
• Каноническая корреляция
• Регрессия Деминга
• Общая сумма квадратов

Дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета. стр. 57–60 . ISBN  978-0-674-00560-0 .
• Тейл, Анри (1971). Принципы эконометрики . Уайли. стр. 46–55 . ISBN  978-0-471-85845-4 .