Гребневая регрессия

Риджевая регрессия — это метод оценки коэффициентов моделей множественной регрессии в сценариях, где независимые переменные сильно коррелируют. Он использовался во многих областях, включая эконометрику, химию и инженерию. Также известный как регуляризация Тихонова , названный в честь Андрея Тихонова , это метод регуляризации некорректных задач . Это особенно полезно для смягчения проблемы мультиколлинеарности в линейной регрессии , которая обычно возникает в моделях с большим количеством параметров. В целом, метод обеспечивает повышенную эффективность в задачах оценки параметров в обмен на допустимую величину систематической ошибки (см. «Компромисс систематической ошибки и дисперсии» ).

Теория была впервые представлена ​​Хёрлом и Кеннардом в 1970 году в их статьях по технометрике «Риджевые регрессии: смещенная оценка неортогональных задач» и «Риджевые регрессии: приложения в неортогональных задачах». Это результат десятилетних исследований в области анализа гребней.

Гребневая регрессия была разработана как возможное решение проблемы неточности оценок наименьших квадратов, когда модели линейной регрессии имеют некоторые мультиколлинеарные (высоко коррелированные) независимые переменные, - путем создания оценки гребневой регрессии (RR). Это обеспечивает более точную оценку параметров гребня, поскольку его дисперсия и среднеквадратическая оценка часто меньше, чем полученные ранее оценки наименьших квадратов.

Обзор

В простейшем случае проблема близкой к сингулярной, матрицы моментов, $\mathbf {X} ^{\mathsf {T}}\mathbf {X}$ облегчается добавлением к диагоналям положительных элементов , тем самым уменьшая число обусловленности . Аналогично обычной оценке методом наименьших квадратов , простая оценка гребня тогда определяется выражением

$${\hat {\beta }}_{R}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$$

где $\mathbf {y}$ является регрессией , $\mathbf {X}$ это матрица проектирования , $\mathbf {I}$ — единичная матрица и параметр гребня $\lambda \geq 0$ служит константой сдвига диагоналей матрицы моментов. Можно показать, что эта оценка является решением задачи наименьших квадратов с учетом ограничения $\beta ^{\mathsf {T}}\beta =c$, который можно выразить как лагранжиан:

$$\min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \beta \right)+\lambda \left(\beta ^{\mathsf {T}}\beta -c\right)$$

что показывает, что $\lambda$ есть не что иное, как множитель Лагранжа ограничения. Обычно $\lambda$ выбирается в соответствии с эвристическим критерием, так что ограничение не будет удовлетворяться точно. Конкретно в случае $\lambda =0$, в котором ограничение не является обязательным , гребневая оценка сводится к обычному методу наименьших квадратов . Более общий подход к тихоновской регуляризации обсуждается ниже.

История

Регуляризация Тихонова была изобретена независимо во многих различных контекстах.Широкую известность оно получило благодаря применению к интегральным уравнениям в работах Андрея Тихонова. и Дэвид Л. Филлипс. Некоторые авторы используют термин регуляризация Тихонова–Филлипса .Конечномерный случай был изложен Артуром Э. Хёрлом , который применил статистический подход: и Манусом Фостером, который интерпретировал этот метод как фильтр Винера – Колмогорова (Кригинга) . Вслед за Хёрлем в статистической литературе она известна как гребневая регрессия. назван в честь гребневого анализа («гребень» относится к пути от ограниченного максимума).

Tikhonov regularization

Предположим, что для известной матрицы $A$ и вектор $\mathbf {b}$, мы хотим найти вектор $\mathbf {x}$ такой, что

$$A\mathbf {x} =\mathbf {b} ,$$

где $\mathbf {x}$ и $\mathbf {b}$ могут быть разных размеров и $A$ может быть неквадратным.

Стандартный подход — это обычная линейная регрессия по методу наименьших квадратов. Однако, если нет $\mathbf {x}$ удовлетворяет уравнению или более чем одному $\mathbf {x}$ делает, то есть решение не является единственным, задача называется некорректной . В таких случаях обычное оценивание методом наименьших квадратов приводит к переопределенной или чаще недоопределенной системе уравнений. Большинство реальных явлений имеют эффект фильтров нижних частот. в прямом направлении, где $A$ карты $\mathbf {x}$ к $\mathbf {b}$. Следовательно, при решении обратной задачи обратное отображение действует как фильтр верхних частот , который имеет нежелательную тенденцию к усилению шума ( собственные значения /сингулярные значения являются наибольшими при обратном отображении, тогда как они были наименьшими при прямом отображении). Кроме того, обычный метод наименьших квадратов неявно сводит на нет каждый элемент реконструированной версии $\mathbf {x}$ это находится в нулевом пространстве $A$, вместо того, чтобы позволять использовать модель в качестве априорной для $\mathbf {x}$.Обычный метод наименьших квадратов стремится минимизировать сумму квадратов остатков , которую можно компактно записать как

$$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},$$

где $\|\cdot \|_{2}$ является евклидовой нормой .

Чтобы отдать предпочтение конкретному решению с желаемыми свойствами, в эту минимизацию можно включить член регуляризации:

$$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}$$

для некоторой подходящей тихоновской матрицы $\Gamma$. Во многих случаях эта матрица выбирается как скаляр, кратный единичной матрице ( $\Gamma =\alpha I$), отдавая предпочтение решениям с меньшими нормами ; это известно L2 _{регуляризация} . как В других случаях операторы верхних частот (например, оператор разности или взвешенный оператор Фурье ) могут использоваться для обеспечения гладкости, если основной вектор считается в основном непрерывным.Эта регуляризация улучшает обусловленность задачи, обеспечивая тем самым прямое численное решение. Явное решение, обозначаемое ${\hat {x}}$, определяется

$${\hat {x}}=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}\mathbf {b} .$$

Эффект регуляризации может варьироваться в зависимости от масштаба матрицы $\Gamma$. Для $\Gamma =0$ это сводится к нерегуляризованному решению методом наименьших квадратов при условии, что ( A ^Т А ) ⁻¹ существует.

Регуляризация L ₂ используется во многих контекстах, помимо линейной регрессии, таких как классификация с помощью логистической регрессии или машин опорных векторов . и матричная факторизация.

Применение к существующим результатам подгонки

Поскольку регуляризация Тихонова просто добавляет квадратичный член к целевой функции в задачах оптимизации,это можно сделать после того, как была проведена нерегулярная оптимизация.Например, если описанная выше проблема с $\Gamma =0$ дает решение ${\hat {x}}_{0}$,решение в присутствии $\Gamma \neq 0$ может быть выражено как:

$${\hat {x}}=B{\hat {x}}_{0},$$

с «матрицей регуляризации» $B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A$.

Если подгонка параметров сопровождается ковариационной матрицей оцененных неопределенностей параметров $V_{0}$,тогда матрица регуляризации будет

$$B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},$$

и регуляризованный результат будет иметь новую ковариацию

$$V=BV_{0}B^{\mathsf {T}}.$$

В контексте произвольного подбора правдоподобия это справедливо до тех пор, пока действует квадратичная аппроксимация функции правдоподобия. Это означает, что, пока возмущение от нерегуляризованного результата невелико, можно регуляризовать любой результат, который представлен как точка наилучшего соответствия с помощью ковариационной матрицы. Никаких детальных знаний базовой функции правдоподобия не требуется.

тихоновская

Для общих многомерных нормальных распределений для $\mathbf {x}$ и ошибку данных, можно применить преобразование переменных, чтобы уменьшить их до приведенного выше случая. Эквивалентно, можно искать $\mathbf {x}$ минимизировать

$$\left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},$$

где мы использовали $\left\|\mathbf {x} \right\|_{Q}^{2}$ обозначать взвешенную норму в квадрате $\mathbf {x} ^{\mathsf {T}}Q\mathbf {x}$ (сравните с расстоянием Махаланобиса ). В байесовской интерпретации $P$ - обратная матрица ковариационная $\mathbf {b}$, $\mathbf {x} _{0}$ значение ожидаемое ​ $\mathbf {x}$, и $Q$ - обратная ковариационная матрица $\mathbf {x}$. Матрица Тихонова тогда задается как факторизация матрицы $Q=\Gamma ^{\mathsf {T}}\Gamma$ (например, факторизация Холецкого ) и считается отбеливающим фильтром .

Эта обобщенная задача имеет оптимальное решение $\mathbf {x} ^{*}$ которое можно записать явно по формуле

$$\mathbf {x} ^{*}=\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right),$$

или, что то же самое, когда Q является не нулевой матрицей:

$$\mathbf {x} ^{*}=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).$$

Лаврентьевская

В некоторых ситуациях можно избежать использования транспонирования. $A^{\mathsf {T}}$, как предложил Михаил Лаврентьев . Например, если $A$ является симметричным положительно определенным, т.е. $A=A^{\mathsf {T}}>0$, как и его обратная сторона $A^{-1}$, что, таким образом, можно использовать для определения квадрата взвешенной нормы $\left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x}$ в обобщенной тихоновской регуляризации, приводящей к минимизации

$$\left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}$$

или, что то же самое, с точностью до постоянного члена,

$$\mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).$$

Эта задача минимизации имеет оптимальное решение $\mathbf {x} ^{*}$ которое можно записать явно по формуле

$$\mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),$$

что есть не что иное, как решение обобщенной задачи Тихонова, где $A=A^{\mathsf {T}}=P^{-1}.$

Регуляризация Лаврентьева, если она применима, предпочтительнее исходной регуляризации Тихонова, поскольку матрица Лаврентьева $A+Q$ могут быть лучше обусловлены, т. е. иметь меньшее число обусловленности , по сравнению с матрицей Тихонова $A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .$

Регуляризация в гильбертовом пространстве

Обычно дискретные линейные плохо обусловленные задачи возникают в результате дискретизации интегральных уравнений , и можно сформулировать тихоновскую регуляризацию в исходном бесконечномерном контексте. Выше мы можем интерпретировать $A$ как компактный оператор в гильбертовом пространстве и $x$ и $b$ как элементы в области и диапазоне $A$. Оператор $A^{*}A+\Gamma ^{\mathsf {T}}\Gamma$ тогда является самосопряженным ограниченным обратимым оператором.

с разложением по сингулярным значениям и

С $\Gamma =\alpha I$, это решение методом наименьших квадратов можно проанализировать особым образом, используя разложение по сингулярным значениям . Учитывая разложение по сингулярным значениям

$$A=U\Sigma V^{\mathsf {T}}$$

с сингулярными значениями $\sigma _{i}$, регуляризованное тихоновское решение можно выразить как

$${\hat {x}}=VDU^{\mathsf {T}}b,$$

где $D$ имеет диагональные значения

$$D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}$$

и равен нулю в другом месте. Это демонстрирует влияние параметра Тихонова на число обусловленности регуляризованной задачи. Для обобщенного случая аналогичное представление можно получить с помощью обобщенного разложения по сингулярным значениям .

Наконец, это связано с фильтром Винера :

$${\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},$$

где веса Винера $f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}$ и $q$ это ранг ​ $A$.

Определение коэффициента Тихонова

Оптимальный параметр регуляризации $\alpha$ обычно неизвестен и часто в практических задачах определяется специальным методом. Возможный подход основан на байесовской интерпретации, описанной ниже. Другие подходы включают принцип несоответствия , перекрестную проверку , метод L-кривой , ограниченное максимальное правдоподобие и несмещенная прогнозирующая оценка риска . Грейс Вахба доказала, что оптимальный параметр в смысле перекрестной проверки с исключением одного минимизирует

$$G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|X{\hat {\beta }}-y\right\|^{2}}{\left[\operatorname {Tr} \left(I-X\left(X^{\mathsf {T}}X+\alpha ^{2}I\right)^{-1}X^{\mathsf {T}}\right)\right]^{2}}},$$

где $\operatorname {RSS}$ – остаточная сумма квадратов , а $\tau$ – эффективное число степеней свободы .

Используя предыдущее разложение SVD, мы можем упростить приведенное выше выражение:

$$\operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$$

$$\operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$$

и

$$\tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.$$

к

Вероятностная формулировка обратной задачи вводит (когда все неопределенности гауссовы) ковариационную матрицу $C_{M}$ представляющие априорные неопределенности параметров модели и ковариационную матрицу $C_{D}$ представляющие неопределенности наблюдаемых параметров. В частном случае, когда эти две матрицы диагональны и изотропны, $C_{M}=\sigma _{M}^{2}I$ и $C_{D}=\sigma _{D}^{2}I$, и в этом случае уравнения обратной теории сводятся к приведенным выше уравнениям с $\alpha ={\sigma _{D}}/{\sigma _{M}}$.

Байесовская

Основная статья: Байесовская интерпретация регуляризации

Дополнительная информация: Минимальная среднеквадратическая ошибка § Линейная оценка MMSE для процесса линейного наблюдения.

Хотя на первый взгляд выбор решения этой регуляризованной задачи может показаться искусственным, да и матрица $\Gamma$ кажется довольно произвольным, этот процесс можно оправдать с байесовской точки зрения . Заметим, что для некорректной задачи необходимо обязательно ввести некоторые дополнительные предположения, чтобы получить однозначное решение. Статистически вероятностей априорное распределение $x$ иногда принимают за многомерное нормальное распределение . Для простоты здесь сделаны следующие предположения: средние значения равны нулю; их компоненты независимы; компоненты имеют одинаковое стандартное отклонение $\sigma _{x}$. Данные также могут содержать ошибки, а ошибки в $b$ также считаются независимыми с нулевым средним и стандартным отклонением $\sigma _{b}$. При этих предположениях регуляризованное по Тихонову решение является наиболее вероятным решением с учетом данных и априорного распределения $x$, согласно теореме Байеса .

Если предположение о нормальности заменяется предположениями о гомоскедастичности и некоррелированности ошибок и если по-прежнему предполагается нулевое среднее, то из теоремы Гаусса-Маркова следует, что решением является минимальная несмещенная линейная оценка .

См. также

• Оценщик LASSO — еще один метод регуляризации в статистике.
• Эластичная чистая регуляризация
• Регуляризация матрицы

Дальнейшее чтение

• Грубер, Марвин (1998). Повышение эффективности за счет сокращения: оценки регрессии Джеймса-Стейна и Риджа . Бока-Ратон: CRC Press. ISBN  0-8247-0156-9 .
• Кресс, Райнер (1998). «Тихоновская регуляризация» . Численный анализ . Нью-Йорк: Спрингер. стр. 86–90. ISBN  0-387-98408-9 .
• Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, BP (2007). «Раздел 19.5. Методы линейной регуляризации» . Численные рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN  978-0-521-88068-8 .
• Салех, АК, штат Мэриленд Эхсанес; Араши, Мохаммед; Кибрия, Б.М. Голам (2019). Теория оценки ридж-регрессии с приложениями . Нью-Йорк: Джон Уайли и сыновья. ISBN  978-1-118-64461-4 .
• Тедди, Мэтт (2019). «Регуляризация» . Наука о бизнес-данных: сочетание машинного обучения и экономики для оптимизации, автоматизации и ускорения принятия бизнес-решений . Нью-Йорк: МакГроу-Хилл. стр. 69–104. ISBN  978-1-260-45277-8 .