Лассо (статистика)

Эта статья о статистике и машинном обучении. Чтобы узнать о других значениях, см. Лассо (значения) .

В статистике и машинном обучении лассо ( оператор наименьшего абсолютного сжатия и выбора ; также лассо или LASSO ) — это метод регрессионного анализа , который выполняет как выбор переменных, так и регуляризацию, чтобы повысить точность прогнозирования и интерпретируемость полученной статистической модели . Метод лассо предполагает, что коэффициенты линейной модели редки, а это означает, что некоторые из них не равны нулю. Первоначально он был введен в геофизику , и позже Робертом Тибширани , кто придумал этот термин.

Первоначально Лассо было сформулировано для моделей линейной регрессии . Этот простой случай раскрывает значительную информацию об оценщике. К ним относятся его связь с гребневой регрессией и выбором лучшего подмножества , а также связь между оценками коэффициентов лассо и так называемым мягким порогом. Это также показывает, что (как и в стандартной линейной регрессии) оценки коэффициентов не обязательно должны быть уникальными, ковариаты коллинеарны если .

Хотя изначально регуляризация лассо была определена для линейной регрессии, ее легко распространить на другие статистические модели, включая обобщенные линейные модели , обобщенные уравнения оценки , модели пропорциональных рисков и M-оценки . Способность Lasso выполнять выбор подмножества зависит от формы ограничения и имеет множество интерпретаций, в том числе с точки зрения геометрии , байесовской статистики и выпуклого анализа .

LASSO тесно связан с шумоподавлением при поиске базиса .

История

Лассо было введено для повышения точности прогнозирования и интерпретируемости регрессионных моделей. Он выбирает сокращенный набор известных ковариат для использования в модели.

Лассо было разработано независимо в геофизической литературе в 1986 году на основе предыдущей работы, в которой использовалась $\ell ^{1}$ штраф как за подгонку, так и за штрафование коэффициентов. Статистик Роберт Тибширани независимо заново открыл и популяризировал его в 1996 году, основываясь на . неотрицательной гарроте Бреймана

До лассо наиболее широко используемым методом выбора ковариат был пошаговый выбор . Такой подход повышает точность прогнозирования только в определенных случаях, например, когда лишь несколько ковариат имеют сильную связь с результатом. Однако в других случаях это может увеличить ошибку прогнозирования.

В то время гребневая регрессия была самым популярным методом повышения точности прогнозов. Гребневая регрессия улучшает ошибку прогнозирования за счет уменьшения суммы квадратов коэффициентов регрессии до значения меньше фиксированного значения, чтобы уменьшить переобучение , но она не выполняет ковариатный выбор и, следовательно, не помогает сделать модель более интерпретируемой.

Лассо достигает обеих этих целей, заставляя сумму абсолютного значения коэффициентов регрессии быть меньше фиксированного значения, что приводит к нулю определенных коэффициентов, исключая их из влияния на прогноз. Эта идея аналогична гребневой регрессии, которая также уменьшает размер коэффициентов; однако гребневая регрессия не устанавливает коэффициенты в ноль (и, таким образом, не выполняет выбор переменных ).

Основная форма

Наименьшие квадраты

Рассмотрим выборку, состоящую из N случаев, каждый из которых состоит из p ковариат и одного исхода. Позволять $y_{i}$ быть результатом и $x_{i}:=(x_{1},x_{2},\ldots ,x_{p})_{i}^{T}$ быть вектором ковариат для i ^й случай. Тогда цель лассо – решить $$\min _{\beta _{0},\beta }{\biggl \{}\sum _{i=1}^{N}{\bigl (}y_{i}-\beta _{0}-x_{i}^{T}\beta {\bigr )}^{2}{\biggr \}}{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t.$$

Здесь $\beta _{0}$ - постоянный коэффициент, $\beta :=(\beta _{1},\beta _{2},\ldots ,\beta _{p})$ - вектор коэффициентов, а $t$ — заранее заданный свободный параметр, определяющий степень регуляризации.

Сдача в аренду $X$ быть ковариатной матрицей, так что $X_{ij}=(x_{i})_{j}$ и $x_{i}^{T}$ это я ^й ряд $X$, выражение можно записать более компактно как $$\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t,$$где $\|u\|_{p}={\biggl (}\sum _{i=1}^{N}|u_{i}|^{p}{\biggr )}^{1/p}$ это стандарт $\ell ^{p}$ норма .

Обозначение скалярного среднего значения точек данных $x_{i}$ к ${\bar {x}}$ и среднее значение переменных ответа $y_{i}$ к ${\bar {y}}$, полученная оценка для $\beta _{0}$ является ${\hat {\beta }}_{0}={\bar {y}}-{\bar {x}}^{T}\beta$, так что $$y_{i}-{\hat {\beta }}_{0}-x_{i}^{T}\beta =y_{i}-({\bar {y}}-{\bar {x}}^{T}\beta )-x_{i}^{T}\beta =(y_{i}-{\bar {y}})-(x_{i}-{\bar {x}})^{T}\beta ,$$и поэтому стандартно работать с переменными, которым присвоено нулевое среднее. Кроме того, ковариаты обычно стандартизированы. ${\textstyle {\bigl (}\sum _{i=1}^{N}x_{i}^{2}=1{\bigr )}}$ так что решение не зависит от масштаба измерения.

Может быть полезно переписать $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t.$$в так называемой лагранжевой форме $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}$$где точное соотношение между $t$ и $\lambda$ зависит от данных.

Ортонормированные ковариаты

Теперь можно рассмотреть некоторые основные свойства средства оценки лассо.

Предполагая сначала, что ковариаты ортонормированы, так что $x_{i}^{T}x_{j}=\delta _{ij}$, где $\delta _{ij}$ является дельтой Кронекера или, что то же самое, $X^{T}X=I$, то с помощью субградиентных методов можно показать, что $${\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}})={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\max {\Biggl (}0,1-{\frac {N\lambda }{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}\\&{\text{ where }}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}=(X^{T}X)^{-1}X^{T}y=X^{T}y\end{aligned}}$$$S_{\alpha }$ называется оператором мягкого порога , поскольку он переводит значения в сторону нуля (делая их точно нулевыми, если они достаточно малы) вместо того, чтобы устанавливать меньшие значения в ноль и оставлять большие значения нетронутыми, как оператор жесткого порога , часто обозначаемый $H_{\alpha }$, бы.

Целью гребневой регрессии является минимизация $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}\right\}$$

С использованием $X^{T}X=I$ и формула гребневой регрессии: ${\hat {\beta }}=\left((X^{T}X)+N\lambda I\right)^{-1}X^{T}y$, это дает: $${\hat {\beta }}_{j}=(1+N\lambda )^{-1}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}.$$

Ридж-регрессия уменьшает все коэффициенты в единый коэффициент. $(1+N\lambda )^{-1}$ и не устанавливает никакие коэффициенты в ноль.

Ее также можно сравнить с регрессией с выбором наилучшего подмножества , целью которой является минимизация $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{0}\right\}$$где $\|\cdot \|_{0}$ это " $\ell ^{0}$ норма», которая определяется как $\|z\|=m$ если ровно m компонентов z не равны нулю. В этом случае можно показать, что $${\hat {\beta }}_{j}=H_{\sqrt {N\lambda }}\left({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\right)={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\mathrm {I} \left({\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}\geq {\sqrt {N\lambda }}\right)$$где $H_{\alpha }$ это так называемая функция жесткого порога и $\mathrm {I}$ является индикаторной функцией (она равна 1, если ее аргумент истинен, и 0 в противном случае).

Таким образом, оценки лассо имеют общие черты как регрессии гребня, так и регрессии выбора лучшего подмножества, поскольку они оба уменьшают величину всех коэффициентов, таких как регрессия гребня, и устанавливают некоторые из них равными нулю, как в случае выбора лучшего подмножества. Кроме того, хотя гребневая регрессия масштабирует все коэффициенты с помощью постоянного коэффициента, лассо вместо этого переводит коэффициенты в сторону нуля на постоянное значение и устанавливает их в ноль, если они его достигают.

Коррелирующие ковариаты

В одном особом случае две ковариаты, скажем, j и k , идентичны для каждого наблюдения, так что $x_{(j)}=x_{(k)}$, где $x_{(j),i}=x_{(k),i}$. Тогда значения $\beta _{j}$ и $\beta _{k}$ которые минимизируют целевую функцию лассо, не определены однозначно. Фактически, если некоторые ${\hat {\beta }}$ в котором ${\hat {\beta }}_{j}{\hat {\beta }}_{k}\geq 0$, то если $s\in [0,1]$ замена ${\hat {\beta }}_{j}$ к $s({\hat {\beta }}_{j}+{\hat {\beta }}_{k})$ и ${\hat {\beta }}_{k}$ к $(1-s)({\hat {\beta }}_{j}+{\hat {\beta }}_{k})$, сохраняя при этом все остальные ${\hat {\beta }}_{i}$ фиксированное, дает новое решение, поэтому целевая функция лассо имеет континуум допустимых минимизаторов. Несколько вариантов лассо, включая регуляризацию Elastic net , были разработаны для устранения этого недостатка.

Общая форма

Регуляризацию лассо можно распространить на другие целевые функции, например, для обобщенных линейных моделей , обобщенных уравнений оценки , моделей пропорциональных рисков и M-оценок . Учитывая целевую функцию $${\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )$$регуляризованная версия оценщика с помощью лассо является решением $$\min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta ){\text{ subject to }}\|\beta \|_{1}\leq t$$где только $\beta$ наказывается, пока $\alpha$ может принимать любое разрешенное значение, так же, как $\beta _{0}$ не был наказан по основному делу.

Интерпретации

Геометрическая интерпретация

Формы областей ограничений для лассо и гребневой регрессии.

Лассо может устанавливать коэффициенты равными нулю, в то время как внешне похожая регрессия гребня не может. Это связано с различием формы их границ ограничений. И лассо, и гребневую регрессию можно интерпретировать как минимизацию одной и той же целевой функции. $$\min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}$$но с учетом различных ограничений: $\|\beta \|_{1}\leq t$ для лассо и $\|\beta \|_{2}^{2}\leq t$ для хребта. На рисунке показано, что область ограничений, определяемая $\ell ^{1}$ норма — это квадрат, повернутый так, что его углы лежат на осях (вообще говоря, перекрестный многогранник ), а область, определяемая $\ell ^{2}$ Норма — это круг (вообще говоря, n -сфера ), который относительно вращения инвариантен и, следовательно, не имеет углов. Как видно на рисунке, выпуклый объект, лежащий по касательной к границе, такой как показанная линия, скорее всего, встретит угол (или эквивалент более высокой размерности) гиперкуба, для которого некоторые компоненты $\beta$ тождественно равны нулю, а в случае n -сферы точки на границе, для которых некоторые компоненты $\beta$ равны нулю, не отличаются от других, и выпуклый объект больше не контактирует с точкой, в которой некоторые компоненты $\beta$ равны нулю, чем единица, для которой ни один из них не равен нулю.

Упрощение интерпретации λ за счет компромисса между точностью и простотой

Лассо можно масштабировать так, чтобы можно было легко предвидеть и влиять на степень сжатия, связанную с заданным значением $\lambda$. Предполагается, что $X$ стандартизирован с помощью z-показателей и что $y$ центрировано (нулевое среднее). Позволять $\beta _{0}$ представляют предполагаемые коэффициенты регрессии и пусть $b_{\text{OLS}}$ обратитесь к оптимизированным по данным обычным решениям наименьших квадратов. Затем мы можем определить лагранжиан как компромисс между точностью решений, оптимизированных для данных, и простотой соблюдения гипотетических значений. Это приводит к $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {(y-X\beta )'(y-X\beta )}{(y-X\beta _{0})'(y-X\beta _{0})}}+2\lambda \sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{q_{i}}}\right\}$$где $q_{i}$ указано ниже, а символ «штрих» означает транспонирование. Первая дробь представляет относительную точность, вторая дробь – относительную простоту, а $\lambda$ баланс между ними.

Пути решения $\ell _{1}$ норма и $\ell _{2}$ норма, когда $b_{\text{OLS}}=2$ и $\beta _{0}=0$

Учитывая один регрессор, относительную простоту можно определить, указав $q_{i}$ как $|b_{\text{OLS}}-\beta _{0}|$, что является максимальной величиной отклонения от $\beta _{0}$ когда $\lambda =0$. Предполагая, что $\beta _{0}=0$, путь решения можно определить через $R^{2}$: $$b_{\ell _{1}}={\begin{cases}(1-\lambda /R^{2})b_{\text{OLS}}&{\mbox{if }}\lambda \leq R^{2},\\0&{\mbox{if }}\lambda >R^{2}.\end{cases}}$$Если $\lambda =0$, используется обычное решение наименьших квадратов (OLS). Предполагаемая ценность $\beta _{0}=0$ выбирается, если $\lambda$ больше, чем $R^{2}$. Кроме того, если $R^{2}=1$, затем $\lambda$ представляет собой пропорциональное влияние $\beta _{0}=0$. Другими словами, $\lambda \times 100\%$ измеряет в процентном отношении минимальную степень влияния гипотетического значения относительно решения OLS, оптимизированного по данным.

Если $\ell _{2}$-норма используется для штрафа за отклонения от нуля с учетом одного регрессора, путь решения определяется выражением $$b_{\ell _{2}}=\left(1+{\frac {\lambda }{R^{2}(1-\lambda )}}\right)^{-1}b_{\text{OLS}}.$$Нравиться $b_{\ell _{1}}$, $b_{\ell _{2}}$ движется в направлении точки $(\lambda =R^{2},b=0)$ когда $\lambda$ близко к нулю; но в отличие от $b_{\ell _{1}}$, влияние $R^{2}$ уменьшается в $b_{\ell _{2}}$ если $\lambda$ увеличивается (см. рисунок).
При наличии нескольких регрессоров момент, когда параметр активируется (т. е. ему разрешено отклоняться от $\beta _{0}$) также определяется вкладом регрессора в $R^{2}$ точность. Первый, $$R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.$$Ан $R^{2}$ 75 % означает, что точность в выборке увеличивается на 75 %, если вместо гипотетических решений используются неограниченные МНК. $\beta _{0}$ ценности. Индивидуальный вклад отклонения от каждой гипотезы можно вычислить с помощью $p$ х $p$ матрица $$R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},$$где ${\tilde {y}}_{0}=y-X\beta _{0}$. Если $b=b_{\text{OLS}}$ когда $R^{2}$ вычисляется, то диагональные элементы $R^{\otimes }$ сумма до $R^{2}$. Диагональ $R^{\otimes }$ значения могут быть меньше 0 или, реже, больше 1. Если регрессоры некоррелированы, то $i^{th}$ диагональный элемент $R^{\otimes }$ просто соответствует $r^{2}$ значение между $x_{i}$ и $y$.

Масштабированную версию адаптивного лассо можно получить, установив $q_{{\mbox{adaptive lasso}},i}=|b_{{\text{OLS}},i}-\beta _{0,i}|$. Если регрессоры некоррелированы, то в тот момент, когда $i^{th}$ параметр активирован, задается $i^{th}$ диагональный элемент $R^{\otimes }$. Полагая для удобства, что $\beta _{0}$ вектор нулей, $$b_{i}={\begin{cases}(1-\lambda /R_{ii}^{\otimes })b_{{\text{OLS}},i}&{\text{if }}\lambda \leq R_{ii}^{\otimes },\\0&{\text{if }}\lambda >R_{ii}^{\otimes }.\end{cases}}$$То есть, если регрессоры некоррелированы, $\lambda$ еще раз указывает на минимальное влияние $\beta _{0}$. Даже если регрессоры коррелируют, первый раз активация параметра регрессии происходит, когда $\lambda$ равен наибольшему диагональному элементу $R^{\otimes }$.

Эти результаты можно сравнить с измененной версией лассо, определив $q_{{\mbox{lasso}},i}={\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|$, что представляет собой среднее абсолютное отклонение $b_{\text{OLS}}$ от $\beta _{0}$. Если предположить, что регрессоры некоррелированы, то момент активации $i^{th}$ регрессор определяется $${\tilde {\lambda }}_{{\text{lasso}},i}={\frac {1}{p}}{\sqrt {R_{i}^{\otimes }}}\sum _{l=1}^{p}{\sqrt {R_{l}^{\otimes }}}.$$

Для $p=1$, момент активации снова определяется выражением ${\tilde {\lambda }}_{{\text{lasso}},i}=R^{2}$. Если $\beta _{0}$ представляет собой вектор нулей и подмножество $p_{B}$ соответствующие параметры в равной степени отвечают за идеальное соответствие $R^{2}=1$, то это подмножество активируется в $\lambda$ ценность ${\frac {1}{p}}$. Тогда момент активации соответствующего регрессора равен ${\frac {1}{p}}{\frac {1}{\sqrt {p_{B}}}}p_{B}{\frac {1}{\sqrt {p_{B}}}}={\frac {1}{p}}$. Другими словами, включение нерелевантных регрессоров задерживает момент, когда соответствующие регрессоры активируются этим измененным лассо. Адаптивное лассо и лассо являются особыми случаями средства оценки «1ASTc». Последний группирует параметры вместе только в том случае, если абсолютная корреляция между регрессорами превышает значение, указанное пользователем.

Байесовская интерпретация

Распределения Лапласа имеют резкий пик в своем среднем значении, где сосредоточена большая плотность вероятности по сравнению с нормальным распределением.

Точно так же, как гребневую регрессию можно интерпретировать как линейную регрессию, для которой коэффициентам присвоены нормальные априорные распределения , лассо можно интерпретировать как линейную регрессию, для которой коэффициенты имеют априорные распределения Лапласа . Распределение Лапласа имеет резкий пик в нуле (его первая производная разрывна в нуле) и концентрирует свою вероятностную массу ближе к нулю, чем нормальное распределение. Это дает альтернативное объяснение того, почему лассо имеет тенденцию устанавливать некоторые коэффициенты равными нулю, а гребневая регрессия - нет.

Интерпретация выпуклой релаксации

Лассо также можно рассматривать как выпуклую релаксацию задачи регрессии выбора наилучшего подмножества, которая заключается в нахождении подмножества $\leq k$ ковариат, которая приводит к наименьшему значению целевой функции для некоторого фиксированного $k\leq n$, где n — общее количество ковариат. " $\ell ^{0}$ норма», $\|\cdot \|_{0}$, (количество ненулевых элементов вектора) является предельным случаем " $\ell ^{p}$ нормы", вида $\textstyle \|x\|_{p}=\left(\sum _{i=1}^{n}|x_{j}|^{p}\right)^{1/p}$ (где кавычки означают, что на самом деле это не нормы для $p<1$ с $\|\cdot \|_{p}$ не является выпуклым для $p<1$, поэтому неравенство треугольника не выполняется). Следовательно, поскольку p = 1 — наименьшее значение, для которого « $\ell ^{p}$ норма» является выпуклой (и, следовательно, фактически является нормой), лассо в некотором смысле является лучшим выпуклым приближением к задаче выбора лучшего подмножества, поскольку область, определяемая формулой $\|x\|_{1}\leq t$ - выпуклая оболочка области, определяемая формулой $\|x\|_{p}\leq t$ для $p<1$.

Обобщения

Варианты лассо были созданы для того, чтобы устранить ограничения исходной техники и сделать метод более полезным для решения конкретных задач. Почти все они сосредоточены на уважении или использовании зависимостей между ковариатами.

Эластичная чистая регуляризация добавляет дополнительный штраф, подобный гребневой регрессии, который повышает производительность, когда количество предикторов превышает размер выборки, позволяет методу выбирать вместе сильно коррелированные переменные и повышает общую точность прогнозирования.

Групповое лассо позволяет выбирать группы связанных ковариат как одну единицу, что может быть полезно в ситуациях, когда не имеет смысла включать одни ковариаты без других. Дальнейшие расширения группового лассо выполняют выбор переменных внутри отдельных групп (лассо разреженных групп) и допускают перекрытие между группами (лассо перекрывающихся групп).

Слитое лассо может учитывать пространственные или временные характеристики проблемы, в результате чего оценки лучше соответствуют структуре системы. Модели, регуляризованные с помощью лассо, могут быть подобраны с использованием таких методов, как субградиентные методы , регрессия наименьшего угла (LARS) и методы проксимального градиента . Определение оптимального значения параметра регуляризации является важной частью обеспечения хорошей работы модели; обычно он выбирается с использованием перекрестной проверки .

Эластичная сетка

Основная статья: Эластичная чистая регуляризация

В 2005 году Цзоу и Хасти представили эластичную сетку . Когда p > n (количество ковариат больше размера выборки), лассо может выбрать только n ковариат (даже если с результатом связано больше) и имеет тенденцию выбирать одну ковариату из любого набора сильно коррелированных ковариат. Кроме того, даже когда n > p , гребневая регрессия имеет тенденцию работать лучше, учитывая сильно коррелированные ковариаты.

Эластичная сетка удлиняет лассо, добавляя дополнительную $\ell ^{2}$ срок наказания $$\min _{\beta \in \mathbb {R} ^{p}}\left\{\left\|y-X\beta \right\|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}\right\},$$что эквивалентно решению $${\begin{aligned}\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}&{\text{ subject to }}(1-\alpha )\|\beta \|_{1}+\alpha \|\beta \|_{2}^{2}\leq t,\\&{\text{ where }}\alpha ={\frac {\lambda _{2}}{\lambda _{1}+\lambda _{2}}}.\end{aligned}}$$

Эту задачу можно записать в простой форме лассо. $$\min _{\beta ^{*}\in \mathbb {R} ^{p}}\left\{\left\|y^{*}-X^{*}\beta ^{*}\right\|_{2}^{2}+\lambda ^{*}\|\beta ^{*}\|_{1}\right\}$$сдача в аренду $$X_{(n+p)\times p}^{*}=(1+\lambda _{2})^{-1/2}{\binom {X}{\lambda _{2}^{1/2}I_{p\times p}}},$$$$y_{(n+p)}^{*}={\binom {y}{0^{p}}},\qquad \lambda ^{*}={\frac {\lambda _{1}}{\sqrt {1+\lambda _{2}}}},$$$$\beta ^{*}={\sqrt {1+\lambda _{2}}}\beta .$$

Затем ${\hat {\beta }}={\frac {{\hat {\beta }}^{*}}{\sqrt {1+\lambda _{2}}}}$, что, когда ковариаты ортогональны друг другу, дает $${\hat {\beta }}_{j}={\frac {{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}}{\sqrt {1+\lambda _{2}}}}\max {\Biggl (}0,1-{\frac {\lambda ^{*}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}{\bigr |}}}{\Biggr )}={\frac {{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}}{1+\lambda _{2}}}\max {\Biggl (}0,1-{\frac {\lambda _{1}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}=(1+\lambda _{2})^{-1}{\hat {\beta }}{}_{j}^{\text{lasso}}.$$

Таким образом, результат штрафа за эластичную сетку представляет собой комбинацию эффектов штрафов за лассо и гребня.

Возвращаясь к общему случаю, тот факт, что штрафная функция теперь строго выпуклая, означает, что если $x_{(j)}=x_{(k)}$, ${\hat {\beta }}_{j}={\hat {\beta }}_{k}$, что является отличием от лассо. В общем, если ${\hat {\beta }}_{j}{\hat {\beta _{k}}}>0$$${\frac {|{\hat {\beta }}_{j}-{\hat {\beta _{k}}}|}{\|y\|}}\leq \lambda _{2}^{-1}{\sqrt {2(1-\rho _{jk})}},{\text{ where }}\rho =X^{t}X,$$— это выборочная корреляционная матрица, поскольку $x$ нормализованы.

Таким образом, высококоррелированные ковариаты, как правило, имеют схожие коэффициенты регрессии, при этом степень сходства зависит от обоих факторов. $\|y\|_{1}$ и $\lambda _{2}$, который отличается от лассо. Это явление, при котором сильно коррелированные ковариаты имеют схожие коэффициенты регрессии, называется эффектом группировки. Группировка желательна, поскольку в таких приложениях, как связывание генов с заболеванием, предпочтительнее найти все связанные ковариаты, а не выбирать по одной из каждого набора коррелирующих ковариат, как это часто бывает с помощью лассо. Кроме того, выбор только одного из каждой группы обычно приводит к увеличению ошибки прогнозирования, поскольку модель менее надежна (именно поэтому гребневая регрессия часто превосходит лассо).

Групповое лассо

В 2006 году Юань и Линь представили групповое лассо, позволяющее совместно выбирать заранее определенные группы ковариат в модель или из нее. Это полезно во многих ситуациях, возможно, наиболее очевидно, когда категориальная переменная закодирована как набор бинарных ковариат. В этом случае групповое лассо может гарантировать, что все переменные, кодирующие категориальную ковариату, будут включены или исключены вместе. Другая ситуация, в которой группирование является естественным, — это биологические исследования. Поскольку гены и белки часто лежат в известных путях, то, какие пути связаны с результатом, может быть более важным, чем то, связаны ли отдельные гены. Целевая функция группового лассо является естественным обобщением стандартной цели лассо. $$\min _{\beta \in \mathbb {R} ^{p}}{\biggl \{}{\biggl \|}y-\sum _{j=1}^{J}X_{j}\beta _{j}{\biggr \|}_{2}^{2}+\lambda \sum _{j=1}^{J}\|\beta _{j}\|_{K_{j}}{\biggr \}},\qquad \|z\|_{K_{j}}=(z^{t}K_{j}z)^{1/2}$$где матрица расчета $X$ и ковариатный вектор $\beta$ были заменены набором матриц проектирования $X_{j}$ и ковариатные векторы $\beta _{j}$, по одному на каждую из J-групп. Кроме того, срок штрафа теперь составляет сумму, превышающую $\ell ^{2}$ нормы, определяемые положительно определенными матрицами $K_{j}$. Если каждая ковариата находится в своей группе и $K_{j}=I$, то это сводится к стандартному аркану, а если имеется только одна группа и $K_{1}=I$, это сводится к регрессии гребня. Поскольку наказание сводится к $\ell ^{2}$ Норма для подпространств, определенных каждой группой, он не может выбрать только некоторые ковариаты из группы, как и гребневая регрессия. Однако, поскольку штраф представляет собой сумму по различным нормам подпространств, как в стандартном лассо, ограничение имеет некоторые недифференциальные точки, которые соответствуют тождественному нулю некоторых подпространств. Следовательно, он может обнулить векторы коэффициентов, соответствующие некоторым подпространствам, и только сжать другие. Однако можно расширить групповой лассо до так называемого лассо разреженной группы, который может выбирать отдельные ковариаты внутри группы, добавив дополнительный $\ell ^{1}$ штраф к каждому групповому подпространству. Другое расширение, групповое лассо с перекрытием, позволяет распределять ковариаты между группами, например, если ген должен возникать в двух путях.

Пакет «gglasso» в R позволяет быстро и эффективно внедрить Group LASSO.

Сплавленный лассо

В некоторых случаях изучаемое явление может иметь важную пространственную или временную структуру, которую необходимо учитывать во время анализа, например, временные ряды или данные на основе изображений. В 2005 году Тибширани и его коллеги представили слитое лассо, чтобы расширить его использование до этого типа данных. Целевая функция слитого лассо: $${\begin{aligned}&\min _{\beta }{\biggl \{}{\frac {1}{N}}\sum _{i=1}^{N}\left(y_{i}-x_{i}^{T}\beta \right)^{2}{\biggr \}}\\[4pt]&{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t_{1}{\text{ and }}\sum _{j=2}^{p}|\beta _{j}-\beta _{j-1}|\leq t_{2}.\end{aligned}}$$

Первое ограничение — это ограничение лассо, а второе напрямую наказывает за большие изменения во временной или пространственной структуре, что заставляет коэффициенты плавно изменяться, чтобы отразить основную логику системы. Кластерное лассо представляет собой обобщение слитного лассо, которое идентифицирует и группирует соответствующие ковариаты на основе их эффектов (коэффициентов). Основная идея состоит в том, чтобы штрафовать различия между коэффициентами так, чтобы ненулевые коэффициенты группировались. Это можно смоделировать с помощью следующей регуляризации: $$\sum _{i<j}^{p}|\beta _{i}-\beta _{j}|\leq t_{2}.$$

Напротив, переменные могут быть сгруппированы в сильно коррелированные группы, а затем из каждого кластера можно извлечь одну репрезентативную ковариату.

Существуют алгоритмы, решающие задачу слитого лассо, а также некоторые ее обобщения. Алгоритмы могут решить ее точно за конечное число операций.

Квазинормы и мостовая регрессия

Пример потенциальной функции PQSQ (кусочно-квадратичная функция субквадратичного роста) $u(x)$; здесь мажорантная функция $f(x)=x$; потенциал определяется с обрезкой после $r_{3}$.

Пример того, как эффективная регуляризованная регрессия PQSQ работает так же, как и $\ell ^{1}$-норм аркан.

Лассо, эластичная сеть, групповое и сросшееся аркан строят штрафные функции по $\ell ^{1}$ и $\ell ^{2}$ нормы (с весами, если необходимо). Мостовая регрессия использует общие $\ell ^{p}$ нормы ( $p\geq 1$) и квазинормы ( $0<p<1$). Например, для p =1/2 аналогом лассо в лагранжевой форме является решение $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda {\sqrt {\|\beta \|_{1/2}}}\right\},$$где $$\|\beta \|_{1/2}={\biggl (}\sum _{j=1}^{p}{\sqrt {|\beta _{j}|}}{\biggr )}^{2}$$

Утверждается, что дробные квазинормы $\ell ^{p}$ ( $0<p<1$) обеспечивают более значимые результаты при анализе данных как теоретически, так и эмпирически. Невыпуклость этих квазинорм усложняет задачу оптимизации. Для решения этой задачи разработана процедура минимизации ожидания. и реализовано для минимизации функции $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \sum _{j=1}^{p}\vartheta (\beta _{j}^{2})\right\},$$где $\vartheta (\gamma )$ — произвольная вогнутая монотонно возрастающая функция (например, $\vartheta (\gamma )={\sqrt {\gamma }}$ дает штраф за лассо и $\vartheta (\gamma )=\gamma ^{1/4}$ дает $\ell ^{1/2}$ штраф).

Эффективный алгоритм минимизации основан на кусочно- квадратичной аппроксимации субквадратичного роста (PQSQ).

Адаптивное лассо

Адаптивное лассо было введено Цзоу в 2006 году для линейной регрессии. и Чжан и Лу в 2007 году для регрессии пропорциональных рисков.

Предыдущее нарушение

Предыдущее лассо было введено для обобщенных линейных моделей Цзяном и др. в 2016 году для включения предварительной информации, такой как важность определенных ковариат. В предшествующем лассо такая информация суммируется в псевдоответы (называемые предшествующими ответами). ${\hat {y}}^{\mathrm {p} }$ а затем к обычной целевой функции добавляется дополнительная целевая функция со штрафом-лассо. Без ограничения общности в линейной регрессии новую целевую функцию можно записать как $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+{\frac {1}{N}}\eta \left\|{\hat {y}}^{\mathrm {p} }-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\},$$что эквивалентно $$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|{\tilde {y}}-X\beta \right\|_{2}^{2}+{\frac {\lambda }{1+\eta }}\|\beta \|_{1}\right\},$$

обычная целевая функция лассо с ответами $y$ заменяется средневзвешенным значением наблюдаемых ответов и предыдущих ответов ${\tilde {y}}=(y+\eta {\hat {y}}^{\mathrm {p} })/(1+\eta )$ (называемые скорректированными значениями ответа по предварительной информации).

В предыдущем лассо параметр $\eta$ называется балансирующим параметром, поскольку он уравновешивает относительную важность данных и априорной информации. В крайнем случае $\eta =0$, предшествующий лассо сводится к лассо. Если $\eta =\infty$, априорное лассо будет полагаться исключительно на априорную информацию, чтобы соответствовать модели. Кроме того, параметр балансировки $\eta$ имеет еще одну привлекательную интерпретацию: он контролирует дисперсию $\beta$ в своем априорном распределении с байесовской точки зрения.

Априорное лассо более эффективно при оценке и прогнозировании параметров (с меньшей ошибкой оценки и ошибки прогнозирования), когда априорная информация имеет высокое качество, и устойчиво к априорной информации низкого качества с хорошим выбором балансирующего параметра. $\eta$.

Вычисление решений лассо

Основная статья: Методы проксимального градиента для обучения § Регуляризация лассо

Функция потерь лассо не дифференцируема, но для вычисления пути решения лассо было разработано множество методов выпуклого анализа и теории оптимизации. К ним относятся координатный спуск, субградиентные методы, регрессия наименьшего угла (LARS) и методы проксимального градиента. Субградиентные методы являются естественным обобщением традиционных методов, таких как градиентный спуск и стохастический градиентный спуск, на случай, когда целевая функция не дифференцируема во всех точках. LARS — это метод, тесно связанный с моделями лассо и во многих случаях позволяющий эффективно их подогнать, хотя он может не работать хорошо при всех обстоятельствах. LARS генерирует полные пути решения. Проксимальные методы стали популярными благодаря своей гибкости и эффективности и являются областью активных исследований. Выбор метода будет зависеть от конкретного варианта аркана, данных и имеющихся ресурсов. Однако проксимальные методы обычно эффективны.

Пакет «glmnet» в R, где «glm» — это ссылка на «обобщенные линейные модели», а «net» — на «сеть» из «эластичной сети», обеспечивает чрезвычайно эффективный способ реализации LASSO и некоторых его вариантов.

Пакет «celer» в Python обеспечивает высокоэффективный решатель задачи Лассо, часто превосходящий традиционные решатели, такие как scikit-learn, до 100 раз в определенных сценариях, особенно с многомерными наборами данных. Этот пакет использует методы двойной экстраполяции для достижения повышения производительности. Пакет celer доступен на GitHub .

Выбор параметра регуляризации

Выбор параметра регуляризации ( $\lambda$) является фундаментальной частью лассо. Хорошее значение имеет важное значение для производительности лассо, поскольку оно контролирует силу сжатия и выбор переменных, что в умеренных количествах может улучшить как точность прогнозирования, так и интерпретируемость. Однако, если регуляризация становится слишком сильной, важные переменные могут быть опущены, а коэффициенты могут быть чрезмерно сокращены, что может нанести вред как прогнозирующей способности, так и выводам. Перекрестная проверка часто используется для поиска параметра регуляризации.

Информационные критерии, такие как байесовский информационный критерий (BIC) и информационный критерий Акаике (AIC), могут быть предпочтительнее перекрестной проверки, поскольку их вычисления выполняются быстрее, а их производительность менее нестабильна в небольших выборках. Информационный критерий выбирает параметр регуляризации оценщика, максимизируя точность модели в выборке, одновременно ограничивая ее эффективное количество параметров/степеней свободы. Цзоу и др. предложил измерять эффективные степени свободы путем подсчета количества параметров, отклоняющихся от нуля. Кауфман и Россет считали подход степеней свободы ошибочным. и Янсон и др., потому что степени свободы модели могут увеличиться, даже если она подвергается более жесткому наказанию параметром регуляризации. В качестве альтернативы для подсчета эффективного количества параметров можно использовать определенную выше меру относительной простоты. Для лассо эта мера определяется выражением $${\hat {\mathcal {P}}}=\sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{{\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|}},$$который монотонно возрастает от нуля до $p$ при уменьшении параметра регуляризации от $\infty$ до нуля.

Выбранные приложения

LASSO применялся в экономике и финансах, и было обнаружено, что он улучшает прогнозирование и выбирает иногда игнорируемые переменные, например, в литературе по прогнозированию банкротства корпораций. или прогноз быстрорастущих фирм.

См. также

• Наименьшие абсолютные отклонения
• Выбор модели
• Непараметрическая регрессия
• Tikhonov regularization