Эластичная чистая регуляризация

В статистике и, в частности, при подборе линейной или логистической регрессии моделей эластичная сеть представляет собой метод регуляризованной регрессии, который линейно комбинирует штрафы L ₁ и L ₂ методов лассо и гребня .

Спецификация

Метод эластичной сети преодолевает ограничения метода LASSO (оператор наименьшего абсолютного сжатия и выбора), который использует штрафную функцию, основанную на

$\|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.$

Использование этой штрафной функции имеет несколько ограничений. Например, в случае «большого p , маленького n » (многомерные данные с несколькими примерами) LASSO выбирает не более n переменных, прежде чем достигнет насыщения. Кроме того, если существует группа сильно коррелирующих переменных, то LASSO имеет тенденцию выбирать одну переменную из группы и игнорировать остальные. Чтобы преодолеть эти ограничения, эластичная сеть добавляет квадратичную часть ( $\|\beta \|^{2}$) к штрафу, который при использовании отдельно представляет собой гребневую регрессию (известную также как регуляризация Тихонова ). Оценки метода эластичной сетки определяются формулой

${\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).$

Квадратичный штрафной член делает функцию потерь сильно выпуклой, и поэтому она имеет единственный минимум. Метод эластичной сети включает в себя LASSO и гребневую регрессию: другими словами, каждый из них представляет собой особый случай, когда $\lambda _{1}=\lambda ,\lambda _{2}=0$ или $\lambda _{1}=0,\lambda _{2}=\lambda$. Между тем, наивная версия метода эластичной сети находит оценщик в двухэтапной процедуре: сначала для каждого фиксированного $\lambda _{2}$ он находит коэффициенты регрессии гребней, а затем выполняет усадку типа LASSO. Такая оценка приводит к двойному сокращению, что приводит к увеличению систематической ошибки и плохим прогнозам. Чтобы улучшить качество прогнозирования, иногда коэффициенты простой версии эластичной сети масштабируются путем умножения оцененных коэффициентов на $(1+\lambda _{2})$.

Примеры применения метода эластичной сетки:

• Машина опорных векторов
• Метричное обучение
• Оптимизация портфеля
• Прогноз рака

Приведение к опорной векторной машине

В конце 2014 года было доказано, что эластичную сеть можно свести к линейной машине опорных векторов . Аналогичное снижение ранее было доказано для LASSO в 2014 году. Авторы показали, что для каждого экземпляра эластичной сети можно построить искусственную задачу бинарной классификации так, что решение гиперплоскости линейной машины опорных векторов (SVM) идентично решению $\beta$ (после перемасштабирования). Это сокращение сразу же позволяет использовать высокооптимизированные решатели SVM для задач эластичных сетей. Это также позволяет использовать ускорение графического процессора , которое часто уже используется для крупномасштабных решателей SVM. Приведение представляет собой простое преобразование исходных данных и констант регуляризации.

$X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0$

в новые экземпляры искусственных данных и константу регуляризации, задающую задачу двоичной классификации, и константу регуляризации SVM.

$X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.$

Здесь, $y_{2}$ состоит из двоичных меток ${-1,1}$. Когда $2p>n$ Обычно быстрее решить линейную SVM в простом виде, тогда как в противном случае двойная формулировка выполняется быстрее. Некоторые авторы назвали преобразование эластичной сетью опорных векторов (SVEN) и предоставили следующий псевдокод MATLAB:

function β=SVEN(X, y, t, λ2);
    [n,p] = size(X); 
    X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
    Y2 = [ones(p,1);-ones(p,1)];
    if 2p > n then 
        w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
        α = C * max(1-Y2.*(X2*w), 0); 
    else
        α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
    end if
    β = t * (α(1:p) - α(p+1:2p)) / sum(α);

Программное обеспечение

• «Glmnet: регуляризованные обобщенные линейные модели лассо и эластичной сети» — это программное обеспечение, которое реализовано в виде исходного пакета R и набора инструментов MATLAB . Сюда входят быстрые алгоритмы оценки обобщенных линейных моделей с ℓ ₁ (лассо), ℓ ₂ (гребневая регрессия) и смесями двух штрафов (эластичная сеть) с использованием циклического спуска координат, вычисляемого по пути регуляризации.
• JMP Pro 11 включает эластичную чистую регуляризацию с использованием индивидуальной обобщенной регрессии с подходящей моделью.
• «pensim: моделирование многомерных данных и распараллеленная повторная штрафная регрессия» реализует альтернативный распараллеленный «2D» метод настройки параметров ℓ, метод, который, как утверждается, приводит к повышению точности прогнозирования.
• scikit-learn включает линейную регрессию и логистическую регрессию с эластичной сетевой регуляризацией.
• SVEN, реализация в Matlab эластичной сети опорных векторов. Этот решатель сводит задачу Elastic Net к экземпляру двоичной классификации SVM и использует решатель Matlab SVM для поиска решения. Поскольку SVM легко распараллеливается, код может работать быстрее, чем Glmnet, на современном оборудовании.
• SpaSM — реализация в Matlab разреженной регрессии, классификации и анализа главных компонентов, включая регуляризованную регрессию с эластичной сетью.
• Apache Spark обеспечивает поддержку эластичной сетевой регрессии в своей библиотеке машинного обучения MLlib . Этот метод доступен как параметр более общего класса LinearReгрессия.
• SAS (программное обеспечение) Процедура SAS Glmselect and SAS Viya procedure Regselect поддерживать использование эластичной сетевой регуляризации для выбора модели.

Дальнейшее чтение

• Хасти, Тревор ; Тибширани, Роберт ; Фридман, Джером (2017). «Методы усадки» (PDF) . Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование (2-е изд.). Нью-Йорк: Спрингер. стр. 61–79. ISBN  978-0-387-84857-0 .

Внешние ссылки

• Регуляризация и выбор переменных с помощью эластичной сети (презентация)