Выпрямитель (нейронные сети)

График функций выпрямителя ReLU (синий) и GELU (зеленый) вблизи x = 0

В контексте искусственных нейронных сетей функция активации выпрямителя ReLU или (выпрямленная линейная единица) — это функция активации, определяемая как положительная часть ее аргумента:

$f(x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&{\text{otherwise}},\end{cases}}$

где $x$является входом для нейрона. Это также известно как функция линейного изменения и аналогично полуволновому выпрямлению в электротехнике . Эта функция активации была введена Кунихико Фукусимой в 1969 году в контексте извлечения визуальных признаков в иерархических нейронных сетях. Позже утверждалось, что это имеет сильную биологическую мотивацию и математическое обоснование. В 2011 году было обнаружено, что это позволяет лучше обучать более глубокие сети. по сравнению с широко используемыми функциями активации до 2011 года, например, логистической сигмоидой (которая основана на теории вероятностей ; см. логистическую регрессию ) и ее более практичной функцией. аналог — гиперболический тангенс . Выпрямитель по состоянию на 2017 год , самая популярная функция активации для глубоких нейронных сетей .

Выпрямленные линейные единицы находят применение в компьютерном зрении и распознавание речи использование глубоких нейронных сетей и вычислительной нейробиологии .

Преимущества

• Разреженная активация: например, в случайно инициализированной сети активируется только около 50% скрытых модулей (имеют ненулевой выход).
• Лучшее распространение градиента: меньше проблем с исчезающим градиентом по сравнению с сигмоидальными функциями активации, которые насыщаются в обоих направлениях.
• Эффективные вычисления: только сравнение, сложение и умножение.
• Масштабно-инвариантный: $\max(0,ax)=a\max(0,x){\text{ for }}a\geq 0$.

Выпрямляющие функции активации использовались для разделения специфического возбуждения и неспецифического торможения в пирамиде нейронной абстракции, которая была обучена под наблюдением для изучения нескольких задач компьютерного зрения. В 2011, Было показано, что использование выпрямителя в качестве нелинейного устройства позволяет обучать с глубоким учителем нейронные сети без учителя без необходимости предварительного обучения . Выпрямленные линейные единицы по сравнению с сигмовидной функцией или аналогичными функциями активации позволяют быстрее и эффективнее обучать глубокие нейронные архитектуры на больших и сложных наборах данных.

Возможные проблемы

• Недифференцируемый в нуле; однако он дифференцируем в любом другом месте, и значение производной в нуле может быть произвольно выбрано равным 0 или 1.
• Не с нулевым центром: выходные данные ReLU всегда неотрицательны. Это может затруднить обучение сети во время обратного распространения ошибки, поскольку обновления градиента имеют тенденцию смещать веса в одном направлении (положительном или отрицательном). Пакетная нормализация может помочь решить эту проблему.
• Неограниченный.
• Умирающая проблема ReLU: нейроны ReLU (выпрямленная линейная единица) иногда могут быть переведены в состояния, в которых они становятся неактивными практически для всех входных данных. В этом состоянии градиенты не текут обратно через нейрон, и поэтому нейрон застревает в постоянно неактивном состоянии и «умирает». Это одна из форм проблемы исчезающего градиента . В некоторых случаях большое количество нейронов в сети может застрять в мертвом состоянии, что существенно снижает емкость модели. Эта проблема обычно возникает, когда скорость обучения установлена ​​слишком высока. Это можно смягчить, используя вместо этого дырявые ReLU, которые присваивают небольшой положительный наклон для x < 0; однако производительность снижается.

Варианты

Кусочно-линейные варианты

Утечка ReLU

Утечки ReLU допускают небольшой положительный градиент, когда устройство не активно. помогая смягчить проблему исчезающего градиента.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\0.01x&{\text{otherwise}}.\end{cases}}\qquad \qquad f'(x)={\begin{cases}1&{\text{if }}x>0,\\0.01&{\text{otherwise}}.\end{cases}}$

Параметрический ReLU

Параметрические ReLU (PReLU) развивают эту идею дальше, превращая коэффициент утечки в параметр, который изучается вместе с другими параметрами нейронной сети.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\cdot x&{\text{otherwise}}.\end{cases}}\qquad \qquad \qquad f'(x)={\begin{cases}1&{\text{if }}x>0,\\a&{\text{otherwise}}.\end{cases}}$

Обратите внимание, что для a ≤ 1 это эквивалентно

$f(x)=\max(x,ax)$

и, таким образом, имеет отношение к сетям «maxout».

Другие нелинейные варианты

Линейная единица с гауссовой ошибкой (GELU)

GELU — плавное приближение к выпрямителю:

$f(x)=x\cdot \Phi (x),$

$f'(x)=x\cdot \Phi '(x)+\Phi (x),$

где $\Phi (x)=P(X\leqslant x)$ — кумулятивная функция распределения стандартного нормального распределения .

Эта функция активации показана на рисунке в начале этой статьи. Он имеет «выпуклость» слева от x < 0 и служит активацией по умолчанию для таких моделей, как BERT .

SiLU

Основная статья: Функция взмаха

SiLU (сигмовидная линейная единица) или функция взмаха это еще одно гладкое приближение, впервые предложенное в статье GELU:

$f(x)=x\cdot \operatorname {sigmoid} (x),$

$f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x),$

где $\operatorname {sigmoid} (x)$ это сигмовидная функция .

Софтплюс

Гладким приближением выпрямителя является аналитическая функция

$f(x)=\ln(1+e^{x}),\qquad \qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}},$

который называется софтплюс или функцию SmoothReLU . Для большого негатива $x$ это примерно $\ln 1$, то есть чуть выше 0, а для больших положительных $x$ это примерно $\ln(e^{x})$, так чуть выше $x$.

Эту функцию можно аппроксимировать следующим образом:

$\ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}$

Сделав замену переменных $x=y\ln(2)$, это эквивалентно

$\log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}$

Параметр резкости $k$ могут быть включены:

$f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.$

Производная softplus — логистическая функция .

Логистическая сигмоидальная функция представляет собой гладкую аппроксимацию производной выпрямителя, ступенчатой ​​функции Хевисайда .

Многопараметрическим обобщением softplus с одной переменной является LogSumExp с первым аргументом, установленным в ноль:

$\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}}).$

Функция LogSumExp

$\operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}}),$

и его градиент — softmax ; softmax с первым аргументом, равным нулю, представляет собой многовариантное обобщение логистической функции. И LogSumExp, и softmax используются в машинном обучении.

ВВЕРХ

Экспоненциальные линейные блоки пытаются приблизить средние активации к нулю, что ускоряет обучение. Было показано, что ELU могут обеспечить более высокую точность классификации, чем ReLU.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\left(e^{x}-1\right)&{\text{otherwise}}.\end{cases}}\qquad \qquad f'(x)={\begin{cases}1&{\text{if }}x>0,\\a\cdot e^{x}&{\text{otherwise}}.\end{cases}}$

В этих формулах $a$ это гиперпараметр, который нужно настроить с учетом ограничения $a\geq 0$.

ELU можно рассматривать как сглаженную версию сдвинутой ReLU (SReLU), которая имеет вид $f(x)=\max(-a,x)$, учитывая ту же интерпретацию $a$.

Миш

Миш-функцию также можно использовать в качестве плавной аппроксимации выпрямителя. Это определяется как

$f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},$

где $\tanh(x)$ - гиперболический тангенс , а $\operatorname {softplus} (x)$ это функция softplus .

Миш немонотонен и самодостаточен . Он был вдохновлен Swish , который сам по себе является вариантом ReLU .

Скверплюс

Скверплюс это функция

$\operatorname {squareplus} _{b}(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}$

где $b\geq 0$ — это гиперпараметр, определяющий «размер» изогнутой области вблизи $x=0$. (Например, позволив $b=0$ дает ReLU, и позволяя $b=4$дает функцию металлического среднего .) Squareplus имеет много общих свойств с softplus: он монотонен , строго положителен , приближается к 0 при $x\to -\infty$, приближается к тождеству как $x\to +\infty$, и является $C^{\infty }$ гладкий . Однако Squareplus можно вычислить, используя только алгебраические функции , что делает его хорошо подходящим для ситуаций, когда вычислительные ресурсы или наборы команд ограничены. Кроме того, Squareplus не требует особого внимания для обеспечения числовой стабильности при $x$ большой.

См. также

• Функция Софтмакс
• Сигмовидная функция
• Модель Тобита
• Слой (глубокое обучение)