Функция взмаха

Функция swish — это математическая функция, определяемая следующим образом:

Функция взмаха

$\operatorname {swish} (x)=x\operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.$

где β — либо постоянный, либо обучаемый параметр в зависимости от модели. При β = 1 функция становится эквивалентной сигмовидной линейной единице. или SiLU, впервые предложенная вместе с GELU в 2016 году. Позже SiLU была заново открыта в 2017 году как функция сигмоидно-взвешенной линейной единицы (SiL), используемая в обучении с подкреплением . Затем SiLU/SiL был заново открыт как swish, спустя год после его первоначального открытия, первоначально предложенного без обучаемого параметра β, так что β неявно равнялся 1. Затем статья Swish была обновлена, чтобы предложить активацию с обучаемым параметром β, хотя исследователи обычно полагают, что β = 1, и не используют обучаемый параметр β. При β = 0 функция превращается в масштабированную линейную функцию f( x ) = x /2. При β → ∞ сигмовидная компонента поточечно приближается к функции 0-1, поэтому swish поточечно приближается к функции ReLU . Таким образом, ее можно рассматривать как функцию сглаживания, которая нелинейно интерполирует линейную функцию и функцию ReLU. Эта функция использует немонотонность и, возможно, повлияла на предложение других функций активации с этим свойством, таких как Mish .

При рассмотрении положительных значений Swish представляет собой частный случай функции сигмовидной усадки, определенной в (см. форму усадки сигмовидной кишки с двойной параметризацией, заданную уравнением (3) этой ссылки).

Приложения

В 2017 году после анализа данных ImageNet исследователи из Google указали, что использование этой функции в качестве функции активации в искусственных нейронных сетях повышает производительность по сравнению с ReLU и сигмовидными функциями. Считается, что одной из причин улучшения является то, что функция swish помогает смягчить проблему исчезновения градиента во время обратного распространения ошибки .