Функция активации

Информацию о формализме, используемом для аппроксимации влияния внеклеточного электрического поля на нейроны, см. в разделе « активирующая функция» . Чтобы узнать о передаточной функции линейной системы, см. передаточную функцию .

Функция активации логистики

Функция активации узла в искусственной нейронной сети — это функция, которая вычисляет выходные данные узла на основе его отдельных входов и их весов. Нетривиальные задачи можно решить, используя всего несколько узлов, если функция активации нелинейна . Современные функции активации включают плавную версию ReLU , GELU, которая использовалась в модели BERT 2018 года , логистическая ( сигмовидная ) функция, используемая в модели распознавания речи 2012 года , разработанной Хинтоном и др., ReLU , использованный в AlexNet 2012 года. модели компьютерного зрения и в модели ResNet 2015 года .

Сравнение функций активации

Помимо эмпирических характеристик, функции активации также обладают различными математическими свойствами:

Нелинейный

Когда функция активации нелинейна, можно доказать, что двухслойная нейронная сеть является универсальным аппроксиматором функции. Это известно как Теорема универсального приближения . Функция активации идентичности не удовлетворяет этому свойству. Когда несколько уровней используют функцию активации идентификации, вся сеть эквивалентна одноуровневой модели.

Диапазон

Когда диапазон функции активации конечен, методы обучения на основе градиента имеют тенденцию быть более стабильными, поскольку представление шаблонов существенно влияет только на ограниченные веса. Когда диапазон бесконечен, обучение, как правило, более эффективно, поскольку представление шаблонов существенно влияет на большую часть весов. В последнем случае меньшие скорости обучения . обычно необходимы

Непрерывно дифференцируемый

Это свойство желательно ( ReLU не является непрерывно дифференцируемым и имеет некоторые проблемы с оптимизацией на основе градиента, но это все же возможно) для включения методов оптимизации на основе градиента. Функция активации двоичного шага не дифференцируема при 0 и дифференцируется до 0 для всех других значений, поэтому методы на основе градиента не могут с ней справиться.

Эти свойства не оказывают решающего влияния на производительность и не являются единственными математическими свойствами, которые могут быть полезны. Например, строго положительный диапазон softplus делает его пригодным для прогнозирования отклонений в вариационных автоэнкодерах .

Математические детали

Наиболее распространенные функции активации можно разделить на три категории: функции гребня , радиальные функции и функции складки .

Функция активации $f$ насыщает , если $\lim _{|v|\to \infty }|\nabla f(v)|=0$. Оно ненасыщающее, если оно не насыщает. Ненасыщающие функции активации, такие как ReLU , могут быть лучше, чем насыщающие функции активации, поскольку они с меньшей вероятностью страдают от проблемы исчезающего градиента .

Функции активации риджа

Основная статья: Ридж-функция

Ридж-функции — это многомерные функции, действующие на линейную комбинацию входных переменных. Часто используемые примеры включают в себя:

• Линейная активация: $\phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b}$,
• Активация ReLU : $\phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )$,
• Хевисайда : Активация $\phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}$,
• Логистическая активация: $\phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}$.

В биологических нейронных сетях функция активации обычно представляет собой абстракцию, представляющую скорость срабатывания потенциала действия в клетке. В своей простейшей форме эта функция является бинарной , то есть либо нейрон срабатывает, либо нет. Нейроны также не могут срабатывать быстрее определенной частоты, что мотивирует функции активации сигмовидной мышцы , диапазон которых составляет конечный интервал.

Функция выглядит как $\phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )$, где $U$ – ступенчатая функция Хевисайда .

С другой стороны, если линия имеет положительный наклон , это может отражать увеличение скорости срабатывания, которое происходит по мере увеличения входного тока. Такая функция будет иметь вид $\phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b}$.

Функции активации линейной единицы выпрямленной единицы и гауссовой ошибки

Функции радиальной активации

Основная статья: Радиальная функция

специальный класс функций активации, известный как радиальные базисные функции используется В RBF-сетях (RBF) , которые чрезвычайно эффективны в качестве универсальных аппроксиматоров функций. Эти функции активации могут принимать разные формы, но обычно они представляют собой одну из следующих функций:

• Гауссово : $\,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)$
• Мультиквадратика: $\,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}$
• Обратная мультиквадратика: $\,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}$
• Полигармонические сплайны

где $\mathbf {c}$ вектор, представляющий центр функции и $a$ и $\sigma$ — параметры, влияющие на разброс радиуса.

Функции активации складывания

Основная статья: Функция складывания

Функции активации свертывания широко используются в слоях объединения в сверточных нейронных сетях и в выходных слоях сетей многоклассовой классификации. Эти активации выполняют агрегирование входных данных, например, определение среднего , минимального или максимального значения . В мультиклассовой классификации softmax часто используется активация .

Таблица функций активации

В следующей таблице сравниваются свойства нескольких функций активации, которые являются функциями одной складки x предыдущего слоя или слоев:

Имя	Сюжет	Функция, $g(x)$	Производная от $g$, $g'(x)$	Диапазон	Порядок преемственности
Личность		$x$	$1$	$(-\infty ,\infty )$	$C^{\infty }$
Бинарный шаг		${\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$0$	$\{0,1\}$	$C^{-1}$
Логистический , сигмовидный или мягкий   шаг		$\sigma (x)\doteq {\frac {1}{1+e^{-x}}}$	$g(x)(1-g(x))$	$(0,1)$	$C^{\infty }$
Гиперболический тангенс ( танх )		$\tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$	$1-g(x)^{2}$	$(-1,1)$	$C^{\infty }$
Soboleva modified hyperbolic tangent ( smht )		$\operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}$		$(-1,1)$	$C^{\infty }$
Выпрямленный линейный агрегат (РеЛУ)		${\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}$	${\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}$	$[0,\infty )$	$C^{0}$
Линейная единица гауссовой ошибки (GELU)		${\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}$	$\Phi (x)+x\phi (x)$	$(-0.17\ldots ,\infty )$	$C^{\infty }$
Софтплюс		$\ln \left(1+e^{x}\right)$	${\frac {1}{1+e^{-x}}}$	$(0,\infty )$	$C^{\infty }$
Экспоненциальный линейный блок (ЭЛУ)		${\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}$ с параметром $\alpha$	${\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}$	$(-\alpha ,\infty )$	${\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}$
Масштабированный экспоненциальный линейный блок (SELU)		$\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}$ с параметрами $\lambda =1.0507$ и $\alpha =1.67326$	$\lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$(-\lambda \alpha ,\infty )$	$C^{0}$
Выпрямленный линейный агрегат (Дырявый РеЛУ)		${\begin{cases}0.01x&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}$	${\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$
Параметрический выпрямленный линейный блок (ПРеЛУ)		${\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}$ с параметром $\alpha$	${\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$
Сигмовидный линейный блок (SiLU, сморщивание сигмовидной кишки, SiL, или Свиш-‍1 )		${\frac {x}{1+e^{-x}}}$	${\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}$	$[-0.278\ldots ,\infty )$	$C^{\infty }$
Гауссовский		$e^{-x^{2}}$	$-2xe^{-x^{2}}$	$(0,1]$	$C^{\infty }$

В следующей таблице перечислены функции активации, которые не являются функциями одного сгиба x из предыдущего слоя или слоев:

Имя	Уравнение, $g_{i}\left({\vec {x}}\right)$	Производные , ${\frac {\partial g_{i}\left({\vec {x}}\right)}{\partial x_{j}}}$	Диапазон	Порядок преемственности
Софтмакс	${\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}$ для i = 1, …, J	$g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)$[1] [2]	$(0,1)$	$C^{\infty }$
Максаут	$\max _{i}x_{i}$	${\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$

^ Здесь, $\delta _{ij}$ это дельта Кронекера .

^ Например, $j$ может перебирать количество ядер предыдущего слоя нейронной сети, в то время как $i$ перебирает количество ядер текущего слоя.

активации

Основная статья: Квантовая функция

В квантовых нейронных сетях, с вентильной моделью запрограммированных на квантовых компьютерах , основанных на квантовых перцептронах вместо вариационных квантовых схем, нелинейность функции активации может быть реализована без необходимости измерения выходного сигнала каждого перцептрона на каждом уровне. Квантовые свойства, загруженные в схему, такие как суперпозиция, могут быть сохранены путем создания ряда Тейлора аргумента, вычисленного самим персептроном, с подходящими квантовыми схемами, вычисляющими степени до желаемой степени аппроксимации. Благодаря гибкости таких квантовых схем их можно спроектировать так, чтобы аппроксимировать любую произвольную классическую функцию активации.

См. также

• Логистическая функция
• Выпрямитель (нейронные сети)
• Стабильность (теория обучения)
• Функция Софтмакс