Софтплюс

График функции softplus и функции линейного изменения .

В математике и обучении функция softplus машинном

$f(x)=\log(1+e^{x}).$

Это плавное приближение (по сути, аналитическая функция ) к функции линейного изменения , которая в машинном обучении известна как выпрямитель или ReLU (выпрямленная линейная единица) . Для большого негатива $x$ это $\log(1+e^{x})=\log(1+\epsilon )\gtrapprox \log 1=0$, то есть чуть выше 0, а для больших положительных $x$ это $\log(1+e^{x})\gtrapprox \log(e^{x})=x$, так чуть выше $x$.

Имена софтплюс и ГладРеЛУ используются в машинном обучении. Название «softplus» (2000), по аналогии с более ранним softmax (1989), предположительно связано с тем, что это плавное ( мягкое ) приближение положительной части x , которое иногда обозначается надстрочным индексом plus , $x^{+}:=\max(0,x)$.

Связанные функции

Производная softplus — это логистическая функция :

$f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}$

Логистическая сигмоидальная функция представляет собой гладкую аппроксимацию производной выпрямителя, ступенчатой ​​функции Хевисайда .

ЛогСумЭксп

Основная статья: LogSumExp

Многопараметрическим обобщением softplus с одной переменной является LogSumExp с первым аргументом, установленным в ноль:

$\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}}).$

Функция LogSumExp

$\operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}}),$

и его градиент — softmax ; softmax с первым аргументом, равным нулю, представляет собой многовариантное обобщение логистической функции. И LogSumExp, и softmax используются в машинном обучении.

Выпуклое сопряжение

Выпуклое сопряжение (в частности, преобразование Лежандра ) функции softplus представляет собой отрицательную двоичную энтропию (с основанием e ). Это связано с тем, что (согласно определению преобразования Лежандра: производные являются обратными функциями) производная softplus — это логистическая функция, обратной функцией которой является logit , которая является производной отрицательной двоичной энтропии.

Softplus можно интерпретировать как логистические потери (как положительное число), поэтому в соответствии с двойственностью минимизация логистических потерь соответствует максимизации энтропии. Это оправдывает принцип максимальной энтропии как минимизации потерь.

Альтернативные формы

Эту функцию можно аппроксимировать следующим образом:

$\ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}$

Сделав замену переменных $x=y\ln(2)$, это эквивалентно

$\log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}$

Параметр резкости $k$ могут быть включены:

$f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.$