Логсумэксп

LogSumExp ( LSE ) (также называемый RealSoftMax или multivariable softplus ) функция представляет собой гладкий максимум — плавное приближение к функции максимума , в основном используемое алгоритмами машинного обучения . Он определяется как логарифм суммы экспонент аргументов:

$$\mathrm {LSE} (x_{1},\dots ,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n})\right).$$

Характеристики

LogSumExp: Область применения функции $\mathbb {R} ^{n}$, реальное координатное пространство и его кодомен $\mathbb {R}$, реальная линия . Это приближение к максимуму $\max _{i}x_{i}$ со следующими границами $$\max {\{x_{1},\dots ,x_{n}\}}\leq \mathrm {LSE} (x_{1},\dots ,x_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+\log(n).$$Первое неравенство является строгим, если только $n=1$. Второе неравенство является строгим, если все аргументы не равны.(Доказательство: Пусть $m=\max _{i}x_{i}$. Затем $\exp(m)\leq \sum _{i=1}^{n}\exp(x_{i})\leq n\exp(m)$. Применение логарифма к неравенству дает результат.)

Кроме того, мы можем масштабировать функцию, чтобы сделать границы более жесткими. Рассмотрим функцию ${\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})$. Затем $$\max {\{x_{1},\dots ,x_{n}\}}<{\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+{\frac {\log(n)}{t}}.$$(Доказательство: заменить каждый $x_{i}$ с $tx_{i}$ для некоторых $t>0$ в приведенных выше неравенствах, чтобы дать $$\max {\{tx_{1},\dots ,tx_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{tx_{1},\dots ,tx_{n}\}}+\log(n).$$и, поскольку $t>0$$$t\max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq t\max {\{x_{1},\dots ,x_{n}\}}+\log(n).$$наконец, разделив на $t$ дает результат.)

Кроме того, если вместо этого мы умножим на отрицательное число, мы, конечно, найдем сравнение с $\min$ функция: $$\min {\{x_{1},\dots ,x_{n}\}}-{\frac {\log(n)}{t}}\leq {\frac {1}{-t}}\mathrm {LSE} (-tx)<\min {\{x_{1},\dots ,x_{n}\}}.$$

Функция LogSumExp является выпуклой и строго возрастает всюду в своей области определения. Он не является строго выпуклым, поскольку аффинен ( линейен плюс константа) на диагональных и параллельных прямых:

$\mathrm {LSE} (x_{1}+c,\dots ,x_{n}+c)=\mathrm {LSE} (x_{1},\dots ,x_{n})+c.$

В остальном, кроме этого направления, оно строго выпуклое ( гессиан имеет ранг ⁠ $n-1$⁠ ), поэтому, например, ограничение гиперплоскостью , трансверсальной диагонали, приводит к строго выпуклой функции. Видеть $\mathrm {LSE} _{0}^{+}$, ниже.

Письмо $\mathbf {x} =(x_{1},\dots ,x_{n}),$ частные производные : $${\frac {\partial }{\partial x_{i}}}{\mathrm {LSE} (\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{j}\exp {x_{j}}}},$$это означает, что градиент LogSumExp является функцией softmax .

Выпуклое сопряжение LogSumExp — это отрицательная энтропия .

трюк с log-sum-exp для вычислений в логарифмической области

Функция LSE часто встречается, когда обычные арифметические вычисления выполняются в логарифмическом масштабе , например, в логарифмической вероятности .

Подобно тому, как операции умножения в линейном масштабе становятся простыми сложениями в логарифмическом масштабе, операция сложения влинейный масштаб становится LSE в логарифмическом масштабе:

$$\mathrm {LSE} (\log(x_{1}),...,\log(x_{n}))=\log(x_{1}+\dots +x_{n})$$Общей целью использования вычислений в логарифмической области является повышение точности и избежание проблем с переполнением и переполнением.когда очень маленькие или очень большие числа представляются напрямую (т. е. в линейной области) с использованием ограниченной точностичисла с плавающей запятой.

К сожалению, использование LSE напрямую в этом случае может снова вызвать проблемы с переполнением/недополнением. Таким образом,Вместо этого необходимо использовать следующий эквивалент (особенно, если точность приведенного выше приближения «max» недостаточна).

$$\mathrm {LSE} (x_{1},\dots ,x_{n})=x^{*}+\log \left(\exp(x_{1}-x^{*})+\cdots +\exp(x_{n}-x^{*})\right)$$где $x^{*}=\max {\{x_{1},\dots ,x_{n}\}}$

Многие математические библиотеки, такие как IT++, предоставляют стандартную процедуру LSE и используют эту формулу внутри себя.

Строго выпуклая функция типа log-sum-exp.

LSE выпукла, но не строго выпукла.Мы можем определить строго выпуклую функцию типа log-sum-exp добавив дополнительный аргумент, равный нулю:

$$\mathrm {LSE} _{0}^{+}(x_{1},...,x_{n})=\mathrm {LSE} (0,x_{1},...,x_{n})$$Эта функция является собственным генератором Брегмана (строго выпуклым и дифференцируемым ). Он встречается, например, в машинном обучении как кумулянт полиномиального/биномиального семейства.

В тропическом анализе это сумма в лог-полукольце .

См. также

• Среднее логарифмическое
• Бревенчатое полукольцо
• Плавный максимум
• Функция Софтмакс