Плавный максимум

В математике индексированного гладкий максимум семейства чисел x ₁ , ..., x _n является гладким приближением к максимума . функции $\max(x_{1},\ldots ,x_{n}),$ имеется в виду параметрическое семейство функций $m_{\alpha }(x_{1},\ldots ,x_{n})$ такой, что для любого $α$ функция ⁠ $m_{\alpha }$ ⁠ является гладким, и семейство сходится к максимальной функции ⁠ $m_{\alpha }\to \max$ ⁠ как ⁠ $\alpha \to \infty$ ⁠ . понятие гладкого минимума Аналогично определяется . Во многих случаях одно семейство аппроксимирует оба: максимум, когда параметр стремится к положительной бесконечности, минимум, когда параметр стремится к отрицательной бесконечности; в символах, ⁠ $m_{\alpha }\to \max$ ⁠ как ⁠ $\alpha \to \infty$ ⁠ и ⁠ $m_{\alpha }\to \min$ ⁠ как ⁠ $\alpha \to -\infty$ ⁠ . Этот термин также можно свободно использовать для обозначения конкретной гладкой функции, которая ведет себя аналогично максимуму, не обязательно являясь частью параметризованного семейства.

Примеры

Больцмановский оператор

Smoothmax (-x, x) в зависимости от x для различных значений параметров. Очень гладкий для $\alpha$ =0,5 и более резким для $\alpha$ =8.

При больших положительных значениях параметра $\alpha >0$ , следующая формулировка представляет собой гладкую дифференцируемую аппроксимацию максимальной функции. При больших по абсолютной величине отрицательных значениях параметра он приближается к минимуму.

{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}

${\mathcal {S}}_{\alpha }$ имеет следующие свойства:

${\mathcal {S}}_{\alpha }\to \max$ как $\alpha \to \infty$
${\mathcal {S}}_{0}$ это среднее арифметическое его входов
${\mathcal {S}}_{\alpha }\to \min$ как $\alpha \to -\infty$

Градиент ${\mathcal {S}}_{\alpha }$ тесно связан с softmax и определяется выражением

\nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].

Это делает функцию softmax полезной для методов оптимизации, использующих градиентный спуск .

Этот оператор иногда называют оператором Больцмана. ^[1] после распределения Больцмана .

ЛогСумЭксп

Еще один плавный максимум — LogSumExp :

\mathrm {LSE} _{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\log \sum _{i=1}^{n}\exp \alpha x_{i}

Это также можно нормализовать, если $x_{i}$ все неотрицательны, что дает функцию с областью определения $[0,\infty )^{n}$ и диапазон $[0,\infty )$ :

g(x_{1},\ldots ,x_{n})=\log \left(\sum _{i=1}^{n}\exp x_{i}-(n-1)\right)

The $(n-1)$ термин корректирует тот факт, что $\exp(0)=1$ путем отмены всех экспонент, кроме одной нулевой, и $\log 1=0$ если все $x_{i}$ равны нулю.

Меллоумакс

Оператор mellowmax ^[1] определяется следующим образом:

\mathrm {mm} _{\alpha }(x)={\frac {1}{\alpha }}\log {\frac {1}{n}}\sum _{i=1}^{n}\exp \alpha x_{i}

Это нерасширяющийся оператор. Как $\alpha \to \infty$ , он действует как максимум. Как $\alpha \to 0$ , оно действует как среднее арифметическое. Как $\alpha \to -\infty$ , он действует как минимум. Этот оператор можно рассматривать как конкретную реализацию среднего квазиарифметического значения . Его также можно вывести из принципов теории информации как способа регуляризации политики с функцией затрат, определяемой дивергенцией KL. Ранее оператор использовался в других областях, например, в энергетике. ^[2]

р-норма

Еще один плавный максимум — это p-норма :

\|(x_{1},\ldots ,x_{n})\|_{p}=\left(\sum _{i=1}^{n}|x_{i}|^{p}\right)^{\frac {1}{p}}

который сходится к $\|(x_{1},\ldots ,x_{n})\|_{\infty }=\max _{1\leq i\leq n}|x_{i}|$ как $p\to \infty$ .

Преимущество p-нормы в том, что это норма . По существу, он масштабно-инвариантен ( однороден ): $\|(\lambda x_{1},\ldots ,\lambda x_{n})\|_{p}=|\lambda |\cdot \|(x_{1},\ldots ,x_{n})\|_{p}$ , и оно удовлетворяет неравенству треугольника .

Гладкая максимальная единица

Следующий бинарный оператор называется гладкой максимальной единицей (SMU): ^[3]

{\begin{aligned}\textstyle \max _{\varepsilon }(a,b)&={\frac {a+b+|a-b|_{\varepsilon }}{2}}\\&={\frac {a+b+{\sqrt {(a-b)^{2}+\varepsilon }}}{2}}\end{aligned}}

где $\varepsilon \geq 0$ является параметром. Как $\varepsilon \to 0$ , $|\cdot |_{\varepsilon }\to |\cdot |$ и таким образом $\textstyle \max _{\varepsilon }\to \max$ .

См. также

Ссылки

^ Перейти обратно: ^а ^б Асади, Кавош; Литтман, Майкл Л. (2017). «Альтернативный оператор Softmax для обучения с подкреплением» . ПМЛР . 70 : 243–252. arXiv : 1612.05628 . Проверено 6 января 2023 г.
^ Сафак, Айсель (февраль 1993 г.). «Статистический анализ суммы степеней нескольких коррелированных логнормальных компонентов» . Транзакции IEEE по автомобильным технологиям . 42 (1): {58–61. дои : 10.1109/25.192387 . Проверено 6 января 2023 г.
^ Бисвас, Кошик; Кумар, Сандип; Банерджи, Шилпак; Ашиш Кумар Пандей (2021). «SMU: функция плавной активации для глубоких сетей с использованием техники максимального сглаживания». arXiv : 2111.04682 [ cs.LG ].

https://www.johndcook.com/soft_maximum.pdf

М. Ланге, Д. Зюльке, О. Хольц и Т. Виллманн, «Применение lp-норм и их гладких аппроксимаций для градиентного векторного квантования обучения», в Proc. ЕСАНН , апрель 2014 г., стр. 271–276.( https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )

[Asadi-1] Перейти обратно: ^а ^б Асади, Кавош; Литтман, Майкл Л. (2017). «Альтернативный оператор Softmax для обучения с подкреплением» . ПМЛР . 70 : 243–252. arXiv : 1612.05628 . Проверено 6 января 2023 г.

[2] Сафак, Айсель (февраль 1993 г.). «Статистический анализ суммы степеней нескольких коррелированных логнормальных компонентов» . Транзакции IEEE по автомобильным технологиям . 42 (1): {58–61. дои : 10.1109/25.192387 . Проверено 6 января 2023 г.

[3] Бисвас, Кошик; Кумар, Сандип; Банерджи, Шилпак; Ашиш Кумар Пандей (2021). «SMU: функция плавной активации для глубоких сетей с использованием техники максимального сглаживания». arXiv : 2111.04682 [ cs.LG ].

[1]

[2]

[3]