Функция линейного изменения

Функция рампы — это унарная действительная функция , график которой имеет форму рампы . Это можно выразить множеством определений , например: «0 для отрицательных входов, выход равен входу для неотрицательных входов». Термин «линейное изменение» также можно использовать для других функций, полученных путем масштабирования и сдвига , и функция в этой статье представляет собой функцию единичного линейного изменения (наклон 1, начиная с 0).

В математике функция линейного изменения также известна как положительная часть .

В машинном обучении это широко известно как ReLU. функция активации ^[1]^[2] или выпрямитель по аналогии с полуволновым выпрямлением в электротехнике . В статистике (при использовании в качестве функции правдоподобия ) она известна как тобитовая модель .

Эта функция имеет множество применений в математике и технике и имеет разные названия в зависимости от контекста. Существуют дифференцируемые варианты функции линейного изменения.

Определения

Функция линейного изменения ( $R (x) : R \to R 0 +$ ) можно определить аналитически несколькими способами. Возможные определения:

функция Кусочная : $R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}$
Используя обозначение скобки Айверсона : $R(x):=x\cdot [x\geq 0]$ или $R(x):=x\cdot [x>0]$
Максимальная функция : $R(x):=\max(x,0)$
Среднее значение и независимой переменной ее абсолютное значение (прямая линия с единичным градиентом и ее модулем): $R(x):={\frac {x+|x|}{2}}$ это можно получить, приняв во внимание следующее определение $max(a, b)$ , $\max(a,b)={\frac {a+b+|a-b|}{2}}$ для которого $a = x$ и $b = 0$
Ступенчатая функция Хевисайда, умноженная на прямую с единичным градиентом: $R\left(x\right):=xH(x)$
Свертка ступенчатой функции Хевисайда с самой собой: $R\left(x\right):=H(x)*H(x)$
Интеграл от ступенчатой функции Хевисайда: ^[3] $R(x):=\int _{-\infty }^{x}H(\xi )\,d\xi$
Брекеты Маколея : $R(x):=\langle x\rangle$
Положительная часть функции идентичности : $R:=\operatorname {id} ^{+}$
В качестве предельной функции: $R\left(x\right):=\lim _{a\to \infty }{\begin{cases}{\frac {1}{a}},\quad x=0\\{\dfrac {x}{1+e^{-ax}}},\quad x\neq 0\end{cases}}$

Его можно аппроксимировать настолько близко, насколько это необходимо, выбирая возрастающее положительное значение. $a>0$ .

Приложения

Функция линейного изменения имеет множество применений в технике, например, в теории цифровой обработки сигналов .

В финансах выигрыш по опциону колл представляет собой линейное изменение (сдвигающееся в зависимости от цены исполнения ). Горизонтальное переворачивание графика дает опцион пут , тогда как вертикальное переворот (отрицательное значение) соответствует продаже или «короткой» позиции опциона. В финансах эту форму широко называют « хоккейной клюшкой », поскольку она похожа на хоккейную клюшку .

В статистике сплайнов шарнирные функции многомерной адаптивной регрессии (MARS) представляют собой пандусы и используются для построения моделей регрессии .

Аналитические свойства

Негативность

Во всей области функция неотрицательна, поэтому ее абсолютное значение равно самой себе, т.е. $\forall x\in \mathbb {R} :R(x)\geq 0$ и $\left|R(x)\right|=R(x)$

Доказательство

по определению 2 он неотрицательен в первой четверти и равен нулю во второй; поэтому везде оно неотрицательно.

Производная

Ее производной является ступенчатая функция Хевисайда : $R'(x)=H(x)\quad {\mbox{for }}x\neq 0.$

Вторая производная

Функция линейного изменения удовлетворяет дифференциальному уравнению: ${\frac {d^{2}}{dx^{2}}}R(x-x_{0})=\delta (x-x_{0}),$ где $δ (x)$ — дельта Дирака . Это означает, что $R (x)$ является функцией Грина для оператора второй производной. Таким образом, любая функция $f (x)$ с интегрируемой второй производной $f ″(x)$ будет удовлетворять уравнению: $f(x)=f(a)+(x-a)f'(a)+\int _{a}^{b}R(x-s)f''(s)\,ds\quad {\mbox{for }}a<x<b.$

Преобразование Фурье

${\mathcal {F}}{\big \{}R(x){\big \}}(f)=\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}\,dx={\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}},$ где $δ (x)$ — дельта Дирака (в этой формуле ее производная фигурирует ).

Преобразование Лапласа

Одностороннее преобразование Лапласа R $(x) задается$ следующим образом: ^[4] ${\mathcal {L}}{\big \{}R(x){\big \}}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.$

Алгебраические свойства

Итерационная инвариантность

Каждая итерированная функция отображения рампы сама по себе является $R{\big (}R(x){\big )}=R(x).$

Доказательство

$R{\big (}R(x){\big )}:={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}=R(x).$ При этом применяется неотрицательное свойство .

См. также

Ссылки

^ Браунли, Джейсон (8 января 2019 г.). «Нежное введение в выпрямленный линейный блок (ReLU)» . Мастерство машинного обучения . Проверено 8 апреля 2021 г.
^ Лю, Даньцин (30 ноября 2017 г.). «Практическое руководство по ReLU» . Середина . Проверено 8 апреля 2021 г.
^ Вайсштейн, Эрик В. «Функция линейного изменения» . Математический мир .
^ «Преобразование Лапласа функций» . lpsa.swarthmore.edu . Проверено 5 апреля 2019 г.

[brownlee-1] Браунли, Джейсон (8 января 2019 г.). «Нежное введение в выпрямленный линейный блок (ReLU)» . Мастерство машинного обучения . Проверено 8 апреля 2021 г.

[medium-relu-2] Лю, Даньцин (30 ноября 2017 г.). «Практическое руководство по ReLU» . Середина . Проверено 8 апреля 2021 г.

[3] Вайсштейн, Эрик В. «Функция линейного изменения» . Математический мир .

[4] «Преобразование Лапласа функций» . lpsa.swarthmore.edu . Проверено 5 апреля 2019 г.

[1]

[2]

[3]

[4]