Правило Дельты

В машинном обучении правило дельты — это правило обучения градиентного спуска для обновления весов входных данных искусственных нейронов в однослойной нейронной сети . Его можно получить как алгоритм обратного распространения ошибки для однослойной нейронной сети со среднеквадратичной функцией потерь ошибок.

Для нейрона $j$ с функцией активации $g(x)$, дельта-правило для нейрона $j$'s $i$-й вес $w_{ji}$ дается

$$\Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i},$$

где

• $\alpha$ это небольшая константа, называемая скоростью обучения
• $g(x)$ это функция активации нейрона
• $g'$ является производной от $g$
• $t_{j}$ целевой результат
• $h_{j}$ - это взвешенная сумма входов нейрона
• $y_{j}$ это фактический результат
• $x_{i}$ это $i$-й вход.

Он утверждает, что ${\textstyle h_{j}=\sum _{i}x_{i}w_{ji}}$ и $y_{j}=g(h_{j})$.

Дельта-правило обычно формулируется в упрощенной форме для нейрона с линейной функцией активации как $$\Delta w_{ji}=\alpha \left(t_{j}-y_{j}\right)x_{i}$$

Хотя правило дельты похоже на правило обновления перцептрона , его вывод отличается. Персептрон использует ступенчатую функцию Хевисайда в качестве функции активации. $g(h)$, и это означает, что $g'(h)$ не существует в нуле и равен нулю в другом месте, что делает невозможным прямое применение дельта-правила.

Вывод правила дельты

Правило дельты выводится путем попытки минимизировать ошибку на выходе нейронной сети посредством градиентного спуска . Ошибка для нейронной сети с $j$ результаты могут быть измерены как $$E=\sum _{j}{\tfrac {1}{2}}\left(t_{j}-y_{j}\right)^{2}.$$

В этом случае мы хотим перемещаться по «весовому пространству» нейрона (пространству всех возможных значений всех весов нейрона) пропорционально градиенту функции ошибок по отношению к каждому весу. Для этого мы вычисляем частную производную ошибки по каждому весу. Для $i$вес, эту производную можно записать как $${\frac {\partial E}{\partial w_{ji}}}.$$

Поскольку нас интересует только $j$-th нейрон, мы можем заменить приведенную выше формулу ошибки, опуская суммирование: $${\frac {\partial E}{\partial w_{ji}}}={\frac {\partial }{\partial w_{ji}}}\left[{\frac {1}{2}}\left(t_{j}-y_{j}\right)^{2}\right]$$

Далее мы используем цепное правило , чтобы разделить это на две производные: $${\frac {\partial E}{\partial w_{ji}}}={\frac {\partial \left({\frac {1}{2}}\left(t_{j}-y_{j}\right)^{2}\right)}{\partial y_{j}}}{\frac {\partial y_{j}}{\partial w_{ji}}}$$

Чтобы найти левую производную, мы просто применяем правило степени и правило цепочки: $${\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right){\frac {\partial y_{j}}{\partial w_{ji}}}$$

Чтобы найти правильную производную, мы снова применяем цепное правило, на этот раз дифференцируя по общему входному значению: $j$, $h_{j}$: $${\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right){\frac {\partial y_{j}}{\partial h_{j}}}{\frac {\partial h_{j}}{\partial w_{ji}}}$$

Обратите внимание, что вывод $j$нейрон, $y_{j}$, это всего лишь функция активации нейрона $g$ применяется ко входу нейрона $h_{j}$. Поэтому мы можем написать производную от $y_{j}$ относительно $h_{j}$ просто как $g$первая производная: $${\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j}){\frac {\partial h_{j}}{\partial w_{ji}}}$$

Далее мы переписываем $h_{j}$ в последнем члене как сумма по всем $k$ вес каждой гири $w_{jk}$ умножить соответствующий ввод $x_{k}$: $${\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j})\;{\frac {\partial }{\partial w_{ji}}}\!\!\left[\sum _{i}x_{i}w_{ji}\right]$$

Поскольку нас интересует только $i$вес, единственный член суммирования, который имеет значение, это $x_{i}w_{ji}$. Четко, $${\frac {\partial (x_{i}w_{ji})}{\partial w_{ji}}}=x_{i}.$$давая нам окончательное уравнение для градиента: $${\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j})x_{i}$$

Как отмечалось выше, градиентный спуск говорит нам, что наше изменение для каждого веса должно быть пропорционально градиенту. Выбор константы пропорциональности $\alpha$ и исключив знак минус, чтобы мы могли переместить вес в отрицательном направлении градиента, чтобы минимизировать ошибку, мы приходим к нашему целевому уравнению: $$\Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i}.$$

См. также

• Стохастический градиентный спуск
• Обратное распространение ошибки
• Модель Рескорлы – Вагнера – происхождение правила дельты