Quickprop

Quickprop — итерационный метод определения минимума функции потерь искусственной нейронной сети , следуя алгоритму, вдохновленному методом Ньютона . Иногда алгоритм относят к группе методов обучения второго порядка. Он следует за квадратичной аппроксимацией предыдущего шага градиента и текущего градиента, который, как ожидается, будет близок к минимуму функции потерь, в предположении, что функция потерь локально приблизительно квадратична, и пытается описать ее с помощью восходящей функции потерь. открытая парабола . Минимум ищется в вершине параболы. Для процедуры требуется только локальная информация об искусственном нейроне , к которому она применяется. $k$-й шаг приближения определяется выражением:

$\Delta ^{(k)}\,w_{ij}=\Delta ^{(k-1)}\,w_{ij}\left({\frac {\nabla _{ij}\,E^{(k)}}{\nabla _{ij}\,E^{(k-1)}-\nabla _{ij}\,E^{(k)}}}\right)$

Где $w_{ij}$ это вес ввода $i$ нейрона $j$, и $E$ — функция потерь.

Алгоритм Quickprop представляет собой реализацию алгоритма обратного распространения ошибки , но сеть может вести себя хаотично на этапе обучения из-за больших размеров шагов.

Библиография

• Скотт Э. Фалман: Эмпирическое исследование скорости обучения в сетях обратного распространения ошибки , сентябрь 1988 г.