Рпроп
Rprop , сокращение от отказоустойчивого обратного распространения ошибки обучения , представляет собой эвристику для контролируемого обучения в с прямой связью искусственных нейронных сетях . Это первого порядка оптимизации алгоритм . Этот алгоритм был создан Мартином Ридмиллером и Генрихом Брауном в 1992 году. [1]
Подобно правилу обновления Манхэттена , Rprop учитывает только знак частной производной по всем шаблонам (а не величину) и действует независимо от каждого «веса». Для каждого веса, если произошло изменение знака частной производной функции полной ошибки по сравнению с последней итерацией, значение обновления для этого веса умножается на коэффициент η. − , где η − < 1. Если последняя итерация дала тот же знак, значение обновления умножается на коэффициент η. + , где η + > 1. Значения обновления рассчитываются для каждого веса указанным выше способом, и, наконец, каждый вес изменяется на свое собственное значение обновления в направлении, противоположном частной производной этого веса, чтобы минимизировать функцию общей ошибки. η + эмпирически установлено равным 1,2 и η − до 0,5. [ нужна ссылка ]
Rprop может привести к очень большому увеличению или уменьшению веса, если градиенты велики, что является проблемой при использовании мини-пакетов, а не полных пакетов. RMSprop решает эту проблему, сохраняя скользящее среднее квадратов градиентов для каждого веса и деля градиент на квадратный корень из среднего квадрата. [ нужна ссылка ]
RPROP — это алгоритм пакетного обновления . После алгоритма каскадной корреляции и алгоритма Левенберга-Марквардта Rprop является одним из самых быстрых механизмов обновления веса. [ нужна ссылка ]
Вариации
[ редактировать ]Мартин Ридмиллер разработал три алгоритма, каждый из которых получил название RPROP. Игель и Хюскен дали им имена и добавили новый вариант: [2] [3]
- RPROP+ определен в разделе «Прямой адаптивный метод для более быстрого обучения с обратным распространением ошибки: алгоритм RPROP» . [4]
- RPROP- определяется в разделе « Расширенное контролируемое обучение в многослойных персептронах – от обратного распространения ошибки до алгоритмов адаптивного обучения» . Возврат удален из RPROP+. [5]
- iRPROP- определен в Rprop – Описание и детали реализации. [6] и был заново изобретен Игелем и Хюскеном. [3] Этот вариант очень популярен и наиболее прост.
- iRPROP+ определен в разделе «Улучшение алгоритма обучения Rprop» и очень надежен и обычно быстрее, чем три других варианта. [2] [3]
Ссылки
[ редактировать ]- ^ Мартин Ридмиллер и Генрих Браун: Rprop - алгоритм быстрого адаптивного обучения. Материалы Международного симпозиума по компьютерным и информационным наукам VII, 1992 г.
- ^ Перейти обратно: а б Кристиан Игель и Михаэль Хюскен. Улучшение алгоритма обучения Rprop . Второй международный симпозиум по нейронным вычислениям (NC 2000), стр. 115–121, ICSC Academic Press, 2000 г.
- ^ Перейти обратно: а б с Кристиан Игель и Михаэль Хюскен. Эмпирическая оценка улучшенного алгоритма обучения Rprop . Нейрокомпьютинг 50:105-123, 2003.
- ^ Мартин Ридмиллер и Генрих Браун. Прямой адаптивный метод для более быстрого обучения обратного распространения ошибки: алгоритм Rprop . Труды Международной конференции IEEE по нейронным сетям, 586–591, IEEE Press, 1993.
- ^ Мартин Ридмиллер. Расширенное контролируемое обучение в многослойных перцептронах — от обратного распространения ошибки до алгоритмов адаптивного обучения . Компьютерные стандарты и интерфейсы 16 (5), 265–278, 1994 г.
- ^ Мартин Ридмиллер. Rprop — Описание и детали реализации . Технический отчет, 1994 г.