Учитель заставляет
Принуждение учителя — это алгоритм обучения весов рекуррентных нейронных сетей (RNN). [1] Он включает в себя подачу наблюдаемых значений последовательности (т. е. образцов достоверных данных) обратно в RNN после каждого шага, тем самым вынуждая RNN оставаться близко к истинной последовательности. [2]
Термин «принуждение учителя» можно мотивировать сравнением RNN с студентом-человеком, сдающим экзамен, состоящий из нескольких частей, где ответ на каждую часть (например, математический расчет) зависит от ответа на предыдущую часть. В этой аналогии, вместо того, чтобы в конце оценивать каждый ответ, с риском того, что ученик провалит каждую часть, даже если он допустил ошибку только в первой части, учитель записывает балл за каждую отдельную часть, а затем сообщает ученику результат. правильный ответ, который будет использован в следующей части. [3]
Использование внешнего сигнала учителя отличается от периодического обучения в реальном времени (RTRL). [4] Сигналы учителя известны из генераторных сетей . [5] Обещают, что принуждение учителей поможет сократить время обучения. [6]
Термин «принуждение учителя» был введен в 1989 году Рональдом Дж. Уильямсом и Дэвидом Зипсером , которые сообщили, что примерно в то время этот метод уже «часто использовался в динамических задачах обучения под наблюдением». [7] [2]
В статье NeurIPS 2016 года был представлен похожий метод «профессорского принуждения». [2]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Джон Ф. Колен; Стефан К. Кремер (15 января 2001 г.). Полевое руководство по динамическим рекуррентным сетям . Джон Уайли и сыновья. стр. 202–. ISBN 978-0-7803-5369-5 .
- ^ Jump up to: а б с Лэмб, Алекс М; Гоял, Анирудх; Чжан, Ин; Чжан, Сайчжэн; Курвиль, Аарон С; Бенджио, Йошуа (2016). «Профессор Форсинг: новый алгоритм обучения рекуррентных сетей» . Достижения в области нейронных систем обработки информации . 29 . Curran Associates, Inc. arXiv : 1610.09038 .
- ^ Вонг, Ваньшунь (15 октября 2019 г.). «Что такое принуждение учителя?» . На пути к науке о данных . Проверено 25 марта 2022 г.
- ^ Чжан, Мин (31 июля 2008 г.). Искусственные нейронные сети высшего порядка для экономики и бизнеса . IGI Global. стр. 195–. ISBN 978-1-59904-898-7 .
- ^ Ив Шовен; Дэвид Э. Румельхарт (1 февраля 2013 г.). Обратное распространение ошибки: теория, архитектура и приложения . Психология Пресс. стр. 473–. ISBN 978-1-134-77581-1 .
- ^ Джордж Бекей; Кеннет Ю. Голдберг (30 ноября 1992 г.). Нейронные сети в робототехнике . Springer Science & Business Media. стр. 247–. ISBN 978-0-7923-9268-2 .
- ^ Уильямс, Рональд Дж.; Зипсер, Дэвид (июнь 1989 г.). «Алгоритм обучения для непрерывной работы полностью рекуррентных нейронных сетей». Нейронные вычисления . 1 (2): 270–280. CiteSeerX 10.1.1.52.9724 . дои : 10.1162/neco.1989.1.2.270 . ISSN 0899-7667 . S2CID 14711886 .