Обучение временной разнице

временной разнице ( TD ) Обучение относится к классу без модели методов обучения с подкреплением , которые обучаются путем начальной загрузки из текущей оценки функции значения. Эти методы выбирают данные из окружающей среды, например методы Монте-Карло , и выполняют обновления на основе текущих оценок, как методы динамического программирования .

В то время как методы Монте-Карло корректируют свои оценки только после того, как становится известен окончательный результат, методы TD корректируют прогнозы, чтобы они соответствовали более поздним, более точным прогнозам о будущем, прежде чем станет известен окончательный результат. Это форма начальной загрузки , как показано в следующем примере:

Предположим, вы хотите спрогнозировать погоду на субботу и у вас есть некоторая модель, которая предсказывает погоду на субботу, учитывая погоду каждого дня недели. В стандартном случае вам придется подождать до субботы, а затем настроить все свои модели. Однако, когда, например, пятница, вы должны иметь довольно хорошее представление о том, какая погода будет в субботу, и, таким образом, иметь возможность изменить, скажем, субботнюю модель до наступления субботы.

Методы временных различий связаны с моделью временных различий в обучении животных .

формулировка

Табличный метод TD(0) является одним из самых простых методов TD. Это частный случай более общих методов стохастической аппроксимации. Он оценивает функцию значения состояния (MDP) с конечным числом состояний марковского процесса принятия решений в соответствии с политикой $\pi$. Позволять $V^{\pi }$ обозначаем функцию значения состояния MDP с состояниями $(S_{t})_{t\in \mathbb {N} }$, награды $(R_{t})_{t\in \mathbb {N} }$ и ставка дисконтирования $\gamma$ согласно политике $\pi$:

$V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.$

Для удобства мы опустим действие из обозначений. $V^{\pi }$ удовлетворяет уравнению Гамильтона-Якоби-Беллмана :

$V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},$

так $R_{1}+\gamma V^{\pi }(S_{1})$ является несмещенной оценкой $V^{\pi }(s)$. Это наблюдение мотивирует следующий алгоритм оценки $V^{\pi }$.

Алгоритм начинается с инициализации таблицы $V(s)$ произвольно, с одним значением для каждого состояния MDP. Положительная скорость обучения $\alpha$ выбран.

Затем мы неоднократно оцениваем политику $\pi$, получить награду $r$ и обновите функцию значения для текущего состояния, используя правило:

$V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{learning rate}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{The TD target}}]$

где $S_{t}$ и $S_{t+1}$ являются текущим и следующим состояниями соответственно. Значение $R_{t+1}+\gamma V(S_{t+1})$ известен как цель TD, и $R_{t+1}+\gamma V(S_{t+1})-V(S_{t})$ известна как ошибка TD.

ТД-Лямбда

TD-Lambda — это алгоритм обучения, изобретенный Ричардом С. Саттоном на основе более ранней работы Артура Сэмюэля по обучению временной разности . Этот алгоритм был широко применен Джеральдом Тезауро для создания TD-Gammon , программы, которая научилась играть в нарды на уровне опытных игроков-людей.

Лямбда ( $\lambda$) относится к параметру затухания трассы, при этом $0\leqslant \lambda \leqslant 1$. Более высокие настройки приводят к более длительному сохранению следов; то есть большая часть вознаграждения может быть отдана более отдаленным состояниям и действиям, когда $\lambda$ выше, с $\lambda =1$ параллельное обучение алгоритмам RL Монте-Карло.

В нейробиологии

TD Алгоритм также привлек внимание в области нейробиологии . Исследователи обнаружили, что частота возбуждения дофаминовых нейронов в вентральной покрышке (VTA) и черной субстанции (SNc), похоже, имитирует функцию ошибки в алгоритме. Функция ошибок возвращает разницу между предполагаемым вознаграждением в любом заданном состоянии или временном шаге и фактически полученным вознаграждением. Чем больше функция ошибок, тем больше разница между ожидаемым и фактическим вознаграждением. Когда это сочетается со стимулом, который точно отражает будущее вознаграждение, ошибку можно использовать для того, чтобы связать стимул с будущим вознаграждением .

Дофаминовые клетки, по-видимому, ведут себя аналогичным образом. В одном эксперименте измерения количества дофаминовых клеток проводились во время обучения обезьяны связывать стимул с вознаграждением в виде сока. Первоначально, когда обезьяна получала сок, количество дофаминовых клеток увеличивалось, что указывает на разницу в ожидаемом и фактическом вознаграждении. Со временем это усиление ответного огня распространилось на самый ранний надежный стимул для получения награды. Когда обезьяна была полностью обучена, при вручении прогнозируемой награды скорострельность не увеличивалась. Впоследствии, когда ожидаемое вознаграждение не было получено, частота активации дофаминовых клеток снизилась ниже нормальной активации. Это очень похоже на то, как функция ошибок в TD используется для обучения с подкреплением .

Взаимосвязь между моделью и потенциальной неврологической функцией привела к исследованию, пытающемуся использовать TD для объяснения многих аспектов поведенческих исследований. Его также использовали для изучения таких состояний, как шизофрения или последствий фармакологических манипуляций с дофамином на обучение.

См. также

• ПВЛВ
• Q-обучение
• Модель Рескорлы – Вагнера
• Состояние-действие-вознаграждение-состояние-действие (SARSA)

Примечания

Цитируемые работы

• Саттон, Ричард С.; Барто, Эндрю Г. (2018). Обучение с подкреплением: Введение (2-е изд.). Кембридж, Массачусетс: MIT Press.
• Тезауро, Джеральд (март 1995 г.). «Обучение с временными различиями и TD-гаммон» . Коммуникации АКМ . 38 (3): 58–68. дои : 10.1145/203330.203343 . S2CID   6023746 .

Дальнейшее чтение

• Мейн, СП (2007). Методы управления сложными сетями . Издательство Кембриджского университета. ISBN  978-0521884419 . См. последнюю главу и приложение.
• Саттон, РС; Барто, АГ (1990). «Модели производной по времени павловского армирования» (PDF) . Обучение и вычислительная нейронаука: основы адаптивных сетей : 497–537.

Внешние ссылки

• Апплет Connect Four TDGravity (+ версия для мобильного телефона) – самостоятельное обучение с использованием метода TD-Leaf (комбинация TD-Lambda с поиском по мелкому дереву)
• Самообучающееся мета-крестики-нолики. Пример веб-приложения, показывающий, как можно использовать обучение временной разнице для изучения констант оценки состояния минимаксного ИИ, играющего в простую настольную игру.
• Проблема обучения с подкреплением , документ, объясняющий, как можно использовать обучение с временной разницей для ускорения Q-обучения.
• TD-Simulator Симулятор временной разницы для классического кондиционирования