Обучение с подкреплением

Информацию об обучении с подкреплением в психологии см. в разделе «Подкрепление и оперантное обусловливание» .

Обучение с подкреплением ( RL ) — это междисциплинарная область машинного обучения и оптимального управления , связанная с тем, как интеллектуальный агент должен действовать в динамической среде, чтобы максимизировать совокупное вознаграждение . Обучение с подкреплением — одна из трех основных парадигм машинного обучения , наряду с обучением с учителем и обучением без учителя .

Обучение с подкреплением отличается от обучения с учителем тем, что не требует представления помеченных пар входных/выходных данных и не требует явного исправления неоптимальных действий. Вместо этого основное внимание уделяется поиску баланса между исследованием (неизведанной территории) и использованием (текущих знаний) с целью максимизации долгосрочного вознаграждения, чья обратная связь может быть неполной или отложенной.

Среда обычно описывается в форме марковского процесса принятия решений (MDP), поскольку многие алгоритмы обучения с подкреплением для этого контекста используют динамического программирования . методы Основное различие между классическими методами динамического программирования и алгоритмами обучения с подкреплением состоит в том, что последние не предполагают знание точной математической модели марковского процесса принятия решений и нацелены на большие марковские процессы принятия решений, где точные методы становятся невозможными.

Введение

Типичная структура сценария обучения с подкреплением (RL): агент совершает действия в среде, которые интерпретируются как вознаграждение и представление состояния, которые передаются обратно агенту.

Из-за своей общности обучение с подкреплением изучается во многих дисциплинах, таких как теория игр , теория управления , исследование операций , теория информации , оптимизация на основе моделирования , многоагентные системы , роевой интеллект и статистика . В литературе по исследованию операций и управлению обучение с подкреплением называется приближенным динамическим программированием или нейродинамическим программированием. Проблемы, представляющие интерес для обучения с подкреплением, также изучались в теории оптимального управления , которая занимается главным образом существованием и характеристикой оптимальных решений, а также алгоритмами их точного вычисления, и в меньшей степени обучением или аппроксимацией, особенно в отсутствие математическая модель окружающей среды.

Базовое обучение с подкреплением моделируется как марковский процесс принятия решений :

• набор состояний среды и агента, ${\mathcal {S}}$;
• набор действий, ${\mathcal {A}}$, агента;
• $P_{a}(s,s')=\Pr(S_{t+1}=s'\mid S_{t}=s,A_{t}=a)$, вероятность перехода (в момент времени $t$) из штата $s$ заявить $s'$ в действии $a$.
• $R_{a}(s,s')$, немедленная награда после перехода из $s$ к $s'$ с действием $a$.

Цель обучения с подкреплением состоит в том, чтобы агент выучил оптимальную или почти оптимальную политику, которая максимизирует «функцию вознаграждения» или другой сигнал подкрепления, предоставляемый пользователем, который накапливается из немедленных вознаграждений. Это похоже на процессы, которые происходят в психологии животных. (См. «Подкрепление» .) Например, биологический мозг запрограммирован интерпретировать такие сигналы, как боль и голод, как отрицательное подкрепление, а удовольствие и прием пищи — как положительное подкрепление. В некоторых обстоятельствах животные могут научиться вести себя так, чтобы оптимизировать эти вознаграждения. Это говорит о том, что животные способны к обучению с подкреплением.

Базовый ИИ-агент обучения с подкреплением взаимодействует со своей средой дискретными шагами по времени. В каждый момент времени t агент получает текущее состояние $S_{t}$ и награда $R_{t}$. Затем он выбирает действие $A_{t}$из набора доступных действий, который впоследствии отправляется в среду. Окружающая среда переходит в новое состояние $S_{t+1}$ и награда $R_{t+1}$ связанный с переходом $(S_{t},A_{t},S_{t+1})$определен. Целью агента обучения с подкреплением является изучение политики : $\pi :{\mathcal {S}}\times {\mathcal {A}}\rightarrow [0,1]$, $\pi (s,a)=\Pr(A_{t}=a\mid S_{t}=s)$ это максимизирует ожидаемое совокупное вознаграждение.

Формулировка проблемы в виде марковского процесса принятия решений предполагает, что агент непосредственно наблюдает за текущим состоянием окружающей среды; в этом случае говорят, что задача имеет полную наблюдаемость . Если агент имеет доступ только к подмножеству состояний или если наблюдаемые состояния искажаются шумом, говорят, что агент имеет частичную наблюдаемость , и формально проблема должна быть сформулирована как частично наблюдаемый марковский процесс принятия решений . В обоих случаях набор доступных агенту действий может быть ограничен. Например, состояние баланса счета может быть ограничено положительным; если текущее значение состояния равно 3 и переход между состояниями пытается уменьшить значение на 4, переход не будет разрешен.

Когда эффективность агента сравнивается с эффективностью агента, действующего оптимально, разница в производительности порождает понятие сожаления . Чтобы действовать почти оптимально, агент должен рассуждать о долгосрочных последствиях своих действий (т. е. максимизировать будущий доход), хотя связанное с этим немедленное вознаграждение может быть отрицательным.

Таким образом, обучение с подкреплением особенно хорошо подходит для решения задач, которые включают в себя компромисс между долгосрочным и краткосрочным вознаграждением. Он успешно применяется для решения различных задач, включая эксплуатацию накопителей энергии, управление роботом, отправка фотоэлектрических генераторов, нарды , шашки , Go ( AlphaGo ) и системы автономного вождения .

Два элемента делают обучение с подкреплением мощным: использование выборок для оптимизации производительности и использование аппроксимации функций для работы с большими средами. Благодаря этим двум ключевым компонентам обучение с подкреплением можно использовать в больших средах в следующих ситуациях:

• Модель среды известна, но аналитическое решение отсутствует;
• Приводится только имитационная модель среды (предмет имитационной оптимизации );
• Единственный способ собрать информацию об окружающей среде – это взаимодействовать с ней.

Первые две из этих проблем можно рассматривать как проблемы планирования (поскольку доступна некоторая форма модели), а последнюю можно считать настоящей проблемой обучения. Однако обучение с подкреплением превращает обе проблемы планирования в проблемы машинного обучения .

Исследование

Компромисс между разведкой и эксплуатацией был наиболее тщательно изучен с помощью проблемы многорукого бандита и марковских процессов принятия решений с конечным пространством состояний в Бернетасе и Катехакисе (1997).

Обучение с подкреплением требует умных механизмов исследования; случайный выбор действий без привязки к предполагаемому распределению вероятностей показывает плохую производительность. Случай (малых) конечных марковских процессов принятия решений относительно хорошо изучен. Однако из-за отсутствия алгоритмов, которые хорошо масштабируются в зависимости от количества состояний (или масштабируются для задач с бесконечными пространствами состояний), наиболее практичными являются простые методы исследования.

Одним из таких методов является $\varepsilon$- жадный, где $0<\varepsilon <1$— это параметр, контролирующий объем разведки и эксплуатации. С вероятностью $1-\varepsilon$, выбирается эксплуатация, и агент выбирает действие, которое, по его мнению, имеет наилучший долгосрочный эффект (связь между действиями разрывается равномерно и случайным образом). Альтернативно, с вероятностью $\varepsilon$, выбирается исследование, а действие выбирается равномерно случайным образом. $\varepsilon$ обычно является фиксированным параметром, но его можно корректировать либо по расписанию (заставляя агента все меньше исследовать), либо адаптивно на основе эвристики.

Алгоритмы управления обучением

Даже если вопрос исследования игнорируется и даже если состояние было наблюдаемым (предполагается ниже), остается проблема использования прошлого опыта, чтобы выяснить, какие действия приводят к более высоким совокупным вознаграждениям.

Критерий оптимальности

Политика

Выбор действий агента моделируется в виде карты, называемой политикой :

$\pi :{\mathcal {A}}\times {\mathcal {S}}\rightarrow [0,1]$

$\pi (a,s)=\Pr(A_{t}=a\mid S_{t}=s)$

Карта политики показывает вероятность принятия мер $a$ когда в штате $s$. Существуют также детерминистские политики.

Функция значения состояния

Функция значения состояния $V_{\pi }(s)$ определяется как ожидаемая дисконтированная доходность, начиная с состояния $s$, то есть $S_{0}=s$и последовательно следуя политике $\pi$. Следовательно, грубо говоря, функция ценности оценивает, «насколько хорошо» находиться в данном состоянии.

$V_{\pi }(s)=\operatorname {\mathbb {E} } [G\mid S_{0}=s]=\operatorname {\mathbb {E} } \left[\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}\mid S_{0}=s\right],$

где случайная величина $G$ обозначает дисконтированный доход и определяется как сумма будущих дисконтированных вознаграждений:

$G=\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}=R_{1}+\gamma R_{2}+\gamma ^{2}R_{3}+\dots ,$

где $R_{t+1}$ это награда за переход из состояния $S_{t}$ к $S_{t+1}$, $0\leq \gamma <1$ это ставка дисконтирования . $\gamma$ меньше 1, поэтому вознаграждения в отдаленном будущем имеют меньший вес, чем вознаграждения в ближайшем будущем.

Алгоритм должен найти политику с максимальной ожидаемой дисконтированной доходностью. Из теории марковских процессов принятия решений известно, что без ограничения общности поиск можно ограничить множеством так называемых стационарных политик. Политика является стационарной , если возвращаемое ею распределение действий зависит только от последнего посещенного состояния (из истории агента наблюдения). Поиск может быть дополнительно ограничен детерминистской стационарной политикой. Детерминированная стационарная политика детерминированно выбирает действия на основе текущего состояния. Поскольку любую такую ​​политику можно идентифицировать с помощью отображения набора состояний на набор действий, эти политики можно идентифицировать с помощью таких отображений без потери общности.

Грубая сила

Метод грубой силы включает в себя два этапа:

• Для каждой возможной политики возвращается выборка при ее соблюдении.
• Выберите полис с наибольшим ожидаемым доходом со скидкой

Одна из проблем заключается в том, что количество политик может быть большим или даже бесконечным. Другая причина заключается в том, что дисперсия доходности может быть большой, что требует большого количества выборок для точной оценки дисконтированной доходности каждого полиса.

Эти проблемы можно решить, если мы предположим некоторую структуру и позволим выборкам, полученным на основе одной политики, влиять на оценки, сделанные для других. Двумя основными подходами для достижения этой цели являются оценка функции стоимости и прямой поиск политики .

Функция значения

См. также: Функция значения.

Подходы с использованием функции стоимости пытаются найти политику, которая максимизирует дисконтированную доходность, поддерживая набор оценок ожидаемой дисконтированной доходности. $\operatorname {\mathbb {E} } [G]$ для некоторой политики (обычно либо «текущей» [on-policy], либо оптимальной [off-policy]).

Эти методы основаны на теории марковских процессов принятия решений, где оптимальность определяется в более строгом смысле, чем приведенный выше: политика оптимальна, если она обеспечивает наилучший ожидаемый дисконтированный доход от любого начального состояния (т. е. начальные распределения не играют никакой роли в это определение). Опять же, оптимальную политику всегда можно найти среди стационарных политик.

Чтобы формально определить оптимальность, определите государственную ценность политики. $\pi$ к

$V^{\pi }(s)=\operatorname {\mathbb {E} } [G\mid s,\pi ],$

где $G$ означает дисконтированный доход, связанный со следующими $\pi$ из исходного состояния $s$. Определение $V^{*}(s)$ как максимально возможное значение состояния $V^{\pi }(s)$, где $\pi$ разрешено изменять,

$V^{*}(s)=\max _{\pi }V^{\pi }(s).$

Политика, которая достигает этих оптимальных значений состояния в каждом штате, называется оптимальной . Очевидно, что политика, оптимальная в этом строгом смысле, также оптимальна в том смысле, что она максимизирует ожидаемую дисконтированную доходность. $\rho ^{\pi }$, с $\rho ^{\pi }=\operatorname {\mathbb {E} } [V^{\pi }(s)]$, где $s$ это состояние, случайно выбранное из распределения $\mu$ начальных состояний (так $\mu (s)=\Pr(S_{0}=s)$).

Хотя значений состояния достаточно для определения оптимальности, полезно определить значения действия. Учитывая состояние $s$, действие $a$ и политика $\pi$, значение действия пары $(s,a)$ под $\pi$ определяется

$Q^{\pi }(s,a)=\operatorname {\mathbb {E} } [G\mid s,a,\pi ],\,$

где $G$ теперь означает случайный доход со скидкой, связанный с первым действием. $a$ в штате $s$ и следующие $\pi$, после этого.

Теория марковских процессов принятия решений утверждает, что если $\pi ^{*}$ оптимальная политика, мы действуем оптимально (совершаем оптимальное действие), выбирая действие из $Q^{\pi ^{*}}(s,\cdot )$ с наивысшей ценностью действия в каждом состоянии, $s$. Функция действия-ценности такой оптимальной политики ( $Q^{\pi ^{*}}$) называется оптимальной функцией действия-ценности и обычно обозначается как $Q^{*}$. Таким образом, одного только знания оптимальной функции «действие-ценность» достаточно, чтобы знать, как действовать оптимально.

Предполагая полное знание марковского процесса принятия решений, можно выделить два основных подхода к вычислению оптимальной функции «действие-ценность»: итерация значения и итерация политики . Оба алгоритма вычисляют последовательность функций $Q_{k}$ ( $k=0,1,2,\ldots$), которые сходятся к $Q^{*}$. Вычисление этих функций включает в себя вычисление ожиданий по всему пространству состояний, что непрактично для всех, кроме самых маленьких (конечных) марковских процессов принятия решений. В методах обучения с подкреплением ожидания аппроксимируются путем усреднения по выборкам и использования методов аппроксимации функций, чтобы справиться с необходимостью представления функций значения в больших пространствах состояний и действий.

Методы Монте-Карло

Методы Монте-Карло можно использовать в алгоритме, имитирующем итерацию политики. Итерация политики состоит из двух этапов: оценка политики и улучшение политики .

Монте-Карло используется на этапе оценки политики. На этом этапе, учитывая стационарную, детерминированную политику $\pi$, цель состоит в том, чтобы вычислить значения функции $Q^{\pi }(s,a)$ (или хорошее приближение к ним) для всех пар состояние-действие $(s,a)$. Предположим (для простоты), что процесс решения Маркова конечен, что доступно достаточно памяти для размещения значений действия, и что проблема носит эпизодический характер, и после каждого эпизода новый начинается с некоторого случайного начального состояния. Тогда оценка значения данной пары состояние-действие $(s,a)$ могут быть вычислены путем усреднения выборочных доходов, полученных из $(s,a)$через некоторое время. Таким образом, при наличии достаточного времени эта процедура может построить точную оценку $Q$ функции действие-ценность $Q^{\pi }$. На этом заканчивается описание этапа оценки политики.

На этапе улучшения политики следующая политика получается путем вычисления жадной политики по отношению к $Q$: Учитывая состояние $s$, эта новая политика возвращает действие, которое максимизирует $Q(s,\cdot )$. На практике ленивая оценка может отложить вычисление максимизирующих действий до того момента, когда они потребуются.

Проблемы с этой процедурой включают в себя:

1. Процедура может потребовать слишком много времени для оценки неоптимальной политики.
2. Он использует выборки неэффективно, поскольку длинная траектория улучшает оценку только одной пары состояние-действие, с которой началась траектория.
3. Когда доходность по траекториям имеет высокую дисперсию , сходимость происходит медленно.
4. Это работает только в эпизодических проблемах .
5. Он работает только в небольших, конечных марковских процессах принятия решений.

Методы временной разницы

Основная статья: Обучение временной разнице

Первая проблема решается путем разрешения процедуре изменять политику (в некоторых или во всех состояниях) до того, как значения установятся. Это также может быть проблематичным, поскольку может помешать конвергенции. Большинство современных алгоритмов делают это, создавая класс алгоритмов итерации обобщенной политики . Многие актерско-критические методы относятся к этой категории.

Вторую проблему можно исправить, разрешив траекториям вносить вклад в любую пару состояние-действие в них. (TD) Саттона, Это также может в некоторой степени помочь в решении третьей проблемы, хотя лучшим решением, когда доходность имеет высокую дисперсию, является метод временной разницы основанный на рекурсивном уравнении Беллмана . Вычисления в методах TD могут быть инкрементальными (когда после каждого перехода память меняется и переход выбрасывается) или пакетными (когда переходы группируются и оценки вычисляются один раз на основе пакета). Пакетные методы, такие как метод временной разницы наименьших квадратов, могут лучше использовать информацию в выборках, в то время как инкрементные методы являются единственным выбором, когда пакетные методы неосуществимы из-за их высокой вычислительной сложности или сложности памяти. Некоторые методы пытаются объединить два подхода. Методы, основанные на временных различиях, также решают четвертую проблему.

Другая проблема, характерная для TD, связана с тем, что они полагаются на рекурсивное уравнение Беллмана. Большинство методов TD имеют так называемый $\lambda$ параметр $(0\leq \lambda \leq 1)$который может непрерывно интерполировать между методами Монте-Карло, которые не полагаются на уравнения Беллмана, и основными методами TD, которые полностью полагаются на уравнения Беллмана. Это может быть эффективным решением этой проблемы.

Методы аппроксимации функций

Для решения пятой проблемы методы аппроксимации функций используются . Приближение линейной функции начинается с отображения $\phi$который присваивает конечномерный вектор каждой паре состояние-действие. Затем значения действия пары состояние-действие $(s,a)$ получаются путем линейного объединения компонентов $\phi (s,a)$ с некоторыми весами $\theta$:

$Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a).$

Затем алгоритмы корректируют веса вместо корректировки значений, связанных с отдельными парами состояние-действие. Были изучены методы, основанные на идеях непараметрической статистики (которые, как видно, создают свои собственные функции).

Итерацию значений также можно использовать в качестве отправной точки, что дает начало алгоритму Q-обучения и его многочисленным вариантам. Включая методы глубокого Q-обучения, когда для представления Q используется нейронная сеть, с различными приложениями в задачах стохастического поиска.

Проблема с использованием значений действий заключается в том, что им могут потребоваться очень точные оценки конкурирующих значений действий, которые может быть трудно получить, когда результаты зашумлены, хотя эта проблема в некоторой степени смягчается методами временной разницы. Использование так называемого метода аппроксимации совместимых функций снижает общность и эффективность.

Прямой поиск по политике

Альтернативным методом является поиск непосредственно в (некотором подмножестве) политического пространства, и в этом случае проблема становится случаем стохастической оптимизации . Доступны два подхода: градиентный и безградиентный.

Градиентные методы ( методы градиента политики ) начинаются с отображения конечномерного пространства (параметров) в пространство политик: с учетом вектора параметров $\theta$, позволять $\pi _{\theta }$ обозначают политику, связанную с $\theta$. Определение функции производительности с помощью $\rho (\theta )=\rho ^{\pi _{\theta }}$ в мягких условиях эта функция будет дифференцируема как функция вектора параметров $\theta$. Если градиент $\rho$было известно, можно было использовать градиентный подъем . Поскольку аналитическое выражение для градиента недоступно, доступна только зашумленная оценка. Такую оценку можно построить разными способами, что приводит к появлению таких алгоритмов, как метод REINFORCE Уильямса. известен как метод отношения правдоподобия (который в литературе по оптимизации на основе моделирования ).

Большой класс методов избегает использования информации о градиенте. К ним относятся моделирование отжига , перекрестный энтропийный поиск или методы эволюционных вычислений . Многие безградиентные методы могут достичь (теоретически и в пределе) глобального оптимума.

Методы поиска политики могут медленно сходиться при наличии зашумленных данных. Например, это происходит в эпизодических задачах, когда траектории длинные и дисперсия доходностей велика. В этом случае могут помочь методы, основанные на функции стоимости, основанные на временных различиях. В последние годы методы актер-критик были предложены и хорошо зарекомендовали себя при решении различных проблем.

Методы поиска политики использовались в контексте робототехники . Многие методы поиска политик могут застрять в локальных оптимумах (поскольку они основаны на локальном поиске ).

Алгоритмы на основе моделей

Наконец, все вышеперечисленные методы можно объединить с алгоритмами, которые сначала изучают модель марковского процесса принятия решений , вероятность каждого следующего состояния с учетом действия, предпринятого из существующего состояния. Например, алгоритм Dyna изучает модель на основе опыта и использует ее для обеспечения более смоделированных переходов для функции значения в дополнение к реальным переходам. Иногда такие методы можно расширить за счет использования непараметрических моделей, например, когда переходы просто сохраняются и «воспроизводятся». к алгоритму обучения.

Методы, основанные на моделях, могут быть более интенсивными в вычислительном отношении, чем подходы без моделей, и их полезность может быть ограничена степенью, в которой можно изучить марковский процесс принятия решений.

Существуют и другие способы использования моделей, кроме обновления функции значения. Например, в прогнозирующем управлении моделью модель используется для непосредственного обновления поведения.

Теория

Как асимптотическое, так и конечно-выборочное поведение большинства алгоритмов хорошо изучено. Алгоритмы с доказуемо хорошей онлайновой производительностью (решающие проблему разведки) известны.

Эффективное исследование марковских процессов принятия решений дано в Burnetas and Katehakis (1997). Для многих алгоритмов также появились границы производительности за конечное время, но ожидается, что эти границы будут довольно расплывчатыми, и поэтому потребуется дополнительная работа, чтобы лучше понять относительные преимущества и ограничения.

Для инкрементальных алгоритмов решены проблемы асимптотической сходимости. . Алгоритмы, основанные на временной разности, сходятся при более широком наборе условий, чем это было возможно ранее (например, при использовании произвольной плавной аппроксимации функции).

Исследования

Темы исследований включают в себя:

• актер-критик архитектуры
• актер-критик-декораторская архитектура
• адаптивные методы, которые работают с меньшим количеством параметров (или без них) в большом количестве условий.
• обнаружение ошибок в программных проектах
• непрерывное обучение
• комбинации с логическими структурами
• исследование больших марковских процессов принятия решений
• человеческая обратная связь
• взаимодействие между неявным и явным обучением при приобретении навыков
• внутренняя мотивация , которая отличает поведение, связанное с поиском информации и любопытством, от целенаправленного поведения, зависящего от выполнения задачи. Крупномасштабные эмпирические оценки.
• большие (или непрерывные) пространства действий
• модульное и иерархическое обучение с подкреплением
• Многоагентное/распределенное обучение с подкреплением является темой, представляющей интерес. Приложения расширяются.
• контроль, ориентированный на пассажира
• оптимизация вычислительных ресурсов
• частичная информация (например, с использованием прогнозного представления состояния )
• функция вознаграждения, основанная на максимизации новой информации
• планирование на основе выборки (например, на основе поиска по дереву Монте-Карло ).
• торговля ценными бумагами
• трансферное обучение
• TD-обучение, моделирующее дофамина обучение мозга на основе . Дофаминергические проекции от черной субстанции к функции базальных ганглиев являются ошибкой прогнозирования.
• методы поиска функций и политик

Сравнение ключевых алгоритмов

Алгоритм	Описание	Политика	Пространство действия	Государственное пространство	Оператор
Монте-Карло	Каждый визит в Монте-Карло	Или	Дискретный	Дискретный	Выборочные средства значений состояния или значений действия
Обучение ТД	Состояние-действие-награда-состояние	Вне политики	Дискретный	Дискретный	Государственная ценность
Q-обучение	Состояние-действие-награда-состояние	Вне политики	Дискретный	Дискретный	Значение действия
СОУС	Состояние-действие-награда-состояние-действие	В соответствии с политикой	Дискретный	Дискретный	Значение действия
ДКН	Сеть Deep Q	Вне политики	Дискретный	Непрерывный	Значение действия
ДДПГ	Глубокий детерминистический политический градиент	Вне политики	Непрерывный	Непрерывный	Значение действия
А3С	Асинхронный алгоритм «Актор-критик»	В соответствии с политикой	Дискретный	Непрерывный	Преимущество (=значение действия - значение состояния)
ТРПО	Оптимизация политики доверительного региона	В соответствии с политикой	Непрерывный или дискретный	Непрерывный	Преимущество
ППО	Оптимизация проксимальной политики	В соответствии с политикой	Непрерывный или дискретный	Непрерывный	Преимущество
ТД3	Двойной глубокий детерминированный политический градиент с задержкой	Вне политики	Непрерывный	Непрерывный	Значение действия
САК	Мягкий актер-критик	Вне политики	Непрерывный	Непрерывный	Преимущество
ДСАК	Критик распределительного мягкого актера	Вне политики	Непрерывный	Непрерывный	Распределение действия и значения

Ассоциативное

Задачи ассоциативного обучения с подкреплением сочетают в себе аспекты задач автоматов стохастического обучения и задач классификации шаблонов обучения с учителем. В задачах ассоциативного обучения с подкреплением система обучения взаимодействует со своей средой в замкнутом цикле.

Глубокое

Этот подход расширяет обучение с подкреплением за счет использования глубокой нейронной сети без явного проектирования пространства состояний. Работа Google DeepMind по изучению игр ATARI повысила внимание к глубокому обучению с подкреплением или сквозному обучению с подкреплением .

обучение с

Состязательное глубокое обучение с подкреплением — это активная область исследований в области обучения с подкреплением, в которой основное внимание уделяется уязвимостям изученных политик. Некоторые исследования в этой области исследований изначально показали, что политика обучения с подкреплением подвержена незаметным состязательным манипуляциям. Хотя были предложены некоторые методы для преодоления этой уязвимости, в самых последних исследованиях было показано, что эти предлагаемые решения далеки от точного представления текущих уязвимостей политики глубокого обучения с подкреплением.

обучение

Вводя нечеткий вывод в обучение с подкреплением, становится возможной аппроксимация функции ценности состояния-действия нечеткими правилами в непрерывном пространстве. Форма нечетких правил ЕСЛИ-ТО делает этот подход пригодным для выражения результатов в форме, близкой к естественному языку. Расширение FRL с помощью интерполяции нечетких правил позволяет использовать разреженные нечеткие базы правил уменьшенного размера, чтобы подчеркнуть кардинальные правила (наиболее важные значения действий государства).

Обучение

В обратном обучении с подкреплением (IRL) функция вознаграждения не задается. Вместо этого функция вознаграждения выводится с учетом наблюдаемого поведения эксперта. Идея состоит в том, чтобы имитировать наблюдаемое поведение, которое часто является оптимальным или близким к оптимальному. Одна популярная парадигма IRL называется обучением с обратным подкреплением с максимальной энтропией (MaxEnt IRL). MaxEnt IRL оценивает параметры линейной модели функции вознаграждения путем максимизации энтропии распределения вероятностей наблюдаемых траекторий с учетом ограничений, связанных с совпадением ожидаемого количества признаков. Недавно было показано, что MaxEnt IRL является частным случаем более общей структуры, называемой обучением с обратным подкреплением случайной полезности (RU-IRL). RU-IRL основан на теории случайной полезности и марковских процессах принятия решений. В то время как предыдущие подходы IRL предполагают, что кажущееся случайное поведение наблюдаемого агента обусловлено тем, что он следует случайной политике, RU-IRL предполагает, что наблюдаемый агент следует детерминированной политике, но случайность в наблюдаемом поведении обусловлена ​​тем фактом, что наблюдатель имеет только частичный доступ к функциям, которые наблюдаемый агент использует при принятии решений. Функция полезности моделируется как случайная величина, чтобы учесть незнание наблюдателем особенностей, которые наблюдаемый агент фактически учитывает в своей функции полезности.

Безопасное

Безопасное обучение с подкреплением (SRL) можно определить как процесс политики обучения, которая максимизирует ожидание отдачи в проблемах, в которых важно обеспечить разумную производительность системы и/или соблюдать ограничения безопасности во время процессов обучения и/или развертывания.

См. также

• Обучение временной разнице
• Q-обучение
• Состояние-действие-вознаграждение-состояние-действие (SARSA)
• Обучение с подкреплением на основе отзывов людей
• Оптимальное управление
• Обучение, основанное на ошибках
• Многоагентное обучение с подкреплением
• Обучение
• Без моделей (обучение с подкреплением)
• Обучение с подкреплением на основе моделей
• Обучение с прямым подкреплением
• Косвенное обучение с подкреплением
• активное обучение (машинное обучение)

Источники

• Саттон, Ричард С .; Барто, Эндрю Г. (2018). Обучение с подкреплением: Введение (2-е изд.). МТИ Пресс. ISBN  978-0-262-03924-6 .
• Ли, Шэнбо Эбен (2023). Обучение с подкреплением для последовательного принятия решений и оптимального управления (1-е изд.). Спрингер Верлаг, Сингапур. дои : 10.1007/978-981-19-7784-8 . ISBN  978-9-811-97783-1 .
• Берцекас, Дмитрий П. (2023) [2019]. ОБУЧЕНИЕ ПОДКРЕПЛЕНИЕМ И ОПТИМАЛЬНЫЙ КОНТРОЛЬ (1-е изд.). Афина Сайентифик. ISBN  978-1-886-52939-7 .

Дальнейшее чтение

• Аннасвами, Анурадха М. (3 мая 2023 г.). «Адаптивное управление и пересечения с обучением с подкреплением» . Ежегодный обзор управления, робототехники и автономных систем . 6 (1): 65–93. doi : 10.1146/annurev-control-062922-090153 . ISSN   2573-5144 . S2CID   255702873 .
• Ауэр, Питер ; Якш, Томас; Ортнер, Рональд (2010). «Почти оптимальные границы сожаления для обучения с подкреплением» . Журнал исследований машинного обучения . 11 : 1563–1600.
• Бузониу, Лучиан; Бабушка, Роберт; Де Шуттер, Барт ; Эрнст, Дэмиен (2010). Обучение с подкреплением и динамическое программирование с использованием аппроксиматоров функций . Тейлор и Фрэнсис CRC Press. ISBN  978-1-4398-2108-4 .
• Франсуа-Лаве, Винсент; Хендерсон, Питер; Ислам, Риашат; Бельмар, Марк Г.; Пино, Жоэль (2018). «Введение в глубокое обучение с подкреплением». Основы и тенденции в машинном обучении . 11 (3–4): 219–354. arXiv : 1811.12560 . Бибкод : 2018arXiv181112560F . дои : 10.1561/2200000071 . S2CID   54434537 .
• Пауэлл, Уоррен (2011). Приближенное динамическое программирование: решение проклятий размерности . Уайли-Интерсайенс. Архивировано из оригинала 31 июля 2016 г. Проверено 8 сентября 2010 г.
• Саттон, Ричард С. (1988). «Учимся прогнозировать методом временных разностей» . Машинное обучение . 3 : 9–44. дои : 10.1007/BF00115009 .
• Сита, Иштван; Сепешвари, Чаба (2010). «Обучение с подкреплением на основе моделей с почти жесткими границами сложности исследования» (PDF) . ИКМЛ 2010 . Омнипресс. стр. 1031–1038. Архивировано из оригинала (PDF) 14 июля 2010 г.

Внешние ссылки

• Репозиторий обучения с подкреплением
• Обучение с подкреплением и искусственный интеллект (RLAI, лаборатория Рича Саттона в Университете Альберты )
• Лаборатория автономного обучения (ALL, лаборатория Эндрю Барто в Массачусетском университете в Амхерсте )
• Реальные эксперименты по обучению с подкреплением. Архивировано 8 октября 2018 г. в Wayback Machine в Делфтском технологическом университете.
• Лекция Эндрю Нг в Стэнфордском университете об обучении с подкреплением
• Анализ обучения с подкреплением Серия публикаций в блоге об обучении с подкреплением с помощью кода Python
• (Длинный) взгляд на обучение с подкреплением