Q-обучение

Q -обучение -это без модели алгоритм обучения для изучения ценности действия в конкретном состоянии. Это не требует модели окружающей среды (следовательно, «без модели»), и он может решать проблемы со стохастическими переходами и вознаграждениями, не требуя адаптации. ^{[ 1 ]}

Для любого конечного процесса принятия решений Марков , Q -обучение находит оптимальную политику в смысле максимизации ожидаемого значения общего вознаграждения по сравнению с любыми и всеми последовательными шагами, начиная с текущего состояния. ^{[ 2 ]} Q -обучение может определить оптимальную политику выбора действий для любого данного конечного процесса принятия решений Марков, учитывая бесконечное время разведки и частично случайную политику. ^{[ 2 ]} «Q» относится к функции, которую вычисляет алгоритм - ожидаемые награды за действие, предпринятое в данном состоянии. ^{[ 3 ]}

Подкрепление обучения

Подкрепление обучения включает в себя агента , набор государств ${\mathcal {S}}$ и набор ${\mathcal {A}}$ действий на состояние . Выполняя действие $a\in {\mathcal {A}}$ , агент переходит от штата к государству. Выполнение действия в конкретном состоянии обеспечивает агенту вознаграждение ( численная оценка).

Цель агента - максимизировать его полную награду. Это делает это путем добавления максимального вознаграждения, достижимого от будущих государств, к вознаграждению за достижение его нынешнего состояния, эффективно влияя на текущее действие потенциальным будущим вознаграждением. Эта потенциальная награда является взвешенной суммой ожидаемых значений вознаграждений всех будущих шагов, начиная с текущего состояния. ^{[ 1 ]}

В качестве примера рассмотрим процесс посадки на поезд, в котором вознаграждение измеряется отрицательным от общего времени, затраченного посадки (в качестве альтернативы, стоимость посадки на поезд равна временю посадки). Одна стратегия состоит в том, чтобы войти в дверь поезда, как только они откроются, минимизируя начальное время ожидания для себя. Однако, если поезд переполнен, то у вас будет медленный вход после первоначального действия, когда люди вступают в дверь, когда люди сражаются с вами, чтобы покинуть поезд, пытаясь сесть на сесть. Тогда общее время посадки или стоимость:

0 секунд времени ожидания + 15 секунд времени боя

На следующий день, случайно случайно (исследование), вы решите подождать и позволить другим людям уйти в первую очередь. Это изначально приводит к более длительному времени ожидания. Однако меньше времени тратится на борьбу с уходящими пассажирами. В целом, этот путь имеет более высокую награду, чем у предыдущего дня, так как общее время посадки сейчас:

5 Второе время ожидания + 0 Второе время боя

Благодаря разведке, несмотря на первоначальное (пациентное) действие, приводящее к большей стоимости (или отрицательной вознаграждению), чем в сильной стратегии, общая стоимость ниже, что выявляет более полезную стратегию.

Алгоритм

После $\Delta t$ Шаги в будущее агент решит какой -то следующий шаг. Вес этого шага рассчитывается как $\gamma ^{\Delta t}$ , где $\gamma$ ( коэффициент дисконтирования ) - это число от 0 до 1 ( $0\leq \gamma \leq 1$ ) Предполагая $\gamma <1$ , он имеет эффект оценки вознаграждений, полученных ранее выше, чем полученные позже (отражает стоимость «хорошего старта»). $\gamma$ может также интерпретироваться как вероятность успеха (или выжить) на каждом этапе $\Delta t$ .

Следовательно, алгоритм имеет функцию, которая рассчитывает качество комбинации состояния и действия:

Q:{\mathcal {S}}\times {\mathcal {A}}\to \mathbb {R}

.

Перед началом обучения ⁠ $Q$ ⁠ Инициализируется до возможного произвольного фиксированного значения (выбранного программистом). Тогда, каждый раз $t$ Агент выбирает действие $A_{t}$ , наблюдает за наградой $R_{t+1}$ , входит в новое государство $S_{t+1}$ (Это может зависеть от обоих предыдущего состояния $S_{t}$ и выбранное действие), и $Q$ обновляется. Ядром алгоритма является уравнение Беллмана в качестве обновления итерации простого значения , используя средневзвешенное текущее значение и новую информацию: ^{[ 4 ]}

Q^{new}(S_{t},A_{t})\leftarrow (1-\underbrace {\alpha } _{\text{learning rate}})\cdot \underbrace {Q(S_{t},A_{t})} _{\text{current value}}+\underbrace {\alpha } _{\text{learning rate}}\cdot {\bigg (}\underbrace {\underbrace {R_{t+1}} _{\text{reward}}+\underbrace {\gamma } _{\text{discount factor}}\cdot \underbrace {\max _{a}Q(S_{t+1},a)} _{\text{estimate of optimal future value}}} _{\text{new value (temporal difference target)}}{\bigg )}

где $R_{t+1}$ получена вознаграждение при переходе из штата $S_{t}$ в государство $S_{t+1}$ , и $\alpha$ Скорость обучения $(0<\alpha \leq 1)$ .

Обратите внимание, что $Q^{new}(S_{t},A_{t})$ это сумма трех факторов:

$(1-\alpha )Q(S_{t},A_{t})$ : Текущее значение (взвешенное на один минус скорость обучения)
$\alpha \,R_{t+1}$ : награда $R_{t+1}$ Чтобы получить действие $A_{t}$ принимается, когда в штате $S_{t}$ (взвешен по скорости обучения)
$\alpha \gamma \max _{a}Q(S_{t+1},a)$ : Максимальная награда, которая может быть получена из состояния $S_{t+1}$ (взвешен по скорости обучения и коэффициента дисконтирования)

Эпизод алгоритма заканчивается, когда государство $S_{t+1}$ является окончательным или терминальным состоянием . Тем не менее, Q -обучение также может учиться в неэпизодических задачах (в результате свойства сходящейся бесконечной серии). Если коэффициент дисконтирования ниже 1, значения действия конечны, даже если проблема может содержать бесконечные петли.

Для всех конечных состояний $s_{f}$ , $Q(s_{f},a)$ никогда не обновляется, но устанавливается на значение вознаграждения $r$ наблюдается для состояния $s_{f}$ Полем В большинстве случаев, $Q(s_{f},a)$ может быть принято в равное ноль.

Влияние переменных

Скорость обучения

Скорость обучения или размер шага определяет, в какой степени вновь приобретенная информация переопределяет старую информацию. Фактор 0 заставляет агента ничего не изучать (исключительно эксплуатируя предварительные знания), в то время как фактор 1 заставляет агента рассматривать только самую последнюю информацию (игнорируя предварительные знания для изучения возможностей). В полностью детерминированных условиях скорость обучения $\alpha _{t}=1$ оптимально. Когда проблема является стохастической , алгоритм сходится в некоторых технических условиях по скорости обучения, которые требуют, чтобы он уменьшился до нуля. На практике часто используется постоянная скорость обучения, например $\alpha _{t}=0.1$ для всех $t$ . ^{[ 5 ]}

Коэффициент дисконтирования

Коэффициент дисконтирования ⁠ $\gamma$ ⁠ Определяет важность будущих вознаграждений. Коэффициент 0 сделает агент «близоруком» (или близоруким), учитывая только текущие вознаграждения, т.е. $r_{t}$ (В правиле обновления выше), в то время как фактор, приближающийся к 1, заставит его стремиться к долгосрочной высокой награде. Если фактор дисконтирования соответствует или превышает 1, значения действия могут расходиться. Для ⁠ $\gamma =1$ ⁠ , без терминального состояния, или если агент никогда не достигает одного, все истории окружающей среды становятся бесконечно длинными, а коммунальные услуги с аддитивными, недисконтированными вознаграждениями, как правило, становятся бесконечными. ^{[ 6 ]} Даже с коэффициентом дисконтирования лишь немного ниже 1, обучение Q -функции приводит к распространению ошибок и нестабильности, когда функция значения аппроксимируется с помощью искусственной нейронной сети . ^{[ 7 ]} В этом случае, начиная с более низкого фактора дисконтирования и увеличивая его к окончательному значению, ускоряет обучение. ^{[ 8 ]}

Начальные условия ( Q ₀ )

Поскольку Q -обучение является итерационным алгоритмом, он косвенно предполагает начальное условие до того, как произошло первое обновление. Высокие начальные значения, также известные как «оптимистичные начальные условия», ^{[ 9 ]} может поощрять исследование: независимо от того, какое действие выбрано, правило обновления приведет к тому, что оно будет иметь более низкие значения, чем другая альтернатива, что увеличивает вероятность их выбора. Первая награда $r$ можно использовать для сброса начальных условий. ^{[ 10 ]} Согласно этой идее, впервые предпринимается действие, вознаграждение используется для установки значения $Q$ Полем Это позволяет немедленное обучение в случае фиксированных детерминированных вознаграждений. Ожидается, что модель, которая включает сброс начальных условий (RIC), будет предсказать поведение участников лучше, чем модель, которая предполагает любое произвольное начальное условие (AIC). ^{[ 10 ]} RIC, по -видимому, согласуется с поведением человека в экспериментах с повторным бинарным выбором. ^{[ 10 ]}

Выполнение

Q -обучение в самых простых хранилище данных в таблицах. Этот подход колеблется с растущим числом состояний/действий, поскольку вероятность того, что агент посетит конкретное состояние, и выполнение конкретного действия становится все более мала.

Функция приближения

Q -обучение может быть объединено с аппроксимацией функции . ^{[ 11 ]} Это позволяет применять алгоритм к более крупным проблемам, даже если пространство состояния непрерывное.

Одним из решений является использование (адаптированной) искусственной нейронной сети в качестве аппроксиматора функции. ^{[ 12 ]} Другая возможность заключается в интеграции интерполяции нечетких правил (FRI) и использовать редкие нечеткие базы правил ^{[ 13 ]} Вместо дискретных Q-таблиц или ANN, что имеет преимущество в том, что он читается, читающая форма знания. Функциональное приближение может ускорить обучение в конечных проблемах, из -за того, что алгоритм может обобщить более ранний опыт для ранее невидимых состояний.

Квантование

Другой метод для уменьшения пространства состояния/действия определяет возможные значения. Рассмотрим пример обучения, чтобы сбалансировать палку на пальце. Чтобы описать состояние в определенный момент времени включает в себя положение пальца в пространстве, его скорость, угол палки и угловая скорость палочки. Это дает вектор с четырьмя элементами, который описывает одно состояние, то есть снимок одного состояния, закодированного в четыре значения. Проблема в том, что бесконечно много возможных состояний присутствует. Чтобы сократить возможное пространство действительных действий, можно назначить несколько значений. Точное расстояние пальца от его исходного положения (-индиновичность к бесконечности) неизвестно, а скорее, это далеко или нет (близко, далеко). ^{[ 14 ]}

История

Q -обучение было введено Крисом Уоткинсом в 1989 году. ^{[ 15 ]} Уоткинс и Питер Даян в 1992 году было представлено доказательство конвергенции. ^{[ 16 ]}

Уоткинс обращался к «обучению от задержанных вознаграждений», названием своей докторской диссертации. Восемь лет назад, в 1981 году, та же проблема под названием «Обучение задержанному подкреплению» была решена с помощью адаптивного массива Bozinovski's Crossbar (CAA). ^{[ 17 ]}^{[ 18 ]} Матрица памяти $W=\|w(a,s)\|$ был таким же, как через восемь лет Q-таблица Q-обучения. Архитектура ввела термин «оценка состояния» в обучении подкреплению. Алгоритм обучения перекладиной, написанный в математическом псевдокоде в статье, в каждой итерации выполняет следующее вычисление:

В государстве $выполняют$ действие $A$ ;
Получить последствия состояния $S '$ ;
Вычислить оценку состояния ⁠ $v(s')$ ⁠ ;
Обновить значение перекладины $w'(a,s)=w(a,s)+v(s')$ .

Термин «вторичное подкрепление» заимствован из теории обучения животных, для моделирования значений состояния через обратное распространение : значение состояния ⁠ $v(s')$ ⁠ Следующая ситуация обрабатывается к ранее встречающимся ситуациям. CAA вычисляет значения состояния вертикально и действия горизонтально («перекладка»). Демонстрационные графики, показывающие отсроченное обучение подкреплению, содержали состояния (желательные, нежелательные и нейтральные состояния), которые были рассчитаны по функции оценки состояния. Эта система обучения была предшественником алгоритма Q-обучения. ^{[ 19 ]}

В 2014 году Google DeepMind запатентован ^{[ 20 ]} Применение Q-обучения к глубокому обучению под названием «глубокое обучение подкреплению» или «глубокое Q-обучение», которое может играть в игры Atari 2600 на экспертных уровнях человека.

Варианты

Глубокое Q-обучение

Система DeepMind использовала глубокую сверточную нейронную сеть со слоями плиточных сверточных фильтров, чтобы имитировать эффекты рецептивных полей. Подкрепление обучения нестабильным или расходящимся, когда аппроксиматор нелинейной функции, такая как нейронная сеть, используется для представления Q. Эта нестабильность исходит из корреляций, присутствующих в последовательности наблюдений, тот факт, что небольшие обновления в Q могут значительно изменить политику агента и распределение данных, а также корреляции между Q и целевыми значениями. Метод может использоваться для стохастического поиска в различных доменах и приложениях. ^{[ 1 ]}^{[ 21 ]}

Техника использовал опыт Replay, биологически вдохновленный механизм, который использует случайную выборку предыдущих действий вместо самого последнего действия для продолжения. ^{[ 3 ]} Это удаляет корреляции в последовательности наблюдения и сглаживает изменения в распределении данных. Итеративные обновления Нарегулируют Q к целевым значениям, которые только периодически обновляются, что еще больше снижает корреляции с целью. ^{[ 22 ]}

Двойное Q-обучение

Поскольку максимальное приблизительное значение действия в будущем в Q-обучении оценивается с использованием той же функции Q, что и в текущей политике выбора действий, в шумных средах Q-обучение может иногда переоценивать значения действия, замедляя обучение. Был предложен вариант, называемый двойным Q-обучением, чтобы исправить это. Двойное Q-обучение ^{[ 23 ]} это алгоритм обучения вне политики , где для оценки стоимости используется другая политика, чем то, что используется для выбора следующего действия.

На практике две отдельные функции значения $Q^{A}$ и $Q^{B}$ обучаются взаимно симметричным образом, используя отдельные впечатления. Двойной шаг обновления Q-обучения тогда следующим образом:

Q_{t+1}^{A}(s_{t},a_{t})=Q_{t}^{A}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma Q_{t}^{B}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{A}(s_{t+1},a)\right)-Q_{t}^{A}(s_{t},a_{t})\right)

, и

Q_{t+1}^{B}(s_{t},a_{t})=Q_{t}^{B}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma Q_{t}^{A}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{B}(s_{t+1},a)\right)-Q_{t}^{B}(s_{t},a_{t})\right).

Теперь оценочная стоимость дисконтированного будущего оценивается с использованием другой политики, которая решает проблему переоценки.

Этот алгоритм был позже изменен в 2015 году и в сочетании с глубоким обучением , ^{[ 24 ]} Как и в алгоритме DQN, в результате чего двойной DQN, который превосходит исходный алгоритм DQN. ^{[ 25 ]}

Другие

Задержка Q -обучения -это альтернативная реализация алгоритма онлайн -обучения Q -обучению с, вероятно, приблизительно правильным (PAC) обучением . ^{[ 26 ]}

Gredy GQ -это вариант Q -обучения для использования в комбинации с (линейным) аппроксимацией функции. ^{[ 27 ]} Преимущество жадного GQ заключается в том, что конвергенция гарантирована, даже когда функциональная приближение используется для оценки значений действия.

Распределение Q -обучение -это вариант Q -обучения, который стремится моделировать распределение возвратов, а не ожидаемое возврат каждого действия. Наблюдалось, что он облегчает оценку по глубоким нейронным сетям и может обеспечить альтернативные методы контроля, такие как контроль, чувствительный к риску. ^{[ 28 ]}

Многоагентное обучение

Q-обучение было предложено в многопользовательской настройке (см. Раздел 4.1.2 в ^{[ 29 ]}) Один подход заключается в том, чтобы притворяться, что окружающая среда является пассивной. ^{[ 30 ]} Littman предлагает минимальный Q -алгоритм обучения. ^{[ 31 ]}

Ограничения

Стандартный алгоритм Q-обучения (с помощью $Q$ Таблица) применяется только к дискретным действиям и государственным пространствам. Дискретизация этих значений приводит к неэффективному обучению, в основном из -за проклятия размерности . Тем не менее, существуют адаптацию Q-обучения, которые пытаются решить эту проблему, такую как Q-обучение нейронной сети, основанной на проводке. ^{[ 32 ]}

Смотрите также

Ссылки

^ Jump up to: ^а ^{беременный} ^в Ли, Шенгбо (2023). Подкрепление обучения для последовательного решения и оптимального контроля (первое изд.). Springer Verlag, Сингапур. С. 1–460. doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1 Полем S2CID 257928563 . {{cite book}}: CS1 Maint: местоположение отсутствует издатель ( ссылка )
^ Jump up to: ^а ^{беременный} Francisco Melo S. ,
^ Jump up to: ^а ^{беременный} Матисен, Тамбет (19 декабря 2015 г.). «Демистификация глубокого подкрепления обучения» . Neuro.cs.ut.ee . Вычислительная нейробиологическая лаборатория . Получено 2018-04-06 .
^ Диттерих, Томас Г. (21 мая 1999 г.). «Иерархическое обучение подкреплению с разложением функции значения MAXQ». ARXIV : CS/9905014 .
^ Саттон, Ричард; Барто, Эндрю (1998). Подкрепление обучения: введение . MIT Press.
^ Рассел, Стюарт Дж .; Норвиг, Питер (2010). Искусственный интеллект: современный подход (третье изд.). Прентис Холл . п. 649. ISBN 978-0136042594 .
^ Baird, Leemon (1995). «Остаточные алгоритмы: обучение подкреплению с приближением функции» (PDF) . ICML : 30–37.
^ Франсуа-Лавет, Винсент; Фонтен, Рафаэль; Эрнст, Дэмиен (2015-12-07). «Как сбрасывать со счетов глубокое обучение подкреплению: к новым динамическим стратегиям». Arxiv : 1512.02011 [ Cs.lg ].
^ Саттон, Ричард С.; Барто, Эндрю Г. "2.7 Оптимистичные начальные значения" . Подкрепление обучения: введение . Архивировано с оригинала 2013-09-08 . Получено 2013-07-18 .
^ Jump up to: ^а ^{беременный} ^в Shteingart, Ханан; Нейман, Тал; Loewenstein, Yonatan (май 2013 г.). «Роль первого впечатления в оперантном обучении» (PDF) . Журнал экспериментальной психологии: общий . 142 (2): 476–488. doi : 10.1037/a0029550 . ISSN 1939-2222 . PMID 22924882 .
^ Хассельт, Хадо Ван (5 марта 2012 г.). «Подкрепление обучения в непрерывном состоянии и пространствах действий» . В ужасном, Марко; Оттерло, Мартиян Ван (ред.). Подкрепление обучения: современное . Springer Science & Business Media. С. 207–251. ISBN 978-3-642-27645-3 .
^ Тесоро, Джеральд (март 1995 г.). «Временная разница в обучении и TD-Gammon» . Коммуникации ACM . 38 (3): 58–68. doi : 10.1145/203330.203343 . S2CID 8763243 . Получено 2010-02-08 .
^ Винц, Дэвид (2017). «Нечеткое правило интерполяция и обучение подкреплению» (PDF) . 2017 IEEE 15 -й Международный симпозиум по разведке и информатике прикладной машины (SAMI) . IEEE. С. 173–178. doi : 10.1109/sami.2017.7880298 . ISBN 978-1-5090-5655-2 Полем S2CID 17590120 .
^ Кришнан, Шриватсан; Лам, Максимилиан; Читлангия, Шарад; Ван, Зишен; Барт-Марон, Габриэль; Фауст, Александра; Редди, Виджай Джанапа (13 ноября 2022 г.). «QUARL: Квантование для быстрого и экологически устойчивого обучения подкреплению». Arxiv : 1910.01055 [ Cs.lg ].
^ Уоткинс, CJCH (1989). Обучение от задержки вознаграждений (PDF) (докторская диссертация). Кембриджский университет . Ethos uk.bl.ethos.330022 .
^ Уоткинс, Крис; Даян, Питер (1992). «Q-обучение» . Машинное обучение . 8 (3–4): 279–292. doi : 10.1007/bf00992698 . HDL : 21.11116/0000-0002-D738-D .
^ Бозиновский, С. (15 июля 1999 г.). «Адаптивная массива по переламыванию: первая сеть соединений, которая решила проблему с задержкой подкрепления обучения» . В Добникаре, Андрей; Стил, Найджел С.; Пирсон, Дэвид В.; Альбрехт, Рудольф Ф. (ред.). Искусственные нейронные сети и генетические алгоритмы: Материалы Международной конференции в Порторо, Словения, 1999 . Springer Science & Business Media. С. 320–325. ISBN 978-3-211-83364-3 .
^ Бозиновский С. (1982). «Система самоучастия с использованием вторичного подкрепления» . В Траппл, Роберт (ред.). Кибернетика и системы исследований: Материалы шестой Европейской встречи по кибернетике и системам исследований . Северная Голландия. С. 397–402. ISBN 978-0-444-86488-8 .
^ Барто А. (24 февраля 1997 г.). «Управляющее обучение» . В Омидваре, Омид; Эллиотт, Дэвид Л. (ред.). Нейронные системы для контроля . Elsevier. ISBN 978-0-08-053739-9 .
^ «Методы и аппарат для обучения подкрепления, патент США № 20150100530A1» (PDF) . США патентное управление. 9 апреля 2015 года . Получено 28 июля 2018 года .
^ Мацлиах Б.; Бен-Гал I.; Каган Э. (2022). «Обнаружение статических и мобильных целей автономным агентом с глубокими способностями Q-обучения» (PDF) . Энтропия . 24 (8): 1168. Bibcode : 2022ntrp..24.1168m . doi : 10.3390/e24081168 . PMC 9407070 . PMID 36010832 .
^ Mnih, Volodymyr; Кавуккуглу, Корай; Серебро, Дэвид; Русу, Андрей А.; Вейнс, Джоэл; Беллемар, Марк Г.; Грейвз, Алекс; Ридмиллер, Мартин; Фидджленд, Андреас К. (февраль 2015 г.). «Контроль на уровне человека через глубокое обучение подкреплению». Природа . 518 (7540): 529–533. Bibcode : 2015natur.518..529m . doi : 10.1038/nature14236 . ISSN 0028-0836 . PMID 25719670 . S2CID 205242740 .
^ Ван Хассельт, Хадо (2011). «Двойное Q-обучение» (PDF) . Достижения в системах обработки нейронной информации . 23 : 2613–2622.
^ Ван Хассельт, Хадо; Гуэз, Артур; Серебро, Дэвид (8 декабря 2015 г.). «Глубокое обучение подкреплению с двойным Q-обучением». Arxiv : 1509.06461 [ Cs.lg ].
^ Ван Хассельт, Хадо; Гуэз, Артур; Сильвер, Дэвид (2015). «Глубокое обучение подкреплению с двойным Q-обучением» (PDF) . Конференция AAAI по искусственному интеллекту : 2094–2100. Arxiv : 1509.06461 .
^ Стрел, Александр Л.; Ли, Лихонг; Wiewiora, Eric; Лэнгфорд, Джон; Littman, Michael L. (2006). «PAC без модели обучения подкреплению» (PDF) . Прокурор 22 -й ICML : 881–888.
^ Maei, Хамид; Szepesvári, Csaba; Бхатнагар, Шалабх; Саттон, Ричард (2010). «На пути к неполитическому контролю обучения с приближением функции в процессах 27-й Международной конференции по машинному обучению» (PDF) . С. 719–726. Архивировано из оригинала (PDF) 2012-09-08 . Получено 2016-01-25 .
^ Хессель, Маттео; Модаил, Джозеф; Ван Хассельт, Хадо; Шаул, Том; Островский, Георг; Дабни, Уилл; Хорган, Дэн; Пиот, Билал; Азар, Мохаммед; Сильвер, Дэвид (февраль 2018 г.). «Радуга: объединение улучшений в обучении глубоким подкреплением». Труды конференции АААИ по искусственному интеллекту . 32 Arxiv : 1710.02298 . doi : 10.1609/aaai.v32i1.11796 . S2CID 19135734 .
^ Шохам, Йоав; Силы, Роб; Гренагер, Тронд (1 мая 2007 г.). «Если многоагентное обучение-это ответ, в чем вопрос?» Полем Искусственный интеллект . 171 (7): 365–377. doi : 10.1016/j.artint.2006.02.006 . ISSN 0004-3702 . Получено 4 апреля 2023 года .
^ Сен, Сандип; Секаран, Махендра; Хейл, Джон (1 августа 1994 г.). «Обучение координации без обмена информацией» . Труды Двенадцатой национальной конференции AAAI по искусственному интеллекту . AAAI Press: 426–431 . Получено 4 апреля 2023 года .
^ Литтман, Майкл Л. (10 июля 1994 г.). «Марковские игры как структура для многоагентного обучения подкреплению» . Материалы Одиннадцатой Международной конференции по Международной конференции по машинному обучению . Morgan Kaufmann Publishers Inc.: 157–163. ISBN 9781558603356 Полем Получено 4 апреля 2023 года .
^ Гаскетт, Крис; Wettergreen, David; Зелинский, Александр (1999). «Q-обучение в непрерывном состоянии и пространствах действия» (PDF) .

Внешние ссылки

Уоткинс, CJCH (1989). Обучение от задержанных вознаграждений. Докторская диссертация, Кембриджский университет, Кембридж, Англия.
Стрел, Ли, Вьюора, Лэнгфорд, Литтман (2006). PAC без модели. Обучение подкреплению
Подкрепление обучения: введение Ричарда Саттона и Эндрю С. Барто, онлайн -учебник. См. «6.5 Q-обучение: вне политики контроля TD» .
PIQLE: общая Java Platform для обучения подкреплению
Учебный лабиринт для подкрепления , демонстрация направления муравья через лабиринт с использованием Q -обучения
Q -обучение работы Джеральда Тесоро

[Li-2023-1] Jump up to: ^а ^{беременный} ^в Ли, Шенгбо (2023). Подкрепление обучения для последовательного решения и оптимального контроля (первое изд.). Springer Verlag, Сингапур. С. 1–460. doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1 Полем S2CID 257928563 . {{cite book}}: CS1 Maint: местоположение отсутствует издатель ( ссылка )

[auto-2] Jump up to: ^а ^{беременный} Francisco Melo S. ,

[:0-3] Jump up to: ^а ^{беременный} Матисен, Тамбет (19 декабря 2015 г.). «Демистификация глубокого подкрепления обучения» . Neuro.cs.ut.ee . Вычислительная нейробиологическая лаборатория . Получено 2018-04-06 .

[4] Диттерих, Томас Г. (21 мая 1999 г.). «Иерархическое обучение подкреплению с разложением функции значения MAXQ». ARXIV : CS/9905014 .

[5] Саттон, Ричард; Барто, Эндрю (1998). Подкрепление обучения: введение . MIT Press.

[6] Рассел, Стюарт Дж .; Норвиг, Питер (2010). Искусственный интеллект: современный подход (третье изд.). Прентис Холл . п. 649. ISBN 978-0136042594 .

[7] Baird, Leemon (1995). «Остаточные алгоритмы: обучение подкреплению с приближением функции» (PDF) . ICML : 30–37.

[8] Франсуа-Лавет, Винсент; Фонтен, Рафаэль; Эрнст, Дэмиен (2015-12-07). «Как сбрасывать со счетов глубокое обучение подкреплению: к новым динамическим стратегиям». Arxiv : 1512.02011 [ Cs.lg ].

[9] Саттон, Ричард С.; Барто, Эндрю Г. "2.7 Оптимистичные начальные значения" . Подкрепление обучения: введение . Архивировано с оригинала 2013-09-08 . Получено 2013-07-18 .

[hshteingart-10] Jump up to: ^а ^{беременный} ^в Shteingart, Ханан; Нейман, Тал; Loewenstein, Yonatan (май 2013 г.). «Роль первого впечатления в оперантном обучении» (PDF) . Журнал экспериментальной психологии: общий . 142 (2): 476–488. doi : 10.1037/a0029550 . ISSN 1939-2222 . PMID 22924882 .

[11] Хассельт, Хадо Ван (5 марта 2012 г.). «Подкрепление обучения в непрерывном состоянии и пространствах действий» . В ужасном, Марко; Оттерло, Мартиян Ван (ред.). Подкрепление обучения: современное . Springer Science & Business Media. С. 207–251. ISBN 978-3-642-27645-3 .

[CACM-12] Тесоро, Джеральд (март 1995 г.). «Временная разница в обучении и TD-Gammon» . Коммуникации ACM . 38 (3): 58–68. doi : 10.1145/203330.203343 . S2CID 8763243 . Получено 2010-02-08 .

[13] Винц, Дэвид (2017). «Нечеткое правило интерполяция и обучение подкреплению» (PDF) . 2017 IEEE 15 -й Международный симпозиум по разведке и информатике прикладной машины (SAMI) . IEEE. С. 173–178. doi : 10.1109/sami.2017.7880298 . ISBN 978-1-5090-5655-2 Полем S2CID 17590120 .

[14] Кришнан, Шриватсан; Лам, Максимилиан; Читлангия, Шарад; Ван, Зишен; Барт-Марон, Габриэль; Фауст, Александра; Редди, Виджай Джанапа (13 ноября 2022 г.). «QUARL: Квантование для быстрого и экологически устойчивого обучения подкреплению». Arxiv : 1910.01055 [ Cs.lg ].

[15] Уоткинс, CJCH (1989). Обучение от задержки вознаграждений (PDF) (докторская диссертация). Кембриджский университет . Ethos uk.bl.ethos.330022 .

[16] Уоткинс, Крис; Даян, Питер (1992). «Q-обучение» . Машинное обучение . 8 (3–4): 279–292. doi : 10.1007/bf00992698 . HDL : 21.11116/0000-0002-D738-D .

[DobnikarSteele1999-17] Бозиновский, С. (15 июля 1999 г.). «Адаптивная массива по переламыванию: первая сеть соединений, которая решила проблему с задержкой подкрепления обучения» . В Добникаре, Андрей; Стил, Найджел С.; Пирсон, Дэвид В.; Альбрехт, Рудольф Ф. (ред.). Искусственные нейронные сети и генетические алгоритмы: Материалы Международной конференции в Порторо, Словения, 1999 . Springer Science & Business Media. С. 320–325. ISBN 978-3-211-83364-3 .

[Trappl1982-18] Бозиновский С. (1982). «Система самоучастия с использованием вторичного подкрепления» . В Траппл, Роберт (ред.). Кибернетика и системы исследований: Материалы шестой Европейской встречи по кибернетике и системам исследований . Северная Голландия. С. 397–402. ISBN 978-0-444-86488-8 .

[OmidvarElliott1997-19] Барто А. (24 февраля 1997 г.). «Управляющее обучение» . В Омидваре, Омид; Эллиотт, Дэвид Л. (ред.). Нейронные системы для контроля . Elsevier. ISBN 978-0-08-053739-9 .

[20] «Методы и аппарат для обучения подкрепления, патент США № 20150100530A1» (PDF) . США патентное управление. 9 апреля 2015 года . Получено 28 июля 2018 года .

[MBK-21] Мацлиах Б.; Бен-Гал I.; Каган Э. (2022). «Обнаружение статических и мобильных целей автономным агентом с глубокими способностями Q-обучения» (PDF) . Энтропия . 24 (8): 1168. Bibcode : 2022ntrp..24.1168m . doi : 10.3390/e24081168 . PMC 9407070 . PMID 36010832 .

[DQN-22] Mnih, Volodymyr; Кавуккуглу, Корай; Серебро, Дэвид; Русу, Андрей А.; Вейнс, Джоэл; Беллемар, Марк Г.; Грейвз, Алекс; Ридмиллер, Мартин; Фидджленд, Андреас К. (февраль 2015 г.). «Контроль на уровне человека через глубокое обучение подкреплению». Природа . 518 (7540): 529–533. Bibcode : 2015natur.518..529m . doi : 10.1038/nature14236 . ISSN 0028-0836 . PMID 25719670 . S2CID 205242740 .

[23] Ван Хассельт, Хадо (2011). «Двойное Q-обучение» (PDF) . Достижения в системах обработки нейронной информации . 23 : 2613–2622.

[24] Ван Хассельт, Хадо; Гуэз, Артур; Серебро, Дэвид (8 декабря 2015 г.). «Глубокое обучение подкреплению с двойным Q-обучением». Arxiv : 1509.06461 [ Cs.lg ].

[25] Ван Хассельт, Хадо; Гуэз, Артур; Сильвер, Дэвид (2015). «Глубокое обучение подкреплению с двойным Q-обучением» (PDF) . Конференция AAAI по искусственному интеллекту : 2094–2100. Arxiv : 1509.06461 .

[26] Стрел, Александр Л.; Ли, Лихонг; Wiewiora, Eric; Лэнгфорд, Джон; Littman, Michael L. (2006). «PAC без модели обучения подкреплению» (PDF) . Прокурор 22 -й ICML : 881–888.

[27] Maei, Хамид; Szepesvári, Csaba; Бхатнагар, Шалабх; Саттон, Ричард (2010). «На пути к неполитическому контролю обучения с приближением функции в процессах 27-й Международной конференции по машинному обучению» (PDF) . С. 719–726. Архивировано из оригинала (PDF) 2012-09-08 . Получено 2016-01-25 .

[28] Хессель, Маттео; Модаил, Джозеф; Ван Хассельт, Хадо; Шаул, Том; Островский, Георг; Дабни, Уилл; Хорган, Дэн; Пиот, Билал; Азар, Мохаммед; Сильвер, Дэвид (февраль 2018 г.). «Радуга: объединение улучшений в обучении глубоким подкреплением». Труды конференции АААИ по искусственному интеллекту . 32 Arxiv : 1710.02298 . doi : 10.1609/aaai.v32i1.11796 . S2CID 19135734 .

[29] Шохам, Йоав; Силы, Роб; Гренагер, Тронд (1 мая 2007 г.). «Если многоагентное обучение-это ответ, в чем вопрос?» Полем Искусственный интеллект . 171 (7): 365–377. doi : 10.1016/j.artint.2006.02.006 . ISSN 0004-3702 . Получено 4 апреля 2023 года .

[30] Сен, Сандип; Секаран, Махендра; Хейл, Джон (1 августа 1994 г.). «Обучение координации без обмена информацией» . Труды Двенадцатой национальной конференции AAAI по искусственному интеллекту . AAAI Press: 426–431 . Получено 4 апреля 2023 года .

[31] Литтман, Майкл Л. (10 июля 1994 г.). «Марковские игры как структура для многоагентного обучения подкреплению» . Материалы Одиннадцатой Международной конференции по Международной конференции по машинному обучению . Morgan Kaufmann Publishers Inc.: 157–163. ISBN 9781558603356 Полем Получено 4 апреля 2023 года .

[32] Гаскетт, Крис; Wettergreen, David; Зелинский, Александр (1999). «Q-обучение в непрерывном состоянии и пространствах действия» (PDF) .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]