Глубокое обучение с подкреплением

Глубокое обучение с подкреплением ( deep RL ) — это подобласть машинного обучения , сочетающая в себе обучение с подкреплением (RL) и глубокое обучение . RL рассматривает проблему обучения вычислительного агента принимать решения методом проб и ошибок. Deep RL включает в решение глубокое обучение, позволяя агентам принимать решения на основе неструктурированных входных данных без ручного проектирования пространства состояний . Алгоритмы глубокого RL способны принимать очень большие входные данные (например, каждый пиксель, отображаемый на экране в видеоигре) и решать, какие действия следует выполнить для оптимизации цели (например, максимизации очков в игре). Глубокое обучение с подкреплением использовалось для широкого круга приложений, включая, помимо прочего, робототехнику , видеоигры , обработку естественного языка , компьютерное зрение , образование, транспорт, финансы и здравоохранение .

Обзор

Глубокое обучение

Изображение базовой искусственной нейронной сети

Глубокое обучение — это форма машинного обучения , которая использует нейронную сеть для преобразования набора входных данных в набор выходных данных с помощью искусственной нейронной сети . Было показано, что методы глубокого обучения, часто использующие контролируемое обучение с помеченными наборами данных, решают задачи, связанные с обработкой сложных, многомерных необработанных входных данных (например, изображений) с меньшим количеством ручного проектирования функций , чем предыдущие методы, что обеспечивает значительный прогресс в нескольких областях, включая компьютерное зрение и обработка естественного языка . За последнее десятилетие глубокое RL добилось замечательных результатов в решении целого ряда задач: от однопользовательских и многопользовательских игр, таких как Go , Atari Games и Dota 2 , до робототехники.

Обучение с подкреплением

Схема повторяющегося цикла в алгоритмах обучения с подкреплением

Обучение с подкреплением — это процесс, в котором агент учится принимать решения методом проб и ошибок. Эту проблему часто моделируют математически как марковский процесс принятия решений (MDP), где агент на каждом временном шаге находится в состоянии $s$, принимает меры $a$, получает скалярное вознаграждение и переходит в следующее состояние $s'$ в зависимости от динамики окружающей среды $p(s'|s,a)$. Агент пытается изучить политику $\pi (a|s)$или сопоставить наблюдения с действиями, чтобы максимизировать отдачу (ожидаемую сумму вознаграждений). При обучении с подкреплением (в отличие от оптимального управления ) алгоритм имеет доступ только к динамике. $p(s'|s,a)$ посредством выборки.

обучение

Во многих практических задачах принятия решений государства $s$ MDP являются многомерными (например, изображения с камеры или необработанный поток датчиков робота) и не могут быть решены с помощью традиционных алгоритмов RL. Алгоритмы глубокого обучения с подкреплением включают глубокое обучение для решения таких MDP, часто представляющих политику $\pi (a|s)$ или другие изученные функции в виде нейронной сети и разработку специализированных алгоритмов, которые хорошо работают в этих условиях.

История

Наряду с ростом интереса к нейронным сетям, начиная с середины 1980-х годов, вырос интерес к глубокому обучению с подкреплением, где нейронная сеть используется в обучении с подкреплением для представления политик или функций оценки. Поскольку в такой системе весь процесс принятия решений от датчиков до двигателей в роботе или агенте включает одну нейронную сеть , его также иногда называют сквозным обучением с подкреплением. Одним из первых успешных применений обучения с подкреплением с помощью нейронных сетей стала TD-Gammon — компьютерная программа, разработанная в 1992 году для игры в нарды . Четыре входа использовались для количества фигур данного цвета в заданном месте на доске, всего 198 входных сигналов. Имея нулевые встроенные знания, сеть научилась играть в игру на среднем уровне путем самостоятельной игры и TD( $\lambda$) .

Основополагающие учебники Саттона и Барто по обучению с подкреплением, Берцекас и Цитиклис о нейродинамическом программировании, и другие передовые знания и интерес к данной области.

Группа Кацунари Сибаты показала, что в этой структуре возникают различные функции: включая распознавание изображений, постоянство цвета, движение сенсора (активное распознавание), координацию рук и глаз и движение рук, объяснение деятельности мозга, передачу знаний, память, избирательное внимание, предсказание и исследование.

Примерно с 2012 года так называемая революция глубокого обучения привела к возросшему интересу к использованию глубоких нейронных сетей в качестве аппроксиматоров функций в различных областях. Это привело к возобновлению интереса к исследователям, использующим глубокие нейронные сети для изучения политики, ценности и/или Q-функций, присутствующих в существующих алгоритмах обучения с подкреплением.

Примерно начиная с 2013 года DeepMind продемонстрировала впечатляющие результаты обучения, используя глубокое RL для Atari . видеоигр Компьютерного игрока обучала нейронная сеть с использованием алгоритма глубокого RL, глубокой версии Q-обучения , которую они назвали глубокими Q-сетями (DQN), с наградой за игровой счет. Они использовали глубокую сверточную нейронную сеть для обработки 4 кадров RGB-пикселей (84x84) в качестве входных данных. Все 49 игр были изучены с использованием одной и той же сетевой архитектуры и с минимальными предварительными знаниями, превосходя конкурирующие методы почти во всех играх и работая на уровне, сравнимом или превосходящем уровень профессионального тестировщика игр-человека.

Глубокое обучение с подкреплением достигло еще одной вехи в 2015 году, когда AlphaGo , Компьютерная программа, обученная с помощью глубокого RL для игры в Го , стала первой компьютерной программой Го, которая обыграла профессионального игрока в Го без каких-либо препятствий на полноразмерной доске 19×19.В последующем проекте в 2017 году AlphaZero улучшила производительность в игре Го, а также продемонстрировала, что они могут использовать тот же алгоритм для обучения игре в шахматы и сёги на уровне, конкурентоспособном или превосходящем существующие компьютерные программы для этих игр, и снова улучшилась в 2019 году с MuZero . Еще одна веха была достигнута исследователями из Университета Карнеги-Меллона в 2019 году, разработав Pluribus , компьютерную программу для игры в покер , которая первой обыграла профессионалов в многопользовательских играх в безлимитный техасский холдем . OpenAI Five , программа для игры в Dota 2 пять на пять , обыграла предыдущих чемпионов мира в демонстрационном матче 2019 года.

Глубокое обучение с подкреплением также применяется во многих областях, помимо игр. В робототехнике его использовали, чтобы позволить роботам выполнять простые домашние задачи. и собрать кубик Рубика с помощью руки робота. Deep RL также нашел приложения для обеспечения устойчивого развития, используемые для снижения энергопотребления в центрах обработки данных. Deep RL для автономного вождения — это активная область исследований в академических кругах и промышленности. Loon исследовал глубокие RL для автономной навигации своих высотных воздушных шаров.

Алгоритмы

Существуют различные методы обучения политик решению задач с помощью алгоритмов глубокого обучения с подкреплением, каждый из которых имеет свои преимущества. На самом высоком уровне существует различие между обучением с подкреплением на основе модели и без модели, которое относится к тому, пытается ли алгоритм изучить прямую модель динамики окружающей среды.

В алгоритмах глубокого обучения с подкреплением, основанных на моделях , оценивается прямая модель динамики окружающей среды, обычно путем контролируемого обучения с использованием нейронной сети. Затем действия получаются с помощью прогнозного управления моделью с использованием изученной модели. Поскольку истинная динамика окружающей среды обычно отличается от изученной динамики, агент часто меняет планы при выполнении действий в окружающей среде. Выбранные действия можно оптимизировать с помощью методов Монте-Карло, таких как метод перекрестной энтропии , или комбинации модельного обучения с безмодельными методами.

В безмодельных алгоритмах глубокого обучения с подкреплением политика $\pi (a|s)$ изучается без явного моделирования прямой динамики. Политику можно оптимизировать для максимизации прибыли путем прямой оценки градиента политики. но страдает от высокой дисперсии, что делает его непрактичным для использования с аппроксимацией функций в глубоком RL. Последующие алгоритмы были разработаны для более стабильного обучения и широко применяются. Другой класс безмодельных алгоритмов глубокого обучения с подкреплением основан на динамическом программировании , вдохновленном обучением с временными разностями и Q-обучением . В пространствах дискретных действий эти алгоритмы обычно изучают Q-функцию нейронной сети. $Q(s,a)$ который оценивает будущие доходы, принимая меры $a$ из штата $s$. В непрерывных пространствах эти алгоритмы часто изучают как оценку стоимости, так и политику.

Исследования

Глубокое обучение с подкреплением — это активная область исследований, имеющая несколько направлений.

Исследование

Агент RL должен сбалансировать компромисс между исследованием и эксплуатацией: проблема принятия решения о том, следует ли выполнять действия, которые, как уже известно, приносят высокие награды, или исследовать другие действия, чтобы обнаружить более высокие награды. Агенты RL обычно собирают данные с помощью какой-либо стохастической политики, такой как распределение Больцмана в пространствах дискретных действий или распределение Гаусса в пространствах непрерывных действий, вызывая базовое исследовательское поведение. Идея исследования, основанного на новизне или движимого любопытством, дает агенту мотив исследовать неизвестные результаты, чтобы найти лучшие решения. Это делается путем «изменения функции потерь (или даже сетевой архитектуры) путем добавления условий, стимулирующих исследование». Агенту также можно помочь в исследовании, используя демонстрацию успешных траекторий или формирование вознаграждения, предоставляя агенту промежуточные вознаграждения, настроенные в соответствии с задачей, которую он пытается выполнить.

подкреплением вне

Важным различием в RL является разница между алгоритмами, основанными на политике, которые требуют оценки или улучшения политики, которая собирает данные, и алгоритмами, не связанными с политикой, которые могут изучать политику на основе данных, сгенерированных произвольной политикой. Как правило, методы, основанные на функции ценности, такие как Q-обучение , лучше подходят для обучения вне политики и имеют более высокую эффективность выборки — объем данных, необходимых для изучения задачи, уменьшается, поскольку данные повторно используются для обучения. В крайнем случае, автономное (или «пакетное») RL предполагает изучение политики на основе фиксированного набора данных без дополнительного взаимодействия с окружающей средой.

Обучение

Обратный RL относится к выводу функции вознаграждения агента с учетом его поведения. Обратное обучение с подкреплением можно использовать для обучения на демонстрациях (или обучения в рамках ученичества ), делая вывод о вознаграждении демонстратора и затем оптимизируя политику для максимизации отдачи с помощью RL. Подходы глубокого обучения использовались для различных форм имитационного обучения и обратного RL.

целью

Еще одна активная область исследований — изучение политики, обусловленной целями, также называемой контекстной или универсальной политикой. $\pi (a|s,g)$ которые включают дополнительную цель $g$ в качестве входных данных для сообщения агенту желаемой цели. Воспроизведение ретроспективного опыта — это метод целенаправленного RL, который включает в себя хранение и изучение предыдущих неудачных попыток выполнить задачу. Хотя неудачная попытка, возможно, и не привела к намеченной цели, она может послужить уроком того, как достичь непредвиденного результата путем ретроспективного изменения ярлыков.

Мультиагентное

Во многих приложениях обучения с подкреплением используется не один агент, а скорее совокупность агентов, которые учатся вместе и совместно адаптируются. Эти агенты могут быть конкурентными, как во многих играх, или кооперативными, как во многих реальных многоагентных системах. Мультиагентное обучение с подкреплением изучает проблемы, возникающие в этой ситуации.

Обобщение

Перспективой использования инструментов глубокого обучения в обучении с подкреплением является обобщение: способность правильно работать с ранее невидимыми входными данными. Например, нейронные сети, обученные распознаванию изображений, могут распознавать, что на изображении изображена птица, даже если они никогда не видели это конкретное изображение или даже эту конкретную птицу. Поскольку глубокое RL позволяет использовать необработанные данные (например, пиксели) в качестве входных данных, снижается необходимость в предварительном определении среды, что позволяет обобщить модель для нескольких приложений. Благодаря этому уровню абстракции алгоритмы глубокого обучения с подкреплением могут быть разработаны таким образом, чтобы они были общими и одна и та же модель могла использоваться для разных задач. Одним из методов повышения способности политик, обученных с помощью политик глубокого RL, к обобщению является включение обучения представлению .