Проксимальная оптимизация политики

Оптимизация проксимальной политики (PPO) — это алгоритм в области обучения с подкреплением , который тренирует функцию принятия решения компьютерного агента для выполнения сложных задач. PPO был разработан Джоном Шульманом в 2017 году. и стал алгоритмом обучения с подкреплением по умолчанию в американской компании OpenAI , занимающейся искусственным интеллектом . В 2018 году PPO добилась множества успехов, таких как управление роботизированной рукой, победа над профессиональными игроками в Dota 2 и превосходство в играх Atari. Многие эксперты назвали PPO новейшим достижением, поскольку кажется, что он обеспечивает баланс между производительностью и пониманием. По сравнению с другими алгоритмами тремя основными преимуществами PPO являются простота, стабильность и эффективность выборки.

PPO классифицируется как метод градиента политики для обучения сети политик агента. Сеть политики — это функция, которую агент использует для принятия решений. По сути, для обучения правильной сети политик PPO выполняет небольшое обновление политики (размер шага), чтобы агент мог надежно найти оптимальное решение. Слишком большой шаг может направить политику в ложном направлении, что приведет к малой вероятности восстановления; слишком маленький шаг снижает общую эффективность. Следовательно, PPO реализует функцию ограничения, которая не позволяет обновлению политики агента быть слишком большим или слишком маленьким.

Разработка

Обучение с подкреплением (RL), к которому относится PPO, имеет корни в психологии и нейробиологии. По сравнению с другими областями машинного обучения обучение с подкреплением близко имитирует обучение, которое проводят люди и другие животные. Многие из основных алгоритмов, включая PPO, изначально были вдохновлены системами биологического обучения, такими как психолога Эдварда Торндайка (1913). обучение методом проб и ошибок

В 2015 году Джон Шульман представил оптимизацию политики доверительного региона (TRPO) как более раннюю версию PPO. TRPO решил проблему нестабильности, обнаруженную в предыдущем алгоритме, глубокой q-сети (DQN), используя ограничение области доверия для регулирования расхождения KL между старой и новой политикой. Однако TRPO сложен в вычислительном отношении и неэффективен из-за его оптимизации второго порядка, что приводит к дорогостоящей и сложной реализации для крупномасштабных задач.

В 2017 году Джон Шульман решил проблему сложности TRPO, приняв оптимизацию первого порядка в PPO. Шульман и его команда разработали механизм ограничения, который запрещает новой политике значительно отклоняться от старой, когда отношение правдоподобия между ними выходит за пределы диапазона ограничения. Другими словами, PPO модифицирует целевую функцию TRPO, наказывая за слишком большие обновления политики. Кроме того, PPO удаляет сложные ограничения доверительной области и вместо этого использует функцию отсечения. В результате PPO улучшает производительность и реализацию на основе TRPO.

Теория

В этом разделе сначала будут рассмотрены ключевые компоненты основного алгоритма PPO, а затем углублённо рассмотрена основная целевая функция PPO.

Основные понятия

Чтобы начать процесс обучения PPO, агент помещается в среду для выполнения действий на основе текущих входных данных. На раннем этапе обучения агент может свободно исследовать решения и отслеживать результат. Позже, получив определенное количество наборов данных и обновлений политики, агент выберет действие, которое необходимо предпринять, путем случайной выборки из распределения вероятностей. $P(A|S)$ генерируется сетью политик. Действия, которые с наибольшей вероятностью принесут пользу, будут иметь наибольшую вероятность быть выбранными из случайной выборки. После того, как агент, действуя, достигает другого сценария, известного как состояние , он вознаграждается положительным или отрицательным вознаграждением. Цель агента — максимизировать общее вознаграждение в ряде состояний, также называемых эпизодами. Ученые подкрепляют агента, чтобы он научился выполнять лучшие действия на основе опыта, и эта функция принятия решения называется политикой.

Градиентные законы политики: функция преимущества A

Как существенная часть PPO, функция преимущества пытается ответить на вопрос, является ли конкретное действие агента лучше, чем другое возможное действие в данном состоянии, или хуже, чем другое действие. По определению, функция преимущества — это оценка относительной ценности выбранного действия. Положительный результат функции преимущества означает, что выбранное действие лучше, чем средний доход, поэтому возможности этого конкретного действия увеличатся, и наоборот.

Расчет функции преимущества: A = дисконтированная сумма (Q) – базовая оценка (V). Первая часть, сумма со скидкой, представляет собой общую взвешенную награду за завершение текущего эпизода. Больше веса будет придаваться конкретному действию, которое приносит легкое и быстрое вознаграждение. С другой стороны, меньший вес будет придаваться действиям, которые требуют значительных усилий, но предлагают непропорциональное вознаграждение. Поскольку функция преимущества рассчитывается после завершения эпизода, программа записывает результат эпизода. Следовательно, вычисление преимущества — это, по сути, задача обучения без присмотра . Вторая часть, базовая оценка, представляет собой функцию значения, которая выводит ожидаемую дисконтированную сумму эпизода, начиная с текущего состояния. В алгоритме PPO базовая оценка будет зашумлена (с некоторыми отклонениями ), поскольку в нем используется нейронная сеть . После расчета двух частей функция преимущества рассчитывается путем вычитания базовой оценки из фактической прибыли (дисконтированной суммы). А > 0 означает, насколько лучше фактическая отдача от действия основана на ожидаемой отдаче из опыта; Значение <0 означает, насколько плоха фактическая доходность по сравнению с ожидаемой доходностью.

Функция отношения

В PPO функция отношения вычисляет вероятность выполнения действия a в состоянии s в текущей сети политики, деленную на предыдущую старую версию политики.

В этой функции rt ( θ ) обозначает отношение вероятностей между текущей и старой политикой:

• Если rt ( θ )>1, действие a в состоянии s с большей вероятностью основано на текущей политике, чем на старой политике.
• Если rt ( θ ) находится между 0 и 1, действие a в состоянии s менее вероятно на основе текущей политики, чем старая политика.

Эта функция отношения может легко оценить расхождение между старой и текущей политикой.

Целевая функция PPO

Центральная целевая функция PPO принимает оператор ожидания (обозначенный как E), что означает, что эта функция будет вычисляться по количеству траекторий. Оператор ожидания принимает минимум два члена:

1. R-тета * Функция преимущества: это произведение функции соотношения и функции преимущества, которая была введена в TRPO, также известная как цель нормального политического градиента.

2. Ограничение (R-тета) * Функция преимущества: соотношение политики сначала ограничивается между 1-эпсилон и 1 + эпсилон; обычно эпсилон определяется как 0,20. Затем умножьте обрезанную версию на преимущество.

Фундаментальная идея PPO та же, что и TRPO: консерватизм. Отсечение применяется для того, чтобы сделать «оценку преимуществ» новой политики консервативной. Причина консерватизма заключается в том, что если агенты внесут существенные изменения из-за высоких оценок преимуществ, обновление политики будет масштабным и нестабильным и может «упасть со скалы» (малая вероятность восстановления). Существует два распространенных применения функции отсечения. Когда действие в соответствии с новой политикой оказывается действительно хорошим действием, основанным на функции преимущества, функция отсечения ограничивает, сколько баллов можно присвоить новой политике за повышенный вес хороших действий. С другой стороны, когда действие в соответствии со старой политикой оценивается как плохое действие, функция отсечения ограничивает, насколько агент может сократить слабину новой политики для снижения веса плохих действий. Следовательно, механизм ограничения предназначен для того, чтобы препятствовать выходу за пределы определенного диапазона путем ограничения в обоих направлениях. Преимущество этого метода в том, что его можно оптимизировать непосредственно с помощью градиентного спуска , в отличие от строгого ограничения расходимости KL TRPO, что делает реализацию более быстрой и чистой.

После вычисления усеченной суррогатной целевой функции программа имеет два отношения вероятностей: одно неусеченное и одно усеченное; затем, взяв минимум из двух целей, конечная цель становится нижней границей (пессимистической границей) того, что, как знает агент, возможно. Другими словами, минимальный метод гарантирует, что агент выполняет максимально безопасное обновление.

Преимущества

Простота

PPO аппроксимирует то, что сделал TRPO, без выполнения слишком больших вычислений. Он использует оптимизацию первого порядка (функция ограничения) для ограничения обновления политики, в то время как TRPO использует ограничения дивергенции KL вне целевой функции (оптимизация второго порядка). По сравнению с TRPO метод PPO относительно прост в реализации и требует меньше времени вычислений. Поэтому дешевле и эффективнее использовать PPO в масштабных задачах.

Стабильность

В то время как другие алгоритмы обучения с подкреплением требуют настройки гиперпараметров , PPO не обязательно требует настройки гиперпараметров (в большинстве случаев можно использовать 0,2 для эпсилона). Кроме того, PPO не требует сложных методов оптимизации. Его можно легко применить на практике с помощью стандартных структур глубокого обучения и обобщить для широкого круга задач.

Эффективность выборки

Эффективность выборки показывает, требуется ли алгоритмам больший или меньший объем данных для обучения хорошей политике. Алгоритмы, соответствующие политике, включая PPO и TRPO, обычно имеют низкий уровень эффективности выборки. Однако PPO добился эффективности выборки благодаря использованию суррогатных целей. Суррогатные цели позволяют PPO избежать слишком сильного изменения новой политики по сравнению со старой; функция клипа упорядочивает обновление политики и повторно использует данные обучения. Эффективность выборки особенно полезна для сложных и объемных задач, где сбор данных и вычисления могут быть дорогостоящими.

См. также

• Обучение с подкреплением
• Обучение временной разнице
• Теория игр

Внешние ссылки

• Объявление об оптимизации политики OpenAI
• Репозиторий GitHub