Многоагентное обучение с подкреплением

Две конкурирующие команды агентов схлестнулись в эксперименте MARL

Многоагентное обучение с подкреплением (MARL) — это подобласть обучения с подкреплением . Основное внимание уделяется изучению поведения нескольких обучающихся агентов, сосуществующих в общей среде. Каждый агент мотивирован собственным вознаграждением и совершает действия для продвижения своих собственных интересов; в некоторых средах эти интересы противоположны интересам других агентов, что приводит к сложной групповой динамике .

Мультиагентное обучение с подкреплением тесно связано с теорией игр и особенно с повторяющимися играми , а также с мультиагентными системами . Его исследование сочетает в себе поиск идеальных алгоритмов, максимизирующих вознаграждение, с более социологическим набором концепций. В то время как исследования в области одноагентного обучения с подкреплением направлены на поиск алгоритма, который наберет наибольшее количество баллов для одного агента, исследования в области многоагентного обучения с подкреплением оценивают и количественно определяют социальные показатели, такие как сотрудничество, взаимность, капитал, социальное влияние, язык и дискриминация.

Определение

Подобно обучению с подкреплением с одним агентом , обучение с подкреплением с несколькими агентами моделируется как некоторая форма марковского процесса принятия решений (MDP) . Например,

• Набор $S$ состояний окружающей среды.
• Один комплект ${\mathcal {A}}_{i}$ действий для каждого из агентов $i\in I=\{1,...,N\}$.
• $P_{\overrightarrow {a}}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,{\overrightarrow {a}}_{t}={\overrightarrow {a}})$ – вероятность перехода (в момент времени $t$) из штата $s$ заявить $s'$ в рамках совместных действий ${\overrightarrow {a}}$.
• ${\overrightarrow {R}}_{\overrightarrow {a}}(s,s')$ это непосредственная совместная награда после перехода от $s$ к $s'$ с совместными действиями ${\overrightarrow {a}}$.

В условиях с точной информацией , таких как игры в шахматы и го , MDP будет полностью наблюдаемым. В условиях несовершенной информации, особенно в реальных приложениях, таких как беспилотные автомобили , каждый агент будет иметь доступ к наблюдению, которое содержит только часть информации о текущем состоянии. В частично наблюдаемой ситуации основной моделью является частично наблюдаемая стохастическая игра в общем случае и децентрализованная POMDP в кооперативном случае.

Сотрудничество против конкуренции

Когда несколько агентов действуют в общей среде, их интересы могут совпадать или не совпадать. MARL позволяет изучить все различные мировоззрения и то, как они влияют на поведение агентов:

• В условиях чистой конкуренции вознаграждения агентов прямо противоположны друг другу, и поэтому они играют друг против друга.
• Настройки чистого сотрудничества — это другая крайность, в которой агенты получают одинаковые вознаграждения и, следовательно, играют друг с другом.
• Настройки смешанной суммы охватывают все игры, сочетающие в себе элементы как сотрудничества, так и соревнования.

Настройки чистой конкуренции

Когда два агента играют в игру с нулевой суммой , они находятся в состоянии чистой конкуренции друг с другом. Многие традиционные игры, такие как шахматы и го, подпадают под эту категорию, а также варианты современных игр для двух игроков, таких как StarCraft . Поскольку каждый агент может выиграть только за счет другого агента, многие сложности устраняются. Нет никакой перспективы общения или социальных дилемм, поскольку ни один из агентов не заинтересован в совершении действий, которые принесут пользу его противнику.

Глубокий синий и проекты AlphaGo демонстрируют, как оптимизировать работу агентов в условиях чистой конкуренции.

Одной из сложностей, которая не устраняется в условиях чистой конкуренции, являются автоучебные программы . Поскольку политика агентов улучшается с помощью самостоятельной игры , может возникнуть несколько уровней обучения.

Настройки чистого сотрудничества

MARL используется для изучения того, как отдельные агенты с одинаковыми интересами могут общаться и работать вместе. Настройки чистого сотрудничества исследуются в развлекательных кооперативных играх, таких как Overcooked , а также реальные сценарии в робототехнике .

В условиях чистого сотрудничества все агенты получают одинаковое вознаграждение, а это означает, что социальных дилемм не возникает.

В условиях чистого сотрудничества часто существует произвольное количество стратегий координации, и агенты сходятся к определенным «соглашениям» при координации друг с другом. Понятие конвенций изучалось в языке а также упоминается в более общих задачах совместной работы нескольких агентов.

Настройки смешанной суммы

В этой ситуации смешанной суммы каждый из четырех агентов пытается достичь своей цели. Успех каждого агента зависит от того, расчищают ли ему путь другие агенты, хотя у них нет прямого стимула помогать друг другу.

Большинство реальных сценариев с участием нескольких агентов содержат элементы как сотрудничества, так и конкуренции. Например, когда несколько беспилотных автомобилей планируют свои маршруты, у каждого из них есть интересы, которые расходятся, но не исключают друг друга: каждый автомобиль минимизирует время, необходимое для достижения пункта назначения, но все автомобили имеют общий интерес: избежать дорожно-транспортного происшествия .

Настройки с нулевой суммой с тремя или более агентами часто обладают свойствами, аналогичными настройкам со смешанной суммой, поскольку между каждой парой агентов может быть ненулевая сумма полезностей.

Настройки смешанной суммы можно исследовать с помощью классических матричных игр, таких как дилемма заключенного , более сложных последовательных социальных дилемм и развлекательных игр, таких как Среди нас , Дипломатия и Старкрафт II .

Условия смешанной суммы могут привести к коммуникативным и социальным дилеммам.

Социальные дилеммы

Как и в теории игр , большая часть исследований в MARL вращается вокруг социальных дилемм , таких как дилемма заключенного , охота на курицу и оленя .

В то время как исследования теории игр могут быть сосредоточены на равновесии Нэша и на том, какой должна быть идеальная политика для агента, исследования MARL сосредоточены на том, как агенты изучат эти идеальные политики, используя процесс проб и ошибок. Алгоритмы обучения с подкреплением , которые используются для обучения агентов, максимизируют собственное вознаграждение агента; конфликт между потребностями агентов и потребностями группы является предметом активных исследований.

Были исследованы различные методы, чтобы побудить агентов к сотрудничеству: изменение правил среды, добавление внутренних вознаграждений, и многое другое.

Последовательные социальные дилеммы

Социальные дилеммы, такие как дилемма заключенного, охота на курицу и оленя, являются «матричными играми». Каждый агент выполняет только одно действие из двух возможных действий, а для описания вознаграждения, которое получит каждый агент, с учетом действий, предпринятых каждым агентом, используется простая матрица 2x2.

У людей и других живых существ социальные дилеммы, как правило, более сложные. Агенты предпринимают множество действий с течением времени, и различие между сотрудничеством и отказом не столь четкое, как в матричных играх. Концепция последовательной социальной дилеммы (ССД) была введена в 2017 году. как попытка смоделировать эту сложность. Продолжаются исследования по определению различных типов SSD и демонстрации кооперативного поведения агентов, которые в них действуют.

Автокурсы

Автоучебная программа (множественное число: автокурсы) — это концепция обучения с подкреплением, которая широко используется в многоагентных экспериментах. По мере того, как агенты улучшают свою работу, они меняют свою среду; это изменение окружающей среды влияет на них самих и на других агентов. Цикл обратной связи приводит к нескольким различным этапам обучения, каждый из которых зависит от предыдущего. Сложные уровни обучения называются автокурсом. Автоучебные программы особенно очевидны в состязательных условиях, где каждая группа агентов стремится противостоять текущей стратегии противостоящей группы.

Игра «Прятки» — доступный пример автоучебной программы, происходящей в состязательной обстановке. В этом эксперименте команда искателей соревнуется с командой скрывающихся. Всякий раз, когда одна из команд изучает новую стратегию, противоборствующая команда адаптирует свою стратегию, чтобы нанести наилучший ответ. Когда скрывающиеся учатся использовать коробки для строительства убежища, искатели в ответ учатся использовать пандус, чтобы проникнуть в это убежище. В ответ скрывающиеся запирают пандусы, делая их недоступными для использования искателями. Затем искатели в ответ «серфят по ящикам», используя сбой в игре, чтобы проникнуть в убежище. Каждый «уровень» обучения представляет собой возникающее явление, предпосылкой которого является предыдущий уровень. В результате получается набор поведений, каждое из которых зависит от своего предшественника.

Автокурсы в экспериментах по обучению с подкреплением сравниваются с этапами эволюции жизни на Земле и развития человеческой культуры . Главный этап эволюции произошел 2–3 миллиарда лет назад, когда фотосинтезирующие формы жизни начали производить огромное количество кислорода , изменив баланс газов в атмосфере. На следующих этапах эволюции появились формы жизни, дышащие кислородом, которые в конечном итоге привели к наземным млекопитающим и человеку. Эти более поздние стадии могли произойти только после того, как стадия фотосинтеза сделала кислород широко доступным. Точно так же человеческая культура не смогла бы пережить промышленную революцию XVIII века без ресурсов и знаний, полученных в результате сельскохозяйственной революции примерно в 10 000 году до нашей эры.

Приложения

Мультиагентное обучение с подкреплением применялось в различных случаях использования в науке и промышленности:

• Широкополосные сотовые сети, такие как 5G
• Кэширование контента
• Маршрутизация пакетов
• Компьютерное зрение
• Сетевая безопасность
• Управление мощностью передачи
• Разгрузка вычислений
• Исследование эволюции языка
• Глобальное здоровье
• Разработка интегральных схем
• Интернет вещей
• микросетей Управление энергопотреблением
• Многокамерное управление
• Автономные транспортные средства
• Спортивная аналитика
• Контроль дорожного движения ( Тамповое измерение )
• Беспилотные летательные аппараты
• Охрана дикой природы

Выравнивание ИИ

Мультиагентное обучение с подкреплением использовалось в исследованиях по согласованию ИИ . Отношения между различными агентами в среде MARL можно сравнить с отношениями между человеком и агентом ИИ. Исследовательские усилия на стыке этих двух областей пытаются смоделировать возможные конфликты между намерениями человека и действиями агента ИИ, а затем выяснить, какие переменные можно изменить, чтобы предотвратить эти конфликты.

Ограничения

Многоагентное обучение с глубоким подкреплением связано с некоторыми трудностями . Среда больше не является стационарной, таким образом нарушается марковское свойство : переходы и вознаграждения зависят не только от текущего состояния агента.

Дальнейшее чтение

• Стефано В. Альбрехт, Филиппос Кристианос, Лукас Шефер. Многоагентное обучение с подкреплением: основы и современные подходы . MIT Press, 2024. https://www.marl-book.com.
• Кайцин Чжан, Чжуоран Ян, Тамер Басар. Мультиагентное обучение с подкреплением: выборочный обзор теорий и алгоритмов . Исследования в области систем, принятия решений и контроля, Справочник по RL и контролю, 2021. [1]
• Ян, Яодун; Ван, июнь (2020). «Обзор многоагентного обучения с подкреплением с точки зрения теории игр». arXiv : 2011.00583 [ cs.MA ].