Теория игр среднего поля

Теория игр среднего поля — это исследование принятия стратегических решений небольшими взаимодействующими агентами в очень больших популяциях. Она лежит на пересечении теории игр со стохастическим анализом и теорией управления. Использование термина «среднее поле» вдохновлено теорией среднего поля в физике, которая рассматривает поведение систем большого числа частиц, где отдельные частицы оказывают незначительное воздействие на систему. Другими словами, каждый агент действует в соответствии со своей задачей минимизации или максимизации, принимая во внимание решения других агентов, и поскольку их популяция велика, мы можем предположить, что количество агентов стремится к бесконечности и репрезентативный агент существует.

В традиционной теории игр предметом исследования обычно является игра с двумя игроками и дискретным временным пространством, а результаты с помощью индукции распространяются на более сложные ситуации. Однако для игр в непрерывное время с непрерывными состояниями (дифференциальные игры или стохастические дифференциальные игры) эту стратегию нельзя использовать из-за сложности, которую порождают динамические взаимодействия. С другой стороны, с помощью MFG мы можем обрабатывать большое количество игроков через среднего репрезентативного агента и в то же время описывать сложную динамику состояния.

Этот класс проблем рассматривался в экономической литературе Бояном Йовановичем и Робертом Розенталем . в инженерной литературе Миньи Хуанга, Роланда Малхэма и Питера Э. Кейнса. и независимо и примерно в то же время математиками Жаном-Мишелем Ласри и Пьером-Луи Лионсом .

В непрерывном времени игра среднего поля обычно состоит из уравнения Гамильтона-Якоби-Беллмана , которое описывает задачу оптимального управления индивидуумом, и уравнения Фоккера-Планка , которое описывает динамику совокупного распределения агентов. При достаточно общих предположениях можно доказать, что класс игр среднего поля является предельным как $N\to \infty$ равновесия с N игроками Нэша .

Концепция, родственная концепции игр среднего поля, - это «управление по типу среднего поля». В этом случае социальный планировщик контролирует распределение состояний и выбирает стратегию управления. Решение задачи управления типа среднего поля обычно может быть выражено как двойственное сопряженное уравнение Гамильтона – Якоби – Беллмана, связанное с уравнением Колмогорова . Теория игр типа среднего поля представляет собой многоагентное обобщение одноагентного управления типа среднего поля.

игры среднего

Следующая система уравнений может использоваться для моделирования типичной игры среднего поля:

${\begin{cases}-\partial _{t}u-\nu \Delta u+H(x,m,Du)=0&(1)\\\partial _{t}m-\nu \Delta m-\operatorname {div} (D_{p}H(x,m,Du)m)=0&(2)\\m(0)=m_{0}&(3)\\u(x,T)=G(x,m(T))&(4)\end{cases}}$

Основная динамика этого набора уравнений может быть объяснена задачей оптимального управления среднего агента. В игре среднего поля средний агент может контролировать свое движение. $\alpha$ влиять на общее местоположение населения путем:

$dX_{t}=\alpha _{t}dt+{\sqrt {2\nu }}dB_{t}$

где $\nu$ является параметром и $B_{t}$ является стандартным броуновским движением. Контролируя свое движение, агент стремится минимизировать общие ожидаемые затраты. $C$ на протяжении всего периода времени $[0,T]$:

$C=\mathbb {E} \left[\int _{0}^{T}L(X_{s},\alpha _{s},m(s))ds+G(X_{T},m(T))\right]$

где $L(X_{s},\alpha _{s},m(s))$ это текущие расходы на данный момент $s$ и $G(X_{T},m(T))$ стоимость терминала в данный момент $T$. По этому определению в момент времени $t$ и позиция $x$, функция значения $u(t,x)$ можно определить как:

$u(t,x)=\inf _{\alpha }\mathbb {E} \left[\int _{t}^{T}L(X_{s},\alpha _{s},m(s))ds+G(X_{T},m(T))\right]$

Учитывая определение функции ценности $u(t,x)$, его можно отследить по уравнению Гамильтона-Якоби (1). Оптимальные действия среднестатистических игроков $\alpha ^{*}(x,t)$ может быть определен как $\alpha ^{*}(x,t)=D_{p}H(x,m,Du)$. Поскольку все агенты относительно малы и не могут в одиночку изменить динамику популяции, они индивидуально адаптируют оптимальный контроль, и популяция будет двигаться таким образом. Это похоже на равновесие Нэша, в котором все агенты действуют в ответ на определенный набор стратегий других. Тогда оптимальное решение управления приводит к уравнению Колмогорова-Фоккера-Планка (2).

Игры

Известная категория среднего поля — это игры с конечным числом состояний и конечным числом действий для каждого игрока. Для этих игр аналогом уравнения Гамильтона-Якоби-Беллмана является уравнение Беллмана, а дискретной версией уравнения Фоккера-Планка является уравнение Колмогорова. В частности, для моделей с дискретным временем стратегия игроков представляет собой матрицу вероятностей уравнения Колмогорова. В моделях с непрерывным временем игроки имеют возможность управлять матрицей скорости перехода.

Дискретная игра среднего поля может быть определена кортежем ${\mathcal {G}}=({\mathcal {E}},{\mathcal {A}},\{Q_{a}\},{\bf {m}}_{0},\{c_{a}\},\beta )$, где ${\mathcal {E}}$ это пространство состояний, ${\mathcal {A}}$ набор действий, $Q_{a}$ матрицы скорости перехода, ${\bf {m}}_{0}$ исходное состояние, $\{c_{a}\}$ функции стоимости и $\beta$ $\in \mathbb {R}$ дисконтирующий фактор. Более того, смешанная стратегия является измеримой функцией. $\pi :\mathbb {E} \times \mathbb {R} ^{+}{\xrightarrow[{}]{}}{\mathcal {P(A)}}$, который соответствует каждому состоянию $i\in {\mathcal {E}}$ и каждый раз $t\geq 0$ вероятностная мера $\pi _{i}(t)\in {\mathcal {P(A)}}$ по множеству возможных действий. Таким образом $\pi _{i,a}(t)$ это вероятность того, что в момент времени $t$ игрок в состоянии $i$ принимает меры $a$, в рамках стратегии $\pi$. Кроме того, матрицы ставок $\{Q_{a}({\bf {m}}^{\pi }(t))\}_{a\in {\mathcal {A}}}$ определяют эволюцию во времени распределения населения, где ${\bf {m}}^{\pi }(t)\in {\mathcal {P({\mathcal {E}})}}$ это распределение населения во времени $t$.

гауссовской

Относительно простой моделью крупномасштабных игр, предложенной Кейнсом (2009), является линейно-квадратичная модель Гаусса. Динамика отдельного агента моделируется как стохастическое дифференциальное уравнение.

$$dX_{i}=(a_{i}X_{i}+b_{i}u_{i})\,dt+\sigma _{i}\,dW_{i},\quad i=1,\dots ,N,$$

где $X_{i}$ это состояние $i$-й агент, $u_{i}$ это контроль над $i$-й агент, и $W_{i}$ являются независимыми винеровскими процессами для всех $i=1,\dots ,N$. Стоимость индивидуального агента составляет

$$J_{i}(u_{i},\nu )=\mathbb {E} \left\{\int _{0}^{\infty }e^{-\rho t}\left[(X_{i}-\nu )^{2}+ru_{i}^{2}\right]\,dt\right\},\quad \nu =\Phi \left({\frac {1}{N}}\sum _{k\neq i}^{N}X_{k}+\eta \right).$$

Связь между агентами происходит в функции затрат.

и

Парадигма игр среднего поля стала основным связующим звеном между распределенным принятием решений и стохастическим моделированием. Начавшись с литературы по стохастическому управлению, он быстро получил распространение в ряде приложений, в том числе:

а. Финансовый рынок Кармона рассматривает приложения в финансовой инженерии и экономике, которые можно реализовать в рамках парадигмы MFG. Кармона утверждает, что модели в макроэкономике, теории контрактов, финансах… получают большую выгоду от перехода к непрерывному времени по сравнению с более традиционными моделями дискретного времени. В своей обзорной главе он рассматривает только модели непрерывного времени, включая системный риск, влияние на цену, оптимальное исполнение, модели изъятия банковских вкладов, высокочастотную торговлю и криптовалюты.

б. Движения толпы MFG предполагает, что люди являются умными игроками, которые пытаются оптимизировать свою стратегию и путь с учетом определенных затрат (подход равновесия с рациональными ожиданиями). Модели MFG полезны для описания феномена ожидания: прямая часть описывает эволюцию толпы, а обратная часть описывает процесс построения ожиданий. Кроме того, по сравнению с вычислениями многоагентных микроскопических моделей, MFG требует лишь меньших вычислительных затрат для макроскопического моделирования. Некоторые исследователи обратились к MFG, чтобы смоделировать взаимодействие между популяциями и изучить процесс принятия решений интеллектуальными агентами, включая поведение отвращения и скопления людей между двумя группами пешеходов. выбор времени отправления утренних пассажиров, и процессы принятия решений для автономных транспортных средств.

в. Контроль и смягчение эпидемий Поскольку эпидемия существенно повлияла на общество и отдельных людей, MFG и средства контроля среднего поля (MFC) открывают перспективу для изучения и понимания основной динамики населения, особенно в контексте реагирования на пандемию Covid-19. MFG использовался для расширения динамики типа SIR за счет пространственных эффектов или предоставления людям возможности выбирать свое поведение и контролировать свой вклад в распространение болезни. MFC применяется для разработки оптимальной стратегии контроля распространения вируса в пространственном домене. контролировать решения людей ограничить их социальные взаимодействия, и поддерживать нефармацевтические меры правительства.

См. также

• Агрегативные игры
• Сложная адаптивная система
• Дифференциальная игра
• Эволюционная теория игр
• Равновесие квантового ответа
• Потенциальная игра

Внешние ссылки

• Стохастическое управление средним полем ( слайды Премия Боде Общества систем управления IEEE, 2009 г. ), Лекция Питера Э. Кейнса,
• Кейнс, Питер Э. (2013). «Скупые полевые игры». Энциклопедия систем и управления . стр. 1–6. дои : 10.1007/978-1-4471-5102-9_30-1 . ISBN  978-1-4471-5102-9 . S2CID   33954904 .
• Заметки об играх среднего поля из лекций Пьера-Луи Лионса в Коллеж де Франс.
• (на французском языке) Видеолекции Пьера-Луи Лионса
• Средние полевые игры и приложения Оливье Геанта, Жана-Мишеля Ласри и Пьера-Луи Лионса