Гамильтониан (теория управления)

Гамильтониан , — это функция используемая для решения задачи оптимального управления динамической системой . Его можно понимать как мгновенное приращение лагранжева выражения задачи, которое необходимо оптимизировать за определенный период времени. Вдохновленный гамильтонианом классической механики , но отличающийся от него, гамильтониан теории оптимального управления был разработан Львом Понтрягиным как часть его принципа максимума . Понтрягин доказал, что необходимым условием решения задачи оптимального управления является выбор управления таким образом, чтобы оптимизировать гамильтониан.

Постановка задачи и определение гамильтониана

Рассмотрим динамическую систему $n$ первого порядка дифференциальные уравнения

${\dot {\mathbf {x} }}(t)=\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)$

где $\mathbf {x} (t)=\left[x_{1}(t),x_{2}(t),\ldots ,x_{n}(t)\right]^{\mathsf {T}}$ обозначает вектор переменных состояния, а $\mathbf {u} (t)=\left[u_{1}(t),u_{2}(t),\ldots ,u_{r}(t)\right]^{\mathsf {T}}$ вектор управляющих переменных. Как только начальные условия $\mathbf {x} (t_{0})=\mathbf {x} _{0}$ и контроль $\mathbf {u} (t)$ заданы, решение дифференциальных уравнений, называемое траекторией $\mathbf {x} (t;\mathbf {x} _{0},t_{0})$, можно найти. Задача оптимального управления состоит в выборе $\mathbf {u} (t)$ (из какого-то набора ${\mathcal {U}}\subseteq \mathbb {R} ^{r}$) так что $\mathbf {x} (t)$ максимизирует или минимизирует определенную целевую функцию между начальным моментом времени $t=t_{0}$ и конечное время $t=t_{1}$ (где $t_{1}$ может быть бесконечность ). В частности, цель состоит в том, чтобы оптимизировать индекс производительности. $I(\mathbf {x} (t),\mathbf {u} (t),t)$ определяется в каждый момент времени,

$\max _{\mathbf {u} (t)}J$, с $J=\int _{t_{0}}^{t_{1}}I[\mathbf {x} (t),\mathbf {u} (t),t]\,\mathrm {d} t$

подчиняется приведенным выше уравнениям движения переменных состояния. Метод решения включает определение вспомогательной функции, известной как управляющий гамильтониан.

$H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)\equiv I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)$

который объединяет целевую функцию и уравнения состояния во многом подобно лагранжиану в задаче статической оптимизации, с той лишь разницей, что множители $\mathbf {\lambda } (t)$— называемые переменными стоимости — являются функциями времени, а не константами.

Цель состоит в том, чтобы найти оптимальную функцию политики управления. $\mathbf {u} ^{\ast }(t)$ а вместе с ним и оптимальная траектория переменной состояния $\mathbf {x} ^{\ast }(t)$, которые согласно принципу максимума Понтрягина являются аргументами, максимизирующими гамильтониан,

$H(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\geq H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)$ для всех $\mathbf {u} (t)\in {\mathcal {U}}$

Необходимые условия максимума первого порядка имеют вид

${\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}=0\quad$ что является принципом максимума,

${\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {\lambda } }}={\dot {\mathbf {x} }}(t)\quad$ который генерирует функцию перехода состояний $\,\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)={\dot {\mathbf {x} }}(t)$,

${\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}=-{\dot {\mathbf {\lambda } }}(t)\quad$ которое генерирует уравнения стоимости $\,{\dot {\mathbf {\lambda } }}(t)=-\left[I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)\right]$

Вместе уравнения состояния и костата описывают гамильтонову динамическую систему (снова аналогичную, но отличную от гамильтоновой системы в физике), решение которой включает двухточечную краевую задачу , учитывая, что существуют $2n$ граничные условия, включающие два разных момента времени, начальный момент ( $n$ дифференциальные уравнения для переменных состояния) и терминальное время ( $n$ дифференциальные уравнения для переменных состояния; если не указана конечная функция, граничные условия будут следующими: $\mathbf {\lambda } (t_{1})=0$, или $\lim _{t_{1}\to \infty }\mathbf {\lambda } (t_{1})=0$ для бесконечных временных горизонтов).

Достаточным условием максимума является вогнутость гамильтониана, оцениваемого на решении, т.е.

$H_{\mathbf {uu} }(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\leq 0$

где $\mathbf {u} ^{\ast }(t)$ оптимальное управление, а $\mathbf {x} ^{\ast }(t)$ получается оптимальная траектория для переменной состояния. Альтернативно, согласно результату Олви Л. Мангасаряна , необходимые условия являются достаточными, если функции $I(\mathbf {x} (t),\mathbf {u} (t),t)$ и $\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)$ оба вогнуты в $\mathbf {x} (t)$ и $\mathbf {u} (t)$.

Вывод из лагранжиана

Задача ограниченной оптимизации , подобная изложенной выше, обычно предполагает выражение Лагранжа, а именно

$L=\int _{t_{0}}^{t_{1}}I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\left[\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)-{\dot {\mathbf {x} }}(t)\right]\,\mathrm {d} t$

где $\mathbf {\lambda } (t)$ сравнивается с множителем Лагранжа в задаче статической оптимизации, но теперь, как отмечалось выше, является функцией времени. Чтобы устранить ${\dot {\mathbf {x} }}(t)$, последний член в правой части можно переписать с помощью интегрирования по частям так, что

$-\int _{t_{0}}^{t_{1}}\mathbf {\lambda } ^{\mathsf {T}}(t){\dot {\mathbf {x} }}(t)\,\mathrm {d} t=-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})+\int _{t_{0}}^{t_{1}}{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\,\mathrm {d} t$

которое можно подставить обратно в выражение Лагранжа, чтобы получить

$L=\int _{t_{0}}^{t_{1}}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\right]\,\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})$

Чтобы вывести условия оптимума первого порядка, предположим, что решение найдено и лагранжиан максимизирован. Тогда любое возмущение $\mathbf {x} (t)$ или $\mathbf {u} (t)$ должно привести к снижению значения лагранжиана. В частности, полная производная от $L$ подчиняется

$\mathrm {d} L=\int _{t_{0}}^{t_{1}}\left[\left(I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)\right)\mathrm {d} \mathbf {u} (t)+\left(I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}(t)\right)\mathrm {d} \mathbf {x} (t)\right]\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathrm {d} \mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathrm {d} \mathbf {x} (t_{0})\leq 0$

Чтобы это выражение было равно нулю, необходимо выполнение следующих условий оптимальности:

${\begin{aligned}\underbrace {I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}}&=0\\\underbrace {I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}}+{\dot {\mathbf {\lambda } }}(t)&=0\end{aligned}}$

Если оба начальных значения $\mathbf {x} (t_{0})$ и конечная стоимость $\mathbf {x} (t_{1})$ фиксированы, т.е. $\mathrm {d} \mathbf {x} (t_{0})=\mathrm {d} \mathbf {x} (t_{1})=0$, никаких условий $\mathbf {\lambda } (t_{0})$ и $\mathbf {\lambda } (t_{1})$ необходимы. Если терминальная стоимость свободна, как это часто бывает, дополнительное условие $\mathbf {\lambda } (t_{1})=0$ необходимо для оптимальности. Последнее называется условием трансверсальности для задачи с фиксированным горизонтом.

Видно, что необходимые условия идентичны сформулированным выше для гамильтониана. Таким образом, гамильтониан можно понимать как средство создания необходимых условий первого порядка.

Гамильтониан в дискретное время

Когда задача формулируется в дискретном времени, гамильтониан определяется как:

$H(x_{t},u_{t},\lambda _{t+1},t)=\lambda _{t+1}^{\top }f(x_{t},u_{t},t)+I(x_{t},u_{t},t)\,$

и стоимости уравнения

$\lambda _{t}={\frac {\partial H}{\partial x_{t}}}$

(Обратите внимание, что гамильтониан дискретного времени в момент времени $t$ включает переменную стоимости во времени $t+1.$ Эта небольшая деталь важна для того, чтобы при дифференцировании по $x$ мы получаем термин, включающий $\lambda (t+1)$ в правой части уравнений стоимости. Использование здесь неправильного соглашения может привести к неправильным результатам, т. е. к уравнению стоимости, которое не является уравнением обратной разности).

Поведение гамильтониана во времени

Из принципа максимума Понтрягина можно вывести специальные условия для гамильтониана. Когда в последний раз $t_{1}$ фиксирован и гамильтониан не зависит явно от времени $\left({\tfrac {\partial H}{\partial t}}=0\right)$, затем:

$H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=\mathrm {constant} \,$

или если время терминала свободно, то:

$H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=0.\,$

Кроме того, если конечное время стремится к бесконечности , применяется условие трансверсальности гамильтониана.

$\lim _{t\to \infty }H(t)=0$

Гамильтониан управления в сравнении с гамильтонианом механики

Уильям Роуэн Гамильтон определил гамильтониан для описания механики системы. Это функция трех переменных, связанная с лагранжианом следующим образом:

${\mathcal {H}}(p,q,t)=\langle p,{\dot {q}}\rangle -L(q,{\dot {q}},t)$

где $L$ — лагранжиан , экстремизация которого определяет динамику ( а не лагранжиан, определенный выше), и $q$ является переменной состояния. Лагранжиан оценивается с помощью ${\dot {q}}$ представляющая производную по времени эволюции состояния и $p$, так называемый « сопряженный импульс », относится к нему как

$p={\frac {\partial L}{\partial {\dot {q}}}}$.

Затем Гамильтон сформулировал свои уравнения для описания динамики системы как

${\frac {d}{dt}}p(t)=-{\frac {\partial }{\partial q}}{\mathcal {H}}$

${\frac {d}{dt}}q(t)=~~{\frac {\partial }{\partial p}}{\mathcal {H}}$

Гамильтониан теории управления описывает не динамику системы, а условия экстремизации некоторой ее скалярной функции (лагранжиана) по управляющей переменной. $u$. Обычно это определяется как функция четырех переменных.

$H(q,u,p,t)=\langle p,{\dot {q}}\rangle -L(q,u,t)$

где $q$ является переменной состояния и $u$ — это управляющая переменная по отношению к тому, что мы экстремизируем.

Соответствующие условия для максимума:

${\frac {dp}{dt}}=-{\frac {\partial H}{\partial q}}$

${\frac {dq}{dt}}=~~{\frac {\partial H}{\partial p}}$

${\frac {\partial H}{\partial u}}=0$

Это определение согласуется с определением, данным в статье Суссмана и Виллемса. (см. стр. 39, уравнение 14). Сассманн и Виллемс показывают, как управляющий гамильтониан можно использовать в динамике, например, для задачи о брахистохроне , но не упоминают предыдущую работу Каратеодори по этому подходу.

Текущая стоимость и приведенная стоимость гамильтониана

В экономике целевая функция в задачах динамической оптимизации часто напрямую зависит от времени только за счет экспоненциального дисконтирования , так что она принимает вид

$I(\mathbf {x} (t),\mathbf {u} (t),t)=e^{-\rho t}\nu (\mathbf {x} (t),\mathbf {u} (t))$

где $\nu (\mathbf {x} (t),\mathbf {u} (t))$ называется мгновенной функцией полезности или функцией счастья . Это позволяет переопределить гамильтониан как $H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)=e^{-\rho t}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))$ где

${\begin{aligned}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))\equiv &\,e^{\rho t}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\right]\\=&\,\nu (\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\mu } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\end{aligned}}$

который называется гамильтонианом текущей стоимости, в отличие от гамильтониана текущей стоимости $H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)$ определены в первом разделе. В частности, переменные стоимости переопределяются как $\mathbf {\mu } (t)=e^{\rho t}\mathbf {\lambda } (t)$, что приводит к модифицированным условиям первого порядка.

${\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {u} }}=0$,

${\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {x} }}=-{\dot {\mathbf {\mu } }}(t)+\rho \mathbf {\mu } (t)$

что непосредственно следует из правила произведения . Экономически, $\mathbf {\mu } (t)$ представляют текущие теневые цены на капитальные товары $\mathbf {x} (t)$.

Пример: модель Рэмси – Касса – Купманса.

В экономике модель Рэмси -Касс-Купманса используется для определения оптимального поведения сбережений в экономике. Целевая функция $J(c)$ это функция общественного благосостояния ,

$J(c)=\int _{0}^{T}e^{-\rho t}u(c(t))dt$

максимизироваться за счет выбора оптимального пути потребления $c(t)$. Функция $u(c(t))$ указывает на полезность, представитель агента потребления $c$ в любой данный момент времени. Фактор $e^{-\rho t}$ представляет собой дисконтирование . Задача максимизации подчиняется следующему дифференциальному уравнению для капиталоемкости , описывающему временную эволюцию капитала на одного эффективного работника:

${\dot {k}}={\frac {\partial k}{\partial t}}=f(k(t))-(n+\delta )k(t)-c(t)$

где $c(t)$ – потребление за период t, $k(t)$ — капитал периода t на одного работника (с $k(0)=k_{0}>0$), $f(k(t))$ – производство за период t, $n$ это темпы роста населения, $\delta$ — норма амортизации капитала, агент дисконтирует будущую полезность по ставке $\rho$, с $u'>0$ и $u''<0$.

Здесь, $k(t)$ - переменная состояния, которая развивается в соответствии с приведенным выше уравнением, и $c(t)$ является управляющей переменной. Гамильтониан становится

$H(k,c,\mu ,t)=e^{-\rho t}u(c(t))+\mu (t){\dot {k}}=e^{-\rho t}u(c(t))+\mu (t)[f(k(t))-(n+\delta )k(t)-c(t)]$

Условия оптимальности:

${\frac {\partial H}{\partial c}}=0\Rightarrow e^{-\rho t}u'(c)=\mu (t)$

${\frac {\partial H}{\partial k}}=-{\frac {\partial \mu }{\partial t}}=-{\dot {\mu }}\Rightarrow \mu (t)[f'(k)-(n+\delta )]=-{\dot {\mu }}$

в дополнение к условию трансверсальности $\mu (T)k(T)=0$. Если мы позволим $u(c)=\log(c)$, затем логарифмически дифференцируем первое условие оптимальности по $t$ урожайность

$-\rho -{\frac {\dot {c}}{c(t)}}={\frac {\dot {\mu }}{\mu (t)}}$

Подставляя это уравнение во второе условие оптимальности, получаем

$\rho +{\frac {\dot {c}}{c(t)}}=f'(k)-(n+\delta )$

которое известно как правило Кейнса-Рэмси , которое задает условия потребления в каждый период, соблюдение которых обеспечивает максимальную полезность в течение всего срока службы.

Дальнейшее чтение

• Леонар, Даниэль; Лонг, Нго Ван (1992). «Принцип максимума» . Теория оптимального управления и статическая оптимизация в экономике . Нью-Йорк: Издательство Кембриджского университета. стр. 127–168. ISBN  0-521-33158-7 .
• Такаяма, Акира (1985). «Развития теории оптимального управления и ее приложения» . Математическая экономика (2-е изд.). Нью-Йорк: Издательство Кембриджского университета. стр. 600–719. ISBN  0-521-31498-4 .
• Вулвик, Нэнси (1995). «Гамильтонов формализм и теория оптимального роста». В Риме, IH (ред.). Измерение, количественная оценка и экономический анализ . Лондон: Рутледж. ISBN  978-0-415-08915-9 .