Оптимальное управление

Эталон задачи оптимального управления (Луус) с интегральной целью, неравенством и дифференциальным ограничением

Теория оптимального управления — это раздел теории управления , который занимается поиском управления динамической системой в течение определенного периода времени, при котором целевая функция оптимизируется. Он имеет множество применений в науке, технике и исследованиях операций. Например, динамическая система может представлять собой космический корабль с органами управления, соответствующими ракетным двигателям, и целью может быть достижение Луны с минимальными затратами топлива. Или динамической системой могла бы стать национальная экономика , целью которой является минимизация безработицы ; средствами контроля в этом случае могла бы быть фискальная и монетарная политика . Динамическая система также может быть введена для включения задач исследования операций в рамках теории оптимального управления.

Оптимальное управление является расширением вариационного исчисления и представляет собой метод математической оптимизации для разработки политики управления . Этот метод во многом обязан работе Льва Понтрягина и Ричарда Беллмана в вариационное исчисление в 1950-х годах после вклада Эдварда Дж. МакШейна . Оптимальное управление можно рассматривать как стратегию управления в теории управления .

Общий метод

Оптимальное управление занимается проблемой поиска закона управления данной системой, при котором определенный критерий оптимальности достигается . Задача управления включает в себя функционал стоимости , который является функцией переменных состояния и управления. Оптимальное управление — это набор дифференциальных уравнений, описывающих пути переменных управления, которые минимизируют функцию стоимости. Оптимальное управление можно получить, используя принцип максимума Понтрягина ( необходимое условие, также известное как принцип минимума Понтрягина или просто принцип Понтрягина). или путем решения уравнения Гамильтона–Якоби–Беллмана ( достаточное условие ).

Начнем с простого примера. Рассмотрим автомобиль, едущий прямолинейно по холмистой дороге. Вопрос в том, как водителю следует нажимать педаль акселератора, чтобы минимизировать общее время в пути? В этом примере термин « закон управления» относится конкретно к тому, как водитель нажимает на акселератор и переключает передачи. Система критерием состоит как из автомобиля, так и из дороги, а оптимальности является минимизация общего времени в пути. Проблемы управления обычно включают вспомогательные ограничения . Например, количество доступного топлива может быть ограничено, педаль акселератора нельзя проталкивать через пол автомобиля, ограничения скорости и т. д.

Правильная функция стоимости будет представлять собой математическое выражение, показывающее время в пути как функцию скорости, геометрических соображений и начальных условий системы. Ограничения часто взаимозаменяемы с функцией стоимости.

Другая связанная с этим задача оптимального управления может состоять в том, чтобы найти способ управления автомобилем так, чтобы минимизировать расход топлива, учитывая, что он должен пройти заданный курс за время, не превышающее некоторого времени. Еще одна связанная с этим проблема управления может заключаться в минимизации общих денежных затрат на завершение поездки с учетом предполагаемых денежных цен на время и топливо.

Более абстрактная схема выглядит следующим образом. Минимизируйте функционал стоимости непрерывного времени

$$J[{\textbf {x}}(\cdot ),{\textbf {u}}(\cdot ),t_{0},t_{f}]:=E\,[{\textbf {x}}(t_{0}),t_{0},{\textbf {x}}(t_{f}),t_{f}]+\int _{t_{0}}^{t_{f}}F\,[{\textbf {x}}(t),{\textbf {u}}(t),t]\,\mathrm {d} t$$

с учетом динамических ограничений первого порядка ( уравнение состояния )

$${\dot {\textbf {x}}}(t)={\textbf {f}}\,[\,{\textbf {x}}(t),{\textbf {u}}(t),t],$$

алгебраического пути ограничения

$${\textbf {h}}\,[{\textbf {x}}(t),{\textbf {u}}(t),t]\leq {\textbf {0}},$$

и конечные условия

$${\textbf {e}}[{\textbf {x}}(t_{0}),t_{0},{\textbf {x}}(t_{f}),t_{f}]=0$$

где ${\textbf {x}}(t)$ это государство , ${\textbf {u}}(t)$ это контроль , $t$ – независимая переменная (вообще говоря, время), $t_{0}$ - начальное время, и $t_{f}$ это конечное время. Условия $E$ и $F$ называются конечной стоимостью и эксплуатационными расходами соответственно. В вариационном исчислении $E$ и $F$ называются термином Майера и лагранжианом соответственно. Кроме того, следует отметить, что ограничения пути относятся к общим ограничениям- неравенствам и, таким образом, могут быть неактивными (т. е. равными нулю) при оптимальном решении. Также отмечается, что задача оптимального управления, как указано выше, может иметь несколько решений (т. е. решение может не быть единственным). Таким образом, чаще всего любое решение $[{\textbf {x}}^{*}(t),{\textbf {u}}^{*}(t),t_{0}^{*},t_{f}^{*}]$ к задаче оптимального управления является локально минимизирующей .

Линейно-квадратичное управление

Частным случаем общей нелинейной задачи оптимального управления, приведенной в предыдущем разделе, является линейно-квадратичная (LQ) задача оптимального управления . Задача LQ формулируется следующим образом. Минимизируйте квадратичный функционал стоимости непрерывного времени

$$J={\tfrac {1}{2}}\mathbf {x} ^{\mathsf {T}}(t_{f})\mathbf {S} _{f}\mathbf {x} (t_{f})+{\tfrac {1}{2}}\int _{t_{0}}^{t_{f}}[\,\mathbf {x} ^{\mathsf {T}}(t)\mathbf {Q} (t)\mathbf {x} (t)+\mathbf {u} ^{\mathsf {T}}(t)\mathbf {R} (t)\mathbf {u} (t)]\,\mathrm {d} t$$

С учетом линейных динамических ограничений первого порядка

$${\dot {\mathbf {x} }}(t)=\mathbf {A} (t)\mathbf {x} (t)+\mathbf {B} (t)\mathbf {u} (t),$$

и начальное состояние

$$\mathbf {x} (t_{0})=\mathbf {x} _{0}$$

Особой формой проблемы LQ, которая возникает во многих задачах системы управления, является линейный квадратичный регулятор (LQR), где все матрицы (т. е. $\mathbf {A}$, $\mathbf {B}$, $\mathbf {Q}$, и $\mathbf {R}$) постоянны , начальное время произвольно полагается равным нулю, а конечное время принимается в пределе $t_{f}\rightarrow \infty$ (это последнее предположение известно как бесконечный горизонт ). Задача ЛКР формулируется следующим образом. Минимизируйте квадратичный функционал стоимости непрерывного времени с бесконечным горизонтом

$$J={\tfrac {1}{2}}\int _{0}^{\infty }[\mathbf {x} ^{\mathsf {T}}(t)\mathbf {Q} \mathbf {x} (t)+\mathbf {u} ^{\mathsf {T}}(t)\mathbf {R} \mathbf {u} (t)]\,\mathrm {d} t$$

С учетом линейных, нестационарных динамических ограничений первого порядка.

$${\dot {\mathbf {x} }}(t)=\mathbf {A} \mathbf {x} (t)+\mathbf {B} \mathbf {u} (t),$$

и начальное состояние

$$\mathbf {x} (t_{0})=\mathbf {x} _{0}$$

В случае конечного интервала матрицы ограничены тем, что $\mathbf {Q}$ и $\mathbf {R}$ являются положительно полуопределенными и положительно определенными соответственно. Однако в случае бесконечного горизонта матрицы $\mathbf {Q}$ и $\mathbf {R}$ являются не только положительно-полуопределенными и положительно-определенными соответственно, но и постоянными . Эти дополнительные ограничения на $\mathbf {Q}$ и $\mathbf {R}$ в случае бесконечного горизонта применяются для обеспечения того, чтобы функционал стоимости оставался положительным. Кроме того, чтобы обеспечить ограниченность функции стоимости , накладывается дополнительное ограничение, заключающееся в том, что пара $(\mathbf {A} ,\mathbf {B} )$ является управляемым . Обратите внимание, что функционал стоимости LQ или LQR можно физически рассматривать как попытку минимизировать энергию управления (измеренную как квадратичную форму).

Проблема бесконечного горизонта (т. е. LQR) может показаться чрезмерно ограничительной и по сути бесполезной, поскольку предполагает, что оператор переводит систему в нулевое состояние и, следовательно, приводит к нулю выходной сигнал системы. Это действительно правильно. Однако проблема доведения выходного сигнала до желаемого ненулевого уровня может быть решена после достижения нулевого выходного уровня. Фактически можно доказать, что эту вторичную проблему LQR можно решить очень простым способом. В классической теории оптимального управления было показано, что оптимальное управление LQ (или LQR) имеет форму обратной связи

$$\mathbf {u} (t)=-\mathbf {K} (t)\mathbf {x} (t)$$

где $\mathbf {K} (t)$ представляет собой матрицу правильного размера, заданную как

$$\mathbf {K} (t)=\mathbf {R} ^{-1}\mathbf {B} ^{\mathsf {T}}\mathbf {S} (t),$$

и $\mathbf {S} (t)$ является решением дифференциального уравнения Риккати . Дифференциальное уравнение Риккати имеет вид

$${\dot {\mathbf {S} }}(t)=-\mathbf {S} (t)\mathbf {A} -\mathbf {A} ^{\mathsf {T}}\mathbf {S} (t)+\mathbf {S} (t)\mathbf {B} \mathbf {R} ^{-1}\mathbf {B} ^{\mathsf {T}}\mathbf {S} (t)-\mathbf {Q}$$

Для задачи LQ на конечном горизонте уравнение Риккати интегрируется назад во времени с использованием терминального граничного условия

$$\mathbf {S} (t_{f})=\mathbf {S} _{f}$$

Для задачи LQR с бесконечным горизонтом дифференциальное уравнение Риккати заменяется алгебраическим уравнением Риккати (ARE), задаваемым как

$$\mathbf {0} =-\mathbf {S} \mathbf {A} -\mathbf {A} ^{\mathsf {T}}\mathbf {S} +\mathbf {S} \mathbf {B} \mathbf {R} ^{-1}\mathbf {B} ^{\mathsf {T}}\mathbf {S} -\mathbf {Q}$$

Понимая, что ARE возникает из-за проблемы бесконечного горизонта, матрицы $\mathbf {A}$, $\mathbf {B}$, $\mathbf {Q}$, и $\mathbf {R}$ все постоянны . Следует отметить, что, как правило, существует несколько решений алгебраического уравнения Риккати, и положительно определенное (или положительно полуопределенное) решение используется для расчета коэффициента усиления обратной связи. Проблема LQ (LQR) была элегантно решена Рудольфом Э. Кальманом .

Численные методы оптимального управления

Задачи оптимального управления, как правило, нелинейны и поэтому обычно не имеют аналитических решений (например, как линейно-квадратичная задача оптимального управления). В результате для решения задач оптимального управления необходимо использовать численные методы. В первые годы оптимального управления ( около 1950-1980-х годов) предпочтительным подходом к решению задач оптимального управления были косвенные методы . В косвенном методе для получения условий оптимальности первого порядка используется вариационное исчисление. Эти условия приводят к двухточечной (или, в случае сложной задачи, многоточечной) краевой задаче . Эта краевая задача на самом деле имеет особую структуру, поскольку возникает в результате взятия производной гамильтониана . Таким образом, полученная динамическая система является гамильтоновой системой вида

$${\begin{aligned}{\dot {\textbf {x}}}&={\frac {\partial H}{\partial {\boldsymbol {\lambda }}}}\\[1.2ex]{\dot {\boldsymbol {\lambda }}}&=-{\frac {\partial H}{\partial {\textbf {x}}}}\end{aligned}}$$

где

$$H=F+{\boldsymbol {\lambda }}^{\mathsf {T}}{\textbf {f}}-{\boldsymbol {\mu }}^{\mathsf {T}}{\textbf {h}}$$

– расширенный гамильтониан и косвенным методом решается краевая задача (с использованием соответствующих краевых условий или условий трансверсальности ). Прелесть использования косвенного метода в том, что состояние и сопряженное (т. е. ${\boldsymbol {\lambda }}$) решаются, и полученное решение, как легко проверить, является экстремальной траекторией. Недостатком косвенных методов является то, что краевую задачу зачастую чрезвычайно сложно решить (особенно для задач, охватывающих большие интервалы времени, или задач с внутренними точечными ограничениями). Известная программа, реализующая косвенные методы, — BNDSCO.

Подход, который приобрел известность в численном оптимальном управлении с 1980-х годов, — это так называемые прямые методы . В прямом методе состояние или управление или и то, и другое аппроксимируются с использованием соответствующей аппроксимации функции (например, полиномиальной аппроксимации или кусочно-постоянной параметризации). При этом функционал стоимости аппроксимируется как функция стоимости . Затем коэффициенты аппроксимации функции рассматриваются как переменные оптимизации, и задача «транскрибируется» в задачу нелинейной оптимизации вида:

Свернуть

$$F(\mathbf {z} )$$

с учетом алгебраических ограничений

$${\begin{aligned}\mathbf {g} (\mathbf {z} )&=\mathbf {0} \\\mathbf {h} (\mathbf {z} )&\leq \mathbf {0} \end{aligned}}$$

В зависимости от типа используемого прямого метода размер задачи нелинейной оптимизации может быть весьма малым (например, как в методе прямой стрельбы или методе квазилинеаризации), умеренным (например, псевдоспектральное оптимальное управление). ) или может быть довольно большим (например, метод прямого коллокирования ). В последнем случае (т. е. метод коллокации) задача нелинейной оптимизации может заключаться буквально в тысячах и десятках тысяч переменных и ограничений. Учитывая размер многих НЛП, возникающих в результате прямого метода, может показаться несколько нелогичным, что решение задачи нелинейной оптимизации проще, чем решение краевой задачи. Однако дело в том, что НЛП легче решить, чем краевую задачу. Причина относительной простоты вычислений, особенно метода прямой коллокации, заключается в том, что NLP немногочисленн и существует множество известных программ (например, SNOPT ) для решения больших разреженных задач НЛП. В результате круг задач, которые можно решить прямыми методами (особенно методами прямой коллокации популярными в настоящее время ), значительно шире, чем круг задач, которые можно решить косвенными методами. Фактически, в наши дни прямые методы стали настолько популярны, что многие люди написали сложные программы, использующие эти методы. В частности, многие такие программы включают DIRCOL , СОКС, ОТИС, ГЕСОП/ АСТОС , ДИТАН. и ПиГМО/ПиКЕП. В последние годы, в связи с появлением языка программирования MATLAB , программное обеспечение оптимального управления на языке MATLAB стало более распространенным. Примеры академически разработанных программных инструментов MATLAB, реализующих прямые методы, включают RIOTS , ДИДО , ПРЯМОЙ , СОКОЛ.м, и ГПОПС, в то время как примером разработанного в отрасли инструмента MATLAB является PROPT . Эти программные инструменты значительно расширили возможности людей исследовать сложные проблемы оптимального управления как для академических исследований, так и для промышленных проблем. Наконец, следует отметить, что среды оптимизации MATLAB общего назначения, такие как TOMLAB, значительно упростили кодирование сложных задач оптимального управления, чем это было возможно ранее в таких языках, как C и FORTRAN .

Оптимальное управление с дискретным временем

До сих пор примеры демонстрировали системы непрерывного времени и решения по управлению. Фактически, поскольку решения по оптимальному управлению теперь часто реализуются в цифровом виде , современная теория управления теперь в первую очередь занимается системами и решениями с дискретным временем . Теория согласованных приближений обеспечивает условия, при которых решения ряда все более точных дискретизированных задач оптимального управления сходятся к решению исходной задачи с непрерывным временем. Не все методы дискретизации обладают этим свойством, даже, казалось бы, очевидным. Например, использование процедуры с переменным размером шага для интегрирования динамических уравнений задачи может привести к созданию градиента, который не сходится к нулю (или указывает в правильном направлении) по мере приближения к решению. Прямой метод RIOTS основан на теории последовательной аппроксимации.

Примеры

Общей стратегией решения многих задач оптимального управления является определение стоимости (иногда называемой теневой ценой ). $\lambda (t)$. Костата суммирует в одном числе предельное значение расширения или сжатия переменной состояния на следующем ходу. Предельная ценность — это не только выгоды, полученные на следующем ходу, но и связанные с продолжительностью программы. Это приятно, когда $\lambda (t)$ может быть решено аналитически, но обычно самое большее, что можно сделать, — это описать его достаточно хорошо, чтобы интуиция могла уловить характер решения, а программа для решения уравнений могла найти значения численно.

Получив $\lambda (t)$, оптимальное значение управления при повороте t обычно можно решить как дифференциальное уравнение, зависящее от знания $\lambda (t)$. Опять же, нечасто, особенно в задачах с непрерывным временем, можно получить явное значение управления или состояния. Обычно стратегия состоит в том, чтобы найти пороговые значения и области, которые характеризуют оптимальное управление, и использовать числовой решатель для изоляции фактических значений выбора во времени.

Конечное время

Рассмотрим задачу владельца шахты, который должен решить, с какой скоростью добывать руду из своей шахты. Они владеют правами на руду с даты $0$ на сегодняшний день $T$. На дату $0$ есть $x_{0}$ руда в земле и количество руды, зависящее от времени $x(t)$ оставшееся в земле уменьшается со скоростью $u(t)$ что владелец шахты его добывает. Владелец шахты добывает руду по себестоимости $u(t)^{2}/x(t)$ (стоимость добычи увеличивается пропорционально квадрату скорости добычи и обратному значению количества оставшейся руды) и продает руду по постоянной цене. $p$. Любая руда, оставшаяся в земле в определенное время $T$ не подлежит продаже и не имеет ценности (нет «цены лома»). Владелец выбирает скорость добычи, меняющуюся со временем. $u(t)$ максимизировать прибыль за период владения без дисконтирования по времени.

1. Версия с дискретным временем

   Менеджер максимизирует прибыль $\Pi$:

   $$\Pi =\sum _{t=0}^{T-1}\left[pu_{t}-{\frac {u_{t}^{2}}{x_{t}}}\right]$$
   подчиняется закону движения переменной состояния $x_{t}$
   $$x_{t+1}-x_{t}=-u_{t}$$

   Составьте гамильтониан и продифференцируйте:

   $${\begin{aligned}H&=pu_{t}-{\frac {u_{t}^{2}}{x_{t}}}-\lambda _{t+1}u_{t}\\{\frac {\partial H}{\partial u_{t}}}&=p-\lambda _{t+1}-2{\frac {u_{t}}{x_{t}}}=0\\\lambda _{t+1}-\lambda _{t}&=-{\frac {\partial H}{\partial x_{t}}}=-\left({\frac {u_{t}}{x_{t}}}\right)^{2}\end{aligned}}$$

   Поскольку владелец шахты не оценивает оставшуюся на данный момент руду $T$,

   $$\lambda _{T}=0$$

   Используя приведенные выше уравнения, легко найти решение для $x_{t}$ и $\lambda _{t}$ ряд

   $${\begin{aligned}\lambda _{t}&=\lambda _{t+1}+{\frac {\left(p-\lambda _{t+1}\right)^{2}}{4}}\\x_{t+1}&=x_{t}{\frac {2-p+\lambda _{t+1}}{2}}\end{aligned}}$$
   и используя начальные условия и условия поворота T, $x_{t}$ ряд можно решить явно, дав $u_{t}$.
2. Непрерывная версия

   Менеджер максимизирует прибыль $\Pi$:

   $$\Pi =\int _{0}^{T}\left[pu(t)-{\frac {u(t)^{2}}{x(t)}}\right]dt$$
   где переменная состояния $x(t)$ развивается следующим образом:
   $${\dot {x}}(t)=-u(t)$$

   Составьте гамильтониан и продифференцируйте:

   $${\begin{aligned}H&=pu(t)-{\frac {u(t)^{2}}{x(t)}}-\lambda (t)u(t)\\{\frac {\partial H}{\partial u}}&=p-\lambda (t)-2{\frac {u(t)}{x(t)}}=0\\{\dot {\lambda }}(t)&=-{\frac {\partial H}{\partial x}}=-\left({\frac {u(t)}{x(t)}}\right)^{2}\end{aligned}}$$

   Поскольку владелец шахты не оценивает оставшуюся на данный момент руду $T$,

   $$\lambda (T)=0$$

   Используя приведенные выше уравнения, легко решить дифференциальные уравнения, определяющие $u(t)$ и $\lambda (t)$

   $${\begin{aligned}{\dot {\lambda }}(t)&=-{\frac {(p-\lambda (t))^{2}}{4}}\\u(t)&=x(t){\frac {p-\lambda (t)}{2}}\end{aligned}}$$
   и используя начальные условия и условия поворота T, функции можно решить, чтобы получить
   $$x(t)={\frac {\left(4-pt+pT\right)^{2}}{\left(4+pT\right)^{2}}}x_{0}$$

См. также

• Активный вывод
• уравнение Беллмана
• Псевдоспектральный метод Беллмана
• Брахистохрона
• ДИДО
• DNS-точка
• Динамическое программирование
• Псевдоспектральный метод Гаусса
• Обобщенная фильтрация
• ГПОПС-II
• КасАди
• JModelica.org (платформа с открытым исходным кодом на базе Modelica для динамической оптимизации)
• Фильтр Калмана
• Линейно-квадратичный регулятор
• Модель прогнозирующего управления
• Критерий обгона
• ПИД-регулятор
• PROPT (программное обеспечение оптимального управления для MATLAB)
• Псевдоспектральное оптимальное управление
• с преследованием и уклонением Игры
• Управление скользящим режимом
• СНОПТ
• Стохастический контроль
• Оптимизация траектории

Дальнейшее чтение

• Берцекас, Д.П. (1995). Динамическое программирование и оптимальное управление . Бельмонт: Афина. ISBN  1-886529-11-6 .
• Брайсон, AE ; Хо, Ю.-К. (1975). Прикладное оптимальное управление: оптимизация, оценка и управление (пересмотренная ред.). Нью-Йорк: Джон Уайли и сыновья. ISBN  0-470-11481-9 .
• Флеминг, WH ; Ришель, RW (1975). Детерминированное и стохастическое оптимальное управление . Нью-Йорк: Спрингер. ISBN  0-387-90155-8 .
• Камен, Мичиган ; Шварц, Нидерланды (1991). Динамическая оптимизация: вариационное исчисление и оптимальное управление в экономике и менеджменте (второе изд.). Нью-Йорк: Эльзевир. ISBN  0-444-01609-0 .
• Кирк, Делавэр (1970). Теория оптимального управления: Введение . Энглвуд Клиффс: Прентис-Холл. ISBN  0-13-638098-0 .

Внешние ссылки

• Виктор М. Бесерра, изд. (2008). «Оптимальное управление» . Схоларпедия . Проверено 31 декабря 2022 г.
• Вычислительное оптимальное управление
• Доктор Бенуа ШАШЮА: Лаборатория автоматического управления – нелинейное программирование, вариационное исчисление и оптимальное управление.
• DIDO - инструмент MATLAB для оптимального управления
• GEKKO — пакет Python для оптимального управления
• GESOP – Графическая среда для моделирования и оптимизации

• GPOPS-II - универсальное программное обеспечение MATLAB для оптимального управления
• CasADi – Бесплатная символьная платформа с открытым исходным кодом для оптимального управления.
• PROPT - Программное обеспечение оптимального управления MATLAB
• OpenOCL - Открытая библиотека оптимального управления. Архивировано 20 апреля 2019 г. на Wayback Machine.
• Элмер Г. Винс: Оптимальное управление - Применение теории оптимального управления с использованием принципа максимума Понтрягина с интерактивными моделями.
• On Optimal Control by Yu-Chi Ho
• Псевдоспектральное оптимальное управление. Часть 1.
• Псевдоспектральное оптимальное управление. Часть 2.
• Записи и сценарий лекций профессора Морица Диля, Фрайбургский университет, по численному оптимальному управлению