Принцип разделения в стохастическом управлении

Принцип разделения — один из фундаментальных принципов стохастической теории управления , который утверждает, что задачи оптимального управления и оценки состояния могут быть разделены при определенных условиях. В своей самой простой формулировке он имеет дело с линейной стохастической системой.

${\begin{aligned}dx&=A(t)x(t)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=C(t)x(t)\,dt+D(t)\,dw\end{aligned}}$

с государственным процессом $x$, процесс вывода $y$ и контроль $u$, где $w$ — векторный винеровский процесс , $x(0)$ с нулевым средним, не зависящий от представляет собой гауссовский случайный вектор $w$, $y(0)=0$, и $A$, $B_{1}$, $B_{2}$, $C$, $D$ — это матричные функции, которые обычно считаются непрерывными и ограниченной вариации. Более того, $DD'$ неособа на некотором интервале $[0,T]$. Проблема состоит в том, чтобы разработать закон обратной связи по выходу. $\pi :\,y\mapsto u$ который отображает наблюдаемый процесс $y$ на управляющий вход $u$ непредвиденным образом, чтобы минимизировать функциональную

$J(u)=\mathbb {E} \left\{\int _{0}^{T}x(t)'Q(t)x(t)\,dt+\int _{0}^{T}u(t)'R(t)u(t)\,dt+x(T)'Sx(T)\right\},$

где $\mathbb {E}$ обозначает ожидаемое значение, простое число ( $'$) означает транспонирование. и $Q$ и $R$ являются непрерывными матрицами-функциями ограниченной вариации, $Q(t)$ является положительно полуопределенным и $R(t)$ положительно определен для всех $t$. При подходящих условиях, которые необходимо правильно сформулировать, оптимальная политика $\pi$ можно выбрать в виде

$u(t)=K(t){\hat {x}}(t),$

где ${\hat {x}}(t)$ - линейная оценка вектора состояния методом наименьших квадратов $x(t)$ полученный из фильтра Калмана

$d{\hat {x}}=A(t){\hat {x}}(t)\,dt+B_{1}(t)u(t)\,dt+L(t)(dy-C(t){\hat {x}}(t)\,dt),\quad {\hat {x}}(0)=0,$

где $K$ – коэффициент усиления оптимального линейно-квадратичного регулятора, полученный путем принятия $B_{2}=D=0$ и $x(0)$ детерминированный, и где $L$ это выигрыш Калмана . Существует также негауссовская версия этой проблемы (обсуждаемая ниже), в которой винеровский процесс $w$ заменяется более общим квадратно-интегрируемым мартингалом с возможными скачками. В этом случае фильтр Калмана необходимо заменить нелинейным фильтром, обеспечивающим оценку (строгого) условного среднего значения.

${\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\},$

где

${\cal {Y}}_{t}:=\sigma \{y(\tau ),\tau \in [0,t]\},\quad 0\leq t\leq T,$

– фильтрация, генерируемая выходным процессом; т. е. семейство возрастающих сигма-полей, представляющих данные по мере их создания.

В ранней литературе по принципу разделения в качестве допустимого контроля было принято считать $u$ все процессы, адаптированные к фильтрации $\{{\cal {Y}}_{t},\,0\leq t\leq T\}$. Это эквивалентно разрешению всех неупреждающих функций Бореля в качестве законов обратной связи, что поднимает вопрос о существовании единственного решения уравнений петли обратной связи. Более того, необходимо исключить возможность того, что нелинейный регулятор извлекает из данных больше информации, чем это возможно при линейном законе управления.

Выбор класса допустимых законов управления

Задачи линейно-квадратичного управления часто решаются с помощью аргумента пополнения квадратов. В нашем нынешнем контексте мы имеем

$J(u)=\operatorname {E} \left\{\int _{0}^{T}(u-Kx)'R(u-Kx)\,dt\right\}+{\text{terms that do not depend on }}u,$

в котором первое слагаемое принимает вид

${\begin{aligned}\operatorname {E} \left\{\int _{0}^{T}(u-Kx)'R(u-Kx)\,dt\right\}=\operatorname {E} \left\{\int _{0}^{T}[(u-K{\hat {x}})'R(u-K{\hat {x}})+\operatorname {tr} (K'RK\Sigma )]\,dt\right\},\end{aligned}}$

где $\Sigma$ это ковариационная матрица

$\Sigma (t):=\operatorname {E} \{[x(t)-{\hat {x}}(t)][x(t)-{\hat {x}}(t)]'\}.$

Принцип разделения теперь последовал бы немедленно, если бы ${\begin{aligned}\Sigma \end{aligned}}$ были независимы от контроля. Однако это необходимо установить.

Уравнение состояния можно проинтегрировать и принять вид

$x(t)=x_{0}(t)+\int _{0}^{t}\Phi (t,s)B_{1}(s)u(s)\,ds,$

где $x_{0}$ это состояние процесса, полученное установкой $u=0$ и $\Phi$ – матричная функция перехода. По линейности, ${\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\}$ равно

${\hat {x}}(t)={\hat {x}}_{0}(t)+\int _{0}^{t}\Phi (t,s)B_{1}(s)u(s)\,ds,$

где ${\hat {x}}_{0}(t)=\operatorname {E} \{x_{0}(t)\mid {\cal {Y}}_{t}\}$. Следовательно,

$\Sigma (t):=\mathbb {E} \{[x_{0}(t)-{\hat {x}}_{0}(t)][x_{0}(t)-{\hat {x}}_{0}(t)]'\},$

но нам нужно это установить ${\begin{aligned}{\hat {x}}_{0}\end{aligned}}$ не зависит от управления. Это было бы так, если бы

${\cal {Y}}_{t}={\cal {Y}}_{t}^{0}:=\sigma \{y_{0}(\tau ),\tau \in [0,t]\},\quad 0\leq t\leq T,$

где $y_{0}$ — это выходной процесс, полученный установкой $u=0$. Этот вопрос подробно обсуждался Линдквистом. Фактически, поскольку процесс управления $u$ в общем случае является нелинейной функцией данных и, следовательно, негауссовой, то же самое происходит и с выходным процессом. $y$. Чтобы избежать этих проблем, можно было бы начать с рассоединения контура обратной связи и определения оптимального процесса управления в классе случайных процессов. $u$ которые адаптированы к семье $\{{\cal {Y}}_{t}^{0}\}$ сигма-полей. Эта задача, в которой выполняется оптимизация по классу всех процессов управления, адаптированных к фиксированной фильтрации, называется задачей стохастической разомкнутой системы (SOL) . В литературе нередко с самого начала предполагается, что управление адаптировано к $\{{\mathcal {Y}}_{t}^{0}\}$; см., например, раздел 2.3 в Бенсусане, тоже от Генделя и Виллемс.

В Линдквисте, 1973 год. Предложена процедура встраивания класса допустимых управлений в различные классы СОЛ в зависимости от задачи и последующего построения соответствующего закона обратной связи. Самый большой класс $\Pi$ допустимых законов обратной связи $\pi$ состоит из неупреждающих функций $u:=\pi (y)$ такое, что уравнение обратной связи имеет единственное решение и соответствующий процесс управления $u_{\pi }$ адаптирован к $\{{\mathcal {Y}}_{t}^{0}\}$. Далее мы приведем несколько примеров конкретных классов законов обратной связи, принадлежащих к этому общему классу, а также некоторые другие стратегии в литературе, позволяющие преодолеть описанные выше проблемы.

Законы линейного управления

Допустимый класс $\Pi$ Законы управления могут быть ограничены и включать только некоторые линейные законы, как в случае Дэвиса. В более общем смысле, линейный класс

$({\mathcal {L}})\quad u(t)={\bar {u}}(t)+\int _{0}^{t}F(t,\tau )\,dy,$

где ${\bar {u}}$ является детерминированной функцией и $F$ это $L_{2}$ ядро, гарантирует, что $\Sigma$ не зависит от контроля. Фактически, свойство Гаусса тогда сохранится, и ${\hat {x}}$ будет сгенерирован фильтром Калмана. Затем процесс ошибки ${\tilde {x}}:=x-{\hat {x}}$ генерируется

$d{\tilde {x}}=(A-LC){\tilde {x}}\,dt+(B_{2}-LD)\,dw,\quad {\tilde {x}}(0)=x(0),$

которая явно не зависит от выбора управления, и, следовательно, такова $\Sigma$.

Липшицево-непрерывные законы управления

Уонэм доказал теорему разделения управлений класса ${\begin{aligned}\pi :\,u(t)=\psi (t,{\hat {x}}(t))\end{aligned}}$, даже для более общего функционала стоимости, чем J(u). Однако доказательство далеко не простое и существует множество технических предположений. Например, ${\begin{aligned}C(t)\end{aligned}}$ должно быть квадратным и иметь определитель, удаленный от нуля, что является серьезным ограничением. Более позднее доказательство Флеминга и Ришеля. значительно проще. Они также доказывают теорему разделения с квадратичным функционалом стоимости. $J(u)$ для одного класса липшицевых законов непрерывной обратной связи, а именно $u(t)=\phi (t,y)$, где $\phi :\,[0,T]\times C^{n}[0,T]\to {\mathbb {R} }^{m}$ является неупреждающей функцией $y$ что в этом рассуждении является липшицевым. Кушнер предложил более ограниченный класс $u(t)=\psi (t,{\hat {\xi }}(t))$, где модифицированный процесс состояния ${\hat {\xi }}$ дается

${\hat {\xi }}(t)=\operatorname {E} \{x_{0}(t)\mid {\mathcal {Y}}_{t}^{0}\}+\int _{0}^{t}\Phi (t,s)B_{1}(s)u(s)\,ds,$

ведущий к идентичности ${\begin{aligned}{\hat {x}}={\hat {\xi }}\end{aligned}}$.

Внушительная задержка

Если имеется задержка в обработке наблюдаемых данных, так что для каждого $t$, $u(t)$ является функцией $y(\tau );\,0\leq \tau \leq t-\varepsilon$, затем ${\cal {Y}}_{t}={\cal {Y}}_{t}^{0}$, $0\leq t\leq T$см. пример 3 у Георгиу и Линдквиста. Следовательно, $\Sigma$ не зависит от контроля. Тем не менее, политика контроля $\pi$ должно быть таким, чтобы уравнения обратной связи имели единственное решение.

Следовательно, проблема с сигма-полями, возможно, зависящими от управления, не возникает в обычной формулировке для дискретного времени. Однако процедура, используемая в нескольких учебниках для построения непрерывного времени $\Sigma$ как предел конечных разностных факторов дискретного времени $\Sigma$, не зависящее от управления, является круговым или лучшим неполным; см. замечание 4 у Георгиу и Линдквиста.

Слабые решения

Подход, представленный Дунканом и Варайей. и Дэвис и Варайя, см. также раздел 2.4 в Бенсусане. основан на слабых решениях стохастического дифференциального уравнения. Учитывая такие решения

$dx=A(t)x(t)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw$

мы можем изменить вероятностную меру (которая зависит от ${\begin{aligned}u\end{aligned}}$) посредством преобразования Гирсанова так, что

$d{\tilde {w}}:=B_{1}(t)u(t)\,dt+B_{2}(t)\,dw$

становится новым винеровским процессом, на который (в соответствии с новой мерой вероятности) можно считать, что управление не влияет. Вопрос о том, как это реализовать в инженерной системе, остается открытым.

Решения для нелинейной фильтрации

Хотя нелинейный закон управления приводит к негауссовскому состоянию процесса, это можно показать, используя теорию нелинейной фильтрации (главы 16.1 в книге Липстера и Шираева). ), что процесс состояния является условно гауссовским с учетом фильтрации ${\begin{aligned}\{{\mathcal {Y}}_{t}\}\end{aligned}}$. Этот факт можно использовать, чтобы показать, что ${\begin{aligned}{\hat {x}}\end{aligned}}$ на самом деле генерируется фильтром Калмана (см. главы 11 и 12 в книге Липстера и Шираева). ). Однако это требует весьма сложного анализа и ограничивается случаем, когда шум движения ${\begin{aligned}w\end{aligned}}$ является винеровским процессом.

Дополнительную историческую перспективу можно найти в Миттере.

Вопросы обратной связи в линейных стохастических системах

Здесь уместно рассмотреть более общий класс управляемых линейных стохастических систем, который охватывает также системы с запаздыванием, а именно

${\begin{aligned}z(t)&=z_{0}(t)+\int _{0}^{t}G(t,s)u(s)\,ds\\y(t)&=Hz(t)\end{aligned}}$

с ${\begin{aligned}z_{0}\end{aligned}}$ стохастический векторный процесс, не зависящий от управления. Тогда стандартная стохастическая система получается как частный случай, когда $z=[x',y']'$, $z_{0}=[x_{0}',y_{0}']'$ и $H=[I,0]$. Мы будем использовать сокращенное обозначение

$z=z_{0}+g\pi Hz$

для системы обратной связи, где

$g\;:\;(t,u)\mapsto \int _{0}^{t}G(t,\tau )u(\tau )\,d\tau$

является оператором Вольтерры.

В этой более общей формулировке процедура вложения Линдквиста определяет класс $\Pi$ допустимых законов обратной связи $\pi$ как класс неупреждающих функций $u:=\pi (y)$ такое, что уравнение обратной связи $z=z_{0}+g\pi Hz$ имеет уникальное решение $z_{\pi }$ и $u=\pi (Hz_{\pi })$ адаптирован к $\{{\mathcal {Y}}_{t}^{0}\}$.

В Георгиу и Линдквисте была предложена новая основа принципа разделения. Этот подход рассматривает стохастические системы как четко определенные карты между выборочными путями, а не между случайными процессами, и позволяет нам распространить принцип разделения на системы, управляемые мартингалами с возможными скачками. Этот подход мотивирован инженерным мышлением, в котором системы и петли обратной связи обрабатывают сигналы, а не стохастические процессы сами по себе или преобразования вероятностных мер. Следовательно, цель состоит в том, чтобы создать естественный класс допустимых законов управления, имеющих инженерный смысл, в том числе нелинейных и разрывных.

Уравнение обратной связи $z=z_{0}+g\pi Hz$ имеет единственное сильное решение, если существует неупреждающая функция $F$ такой, что $z=F(z_{0})$ удовлетворяет уравнению с вероятностью единица, а все остальные решения совпадают с $z$ с вероятностью единица. Однако в случае выборки требуется нечто большее, а именно, чтобы такое уникальное решение существовало и чтобы $z=z_{0}+g\pi Hz$ держится для всех $z_{0}$, а не только почти все. Получающаяся в результате петля обратной связи детерминированно корректна в том смысле, что уравнения обратной связи допускают уникальное решение, которое причинно зависит от входных данных для каждого пути входной выборки.

В этом контексте сигнал определяется как образец пути случайного процесса с возможными разрывами. Точнее, сигналы будут принадлежать пространству Скорохода. $D$, т. е. пространство функций, непрерывных справа и имеющих во всех точках левый предел ( функции càdlàg ). В частности, пространство $C$ непрерывных функций является собственным подпространством $D$. Следовательно, реакция типичной нелинейной операции, включающей пороговое значение и переключение, может быть смоделирована как сигнал. То же самое касается примеров путей счетных процессов и других мартингалов. Система . определяется как измеримая непредвиденная карта $D\to D$ отправка путей образцов к путям образцов, чтобы их выходные данные были в любое время $t$ является измеримой функцией прошлых значений входных данных и времени. Например, стохастические дифференциальные уравнения с коэффициентами Липшица, управляемыми винеровским процессом. создавать карты между соответствующими пространствами путей, см. стр. 127 у Роджерса и Уильямса, и страницы 126–128 у Клебанера. Кроме того, при достаточно общих условиях (см., например, главу V в книге Проттера ), стохастические дифференциальные уравнения, управляемые мартингалами с путями выборки в $D$ имеют сильные решения, являющиеся семимартингалами.

Для настройки времени $f(z):=g\pi Hz$, система обратной связи $z=z_{0}+g\pi Hz$ можно написать $z=z_{0}+f(z)$, где $z_{0}$ может быть интерпретировано как вход.

Определение. Цикл обратной связи $z=z_{0}+f(z)$ является детерминированно корректным, если оно имеет единственное решение $z\in D$ для всех входов $z_{0}\in D$ и $(1-f)^{-1}$ это система.

Это означает, что процессы $z$ и $z_{0}$ определить одинаковые фильтрации. Следовательно, в цикле не создается никакой новой информации. Однако нам нужно, чтобы ${\cal {Y}}_{t}={\cal {Y}}_{t}^{0}$ для $0\leq t\leq T$. Это обеспечивается следующей леммой (лемма 8 в книге Георгиу и Линдквиста ).

Ключевая лемма. Если петля обратной связи $z=z_{0}+g\pi Hz$ является детерминированно корректным, $g\pi$ представляет собой систему, и $H$ представляет собой линейную систему, имеющую правую обратную $H^{-R}$ это тоже система, тогда $(1-Hg\pi )^{-1}$ это система и ${\cal {Y}}_{t}={\cal {Y}}_{t}^{0}$ для $0\leq t\leq T$.

Условие на $H$ в этой лемме явно выполняется в стандартной линейной стохастической системе, для которой $H=[0,I]$, и, следовательно, $H^{-R}=H'$. Остальные условия собраны в следующем определении.

Определение. Закон обратной связи $\pi$ является детерминированно корректным для системы $z=z_{0}+g\pi Hz$ если $g\pi$ это система и система обратной связи $z=z_{0}+g\pi Hz$ детерминированно корректно.

Примеры простых систем, которые не являются детерминированно корректными, приведены в замечании 12 у Георгиу и Линдквиста.

Принцип разделения физически реализуемых законов управления.

Если рассматривать только те законы обратной связи, которые детерминированно корректны, все допустимые законы управления физически реализуемы в инженерном смысле, поскольку они вызывают сигнал, который проходит через контур обратной связи. Доказательство следующей теоремы можно найти у Георгиу и Линдквиста, 2013.

Теорема о разделении. Учитывая линейную стохастическую систему

${\begin{aligned}dx&=A(t)x(t)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=C(t)x(t)\,dt+D(t)\,dw\end{aligned}}$

где $w$ представляет собой векторный винеровский процесс, $x(0)$ представляет собой гауссовский случайный вектор с нулевым средним, не зависящий от $w$, рассмотрим задачу минимизации квадратичного функционала J(u) по классу всех детерминированно корректных законов обратной связи $\pi$. Тогда единственный закон оптимального управления имеет вид $u(t)=K(t){\hat {x}}(t)$ где $K$ определяется, как указано выше, и ${\hat {x}}$ задается фильтром Калмана. В более общем смысле, если $w$ представляет собой интегрируемый с квадратом мартингал и $x(0)$ — произвольный случайный вектор с нулевым средним значением, $u(t)=K(t){\hat {x}}(t)$, где ${\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\}$, является оптимальным законом управления при условии, что он детерминированно корректен.

В общем негауссовом случае, который может включать процессы счета, фильтр Калмана необходимо заменить нелинейным фильтром.

Принцип разделения для дифференциально-запаздывающих систем

Стохастическое управление системами с запаздыванием впервые изучалось Линдквистом. и Брукс, хотя Брукс опирается на сильное предположение, что наблюдение $y$ от функционально не зависит управления $u$, тем самым избегая ключевого вопроса обратной связи.

Рассмотрим дифференциально-запаздывающую систему

${\begin{aligned}dx&=\left(\int _{t-h}^{t}d_{s}\,A(t,s)x(s)\right)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=\left(\int _{t-h}^{t}d_{s}\,C(t,s)x(s)\right)\,dt+D(t)\,dw\end{aligned}}$

где $w$ теперь является (интегрируемым с квадратом) гауссовским (векторным) мартингалом, и где ${\begin{aligned}A\end{aligned}}$ и $C$ имеют ограниченную вариацию по первому аргументу и непрерывны справа по второму, $x(t)=\xi (t)$ является детерминированным для $-h\leq t\leq 0$, и $y(0)=0$. Точнее, $A(t,s)=0$ для $s\geq t$, $A(t,s)=A(t,t-h)$ для $t\leq t-h$, и общее изменение $s\mapsto A(t,s)$ ограничено интегрируемой функцией по переменной $t$, и то же самое справедливо для $C$.

Мы хотим определить закон управления, который минимизирует

$J(u)=\operatorname {E} \left(\int _{0}^{T}x(t)'Q(t)x(t)\,d\alpha (t)+\int _{0}^{T}u(t)'R(t)u(t)\,dt\right),$

где ${\begin{aligned}d\alpha \end{aligned}}$ является положительной мерой Стилтьеса. Соответствующая детерминированная задача, полученная постановкой ${\begin{aligned}w=0\end{aligned}}$ дается

$u(t)=\int _{t-h}^{t}d_{\tau }\,K(t,\tau )x(\tau ),$

с ${\begin{aligned}K\end{aligned}}$.

Следующий принцип разделения для описанной выше системы задержки можно найти у Георгиу и Линдквиста, 2013 г. и обобщает соответствующий результат Линдквиста 1973 г.

Теорема. Существует уникальный закон обратной связи ${\begin{aligned}\pi :\,y\mapsto u\end{aligned}}$ в классе детерминированно корректных законов управления, минимизирующих ${\begin{aligned}J(u)\end{aligned}}$, и оно определяется выражением

$u(t)=\int _{t-h}^{t}d_{s}\,K(t,s){\hat {x}}(s\mid t),$

где $K$ - коэффициент детерминированного управления и ${\hat {x}}(s\mid t):=E\{x(s)\mid {\cal {Y}}_{t}\}$ задается линейным (распределенным) фильтром

${\begin{aligned}d{\hat {x}}(t\mid t)&=\int _{t-h}^{t}d_{s}\,A(t,s){\hat {x}}(s\mid t)\,dt+B_{1}u\,dt+X(t,t)\,dv\\d{\hat {x}}(t\mid t)&=\int _{t-h}^{t}d_{s}\,A(t,s){\hat {x}}(s\mid t)\,dt+B_{1}u\,dt+X(t,t)\,dv\end{aligned}}$

где $v$ это инновационный процесс

$dv=dy-\int _{t-h}^{t}d_{s}C(t,s){\hat {x}}(s\mid t)\,dt,\quad v(0)=0,$

и выигрыш $x$ соответствует определению на странице 120 в книге Линдквист.