Функция значения

Функция цены задачи оптимизации дает значение , достигаемое целевой функцией при решении, но зависит только от параметров задачи. ^[1]^[2] В управляемой динамической системе функция ценности представляет собой оптимальный выигрыш системы в интервале [t, t ₁ ] при запуске в момент времени t переменной состояния x(t)=x . ^[3] Если целевая функция представляет собой некоторую стоимость, которую необходимо минимизировать, функцию ценности можно интерпретировать как стоимость завершения оптимальной программы и, таким образом, называть ее «функцией себестоимости». ^[4]^[5] В экономическом контексте, где целевая функция обычно представляет полезность , функция ценности концептуально эквивалентна косвенной функции полезности . ^[6]^[7]

В задаче оптимального управления функция цены определяется как верхняя граница целевой функции, взятой на множестве допустимых управлений. Данный $(t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}$ , типичная задача оптимального управления состоит в том, чтобы

{\text{maximize}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))

при условии

{\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))

с переменной начального состояния $x(t_{0})=x_{0}$ . ^[8] Целевая функция $J(t_{0},x_{0};u)$ должна быть максимизирована по всем допустимым управлениям $u\in U[t_{0},t_{1}]$ , где $u$ — измеримая по Лебегу функция из $[t_{0},t_{1}]$ к некоторому заданному произвольному множеству в $\mathbb {R} ^{m}$ . Функция стоимости тогда определяется как

$V(t,x(t))=\max _{u\in U}\int _{t}^{t_{1}}I(\tau ,x(\tau ),u(\tau ))\,\mathrm {d} \tau +\phi (x(t_{1}))$

с $V(t_{1},x(t_{1}))=\phi (x(t_{1}))$ , где $\phi (x(t_{1}))$ представляет собой «ломовую стоимость». Если оптимальная пара траекторий управления и состояния равна $(x^{\ast },u^{\ast })$ , затем $V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })$ . Функция $h$ что обеспечивает оптимальный контроль $u^{\ast }$ исходя из текущего состояния $x$ называется политикой управления с обратной связью, ^[4] или просто политическая функция. ^[9]

Принцип оптимальности Беллмана примерно гласит, что любая оптимальная политика в данный момент $t$ , $t_{0}\leq t\leq t_{1}$ принимая текущее состояние $x(t)$ поскольку «новое» начальное условие должно быть оптимальным для оставшейся задачи. Если функция цены оказывается непрерывно дифференцируемой , ^[10] это приводит к важному уравнению в частных производных, известному как уравнение Гамильтона – Якоби – Беллмана ,

-{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}

где максимум в правой части также можно переписать как гамильтониан , $H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)$ , как

-{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )

с $\partial V(t,x)/\partial x=\lambda (t)$ играющие роль переменных стоимости . ^[11] Учитывая это определение, мы далее имеем $\mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)$ и после дифференцирования обеих частей уравнения HJB по $x$ ,

-{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}

которое после замены соответствующих членов восстанавливает уравнение стоимости

-{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}

где ${\dot {\lambda }}(t)$ — обозначение Ньютона для производной по времени. ^[12]

Функция цены является уникальным решением вязкости уравнения Гамильтона – Якоби – Беллмана. ^[13] В онлайн -приближенном оптимальном управлении с обратной связью функция цены также является функцией Ляпунова , которая устанавливает глобальную асимптотическую устойчивость замкнутой системы. ^[14]

Ссылки [ править ]

^ Флеминг, Венделл Х .; Ришел, Раймонд В. (1975). Детерминированное и стохастическое оптимальное управление . Нью-Йорк: Спрингер. стр. 81–83. ISBN 0-387-90155-8 .
^ Капуто, Майкл Р. (2005). Основы динамического экономического анализа: теория оптимального управления и приложения . Нью-Йорк: Издательство Кембриджского университета. п. 185. ИСБН 0-521-60368-4 .
^ Вебер, Томас А. (2011). Теория оптимального управления: с приложениями в экономике . Кембридж: MIT Press. п. 82. ИСБН 978-0-262-01573-8 .
^ Jump up to: Перейти обратно: ^а ^б Берцекас, Дмитрий П.; Цициклис, Джон Н. (1996). Нейродинамическое программирование . Бельмонт: Афина Сайентифик. п. 2. ISBN 1-886529-10-8 .
^ «EE365: Динамическое программирование» (PDF) .
^ Мас-Колелл, Андреу ; Уинстон, Майкл Д .; Грин, Джерри Р. (1995). Микроэкономическая теория . Нью-Йорк: Издательство Оксфордского университета. п. 964. ИСБН 0-19-507340-1 .
^ Корбэ, Дин; Стинчкомб, Максвелл Б.; Земан, Юрай (2009). Введение в математический анализ для экономической теории и эконометрики . Издательство Принстонского университета. п. 145. ИСБН 978-0-691-11867-3 .
^ Камен, Мортон И .; Шварц, Нэнси Л. (1991). Динамическая оптимизация: вариационное исчисление и оптимальное управление в экономике и менеджменте (2-е изд.). Амстердам: Северная Голландия. п. 259. ИСБН 0-444-01609-0 .
^ Юнгквист, Ларс ; Сарджент, Томас Дж. (2018). Рекурсивная макроэкономическая теория (Четвертое изд.). Кембридж: MIT Press. п. 106. ИСБН 978-0-262-03866-9 .
^ Бенвенист и Шейнкман установили достаточные условия дифференцируемости функции цены, что, в свою очередь, позволяет применить теорему о конверте , см. Бенвенисте, LM; Шейнкман, Дж. А. (1979). «О дифференцируемости функции ценности в динамических моделях экономики». Эконометрика . 47 (3): 727–732. дои : 10.2307/1910417 . JSTOR 1910417 . Также см. Зайерстад, Атле (1982). «Свойства дифференцируемости функции оптимального значения в теории управления». Журнал экономической динамики и контроля . 4 : 303–310. дои : 10.1016/0165-1889(82)90019-7 .
^ Кирк, Дональд Э. (1970). Теория оптимального управления . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. п. 88. ИСБН 0-13-638098-0 .
^ Чжоу, XY (1990). «Принцип максимума, динамическое программирование и их связь в детерминированном управлении». Журнал теории оптимизации и приложений . 65 (2): 363–373. дои : 10.1007/BF01102352 . S2CID 122333807 .
^ Теорема 10.1 в Брессан, Альберто (2019). «Вязкостные решения уравнений Гамильтона-Якоби и задач оптимального управления» (PDF) . Конспекты лекций .
^ Камалапуркар, Рушикеш; Уолтерс, Патрик; Розенфельд, Джоэл; Диксон, Уоррен (2018). «Оптимальное управление и устойчивость по Ляпунову» . Обучение с подкреплением для оптимального управления с обратной связью: подход на основе Ляпунова . Берлин: Шпрингер. стр. 26–27. ISBN 978-3-319-78383-3 .

Дальнейшее чтение [ править ]

Капуто, Майкл Р. (2005). «Необходимые и достаточные условия для изопериметрических задач» . Основы динамического экономического анализа: теория оптимального управления и приложения . Нью-Йорк: Издательство Кембриджского университета. стр. 174–210. ISBN 0-521-60368-4 .
Кларк, Фрэнк Х.; Лоуэн, Филип Д. (1986). «Функция ценности в оптимальном управлении: чувствительность, управляемость и оптимальность по времени». SIAM Journal по контролю и оптимизации . 24 (2): 243–263. дои : 10.1137/0324014 .
ЛаФранс, Джеффри Т.; Барни, Л. Дуэйн (1991). «Теорема о конверте в динамической оптимизации» (PDF) . Журнал экономической динамики и контроля . 15 (2): 355–385. дои : 10.1016/0165-1889(91)90018-В .
Стенгель, Роберт Ф. (1994). «Условия оптимальности» . Оптимальное управление и оценка . Нью-Йорк: Дувр. стр. 201–222. ISBN 0-486-68200-5 .

[1] Флеминг, Венделл Х .; Ришел, Раймонд В. (1975). Детерминированное и стохастическое оптимальное управление . Нью-Йорк: Спрингер. стр. 81–83. ISBN 0-387-90155-8 .

[2] Капуто, Майкл Р. (2005). Основы динамического экономического анализа: теория оптимального управления и приложения . Нью-Йорк: Издательство Кембриджского университета. п. 185. ИСБН 0-521-60368-4 .

[3] Вебер, Томас А. (2011). Теория оптимального управления: с приложениями в экономике . Кембридж: MIT Press. п. 82. ИСБН 978-0-262-01573-8 .

[Bertsekas_Tsitsiklis-4] Jump up to: Перейти обратно: ^а ^б Берцекас, Дмитрий П.; Цициклис, Джон Н. (1996). Нейродинамическое программирование . Бельмонт: Афина Сайентифик. п. 2. ISBN 1-886529-10-8 .

[5] «EE365: Динамическое программирование» (PDF) .

[6] Мас-Колелл, Андреу ; Уинстон, Майкл Д .; Грин, Джерри Р. (1995). Микроэкономическая теория . Нью-Йорк: Издательство Оксфордского университета. п. 964. ИСБН 0-19-507340-1 .

[7] Корбэ, Дин; Стинчкомб, Максвелл Б.; Земан, Юрай (2009). Введение в математический анализ для экономической теории и эконометрики . Издательство Принстонского университета. п. 145. ИСБН 978-0-691-11867-3 .

[8] Камен, Мортон И .; Шварц, Нэнси Л. (1991). Динамическая оптимизация: вариационное исчисление и оптимальное управление в экономике и менеджменте (2-е изд.). Амстердам: Северная Голландия. п. 259. ИСБН 0-444-01609-0 .

[9] Юнгквист, Ларс ; Сарджент, Томас Дж. (2018). Рекурсивная макроэкономическая теория (Четвертое изд.). Кембридж: MIT Press. п. 106. ИСБН 978-0-262-03866-9 .

[10] Бенвенист и Шейнкман установили достаточные условия дифференцируемости функции цены, что, в свою очередь, позволяет применить теорему о конверте , см. Бенвенисте, LM; Шейнкман, Дж. А. (1979). «О дифференцируемости функции ценности в динамических моделях экономики». Эконометрика . 47 (3): 727–732. дои : 10.2307/1910417 . JSTOR 1910417 . Также см. Зайерстад, Атле (1982). «Свойства дифференцируемости функции оптимального значения в теории управления». Журнал экономической динамики и контроля . 4 : 303–310. дои : 10.1016/0165-1889(82)90019-7 .

[11] Кирк, Дональд Э. (1970). Теория оптимального управления . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. п. 88. ИСБН 0-13-638098-0 .

[12] Чжоу, XY (1990). «Принцип максимума, динамическое программирование и их связь в детерминированном управлении». Журнал теории оптимизации и приложений . 65 (2): 363–373. дои : 10.1007/BF01102352 . S2CID 122333807 .

[13] Теорема 10.1 в Брессан, Альберто (2019). «Вязкостные решения уравнений Гамильтона-Якоби и задач оптимального управления» (PDF) . Конспекты лекций .

[14] Камалапуркар, Рушикеш; Уолтерс, Патрик; Розенфельд, Джоэл; Диксон, Уоррен (2018). «Оптимальное управление и устойчивость по Ляпунову» . Обучение с подкреплением для оптимального управления с обратной связью: подход на основе Ляпунова . Берлин: Шпрингер. стр. 26–27. ISBN 978-3-319-78383-3 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]