Теория двойного управления

Теория двойного управления — это раздел теории управления , изучающий управление системами, характеристики которых изначально неизвестны. ^[1]^[2] Ее называют двойной , потому что при управлении такой системой контролер преследует двоякую цель:

(1) Действие : максимально эффективно управлять системой на основе текущих знаний о системе.
(2) Исследование : экспериментировать с системой, чтобы узнать о ее поведении и лучше контролировать ее в будущем.

Эти две цели могут частично противоречить друг другу.В контексте обучения с подкреплением это известно как компромисс между исследованием и эксплуатацией (например, « Многорукий бандит#Эмпирическая мотивация »).

Теория двойного управления была разработана Александром Ароновичем Фельдбаумом в 1960 году. Он показал, что в принципе оптимальное решение можно найти с помощью динамического программирования , но это часто непрактично; в результате был разработан ряд методов разработки неоптимальных двойных контроллеров.

Пример

Проведем аналогию : если вы едете на новой машине, вы хотите добраться до пункта назначения дешево и плавно, но вы также хотите увидеть, насколько хорошо машина разгоняется, тормозит и управляется, чтобы лучше почувствовать, как ею управлять. , поэтому для этой цели вы проделаете несколько тестовых маневров. Аналогичным образом, двойной контроллер подает в систему так называемый зондирующий (или исследовательский) сигнал, который может ухудшить краткосрочные характеристики, но улучшит управление в будущем.

Ссылки

^ Фельдбаум, Н. А. (1 июня 1963 г.). «Задачи теории двойного управления». Тома трудов МФБ . 2-й Международный конгресс МФБ по автоматическому и дистанционному управлению: теория, Базель, Швейцария, 1963. 1 (2): 541–550. дои : 10.1016/S1474-6670(17)69687-3 . ISSN 1474-6670 .
^ Чен, Вэнь-Хуа; Роудс, Каллум; Лю, Цунцзя (01 ноября 2021 г.). «Двойной контроль эксплуатации и исследования (DCEE) при автономном поиске» (PDF) . Автоматика . 133 : 109851. doi : 10.1016/j.automatica.2021.109851 . ISSN 0005-1098 . S2CID 228372721 .

Фельдбаум, А. А. (апрель 1961 г.) [сентябрь 1960 г. (на русском языке, стр. 1240–1249)]. «Теория двойного управления, Часть I». Автоматизация и дистанционное управление . 21 (9): 874–880.
Фельдбаум, А. А. (май 1961 г.) [ноябрь 1960 г. (на русском языке, стр. 1453–1464)]. «Теория двойного управления, Часть II». Автоматизация и дистанционное управление . 21 (11): 1033–1039.
Виттенмарк, Б. (июнь 1995 г.). «Методы адаптивного двойного управления: обзор». Лундский университет: 67–72. CiteSeerX 10.1.1.25.7446 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[1] Фельдбаум, Н. А. (1 июня 1963 г.). «Задачи теории двойного управления». Тома трудов МФБ . 2-й Международный конгресс МФБ по автоматическому и дистанционному управлению: теория, Базель, Швейцария, 1963. 1 (2): 541–550. дои : 10.1016/S1474-6670(17)69687-3 . ISSN 1474-6670 .

[2] Чен, Вэнь-Хуа; Роудс, Каллум; Лю, Цунцзя (01 ноября 2021 г.). «Двойной контроль эксплуатации и исследования (DCEE) при автономном поиске» (PDF) . Автоматика . 133 : 109851. doi : 10.1016/j.automatica.2021.109851 . ISSN 0005-1098 . S2CID 228372721 .

[1]

[2]