Марковская модель вознаграждения

В теории вероятностей модель вознаграждения Маркова или процесс вознаграждения Маркова — это стохастический процесс, который расширяет либо цепь Маркова , либо цепь Маркова с непрерывным временем , добавляя ставку вознаграждения к каждому состоянию. Дополнительная переменная записывает вознаграждение, накопленное к текущему моменту. ^[1] Особенности модели, представляющие интерес, включают ожидаемое вознаграждение в данный момент времени и ожидаемое время для накопления данного вознаграждения. ^[2] Модель появляется в Рональда А. Ховарда . книге ^[3] Модели часто изучаются в контексте марковских процессов принятия решений , где стратегия принятия решений может повлиять на получаемое вознаграждение.

Инструмент Markov Reward Model Checker можно использовать для численного расчета переходных и стационарных свойств моделей вознаграждения Маркова.

Цепь Маркова с непрерывным временем

Накопленное вознаграждение в момент времени t может быть вычислено численно во временной области или путем оценки линейной гиперболической системы уравнений, которая описывает накопленное вознаграждение, с использованием методов преобразования или методов конечных разностей. ^[4]

См. также

Цепь Маркова Монте-Карло

Ссылки

^ Бегейн, К.; Болч, Г.; Герольд, Х. (2001). «Теоретическая основа». Практическое моделирование производительности . стр. 9 . дои : 10.1007/978-1-4615-1387-2_2 . ISBN 978-1-4613-5528-1 .
^ Ли, Квинсленд (2010). «Марковские процессы вознаграждения». Конструктивные вычисления в стохастических моделях с приложениями . стр. 526–573. дои : 10.1007/978-3-642-11492-2_10 . ISBN 978-3-642-11491-5 .
^ Ховард, РА (1971). Динамические вероятностные системы, Том II: Полумарковские процессы и процессы принятия решений . Нью-Йорк: Уайли. ISBN 0471416657 .
^ Рейбман, А.; Смит, Р.; Триведи, К. (1989). «Анализ переходных процессов модели Маркова и вознаграждения Маркова: обзор численных подходов» (PDF) . Европейский журнал операционных исследований . 40 (2): 257. дои : 10.1016/0377-2217(89)90335-4 .

Эта вероятности статья о незавершена . Вы можете помочь Википедии, расширив ее .

[1] Бегейн, К.; Болч, Г.; Герольд, Х. (2001). «Теоретическая основа». Практическое моделирование производительности . стр. 9 . дои : 10.1007/978-1-4615-1387-2_2 . ISBN 978-1-4613-5528-1 .

[2] Ли, Квинсленд (2010). «Марковские процессы вознаграждения». Конструктивные вычисления в стохастических моделях с приложениями . стр. 526–573. дои : 10.1007/978-3-642-11492-2_10 . ISBN 978-3-642-11491-5 .

[3] Ховард, РА (1971). Динамические вероятностные системы, Том II: Полумарковские процессы и процессы принятия решений . Нью-Йорк: Уайли. ISBN 0471416657 .

[4] Рейбман, А.; Смит, Р.; Триведи, К. (1989). «Анализ переходных процессов модели Маркова и вознаграждения Маркова: обзор численных подходов» (PDF) . Европейский журнал операционных исследований . 40 (2): 257. дои : 10.1016/0377-2217(89)90335-4 .

[1]

[2]

[3]

[4]