Markov model
 | Эта статья нуждается в дополнительных цитатах для проверки . ( июль 2017 г. ) |
В теории вероятностей марковская модель — это стохастическая модель, используемая для моделирования псевдослучайно изменяющихся систем. Предполагается, что будущие состояния зависят только от текущего состояния, а не от событий, произошедших до него (т. е. предполагается марковское свойство ). Как правило, это предположение позволяет проводить рассуждения и вычисления с использованием модели, которые в противном случае были бы неразрешимы . По этой причине в области прогнозного моделирования и вероятностного прогнозирования желательно, чтобы данная модель проявляла марковское свойство.
Введение
[ редактировать ]Существует четыре общие модели Маркова, используемые в разных ситуациях, в зависимости от того, является ли каждое последовательное состояние наблюдаемым или нет, и нужно ли корректировать систему на основе сделанных наблюдений:
| Состояние системы полностью наблюдаемо | Состояние системы частично наблюдаемо | |
|---|---|---|
| Система автономна | Цепь Маркова | Скрытая модель Маркова |
| Система контролируется | Марковский процесс принятия решения | Частично наблюдаемый марковский процесс принятия решений |
Цепь Маркова
[ редактировать ]Простейшей моделью Маркова является цепь Маркова . Он моделирует состояние системы со случайной величиной , которая меняется со временем. В этом контексте свойство Маркова указывает на то, что распределение этой переменной зависит только от распределения предыдущего состояния. Примером использования цепи Маркова является цепь Маркова Монте-Карло , которая использует свойство Маркова для доказательства того, что конкретный метод выполнения случайного блуждания будет производить выборку из совместного распределения .
Скрытая модель Маркова
[ редактировать ]Скрытая модель Маркова — это цепь Маркова, для которой состояние наблюдаемо лишь частично или с зашумлением. Другими словами, наблюдения связаны с состоянием системы, но их обычно недостаточно для точного определения состояния. Существует несколько хорошо известных алгоритмов для скрытых моделей Маркова. Например, при наличии последовательности наблюдений алгоритм Витерби вычисляет наиболее вероятную соответствующую последовательность состояний, прямой алгоритм вычисляет вероятность последовательности наблюдений, а алгоритм Баума – Уэлча оценивает начальные вероятности перехода функция и функция наблюдения скрытой марковской модели.
Одним из распространенных вариантов использования является распознавание речи , где наблюдаемые данные представляют собой речевого аудиосигнала форму , а скрытое состояние — это произнесенный текст. В этом примере алгоритм Витерби находит наиболее вероятную последовательность произнесенных слов с учетом звука речи.
Марковский процесс принятия решения
[ редактировать ]Марковский процесс принятия решений представляет собой цепь Маркова, в которой переходы между состояниями зависят от текущего состояния и вектора действия, применяемого к системе. Обычно процесс принятия решений Маркова используется для расчета политики действий, которая максимизирует некоторую полезность в отношении ожидаемого вознаграждения.
Частично наблюдаемый марковский процесс принятия решений
[ редактировать ]Частично наблюдаемый марковский процесс принятия решений (POMDP) — это марковский процесс принятия решений, в котором состояние системы наблюдается лишь частично. Известно, что POMDP являются NP-полными , но последние методы аппроксимации сделали их полезными для различных приложений, таких как управление простыми агентами или роботами. [1]
Марковское случайное поле
[ редактировать ], Случайное поле Маркова или сеть Маркова, можно рассматривать как обобщение цепи Маркова в нескольких измерениях. В цепи Маркова состояние зависит только от предыдущего состояния во времени, тогда как в марковском случайном поле каждое состояние зависит от своих соседей в любом из нескольких направлений. Марковское случайное поле можно представить как поле или график случайных величин, где распределение каждой случайной величины зависит от соседних переменных, с которыми она связана. Более конкретно, совместное распределение любой случайной величины в графе можно вычислить как произведение «потенциалов клики» всех клик в графе, содержащих эту случайную величину. Моделирование проблемы как марковского случайного поля полезно, поскольку оно подразумевает, что таким способом можно вычислить совместные распределения в каждой вершине графа.
Иерархические марковские модели
[ редактировать ]Иерархические модели Маркова могут применяться для классификации человеческого поведения на различных уровнях абстракции. Например, серию простых наблюдений, таких как местоположение человека в комнате, можно интерпретировать для определения более сложной информации, например, какую задачу или деятельность выполняет человек. Два вида иерархических марковских моделей — это иерархическая скрытая марковская модель. [2] и абстрактная скрытая марковская модель. [3] Оба использовались для распознавания поведения. [4] а определенные свойства условной независимости между различными уровнями абстракции в модели позволяют ускорить обучение и сделать вывод. [3] [5]
Tolerant Markov model
[ редактировать ]Модель толерантной Маркова (ТММ) представляет собой вероятностно-алгоритмическую модель цепи Маркова. [6] Он назначает вероятности в соответствии с кондиционирующим контекстом, который рассматривает последний символ из последовательности, который должен появиться, как наиболее вероятный, а не истинно встречающийся символ. TMM может моделировать три различных характера: замены, добавления или удаления. Успешные приложения были эффективно реализованы в сжатии последовательностей ДНК. [6] [7]
Модели прогнозирования на основе марковской цепи
[ редактировать ]Цепи Маркова использовались в качестве методов прогнозирования по нескольким темам, например, тенденции цен, [8] энергия ветра [9] и солнечное излучение . [10] Модели прогнозирования цепи Маркова используют множество различных настроек, от дискретизации временных рядов [9] к скрытым марковским моделям в сочетании с вейвлетами [8] и модель распределения смеси марковской цепи (MCM). [10]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Кельблинг, LP; Литтман, М.Л.; Кассандра, Арканзас (1998). «Планирование и действие в частично наблюдаемых стохастических областях» . Искусственный интеллект . 101 (1–2): 99–134. CiteSeerX 10.1.1.390.8474 . дои : 10.1016/S0004-3702(98)00023-X . ISSN 0004-3702 .
- ^ Хорошо, С.; Сингер, Ю. (1998). «Иерархическая скрытая марковская модель: анализ и приложения» . Машинное обучение . 32 (1): 41–62. дои : 10.1023/А:1007469218079 .
- ^ Перейти обратно: а б Буй, ХХ; Венкатеш, С.; Уэст, Г. (2002). «Политика распознавания в абстрактной скрытой марковской модели» . Журнал исследований искусственного интеллекта . 17 : 451–499. дои : 10.1613/jair.839 . hdl : 10536/DRO/DU:30044252 .
- ^ Теохарус, Г. (2002). Иерархическое обучение и планирование в частично наблюдаемых марковских процессах принятия решений (доктор философии). Мичиганский государственный университет.
- ^ Лур, С.; Буй, ХХ; Венкатеш, С.; Вест, ГСА (2003). «Распознавание человеческой деятельности посредством иерархического стохастического обучения» . PERCOM '03 Материалы первой международной конференции IEEE по всеобъемлющим вычислениям и коммуникациям . стр. 416–422. CiteSeerX 10.1.1.323.928 . дои : 10.1109/PERCOM.2003.1192766 . ISBN 978-0-7695-1893-0 . S2CID 13938580 .
- ^ Перейти обратно: а б Пратас, Д.; Хоссейни, М.; Пиньо, Эй Джей (2017). «Толерантные к заменам марковские модели относительного сжатия последовательностей ДНК». PACBB 2017 – 11-я Международная конференция по практическому применению вычислительной биологии и биоинформатики, Порту, Португалия . стр. 265–272. дои : 10.1007/978-3-319-60816-7_32 . ISBN 978-3-319-60815-0 .
- ^ Пратас, Д.; Пиньо, Эй Джей; Феррейра, PJSG (2016). «Эффективное сжатие геномных последовательностей». Конференция по сжатию данных (DCC), 2016 . IEEE. стр. 231–240. дои : 10.1109/DCC.2016.60 . ISBN 978-1-5090-1853-6 . S2CID 14230416 .
- ^ Перейти обратно: а б де Соуза и Силва, Э.Г.; Леги, LFL; де Соуза и Силва, Э.А. (2010). «Прогнозирование тенденций цен на нефть с использованием вейвлетов и скрытых моделей Маркова» . Экономика энергетики . 32 .
- ^ Перейти обратно: а б Карпиноне, А; Джорджио, М; Ланджелла, Р.; Теста, А. (2015). «Моделирование цепей Маркова для очень краткосрочного прогнозирования ветроэнергетики» . Исследование электроэнергетических систем . 122 : 152–158. дои : 10.1016/j.epsr.2014.12.025 .
- ^ Перейти обратно: а б Мункхаммар, Дж.; ван дер Меер, DW; Виден, Дж. (2019). «Вероятностное прогнозирование временных рядов индекса ясного неба с высоким разрешением с использованием модели распределения смеси цепи Маркова». Солнечная энергия . 184 : 688–695. doi : 10.1016/j.solener.2019.04.014 . S2CID 146076100 .
| Базы данных органов управления : Национальные |
|---|
