Скрытая модель Маркова

Скрытая марковская модель ( HMM ) — это марковская модель , в которой наблюдения зависят от скрытого (или «скрытого») марковского процесса (называемого $X$). HMM требует, чтобы существовал наблюдаемый процесс. $Y$ результаты которых зависят от результатов $X$ известным способом. С $X$ невозможно наблюдать непосредственно, цель состоит в том, чтобы узнать о состоянии $X$ наблюдая $Y.$ По определению модели Маркова, HMM имеет дополнительное требование, чтобы результат $Y$ во время $t=t_{0}$ должен «влиять» исключительно на результат $X$ в $t=t_{0}$ и что результаты $X$ и $Y$ в $t<t_{0}$ должна быть условно независимой от $Y$ в $t=t_{0}$ данный $X$ во время $t=t_{0}.$ Оценка параметров в HMM может быть выполнена с использованием метода максимального правдоподобия . Для линейных цепных HMM алгоритм Баума – Уэлча для оценки параметров можно использовать .

Скрытые марковские модели известны своими приложениями в термодинамике , статистической механике , физике , химии , экономике , финансах , обработке сигналов , теории информации , распознавании образов , таких как речь , почерк , распознавание жестов , маркировка частей речи , отслеживание музыкальной партитуры, частичные разряды и биоинформатика .

Определение

Позволять $X_{n}$ и $Y_{n}$ с дискретным временем быть случайными процессами и $n\geq 1$. Пара $(X_{n},Y_{n})$ является скрытой марковской моделью, если

• $X_{n}$ представляет собой марковский процесс , поведение которого не наблюдается непосредственно («скрыто»);
• $\operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\ {\bigl |}\ X_{1}=x_{1},\ldots ,X_{n}=x_{n}{\bigr )}=\operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\ {\bigl |}\ X_{n}=x_{n}{\bigr )},$

для каждого $n\geq 1,$ $x_{1},\ldots ,x_{n},$ и каждое Бореля множество $A$.

Позволять $X_{t}$ и $Y_{t}$ быть непрерывными во времени случайными процессами. Пара $(X_{t},Y_{t})$ является скрытой марковской моделью, если

• $X_{t}$ представляет собой марковский процесс, поведение которого не наблюдается непосредственно («скрыто»);
• $\operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid \{X_{t}\in B_{t}\}_{t\leq t_{0}})=\operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid X_{t_{0}}\in B_{t_{0}})$,

для каждого $t_{0},$ каждый набор Бореля $A,$ и каждое семейство борелевских множеств $\{B_{t}\}_{t\leq t_{0}}.$

Терминология

Состояния процесса $X_{n}$ (соответственно $X_{t})$ называются скрытыми состояниями , а $\operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\mid X_{n}=x_{n}{\bigr )}$ (соответственно $\operatorname {\mathbf {P} } {\bigl (}Y_{t}\in A\mid X_{t}\in B_{t}{\bigr )})$ называется вероятностью выброса или вероятностью выхода .

Примеры

Вытягивание шаров из спрятанных урн

Рисунок 1. Вероятностные параметры скрытой марковской модели (пример)
Х — состояния
y — возможные наблюдения
а — вероятности перехода состояний
б — вероятности выхода

В своей дискретной форме скрытый марковский процесс можно представить как обобщение задачи об урне с заменой (когда каждый предмет из урны возвращается в исходную урну перед следующим шагом). Рассмотрим такой пример: в комнате, невидимой для наблюдателя, живет джинн. В комнате находятся урны X1, X2, X3, ... каждая из которых содержит известную смесь шаров, причем каждый шар имеет уникальную метку y1, y2, y3, ... . Джинн выбирает урну в этой комнате и случайным образом достает из нее шар. Затем он помещает шар на конвейерную ленту, где наблюдатель может наблюдать последовательность шаров, но не последовательность урн, из которых они были извлечены. У джинна есть определенная процедура выбора урн; выбор урны для n -го шара зависит только от случайного числа и выбора урны для ( n - 1)-го шара. Выбор урны не зависит напрямую от урн, выбранных перед этой единственной предыдущей урной; поэтому это называется марковским процессом . Его можно описать верхней частью рисунка 1.

Сам марковский процесс наблюдать нельзя, только последовательность помеченных шаров, поэтому такое расположение называется «скрытым марковским процессом». Это иллюстрирует нижняя часть диаграммы, показанной на рисунке 1, где видно, что шары y1, y2, y3, y4 могут быть нарисованы в каждом состоянии. Даже если наблюдатель знает состав урн и только что наблюдал последовательность из трех шаров, например, y1, y2 и y3 на конвейерной ленте, наблюдатель все равно не может быть уверен, какую урну ( т. е . в каком состоянии) нарисовал джинн. третий мяч из. Однако наблюдатель может получить и другую информацию, например, вероятность того, что третий шар выпал из каждой из урн.

Игра «Угадай погоду»

Рассмотрим двух друзей, Алису и Боба, которые живут далеко друг от друга и ежедневно разговаривают по телефону о том, что они сделали в тот день. Боба интересуют только три занятия: прогулка в парке, шопинг и уборка в квартире. Выбор того, чем заняться, определяется исключительно погодой в данный день. Алиса не имеет точной информации о погоде, но знает общие тенденции. Основываясь на том, что Боб рассказывает ей, что он делал каждый день, Алиса пытается угадать, какая должна была быть погода.

Алиса считает, что погода действует как дискретная цепь Маркова . Есть два состояния, «Дождливое» и «Солнечное», но она не может наблюдать их непосредственно, то есть они скрыты от нее. Каждый день есть определенный шанс, что Боб выполнит одно из следующих действий, в зависимости от погоды: «гулять», «ходить по магазинам» или «убираться». Поскольку Боб рассказывает Алисе о своей деятельности, это и есть наблюдения . Вся система представляет собой скрытую марковскую модель (СММ).

Алиса знает общие тенденции погоды в этом районе и то, что в среднем любит делать Боб. Другими словами, параметры ГММ известны. их можно представить следующим образом В Python :

states = ("Rainy", "Sunny")

observations = ("walk", "shop", "clean")

start_probability = {"Rainy": 0.6, "Sunny": 0.4}

transition_probability = {
    "Rainy": {"Rainy": 0.7, "Sunny": 0.3},
    "Sunny": {"Rainy": 0.4, "Sunny": 0.6},
}

emission_probability = {
    "Rainy": {"walk": 0.1, "shop": 0.4, "clean": 0.5},
    "Sunny": {"walk": 0.6, "shop": 0.3, "clean": 0.1},
}

В этом фрагменте кода start_probability представляет мнение Алисы о том, в каком состоянии находится HMM, когда Боб впервые звонит ей (все, что она знает, это то, что в среднем идет дождь). Используемое здесь конкретное распределение вероятностей не является равновесным, которое (с учетом вероятностей перехода) приблизительно равно {'Rainy': 0.57, 'Sunny': 0.43}. transition_probability представляет изменение погоды в основной цепи Маркова. В этом примере вероятность того, что завтра будет солнечно, составляет всего 30%, если сегодня дождливо. emission_probability показывает, насколько вероятно, что Боб будет выполнять определенное действие каждый день. Если идет дождь, то с вероятностью 50% он убирает свою квартиру; если солнечно, вероятность того, что он вышел на прогулку, составляет 60%.

Graphical representation of the given HMM

Подобный пример подробно описан на странице алгоритма Витерби .

Структурная архитектура

На диаграмме ниже показана общая архитектура экземпляра HMM. Каждый овал представляет собой случайную величину, которая может принимать любое из множества значений. Случайная величина x ( t это скрытое состояние в момент времени t (в модели из приведенной выше диаграммы x ( t ) ∈ { , _x1 x2 , _{) —} x3 } ₎ . Случайная величина y ( t это наблюдение в момент времени ( где ( t ) ∈ { , _y1 y2 , _y y3 , _{) —} y4 } _t ). Стрелки на диаграмме (часто называемой решетчатой ​​диаграммой ) обозначают условные зависимости.

Из диаграммы видно, что условное распределение вероятностей скрытой переменной x ( t ) в момент времени t , учитывая значения скрытой переменной x во все моменты времени, зависит только от значения скрытой переменной x ( t − 1 ); значения в момент времени t - 2 и ранее не имеют никакого влияния. Это называется свойством Маркова . Аналогично, значение наблюдаемой переменной y ( t ) зависит только от значения скрытой переменной x ( t ) (оба в момент времени t ).

В рассматриваемом здесь стандартном типе скрытой марковской модели пространство состояний скрытых переменных дискретно, а сами наблюдения могут быть либо дискретными (обычно генерируемыми из категориального распределения ), либо непрерывными (обычно из гауссова распределения ). Параметры скрытой модели Маркова бывают двух типов: вероятности перехода и вероятности выбросов (также известные как выходные вероятности ). Вероятности перехода контролируют способ скрытого состояния в момент времени t с учетом скрытого состояния в момент времени. выбора $t-1$.

Предполагается, что скрытое пространство состояний состоит из одного из N возможных значений, смоделированных как категориальное распределение. (Другие возможности см. в разделе о расширениях ниже.) Это означает, что для каждого из N возможных состояний, в которых может находиться скрытая переменная в момент времени t , существует вероятность перехода из этого состояния в каждое из N возможных состояний скрытая переменная во времени $t+1$, на общую сумму $N^{2}$ вероятности перехода. Обратите внимание, что набор вероятностей перехода из любого данного состояния должен в сумме равняться 1. Таким образом, $N\times N$ матрица вероятностей перехода является матрицей Маркова . Поскольку любую вероятность перехода можно определить, как только известны остальные, всего существует $N(N-1)$ параметры перехода.

Кроме того, для каждого из N возможных состояний существует набор вероятностей выбросов, определяющих распределение наблюдаемой переменной в определенный момент времени с учетом состояния скрытой переменной в этот момент. Размер этого набора зависит от природы наблюдаемой переменной. Например, если наблюдаемая переменная дискретна и имеет М возможных значений, определяемых категориальным распределением , будет $M-1$ отдельные параметры, всего $N(M-1)$ параметры излучения по всем скрытым состояниям. С другой стороны, если наблюдаемая переменная представляет собой M -мерный вектор, распределенный в соответствии с произвольным многомерным распределением Гаусса , будет M параметров, управляющих средними значениями и ${\frac {M(M+1)}{2}}$ параметры, управляющие ковариационной матрицей , в общей сложности $N\left(M+{\frac {M(M+1)}{2}}\right)={\frac {NM(M+3)}{2}}=O(NM^{2})$ параметры выбросов. (В таком случае, если значение M не мало, может оказаться более практичным ограничить характер ковариаций между отдельными элементами вектора наблюдения, например, предположив, что элементы независимы друг от друга, или менее ограничительно, независимы ни от чего, кроме фиксированного числа соседних элементов.)

Temporal evolution of a hidden Markov model

Вывод

Вероятности перехода состояний и выхода HMM обозначены непрозрачностью линии в верхней части диаграммы. Учитывая, что мы наблюдали выходную последовательность в нижней части диаграммы, нас может интересовать наиболее вероятная последовательность состояний, которые могли ее создать. Судя по стрелкам, представленным на диаграмме, кандидатами могут быть следующие последовательности состояний:
5 3 2 5 3 2
4 3 2 5 3 2
3 1 2 5 3 2
Мы можем найти наиболее вероятную последовательность, оценив совместную вероятность как последовательности состояний, так и наблюдений для каждого случая (просто умножив значения вероятности, которые здесь соответствуют непрозрачности задействованных стрелок). В общем, задачи такого типа (т. е. поиск наиболее вероятного объяснения последовательности наблюдений) можно эффективно решить с помощью алгоритма Витерби .

несколько проблем вывода Со скрытыми моделями Маркова связано , как описано ниже.

Вероятность наблюдаемой последовательности

Задача состоит в том, чтобы наилучшим образом вычислить, учитывая параметры модели, вероятность конкретной выходной последовательности. Это требует суммирования по всем возможным последовательностям состояний:

Вероятность наблюдения последовательности

$Y=y(0),y(1),\dots ,y(L-1)\,$

длины L определяется выражением

$P(Y)=\sum _{X}P(Y\mid X)P(X),\,$

где сумма пробегает все возможные последовательности скрытых узлов

$X=x(0),x(1),\dots ,x(L-1).\,$

Применяя принцип динамического программирования , эту проблему также можно эффективно решить с помощью прямого алгоритма .

Вероятность скрытых переменных

В ряде связанных задач задается вопрос о вероятности одной или нескольких скрытых переменных с учетом параметров модели и последовательности наблюдений. $y(1),\dots ,y(t).$

Фильтрация

Задача состоит в том, чтобы по параметрам модели и последовательности наблюдений вычислить распределение по скрытым состояниям последней скрытой переменной в конце последовательности, т.е. вычислить $P(x(t)\ |\ y(1),\dots ,y(t))$. Эта задача используется, когда последовательность скрытых переменных рассматривается как основные состояния, через которые проходит процесс в последовательность моментов времени, с соответствующими наблюдениями в каждой точке. Тогда естественно спросить о состоянии процесса в конце.

Эту проблему можно эффективно решить с помощью прямого алгоритма . Примером может служить применение алгоритма к скрытой марковской сети для определения $\mathrm {P} {\big (}h_{t}\ |v_{1:t}{\big )}$.

Сглаживание

Это похоже на фильтрацию, но требует распределения скрытой переменной где-то в середине последовательности, т.е. для вычисления $P(x(k)\ |\ y(1),\dots ,y(t))$ для некоторых $k<t$. С точки зрения, описанной выше, это можно рассматривать как распределение вероятностей по скрытым состояниям для момента времени k в прошлом относительно времени t .

Алгоритм вперед-назад — хороший метод вычисления сглаженных значений для всех скрытых переменных состояния.

Наиболее вероятное объяснение

Задача, в отличие от двух предыдущих, спрашивает о совместной вероятности всей последовательности скрытых состояний, породивших определенную последовательность наблюдений (см . иллюстрацию справа). Эта задача обычно применима, когда СММ применяются к задачам, отличным от тех, для которых применимы задачи фильтрации и сглаживания. Примером может служить маркировка частей речи , где скрытые состояния представляют собой основные части речи, соответствующие наблюдаемой последовательности слов. В этом случае интерес представляет вся последовательность частей речи, а не просто часть речи для одного слова, как это можно было бы вычислить при фильтрации или сглаживании.

Эта задача требует нахождения максимума по всем возможным последовательностям состояний и может быть эффективно решена с помощью алгоритма Витерби .

Статистическая значимость

Для некоторых из вышеперечисленных проблем также может быть интересно задаться вопросом о статистической значимости . Какова вероятность того, что последовательность, полученная из некоторого нулевого распределения , будет иметь вероятность HMM (в случае прямого алгоритма) или максимальную вероятность последовательности состояний (в случае алгоритма Витерби), по крайней мере такую ​​же большую, как и у конкретного последовательность вывода? Когда HMM используется для оценки релевантности гипотезы для конкретной выходной последовательности, статистическая значимость указывает на частоту ложных срабатываний , связанную с невозможностью отклонения гипотезы для выходной последовательности.

Обучение

Задача обучения параметров в HMM состоит в том, чтобы найти, учитывая выходную последовательность или набор таких последовательностей, лучший набор вероятностей перехода состояний и выбросов. Задача обычно состоит в том, чтобы получить оценку максимального правдоподобия параметров HMM с учетом набора выходных последовательностей. Неизвестен понятный алгоритм для точного решения этой проблемы, но локальное максимальное правдоподобие можно эффективно получить с помощью алгоритма Баума – Уэлча или алгоритма Бальди – Шовена. Алгоритм Баума-Уэлча является частным случаем алгоритма максимизации ожидания .

Если HMM используются для прогнозирования временных рядов, более сложные методы байесовского вывода, такие как выборка цепей Маркова Монте-Карло (MCMC), оказываются более предпочтительными по сравнению с поиском единой модели максимального правдоподобия как с точки зрения точности, так и стабильности. Поскольку MCMC налагает значительную вычислительную нагрузку, в случаях, когда вычислительная масштабируемость также представляет интерес, можно альтернативно прибегнуть к вариационным аппроксимациям байесовского вывода, например Действительно, приближенный вариационный вывод обеспечивает вычислительную эффективность, сравнимую с максимизацией ожидания, но дает профиль точности лишь немного уступающий точному байесовскому выводу типа MCMC.

Приложения

Профиль HMM, моделирующий множественное выравнивание последовательностей белков в Pfam.

HMM можно применять во многих областях, где целью является восстановление последовательности данных, которую нельзя наблюдать немедленно (но другие данные, зависящие от последовательности, можно). Приложения включают в себя:

• Вычислительные финансы
• Одномолекулярный кинетический анализ
• Нейронаука
• Криптоанализ
• Распознавание речи , включая Siri
• Синтез речи
• Маркировка частей речи
• Разделение документов в решениях для сканирования
• Машинный перевод
• Частичный разряд
• Генное предсказание
• Распознавание рукописного ввода
• Выравнивание биопоследовательностей
• Анализ временных рядов
• Признание активности
• Складывание белка
• Классификация последовательностей
• Обнаружение метаморфического вируса
• Открытие мотивов последовательности (ДНК и белки)
• Кинетика гибридизации ДНК
• хроматина Открытие состояния
• Прогнозирование перевозок
• солнечного излучения Изменчивость

История

Скрытые марковские модели были описаны в серии статистических статей Леонарда Э. Баума и других авторов во второй половине 1960-х годов. Одним из первых применений HMM было распознавание речи , начиная с середины 1970-х годов.

Во второй половине 1980-х годов СММ начали применять для анализа биологических последовательностей. в частности ДНК . С тех пор они стали повсеместными в области биоинформатики .

Расширения

Общегосударственные пространства

В рассмотренных выше скрытых марковских моделях пространство состояний скрытых переменных дискретно, а сами наблюдения могут быть либо дискретными (обычно генерируемыми из категориального распределения ), либо непрерывными (обычно из гауссова распределения ). Скрытые марковские модели также можно обобщить, чтобы обеспечить непрерывные пространства состояний. Примерами таких моделей являются модели, в которых марковский процесс над скрытыми переменными представляет собой линейную динамическую систему с линейной зависимостью между связанными переменными и где все скрытые и наблюдаемые переменные подчиняются гауссовскому распределению . В простых случаях, таких как только что упомянутая линейная динамическая система, возможен точный вывод (в данном случае с использованием фильтра Калмана ); однако, как правило, точный вывод в СММ с непрерывными скрытыми переменными невозможен, и необходимо использовать приближенные методы, такие как расширенный фильтр Калмана или фильтр частиц .

В настоящее время вывод в скрытых моделях Маркова выполняется в непараметрических настройках, где структура зависимостей позволяет идентифицировать модель. а пределы обучаемости все еще изучаются.

Байесовское моделирование вероятностей переходов

Скрытые марковские модели — это генеративные модели , в которых совместное распределение наблюдений и скрытых состояний или, что эквивалентно, как априорное распределение скрытых состояний ( вероятности перехода ), так и условное распределение наблюдений по заданным состояниям ( вероятности выбросов моделируется ). Вышеупомянутые алгоритмы неявно предполагают равномерное априорное распределение вероятностей перехода. Однако также возможно создавать скрытые марковские модели с другими типами априорных распределений. Очевидным кандидатом, учитывая категориальное распределение вероятностей перехода, является распределение Дирихле , которое является сопряженным априорным распределением категориального распределения. Обычно выбирается симметричное распределение Дирихле, отражающее незнание того, какие состояния по своей природе более вероятны, чем другие. Единственный параметр этого распределения (называемый параметром концентрации ) контролирует относительную плотность или разреженность результирующей матрицы перехода. Выбор 1 дает равномерное распределение. Значения больше 1 создают плотную матрицу, в которой вероятности перехода между парами состояний, вероятно, будут почти равны. Значения меньше 1 приводят к разреженной матрице, в которой для каждого данного исходного состояния только небольшое количество состояний назначения имеет непренебрежимо малые вероятности перехода. Также возможно использовать двухуровневое априорное распределение Дирихле, в котором одно распределение Дирихле (верхнее распределение) управляет параметрами другого распределения Дирихле (нижнее распределение), которое, в свою очередь, определяет вероятности перехода. Верхнее распределение управляет общим распределением состояний, определяя, насколько вероятно возникновение каждого состояния; его параметр концентрации определяет плотность или разреженность состояний. Такое двухуровневое априорное распределение, в котором оба параметра концентрации установлены для получения разреженных распределений, может быть полезно, например, в неконтролируемая маркировка частей речи , при которой некоторые части речи встречаются гораздо чаще, чем другие; Алгоритмы обучения, предполагающие равномерное априорное распределение, обычно плохо справляются с этой задачей. Параметры моделей такого типа с неравномерными априорными распределениями можно узнать с помощью выборки Гиббса или расширенных версий алгоритма максимизации ожидания .

Расширение ранее описанных скрытых моделей Маркова с помощью априорных значений Дирихле использует процесс Дирихле вместо распределения Дирихле. Этот тип модели допускает неизвестное и потенциально бесконечное количество состояний. Обычно используется двухуровневый процесс Дирихле, аналогичный ранее описанной модели с двумя уровнями распределений Дирихле. Такая модель называется скрытой марковской моделью иерархического процесса Дирихле , или HDP-HMM сокращенно . Первоначально она была описана под названием «Бесконечная скрытая марковская модель». и был дополнительно формализован в «Иерархических процессах Дирихле».

Дискриминационный подход

Другой тип расширения использует дискриминативную модель вместо генеративной модели стандартных HMM. Этот тип модели напрямую моделирует условное распределение скрытых состояний с учетом наблюдений, а не моделирует совместное распределение. Примером такой модели является так называемая модель Маркова с максимальной энтропией (MEMM), которая моделирует условное распределение состояний с помощью логистической регрессии (также известной как « модель максимальной энтропии »). Преимущество этого типа модели заключается в том, что можно моделировать произвольные характеристики (т.е. функции) наблюдений, что позволяет внедрить в модель специфичные для предметной области знания о рассматриваемой проблеме. Модели такого типа не ограничиваются моделированием прямых зависимостей между скрытым состоянием и связанным с ним наблюдением; скорее, особенности близлежащих наблюдений, комбинаций связанных наблюдений и близлежащих наблюдений или фактически произвольных наблюдений на любом расстоянии от данного скрытого состояния могут быть включены в процесс, используемый для определения значения скрытого состояния. Более того, нет необходимости использовать эти функции. статистически независимы друг от друга, как это было бы, если бы такие признаки использовались в генеративной модели. Наконец, вместо простых вероятностей перехода можно использовать произвольные функции над парами соседних скрытых состояний. Недостатками таких моделей являются: (1) Типы априорных распределений, которые можно поместить в скрытые состояния, сильно ограничены; (2) Невозможно предсказать вероятность увидеть произвольное наблюдение. Это второе ограничение часто не является проблемой на практике, поскольку многие распространенные применения HMM не требуют таких прогнозируемых вероятностей.

Вариантом ранее описанной дискриминативной модели является линейно-цепное условное случайное поле . При этом используется неориентированная графическая модель (также известная как марковское случайное поле ), а не направленные графические модели MEMM и подобных моделей. Преимущество модели этого типа заключается в том, что она не страдает от так называемой проблемы смещения меток, характерной для MEMM, и, таким образом, может делать более точные прогнозы. Недостатком является то, что обучение может быть медленнее, чем у MEMM.

Другие расширения

Еще одним вариантом является факториальная скрытая марковская модель , которая позволяет обусловить одно наблюдение соответствующими скрытыми переменными набора $K$ независимые цепи Маркова, а не одна цепь Маркова. Это эквивалентно одному HMM, с $N^{K}$ государства (при условии, что существуют $N$ состояний для каждой цепочки), поэтому обучение в такой модели затруднено: для последовательности длины $T$, простой алгоритм Витерби имеет сложность $O(N^{2K}\,T)$. Чтобы найти точное решение, можно использовать алгоритм дерева соединений, но это приводит к $O(N^{K+1}\,K\,T)$ сложность. На практике можно использовать приближенные методы, такие как вариационные подходы.

Все вышеперечисленные модели могут быть расширены, чтобы обеспечить более отдаленные зависимости между скрытыми состояниями, например, позволяя данному состоянию зависеть от двух или трех предыдущих состояний, а не от одного предыдущего состояния; т.е. вероятности перехода расширяются, чтобы охватить наборы из трех или четырех соседних состояний (или, вообще говоря, $K$ соседние государства). Недостатком таких моделей является то, что алгоритмы динамического программирования для их обучения имеют $O(N^{K}\,T)$ время работы, за $K$ соседние государства и $T$ общее количество наблюдений (т.е. $T$ цепь Маркова). Это расширение широко использовалось в биоинформатике , при моделировании последовательностей ДНК .

Еще одним недавним расширением является триплетная марковская модель . в котором добавляется вспомогательный базовый процесс для моделирования некоторых особенностей данных. Было предложено множество вариантов этой модели. Следует также упомянуть об интересной связи, которая установлена ​​между теорией доказательств и тройными марковскими моделями. и который позволяет объединять данные в марковском контексте и моделировать нестационарные данные. Обратите внимание, что в недавней литературе также были предложены альтернативные стратегии объединения многопоточных данных, например

Наконец, в 2012 году было предложено другое обоснование решения проблемы моделирования нестационарных данных с помощью скрытых моделей Маркова. Он заключается в использовании небольшой рекуррентной нейронной сети (RNN), в частности сети резервуаров. чтобы уловить эволюцию временной динамики в наблюдаемых данных. Эта информация, закодированная в форме многомерного вектора, используется в качестве обуславливающей переменной вероятностей перехода состояний HMM. При такой настройке мы в конечном итоге получаем нестационарную СММ, вероятности перехода которой меняются со временем таким образом, который выводится из самих данных, в отличие от некоторой нереалистичной специальной модели временной эволюции.

В 2023 году для скрытой марковской модели были представлены два инновационных алгоритма. Эти алгоритмы позволяют вычислить апостериорное распределение HMM без необходимости явного моделирования совместного распределения, используя только условные распределения. В отличие от традиционных методов, таких как алгоритмы «Вперед-назад» и «Витерби», которые требуют знания совместного закона HMM и могут потребовать больших вычислительных ресурсов для изучения, алгоритмы «Дискриминативный вперед-назад» и «Дискриминативный Витерби» обходят необходимость в законе наблюдения. Этот прорыв позволяет применять СММ в качестве дискриминационной модели, предлагая более эффективный и универсальный подход к использованию скрытых марковских моделей в различных приложениях.

Модель, подходящая для продольных данных, называется скрытой моделью Маркова. Базовая версия этой модели была расширена и теперь включает отдельные ковариаты, случайные эффекты и моделирует более сложные структуры данных, такие как многоуровневые данные. Полный обзор скрытых моделей Маркова с особым вниманием к предположениям модели и их практическому использованию представлен в

Теория меры

См. также: Подсдвиг конечного типа.

Скрытая часть скрытой марковской модели, наблюдаемые состояния которой немарковские.

Учитывая матрицу марковского перехода и инвариантное распределение состояний, мы можем наложить вероятностную меру на набор подсдвигов. Например, рассмотрим цепь Маркова, приведенную слева для состояний $A,B_{1},B_{2}$, с инвариантным распределением $\pi =(2/7,4/7,1/7)$. Если мы «забудем» различие между $B_{1},B_{2}$, проецируем это пространство подсдвигов на $A,B_{1},B_{2}$ в другое пространство подсдвигов на $A,B$, и эта проекция также проецирует вероятностную меру до вероятностной меры на подсдвигах на $A,B$.

Любопытно то, что вероятностная мера подсдвигов на $A,B$ не создается цепью Маркова на $A,B$, даже не несколько заказов. Интуитивно это происходит потому, что если наблюдать длинную последовательность $B^{n}$, то можно было бы все больше убеждаться в том, что $Pr(A|B^{n})\to {\frac {2}{3}}$Это означает, что на наблюдаемую часть системы может бесконечно влиять что-то в прошлом.

И наоборот, существует пространство подсдвигов на 6 символов, проецируемых на подсдвиги на 2 символа, такое, что любая марковская мера на меньшем подсдвиге имеет меру прообраза, не являющуюся марковской ни одного порядка (пример 2.6). ).

См. также

• Andrey Markov
• Алгоритм Баума – Уэлча
• Байесовский вывод
• Байесовское программирование
• Ричард Джеймс Бойз
• Условное случайное поле
• Теория оценки
• HHpred / HHsearch бесплатный сервер и программное обеспечение для поиска последовательностей белков
• HMMER , бесплатная программа скрытых марковских моделей для анализа последовательностей белков.
• Скрытая модель Бернулли
• Скрытая полумарковская модель
• Иерархическая скрытая марковская модель
• Многослойная скрытая марковская модель
• Последовательная динамическая система
• Стохастическая контекстно-свободная грамматика
• временных рядов Анализ
• Марковская модель переменного порядка
• Алгоритм Витерби

Внешние ссылки

Концепции

• Тейф, В.Б.; Риппе, К. (2010). «Статистически-механические решетчатые модели связывания белка с ДНК в хроматине». J. Phys.: Condens. Иметь значение . 22 (41): 414105. arXiv : 1004.5514 . Бибкод : 2010JPCM...22O4105T . дои : 10.1088/0953-8984/22/41/414105 . ПМИД   21386588 . S2CID   103345 .
• Показательное введение в скрытые марковские модели , Марк Стэмп, Государственный университет Сан-Хосе.
• Соответствие HMM максимизации ожиданий - полный вывод
• Пошаговое руководство по HMM. Архивировано 13 августа 2017 г. в Wayback Machine (Университет Лидса).
• Скрытые марковские модели (экспозиция с использованием базовой математики)
• Скрытые марковские модели (Нарада Варакагода)
• Скрытые марковские модели: основы и приложения Часть 1 , Часть 2 (В. Петрушин)
• Лекция Джейсона Эйснера об электронной таблице, Видео и интерактивная таблица