Процесс обновления Маркова

Марковские процессы восстановления — класс случайных процессов по вероятности и статистике, обобщающий класс марковских скачкообразных процессов . Другие классы случайных процессов, такие как цепи Маркова и процессы Пуассона , могут быть выведены как частные случаи среди класса процессов восстановления Маркова, тогда как процессы восстановления Маркова являются особыми случаями среди более общего класса процессов восстановления .

Определение

В контексте процесса перехода, который принимает состояния в пространстве состояний. $\mathrm {S}$ , рассмотрим набор случайных величин $(X_{n},T_{n})$ , где $T_{n}$ представляет время прыжка и $X_{n}$ представляет связанные состояния в последовательности состояний (см. рисунок). Пусть последовательность времен прибытия $\tau _{n}=T_{n}-T_{n-1}$ . Чтобы последовательность $(X_{n},T_{n})$ Чтобы считаться процессом восстановления Маркова, должно выполняться следующее условие:

${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}$

Связь с другими случайными процессами

Позволять $X_{n}$ и $T_{n}$ быть таким, как определено в предыдущем утверждении. Определение нового случайного процесса $Y_{t}:=X_{n}$ для $t\in [T_{n},T_{n+1})$ , то процесс $Y_{t}$ называется полумарковским процессом, поскольку это происходит в цепи Маркова с непрерывным временем . Процесс является марковским только в указанные моменты скачка, что оправдывает название полумарковского . ^[1]^[2]^[3] (См. также: скрытая полумарковская модель .)
Полумарковский процесс (определенный в пункте выше), в котором все времена удержания распределены экспоненциально, называется цепью Маркова с непрерывным временем . Другими словами, если время между прибытиями распределено экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, мы имеем цепь Маркова с непрерывным временем.
${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}$
Последовательность $X_{n}$ в процессе восстановления Маркова представляет собой с дискретным временем цепь Маркова . Другими словами, если временные переменные игнорируются в уравнении процесса восстановления Маркова, мы получаем цепь Маркова с дискретным временем .
$\Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S}$
Если последовательность $\tau$ s независимы и одинаково распределены, и если их распределение не зависит от состояния $X_{n}$ , то процесс является обновлением . Итак, если состояния игнорируются и у нас есть цепочка ид времен, то мы имеем процесс обновления.
$\Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0$

См. также

Ссылки

^ Медхи, Дж. (1982). Случайные процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4 .
^ Росс, Шелдон М. (1999). Случайные процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9 .
^ Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели на пути к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1 .

[1] Медхи, Дж. (1982). Случайные процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4 .

[2] Росс, Шелдон М. (1999). Случайные процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9 .

[3] Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели на пути к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1 .

[1]

[2]

[3]