Цепи Маркова на измеримом пространстве состояний

Цепь Маркова на измеримом пространстве состояний — это однородная в дискретном времени цепь Маркова с измеримым пространством в качестве пространства состояний.

История

Определение цепей Маркова изменилось в течение 20 века. В 1953 году термин «цепь Маркова» использовался для обозначения случайных процессов с дискретным или непрерывным набором индексов, живущих в счетном или конечном пространстве состояний, см. Дуб. или Чунг. С конца 20-го века стало более популярным рассматривать цепь Маркова как случайный процесс с дискретным набором индексов, существующий в измеримом пространстве состояний.

Определение

Обозначим через $(E,\Sigma )$ измеримое пространство и с $p$ ядро Маркова с исходным кодом и целью $(E,\Sigma )$.Случайный процесс $(X_{n})_{n\in \mathbb {N} }$ на $(\Omega ,{\mathcal {F}},\mathbb {P} )$ называется однородной по времени цепью Маркова с ядром Маркова $p$ и начать раздачу $\mu$ если

$\mathbb {P} [X_{0}\in A_{0},X_{1}\in A_{1},\dots ,X_{n}\in A_{n}]=\int _{A_{0}}\dots \int _{A_{n-1}}p(y_{n-1},A_{n})\,p(y_{n-2},dy_{n-1})\dots p(y_{0},dy_{1})\,\mu (dy_{0})$

удовлетворен любым $n\in \mathbb {N} ,\,A_{0},\dots ,A_{n}\in \Sigma$. Для любого ядра Маркова и любой вероятностной меры можно построить соответствующую цепь Маркова.

Замечание об интеграции ядра Маркова

По любой мере $\mu \colon \Sigma \to [0,\infty ]$ мы обозначаем для $\mu$-интегрируемая функция $f\colon E\to \mathbb {R} \cup \{\infty ,-\infty \}$ Лебега интеграл как $\int _{E}f(x)\,\mu (dx)$. Для меры $\nu _{x}\colon \Sigma \to [0,\infty ]$ определяется $\nu _{x}(A):=p(x,A)$ мы использовали следующие обозначения:

$\int _{E}f(y)\,p(x,dy):=\int _{E}f(y)\,\nu _{x}(dy).$

Основные свойства

Начиная с одной точки

Если $\mu$ является мерой Дирака в $x$, обозначим для марковского ядра $p$ с началом раздачи $\mu$ связанная цепь Маркова как $(X_{n})_{n\in \mathbb {N} }$ на $(\Omega ,{\mathcal {F}},\mathbb {P} _{x})$ и математическое ожидание

$\mathbb {E} _{x}[X]=\int _{\Omega }X(\omega )\,\mathbb {P} _{x}(d\omega )$

для $\mathbb {P} _{x}$-интегрируемая функция $X$. По определению мы имеем тогда $\mathbb {P} _{x}[X_{0}=x]=1$.

Имеем для любой измеримой функции $f\colon E\to [0,\infty ]$ следующее соотношение:

$\int _{E}f(y)\,p(x,dy)=\mathbb {E} _{x}[f(X_{1})].$

Семейство марковских ядер

Для ядра Маркова $p$ с началом раздачи $\mu$ можно ввести семейство марковских ядер $(p_{n})_{n\in \mathbb {N} }$ к

$p_{n+1}(x,A):=\int _{E}p_{n}(y,A)\,p(x,dy)$

для $n\in \mathbb {N} ,\,n\geq 1$ и $p_{1}:=p$. Для связанной цепи Маркова $(X_{n})_{n\in \mathbb {N} }$ в соответствии с $p$ и $\mu$ получается

$\mathbb {P} [X_{0}\in A,\,X_{n}\in B]=\int _{A}p_{n}(x,B)\,\mu (dx)$.

Стационарная мера

Вероятностная мера $\mu$ называется стационарной мерой ядра Маркова $p$ если

$\int _{A}\mu (dx)=\int _{E}p(x,A)\,\mu (dx)$

справедливо для любого $A\in \Sigma$. Если $(X_{n})_{n\in \mathbb {N} }$ на $(\Omega ,{\mathcal {F}},\mathbb {P} )$обозначает цепь Маркова согласно ядру Маркова $p$ со стационарной мерой $\mu$и распределение $X_{0}$ является $\mu$, тогда все $X_{n}$имеют одинаковое распределение вероятностей, а именно:

$\mathbb {P} [X_{n}\in A]=\mu (A)$

для любого $A\in \Sigma$.

обратимость

Марковское ядро $p$ называется обратимым по вероятностной мере $\mu$ если

$\int _{A}p(x,B)\,\mu (dx)=\int _{B}p(x,A)\,\mu (dx)$

справедливо для любого $A,B\in \Sigma$.Замена $A=E$ показывает, что если $p$ является обратимым согласно $\mu$, затем $\mu$ должна быть стационарной мерой $p$.

См. также

• Сеть Харрис
• Подсдвиг конечного типа