критерий Колмогорова

Эта статья о критерии Колмогорова при исследовании цепей Маркова. О критерии Колмогорова при изучении норм топологических векторных пространств см. Критерий нормируемости Колмогорова .

В вероятностей теории критерий Колмогорова , названный в честь Андрея Колмогорова , представляет собой теорему, дающую необходимое и достаточное условие для того, чтобы цепь Маркова или цепь Маркова с непрерывным временем была стохастически идентична своей версии, обращенной во времени.

Цепи Маркова с дискретным временем

Теорема утверждает, что неприводимая положительно рекуррентная апериодическая цепь Маркова с матрицей перехода P обратима условию тогда и только тогда, когда ее стационарная цепь Маркова удовлетворяет

$p_{j_{1}j_{2}}p_{j_{2}j_{3}}\cdots p_{j_{n-1}j_{n}}p_{j_{n}j_{1}}=p_{j_{1}j_{n}}p_{j_{n}j_{n-1}}\cdots p_{j_{3}j_{2}}p_{j_{2}j_{1}}$

для всех конечных последовательностей состояний

$j_{1},j_{2},\ldots ,j_{n}\in S.$

Здесь p _ij — компоненты матрицы перехода P , а S — пространство состояний цепи.

То есть цепочка умножения в любом цикле одинакова как вперед, так и назад.

Пример

Рассмотрим этот рисунок, изображающий участок цепи Маркова с состояниями i , j , k и l и соответствующими вероятностями перехода. Здесь критерий Колмогорова подразумевает, что произведение вероятностей при прохождении через любой замкнутый контур должно быть равным, поэтому произведение по петле от i до j от l до k, возвращающейся в i, должно быть равно петле наоборот,

$p_{ij}p_{jl}p_{lk}p_{ki}=p_{ik}p_{kl}p_{lj}p_{ji}.$

Доказательство

Позволять $X$ — цепь Маркова и обозначим через $\pi$ ее стационарное распределение (такое существует, поскольку цепь положительно рекуррентна).

Если цепь обратима, то равенство следует из соотношения $p_{ji}={\frac {\pi _{i}p_{ij}}{\pi _{j}}}$.

Теперь предположим, что равенство выполнено. Исправить состояния $s$ и $t$. Затем

${\text{P}}(X_{n+1}=t,X_{n}=i_{n},\ldots ,X_{0}=s|X_{0}=s)$$=p_{si_{1}}p_{i_{1}i_{2}}\cdots p_{i_{n}t}$$={\frac {p_{st}}{p_{ts}}}p_{ti_{n}}p_{i_{n}i_{n-1}}\cdots p_{i_{1}s}$$={\frac {p_{st}}{p_{ts}}}{\text{P}}(X_{n+1}$$=s,X_{n}$$=i_{1},\ldots ,X_{0}=t|X_{0}=t)$.

Теперь просуммируйте обе части последнего равенства для всех возможных упорядоченных вариантов выбора. $n$ государства $i_{1},i_{2},\ldots ,i_{n}$. Таким образом мы получаем $p_{st}^{(n)}={\frac {p_{st}}{p_{ts}}}p_{ts}^{(n)}$ так ${\frac {p_{st}^{(n)}}{p_{ts}^{(n)}}}={\frac {p_{st}}{p_{ts}}}$. Отправлять $n$ к $\infty$ с левой стороны последнего. Из свойств цепочки следует, что $\lim _{n\to \infty }p_{ij}^{(n)}=\pi _{j}$, следовательно ${\frac {\pi _{t}}{\pi _{s}}}={\frac {p_{st}}{p_{ts}}}$ что показывает, что цепь обратима.

Цепи Маркова с непрерывным временем

Теорема утверждает, что цепь Маркова с непрерывным временем и матрицей скорости перехода Q при любом инвариантном векторе вероятности обратима тогда и только тогда, когда ее вероятности перехода удовлетворяют

$q_{j_{1}j_{2}}q_{j_{2}j_{3}}\cdots q_{j_{n-1}j_{n}}q_{j_{n}j_{1}}=q_{j_{1}j_{n}}q_{j_{n}j_{n-1}}\cdots q_{j_{3}j_{2}}q_{j_{2}j_{1}}$

для всех конечных последовательностей состояний

$j_{1},j_{2},\ldots ,j_{n}\in S.$

Доказательство для цепей Маркова с непрерывным временем проводится так же, как доказательство для цепей Маркова с дискретным временем.