Стохастическая матрица

В математике стохастическая матрица - это квадратная матрица, используемая для описания переходов цепи марковки . Каждый из его записей представляет собой неотрицательное реальное число, представляющее вероятность . ^{[ 1 ]}^{[ 2 ]}^: 10 Он также называется матрицей вероятности , переходной матрицы , матрицы замещения или матрицы Маркова . Стохастическая матрица была впервые разработана Андрей Марковым в начале 20 -го века и обнаружила использование в широком спектре научных областей, включая теорию вероятностей , статистику, математические финансы и линейную алгебру , а также компьютерную науку и генетику популяции . Есть несколько разных определений и типов стохастических матриц:

Правая стохастическая матрица - это квадратная матрица неотрицательных реальных чисел, причем каждая строка суммирует до 1.

Левая стохастическая матрица - это квадратная матрица неотрицательных реальных чисел, причем каждая столбца суммирует до 1.

Двойной стохастической матрицы - это квадратная матрица неотрицательных реальных чисел с каждым строкой и суммированием столбца до 1.

В том же духе можно определить вектор вероятности как вектор , элементы которых являются неотрицательными реальными числами, которые суммируют 1. Таким образом, каждая строка правой стохастической матрицы (или столбец левой стохастической матрицы) является вектором вероятности. Правые стохастические матрицы действуют на векторы строк вероятностей путем умножения с правой, а левые стохастические матрицы действуют на столбцы векторов вероятностей путем умножения слева. Эта статья следует за бывшей конвенцией. Кроме того, поднохастическая матрица - это настоящая квадратная матрица, сумма строк, все это $\leq 1.$

История

Стохастическая матрица была разработана вместе с цепочкой Маркова Андрея Маркова , российского математика и профессора Санкт -Петербургского университета , который впервые опубликовал по этой теме в 1906 году. ^{[ 3 ]} Его первоначальные предполагаемые применения были для лингвистического анализа и других математических субъектов, таких как перетасовка карт , но как цепочки Маркова, так и матрицы быстро обнаружили в других областях. ^{[ 3 ]}^{[ 4 ]}

Стохастические матрицы были дополнительно разработаны учеными, такими как Андрей Колмогоров , которые расширили свои возможности, позволяя непрерывному времени марковским процессам. ^{[ 5 ]} К 1950 -м годам в области эконометрики появились статьи с использованием стохастических матриц. ^{[ 6 ]} и теория схемы . ^{[ 7 ]} В 1960 -х годах стохастические матрицы появились в еще более широком спектре научных работ, из поведенческой науки ^{[ 8 ]} к геологии ^{[ 9 ]}^{[ 10 ]} для жилого планирования . ^{[ 11 ]} Кроме того, в течение этих десятилетий также было проведено много математических работ, чтобы улучшить диапазон использования и функциональность стохастической матрицы и марковских процессов в целом.

С 1970 -х до настоящего времени стохастические матрицы нашли применение почти во всех областях, которые требуют формального анализа, из структурной науки ^{[ 12 ]} к медицинскому диагнозу ^{[ 13 ]} управлению персоналом . ^{[ 14 ]} Кроме того, стохастические матрицы обнаружили широкое использование в моделировании изменения земли , обычно в рамках термина матрицы Маркова. ^{[ 15 ]}

Определение и свойства

Стохастическая матрица описывает цепь марковки $x T$ над конечным пространством $состояния$ с кардинальностью $α$ .

Если вероятность перемещения от $i$ к $J$ за один временный шаг $-pr (j | i) = p i, j$ , стохастическая матрица $P$ определяется с помощью $P i, j$ в качестве $i$ -row и $j$ -stumb element Например,

P=\left[{\begin{matrix}P_{1,1}&P_{1,2}&\dots &P_{1,j}&\dots &P_{1,\alpha }\\P_{2,1}&P_{2,2}&\dots &P_{2,j}&\dots &P_{2,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{i,1}&P_{i,2}&\dots &P_{i,j}&\dots &P_{i,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{\alpha ,1}&P_{\alpha ,2}&\dots &P_{\alpha ,j}&\dots &P_{\alpha ,\alpha }\\\end{matrix}}\right].

Поскольку общая вероятность перехода от состояния $I$ на все остальные государства должна быть 1,

\sum _{j=1}^{\alpha }P_{i,j}=1;\,

Таким образом, эта матрица является правой стохастической матрицей.

Приведенная выше элементная сумма в каждой строке $I$ может $P -P$ быть более кратко написана как $p 1 = 1$ , где $1$ -вектор $-димерный$ столбец всех. Используя это, видно, что произведение двух правых стохастических матриц $P'$ и $P' '$ также является правым стохастическим: $P' P' ' 1 = P' (P' ' 1) = P' 1 = 1$ . В общем, $k$ -й мощность $P k$ правой стохастической матрицы $P$ также является правой стохастикой. Вероятность перехода от $i$ на $J$ в два шага затем определяется $(i, j)$ - -я элемент квадрата $P$ :

\left(P^{2}\right)_{i,j}.

В целом, вероятность перехода перехода от любого штата в другое государство в конечной цепи Маркова, заданном матрицей $P$ в $шагах k$ , определяется с помощью $p k$ .

Первоначальное распределение вероятностей состояний, указывающее, где система может быть изначально и с теми вероятностями, дано как вектор строки .

Стационарный ; вектор вероятности $π$ определяется как распределение, написанное как вектор строки, который не изменяется при применении матрицы перехода то есть он определяется как распределение вероятностей на наборе ${1,\dots, n}$ , которое также является собственным вектором строки матрицы вероятности, связанной с собственной значением 1:

{\boldsymbol {\pi }}P={\boldsymbol {\pi }}.

Можно показать, что спектральный радиус любой стохастической матрицы один. По теореме Гершгорина круга , все собственные значения стохастической матрицы имеют абсолютные значения меньше или равны одним. Кроме того, каждая правая стохастическая матрица имеет «очевидный» собственный вектор колонны, связанный с собственным значением 1: вектор $1,$ используемый выше, чьи координаты равны 1. Как и влево и правые собственные значения квадратной матрицы одинаковы, каждая стохастическая матрица имеет ряд , по крайней мере, собственный вектор , связанный с собственным значением 1, и наибольшее абсолютное значение всех его собственных значений также является 1. Наконец, теорема с фиксированной точкой Брауэр (применяемая к компактному выпуклому набору всех распределений вероятностей конечного набора ${1,\dots, n}$ ), подразумевает, что есть некоторые левые собственные вектор, который также является стационарным вектором.

С другой стороны, теорема Перрона -Форбениуса также гарантирует, что каждая неповожденная стохастическая матрица имеет такой стационарный вектор, и что наибольшее абсолютное значение собственного значения всегда 1. не быть неприводимым.

В целом, может быть несколько таких векторов. Тем не менее, для матрицы со строго положительными записями (или, в более общем плане, для непонижаемой апериодической стохастической матрицы) этот вектор уникален и может быть рассчитан, наблюдая, что для любого $I$ у нас есть следующий предел,

\lim _{k\rightarrow \infty }\left(P^{k}\right)_{i,j}={\boldsymbol {\pi }}_{j},

где $π j -j$ элемент $-один$ вектора строки $π$ . Среди прочего, это говорит о том, что долгосрочная вероятность пребывания в штате $J$ не зависит от начального состояния $i$ . То, что оба этих вычисления дают один и тот же стационарный вектор, является формой эргодической теоремы , которая, как правило, верна в широком спектре диссипативных динамических систем : система со временем развивается до стационарного состояния .

Интуитивно, стохастическая матрица представляет собой цепь Маркова; Применение стохастической матрицы к вероятностному распределению перераспределяет массу вероятности исходного распределения при сохранении ее общей массы. Если этот процесс применяется неоднократно, распределение сходится к стационарному распределению для цепи Маркова. ^{[ 2 ]}^: 14–17^{[ 16 ]}^: 116

Стохастические матрицы и их продукт образуют категорию , которая является как подкатегорией категории матриц, так и категории ядра Маркова .

Пример: кошка и мышь

Предположим, есть таймер и ряд из пяти соседних коробок. В моменты ноль, кошка находится в первой коробке, а мышь находится в пятой коробке. Кошка и мышь оба прыгают в случайную соседнюю коробку при достижении таймера. Например, если кошка находится во второй коробке, а мышь находится в четвертом, вероятность того, что кошка будет в первой коробке , а мышь в пятом после достижения таймера - одна четвертая. Если кошка находится в первой коробке, а мышь находится в пятом, вероятность того, что кошка будет во второй коробке, а мышь будет в четвертой коробке после того, как достижение таймера - один. Кошка ест мышь, если оба оказываются в одной и той же коробке, в это время игра заканчивается. Пусть случайная переменная k будет тем время, когда мышь остается в игре.

Цепочка Маркова , которая представляет эту игру, содержит следующие пять состояний, указанных в комбинации позиций (Cat, мышь). Обратите внимание, что, хотя наивное перечисление государств будет перечислять 25 состояний, многие из них невозможно, потому что у мыши никогда не будет более низкого индекса, чем у кошки (так как это означало бы, что мышь занимала коробку кошки и выжила, чтобы пройти мимо него), или потому что Сумма двух индексов всегда будет иметь даже паритет . Кроме того, 3 возможных состояния, которые приводят к смерти мыши, объединены в одно:

Государство 1: (1,3)
Государство 2: (1,5)
Государство 3: (2,4)
Государство 4: (3,5)
Штат 5: игра над: (2,2), (3,3) и (4,4).

Мы используем стохастическую матрицу, $P$ (ниже), чтобы представлять вероятности перехода этой системы (строки и столбцы в этой матрице индексируются возможными состояниями, перечисленными выше, с состоянием предварительной трансляции в качестве строки и состояния после трансляции в качестве столбца). Например, начиная с состояния 1 - 1 -го ряда - система не может оставаться в этом состоянии, поэтому $P_{11}=0$ ; Система также не может перейти к состоянию 2 - потому что кошка осталась бы в одной и той же коробке - поэтому $P_{12}=0$ и с аналогичным аргументом для мыши, $P_{14}=0$ Полем Переходы к состояниям 3 или 5 допускаются, и, таким образом, $P_{13},P_{15}\neq 0$ .

P={\begin{bmatrix}0&0&1/2&0&1/2\\0&0&1&0&0\\1/4&1/4&0&1/4&1/4\\0&0&1/2&0&1/2\\0&0&0&0&1\end{bmatrix}}.

Долгосрочные средние значения

Независимо от того, какое начальное состояние, кошка в конечном итоге поймает мышь (с вероятностью 1), и, стационарное состояние π как к ограничению, приближается = (0,0,0,0,1). Для вычисления долгосрочного среднего или ожидаемого значения стохастической переменной $Y$ , для каждого государства $S_{j}$ и время $t_{k}$ Есть вклад $Y_{j,k}\cdot P(S=S_{j},t=t_{k})$ Полем Выживание можно рассматривать как двоичную переменную с $Y=1$ для выжившего состояния и $Y=0$ для прекращенного состояния. Государства с $Y=0$ Не способствуйте долгосрочному среднему.

Представление типа фазового типа

Функция выживания мыши. Мышь выживет, по крайней мере, в первый раз.

Поскольку состояние 5 является поглощающим состоянием, распределение времени до абсорбции является дискретным распределением типа фазового типа . Предположим, система начинается в состоянии 2, представленной вектором $[0,1,0,0,0]$ Полем Государства, где мыши погибли, не способствуют среднему выживанию, поэтому государство пять можно игнорировать. Первоначальная матрица состояния и перехода может быть уменьшена до,

{\boldsymbol {\tau }}=[0,1,0,0],\qquad T={\begin{bmatrix}0&0&{\frac {1}{2}}&0\\0&0&1&0\\{\frac {1}{4}}&{\frac {1}{4}}&0&{\frac {1}{4}}\\0&0&{\frac {1}{2}}&0\end{bmatrix}},

и

(I-T)^{-1}{\boldsymbol {1}}={\begin{bmatrix}2.75\\4.5\\3.5\\2.75\end{bmatrix}},

где $I$ это матрица личности , и $\mathbf {1}$ представляет матрицу столбца всех, кто действует как сумма над состояниями.

Поскольку каждое государство занято в течение одного этапа времени, ожидаемое время выживания мыши является лишь суммой вероятности занятий во всех выживших штатах и шагах во времени,

E[K]={\boldsymbol {\tau }}\left(I+T+T^{2}+\cdots \right){\boldsymbol {1}}={\boldsymbol {\tau }}(I-T)^{-1}{\boldsymbol {1}}=4.5.

Моменты более высокого порядка даются

E[K(K-1)\dots (K-n+1)]=n!{\boldsymbol {\tau }}(I-{T})^{-n}{T}^{n-1}\mathbf {1} \,.

Смотрите также

Матрица плотности
Ядра Маркова , эквивалент стохастической матрицы над непрерывным пространством состояния
Матрица разница в уравнении
Модели эволюции ДНК
Неравенство Мьюрхеда
Вероятностный автомат
Матрица скорости перехода , используемая для обобщения стохастической матрицы в непрерывное время

Ссылки

^ Асмуссен С.Р. (2003). «Цепочки Маркова». Применяемая вероятность и очереди . Стохастическое моделирование и применение вероятности. Тол. 51. С. 3–8. doi : 10.1007/0-387-21525-5_1 . ISBN 978-0-387-00211-8 .
^ Jump up to: ^а ^{беременный} Лоулер, Грегори Ф. (2006). Введение в стохастические процессы (2 -е изд.). CRC Press. ISBN 1-58488-651-х .
^ Jump up to: ^а ^{беременный} Хейс, Брайан (2013). «Первые ссылки в цепи Маркова». Американский ученый . 101 (2): 92–96. doi : 10.1511/2013.101.92 .
^ Чарльз Миллер Гринстед; Джеймс Лори Снелл (1997). Введение в вероятность. Американская математическая соц. С. 464–466. ISBN 978-0-8218-0749-1 .
^ Кендалл, DG; BATCHELOR, GK; Бингхэм, NH; Хейман, WK; Хайленд, JME; Лоренц, GG; Моффат, HK; Parry, W.; Разбоев, Аа; Робинсон, Калифорния; Уиттл, П. (1990). «Андрей Николаевич Колмогоров (1903–1987)». Бюллетень Лондонского математического общества . 22 (1): 33. DOI : 10.1112/BLMS/22.1.31 .
^ Солоу, Роберт (1 января 1952 г.). «О структуре линейных моделей». Econcemetrica . 20 (1): 29–46. doi : 10.2307/1907805 . JSTOR 1907805 .
^ Ситтлер Р. (1 декабря 1956 г.). «Системный анализ дискретных процессов Маркова». IRE Transactions по теории схемы . 3 (4): 257–266. doi : 10.1109/tct.1956.1086324 . ISSN 0096-2007 .
^ Эванс, Селби (1 июля 1967 г.). «Варгус 7: Вычисленные шаблоны из процессов Маркова». Поведенческая наука . 12 (4): 323–328. doi : 10.1002/bs.3830120407 . ISSN 1099-1743 .
^ Gingerich, PD (1 января 1969 г.). «Анализ марковских циклических аллювиальных отложений». Журнал осадочных исследований . 39 (1): 330–332. Bibcode : 1969jsedr..39..330G . doi : 10.1306/74D71C4E-2B21-11D7-8648000102C1865D . ISSN 1527-1404 .
^ Крумбейн, WC; Дейси, Майкл Ф. (1 марта 1969 г.). «Цепочки Маркова и встроенные марковские сети в геологии». Журнал Международной ассоциации математической геологии . 1 (1): 79–96. doi : 10.1007/bf02047072 . ISSN 0020-5958 .
^ Вулф, Гарри Б. (1 мая 1967 г.). «Модели для кондиционирования старения жилых сооружений». Журнал Американского института планировщиков . 33 (3): 192–196. doi : 10.1080/01944366708977915 . ISSN 0002-8991 .
^ Кренк С. (ноябрь 1989). «Матрица Маркова для моделирования усталости и оценки диапазона Rainflow». Структурная безопасность . 6 (2–4): 247–258. doi : 10.1016/0167-4730 (89) 90025-8 .
^ Бек, Дж. Роберт; Паукер, Стивен Г. (1 декабря 1983 г.). «Процесс Маркова в медицинском прогнозе». Медицинское принятие решений . 3 (4): 419–458. doi : 10.1177/0272989x8300300403 . ISSN 0272-989X . PMID 6668990 .
^ Гетц, Гленн А.; Макколл, Джон Дж. (1 марта 1983 г.). «Последовательный анализ решения о пребывании/отъезде: офицеры ВВС США». Управление наукой . 29 (3): 335–351. doi : 10.1287/mnsc.29.3.335 . ISSN 0025-1909 .
^ Камусоко, мужество; Ания, Масаму; Ади, Бонго; Манджоро, Муньярадзи (1 июля 2009 г.). «Устойчивость в сельской местности под угрозой в Зимбабве-моделирование будущих изменений землепользования/покрытия в районе Биндура на основе модели автоматов марковки-клетки». Прикладная география . 29 (3): 435–447. doi : 10.1016/j.apgeog.2008.10.002 .
^ Кардар, Мехран (2007). Статистическая физика полей . Издательство Кембриджского университета . ISBN 978-0-521-87341-3 Полем OCLC 920137477 .

[1] Асмуссен С.Р. (2003). «Цепочки Маркова». Применяемая вероятность и очереди . Стохастическое моделирование и применение вероятности. Тол. 51. С. 3–8. doi : 10.1007/0-387-21525-5_1 . ISBN 978-0-387-00211-8 .

[:1-2] Jump up to: ^а ^{беременный} Лоулер, Грегори Ф. (2006). Введение в стохастические процессы (2 -е изд.). CRC Press. ISBN 1-58488-651-х .

[:0-3] Jump up to: ^а ^{беременный} Хейс, Брайан (2013). «Первые ссылки в цепи Маркова». Американский ученый . 101 (2): 92–96. doi : 10.1511/2013.101.92 .

[4] Чарльз Миллер Гринстед; Джеймс Лори Снелл (1997). Введение в вероятность. Американская математическая соц. С. 464–466. ISBN 978-0-8218-0749-1 .

[5] Кендалл, DG; BATCHELOR, GK; Бингхэм, NH; Хейман, WK; Хайленд, JME; Лоренц, GG; Моффат, HK; Parry, W.; Разбоев, Аа; Робинсон, Калифорния; Уиттл, П. (1990). «Андрей Николаевич Колмогоров (1903–1987)». Бюллетень Лондонского математического общества . 22 (1): 33. DOI : 10.1112/BLMS/22.1.31 .

[6] Солоу, Роберт (1 января 1952 г.). «О структуре линейных моделей». Econcemetrica . 20 (1): 29–46. doi : 10.2307/1907805 . JSTOR 1907805 .

[7] Ситтлер Р. (1 декабря 1956 г.). «Системный анализ дискретных процессов Маркова». IRE Transactions по теории схемы . 3 (4): 257–266. doi : 10.1109/tct.1956.1086324 . ISSN 0096-2007 .

[8] Эванс, Селби (1 июля 1967 г.). «Варгус 7: Вычисленные шаблоны из процессов Маркова». Поведенческая наука . 12 (4): 323–328. doi : 10.1002/bs.3830120407 . ISSN 1099-1743 .

[9] Gingerich, PD (1 января 1969 г.). «Анализ марковских циклических аллювиальных отложений». Журнал осадочных исследований . 39 (1): 330–332. Bibcode : 1969jsedr..39..330G . doi : 10.1306/74D71C4E-2B21-11D7-8648000102C1865D . ISSN 1527-1404 .

[10] Крумбейн, WC; Дейси, Майкл Ф. (1 марта 1969 г.). «Цепочки Маркова и встроенные марковские сети в геологии». Журнал Международной ассоциации математической геологии . 1 (1): 79–96. doi : 10.1007/bf02047072 . ISSN 0020-5958 .

[11] Вулф, Гарри Б. (1 мая 1967 г.). «Модели для кондиционирования старения жилых сооружений». Журнал Американского института планировщиков . 33 (3): 192–196. doi : 10.1080/01944366708977915 . ISSN 0002-8991 .

[12] Кренк С. (ноябрь 1989). «Матрица Маркова для моделирования усталости и оценки диапазона Rainflow». Структурная безопасность . 6 (2–4): 247–258. doi : 10.1016/0167-4730 (89) 90025-8 .

[13] Бек, Дж. Роберт; Паукер, Стивен Г. (1 декабря 1983 г.). «Процесс Маркова в медицинском прогнозе». Медицинское принятие решений . 3 (4): 419–458. doi : 10.1177/0272989x8300300403 . ISSN 0272-989X . PMID 6668990 .

[14] Гетц, Гленн А.; Макколл, Джон Дж. (1 марта 1983 г.). «Последовательный анализ решения о пребывании/отъезде: офицеры ВВС США». Управление наукой . 29 (3): 335–351. doi : 10.1287/mnsc.29.3.335 . ISSN 0025-1909 .

[15] Камусоко, мужество; Ания, Масаму; Ади, Бонго; Манджоро, Муньярадзи (1 июля 2009 г.). «Устойчивость в сельской местности под угрозой в Зимбабве-моделирование будущих изменений землепользования/покрытия в районе Биндура на основе модели автоматов марковки-клетки». Прикладная география . 29 (3): 435–447. doi : 10.1016/j.apgeog.2008.10.002 .

[Kardar2007-16] Кардар, Мехран (2007). Статистическая физика полей . Издательство Кембриджского университета . ISBN 978-0-521-87341-3 Полем OCLC 920137477 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

v Т и Матрицы классы
Явно ограниченные записи	Чередование Антидиагональный Анти имитские Антисимметричный Стрелка Группа БИДИАГОНАЛЬНЫЙ Бисмметричный Блок-Диагональный Блокировать Блок Tridiagonal Логический Коши Центрозимметричный Конференция Сложный Хадамард Сопозитивный Диагонально доминирующий Диагональ Дискретное преобразование Фурье Элементарный Эквивалент Фросениус Общая перестановка Хадамард Приобретение Эрмитоан Гессенберг Пустой Целое число Логичный Матричный блок Метцлер Мур Неотрицательный Патадиагональный Перестановка Персимметричный Полиномиал Кватернион Подпись Перекосившитый Симметричный Горизонт Редкий Сильвестр Симметричный Toeplitz Треугольный Тридиагональный Vandermonde Уолш С
Постоянный	Обмен Гильберт Личность Поясница Из них Паскаль Паули Redheffer Сдвиг Ноль
Условия на собственные значения или собственные векторы	Товарищ Конвергентный Дефектный Определенный Диагонализируем Гервиц Положительный дефицит Stieltjes
Удовлетворительные условия на продуктах или конверсах	Конгруэнтный Идентификация или проекция Обратимый Прибежище Нильпотент Нормальный Ортогональный Немодучный Unipotent Унитарный Полностью немодучный Взвешивание
С конкретными приложениями	Прилегайте Чередовый знак Дополнен БЕЗАУТ Карлеман Карман Циркулирующий Кофактор Коммутация Путаница Коксетер Расстояние Дублирование и устранение Евклидово расстояние Фундаментальное (линейное дифференциальное уравнение) Генератор Грамм Гессиан Домохозяйка Якобиан Мгновенный Расплачиваться Выбирать Случайный Ротация Seifert Сдвиг Сходство Симплектично Полностью положительный Трансформация
Используется в статистике	Центрирование Корреляция Ковариация Дизайн Вдвойной стохастический Информация о Фишере Имеет Точность Стохастический Переход
Используется в теории графика	Смежность Biadjacency Степень Эдмондс Частота Лапласиан Сейдель смежности Все
Используется в науке и технике	Cabibbo -kobayashi -maskawa Плотность Фундаментальный (компьютерное зрение) Нечеткая ассоциация Гамма Гелл-Манн Гамильтониан Нерегулярный Перекрывать С Государственный переход Замена Z (химия)
Связанные термины	Иордан нормальная форма Линейная независимость Матрица экспоненциальная Матричное представление конических секций Идеальная матрица Псевдоинверно Ряд эшелона форма Вронский
Математический портал Список матриц Категория: матрицы