Теорема Санова

В математике и теории информации теорема Санова дает оценку вероятности наблюдения нетипичной последовательности выборок из данного распределения вероятностей . На языке теории больших уклонений теорема Санова определяет функцию скорости больших отклонений эмпирической меры последовательности iid случайных величин.

Пусть A — набор вероятностных распределений по алфавиту X , и пусть q — произвольное распределение по X (где q может быть или не быть в A ). Предположим, мы извлекаем n iid выборок из q , представленных вектором $x^{n}=x_{1},x_{2},\ldots ,x_{n}$ . Тогда мы имеем следующую оценку вероятности того, что эмпирическая мера ${\hat {p}}_{x^{n}}$ образцов попадает в набор A :

q^{n}({\hat {p}}_{x^{n}}\in A)\leq (n+1)^{|X|}2^{-nD_{\mathrm {KL} }(p^{*}||q)}

,

где

$q^{n}$ - совместное распределение вероятностей на $X^{n}$ , и
$p^{*}$ это проекция q — на A. информационная

Другими словами, вероятность построения нетипичного распределения ограничена функцией отклонения КЛ от истинного распределения к нетипичному; в случае, когда мы рассматриваем набор возможных атипичных распределений, существует доминирующее нетипичное распределение, заданное информационной проекцией.

Более того, если A — замкнутое множество, то

\lim _{n\to \infty }{\frac {1}{n}}\log q^{n}({\hat {p}}_{x^{n}}\in A)=-D_{\mathrm {KL} }(p^{*}||q).

Техническое заявление

Определять:

${\textstyle \Sigma }$ представляет собой конечное множество размером ${\textstyle \geq 2}$ . Понимается как «алфавит».
${\textstyle \Delta (\Sigma )}$ представляет собой симплекс, натянутый на алфавит. Это подмножество ${\textstyle \mathbb {R} ^{\Sigma }}$ .
${\textstyle L_{n}}$ это случайная величина, принимающая значения в ${\textstyle \Delta (\Sigma )}$ . Брать ${\textstyle n}$ образцы из раздачи ${\textstyle \mu }$ , затем ${\textstyle L_{n}}$ — вектор частотной вероятности для выборки.
${\textstyle {\mathcal {L}}_{n}}$ это пространство ценностей, которое ${\textstyle L_{n}}$ могу взять. Другими словами, это

$\{(a_{1}/n,\dots ,a_{|\Sigma |}/n):\sum _{i}a_{i}=n,a_{i}\in \mathbb {N} \}$ Тогда теорема Санова гласит: ^{[ 1 ]}

Для каждого измеримого подмножества ${\textstyle S\in \Delta (\Sigma )}$ , $-\inf _{\nu \in int(S)}D(\nu \|\mu )\leq \liminf _{n}{\frac {1}{n}}\ln P_{\mu }(L_{n}\in S)\leq \limsup _{n}{\frac {1}{n}}\ln P_{\mu }(L_{n}\in S)\leq -\inf _{\nu \in cl(S)}D(\nu \|\mu )$
Для каждого открытого подмножества ${\textstyle U\in \Delta (\Sigma )}$ , $-\lim _{n}\lim _{\nu \in U\cap {\mathcal {L}}_{n}}D(\nu \|\mu )=\lim _{n}{\frac {1}{n}}\ln P_{\mu }(L_{n}\in S)=-\inf _{\nu \in U}D(\nu \|\mu )$

Здесь, $int(S)$ означает интерьер , и $cl(S)$ означает закрытие .

Ссылки

^ Дембо, Амир; Зейтуни, Офер (2010). «Методы и приложения больших отклонений» . Стохастическое моделирование и прикладная теория вероятности . 38 : 16–17. дои : 10.1007/978-3-642-03311-7 . ISBN 978-3-642-03310-0 . ISSN 0172-4568 .

Обложка, Томас М.; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley Interscience. стр. 362 . ISBN 9780471241959 .

Санов И.Н. (1957) "О вероятности больших уклонений случайных величин". Мат. Сборник 42(84), № 1, 11–44.
Санов, И. Н. (1957) "О вероятности больших отклонений случайных величин". МАТЕМАТИЧЕСКИЙ СБОРНИК' 42(84), No. 1, 11–44.

Эта вероятности статья о незавершена . Вы можете помочь Википедии, расширив ее .

[1] Дембо, Амир; Зейтуни, Офер (2010). «Методы и приложения больших отклонений» . Стохастическое моделирование и прикладная теория вероятности . 38 : 16–17. дои : 10.1007/978-3-642-03311-7 . ISBN 978-3-642-03310-0 . ISSN 0172-4568 .

[ 1 ]