Сходимость случайных величин

В теории вероятностей существует несколько различных понятий сходимости последовательностей случайных величин , включая сходимость по вероятности , сходимость по распределению и почти наверняка сходимость . Различные понятия конвергенции отражают разные свойства последовательности, причем некоторые понятия конвергенции сильнее других. Например, сходимость распределения говорит нам о предельном распределении последовательности случайных величин. Это более слабое понятие, чем сходимость по вероятности, которая говорит нам о значении, которое примет случайная величина, а не только о распределении.

Эта концепция важна в теории вероятностей и ее приложениях к статистике и случайным процессам . Те же концепции известны в более общей математике как стохастическая конвергенция , и они формализуют идею о том, что некоторые свойства последовательности по существу случайных или непредсказуемых событий иногда могут привести к поведению, которое по существу остается неизменным, когда элементы находятся достаточно далеко в последовательности. изучаются. Различные возможные понятия конвергенции связаны с тем, как можно охарактеризовать такое поведение: два легко понятных поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение и что значения в последовательности продолжают меняться, но могут быть описаны неизменным распределением вероятностей.

Фон

«Стохастическая конвергенция» формализует идею о том, что иногда можно ожидать, что последовательность по существу случайных или непредсказуемых событий превратится в закономерность. Например, шаблон может быть

• Сходимость в классическом смысле к фиксированному значению, возможно, сама по себе являющаяся результатом случайного события.
• Растущее сходство результатов с тем, что могла бы дать чисто детерминированная функция.
• Растущее предпочтение определенного результата
• Растущее «отвращение» к отклонению далеко от определенного результата.
• Что распределение вероятностей, описывающее следующий результат, может становиться все более похожим на определенное распределение.

Можно выделить некоторые менее очевидные, но более теоретические закономерности.

• Что ряд, сформированный путем расчета ожидаемого значения расстояния результата от определенного значения, может сходиться к 0.
• Что дисперсия случайной величины, описывающей следующее событие, становится все меньше и меньше.

Эти другие типы моделей, которые могут возникнуть, отражены в различных типах стохастической конвергенции, которые были изучены.

Хотя приведенное выше обсуждение относилось к сходимости одного ряда к предельному значению, понятие сходимости двух рядов друг к другу также важно, но с этим легко справиться, изучая последовательность, определяемую либо как разность, либо как отношение из двух серий.

Например, если среднее значение n независимых случайных величин Y _i , i = 1, ..., n , имеющих одинаковое конечное среднее значение и дисперсию , определяется выражением

$X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,$

тогда, когда n стремится к бесконечности, X _n сходится по вероятности (см. ниже) к общему среднему значению µ случайных величин Y _i . Этот результат известен как слабый закон больших чисел . Другие формы сходимости важны и в других полезных теоремах, включая центральную предельную теорему .

В дальнейшем мы предполагаем, что ( X _n ) — последовательность случайных величин, а X — случайная величина, и все они определены в одном и том же вероятностном пространстве. $(\Omega ,{\mathcal {F}},\mathbb {P} )$.

Конвергенция в распределении

Примеры сходимости в распределении

Фабрика кубиков
Предположим, только что была построена новая фабрика по производству игральных костей. Первые несколько кубиков получаются довольно необъективными из-за несовершенства производственного процесса. Результат от бросания любого из них будет следовать распределению, заметно отличающемуся от желаемого равномерного распределения . По мере совершенствования фабрики игральные кости становятся все менее и менее загруженными, и результаты броска только что изготовленной игральной кости будут все более и более точно соответствовать равномерному распределению.
Бросание монет
Пусть X n — доля орлов после подбрасывания несмещенной монеты n раз. Тогда X 1 имеет распределение Бернулли с математическим ожиданием µ = 0,5 и дисперсией σ 2 = 0,25 . Последующие случайные величины X 2 , X 3 , ... будут распределены биномиально . По мере увеличения n это распределение постепенно начнет приобретать форму, все более и более похожую на колоколообразную кривую нормального распределения. Если мы соответствующим образом сдвинем и масштабируем X n , то $\scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )$ будет сходиться по распределению к стандартному нормальному результату, который следует из знаменитой центральной предельной теоремы .
Графический пример
Предположим, { X i } — iid- последовательность равномерных U (−1, 1) случайных величин. Позволять $\scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}$ быть их (нормализованными) суммами. Тогда согласно центральной предельной теореме распределение Zn N нормальному приближается к (0, ⁠ 1 / 3 ⁠ ) распределение. Эта сходимость показана на рисунке: по мере увеличения n форма функции плотности вероятности все ближе и ближе приближается к кривой Гаусса.

Грубо говоря, при таком способе конвергенции мы все чаще ожидаем увидеть следующий результат в последовательности случайных экспериментов, который все лучше и лучше моделируется заданным распределением вероятностей . Точнее, распределение связанной случайной величины в последовательности становится сколь угодно близким к заданному фиксированному распределению.

Конвергенция в распределении — это самая слабая форма конвергенции, которая обычно обсуждается, поскольку она подразумевается всеми другими типами конвергенции, упомянутыми в этой статье. Однако на практике очень часто используется конвергенция распределения; чаще всего оно возникает в результате применения центральной предельной теоремы .

Определение

Последовательность $X_{1},X_{2},\ldots$ действительных случайных величин с кумулятивными функциями распределения $F_{1},F_{2},\ldots$Говорят, что сходится по распределению , или сходится слабо , или сходится по закону к случайной величине X с кумулятивной функцией распределения F , если

$\lim _{n\to \infty }F_{n}(x)=F(x),$

за каждое число $x\in \mathbb {R}$ при F непрерывно котором .

Требование, чтобы только точки непрерывности F, учитывались является существенным. Например, если X _n распределены равномерно на интервалах (0, ⁠ 1 / n ⁠ ) , то эта последовательность сходится по распределению к вырожденной случайной величине X = 0 . Действительно, F _n ( x ) = 0 для всех n, когда x ≤ 0 , и F _n ( x ) = 1 для всех x ≥ ⁠ 1 / n ⁠ когда n > 0 . Однако для этой предельной случайной величины F (0)=1 , хотя Fn ₍ 0)=0 для всех n . Таким образом, сходимость cdfs не удается в точке x = 0 , где F разрывна.

Сходимость в распределении можно обозначить как

${\begin{aligned}{}&X_{n}\ \xrightarrow {d} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {D}} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {L}} \ X,\ \ X_{n}\ \xrightarrow {d} \ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}$ ( 1 )

где $\scriptstyle {\mathcal {L}}_{X}$ – это закон (распределение вероятностей) X . Например, если X является стандартным нормальным, мы можем написать $X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)$.

Для случайных векторов { X ₁ , X ₂ , ...} ⊂ R ^к сходимость по распределению определяется аналогично. Будем говорить, что эта последовательность сходится по распределению к случайному k -вектору X, если

$\lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)$

для любого A ⊂ R ^к которое является непрерывности множеством X .

Определение сходимости распределения может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах и даже до «случайных величин», которые не поддаются измерению — ситуация, которая возникает, например, при изучении эмпирических процессов . Это «слабая сходимость законов без определения законов» — за исключением асимптотики.

В этом случае термин слабая сходимость предпочтительнее (см. слабая сходимость мер ), и мы говорим, что последовательность случайных элементов { X _n } слабо сходится к X (обозначается как X _n ⇒ X ), если

$\mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)$

для всех непрерывных ограниченных функций h . Здесь E* обозначает внешнее ожидание , то есть ожидание «наименьшей измеримой функции g , которая доминирует над h ( X _n ) ».

Характеристики

• С $F(a)=\mathbb {P} (X\leq a)$Сходимость распределения означает, что вероятность того, что X _n окажется в заданном диапазоне, примерно равна вероятности того, что значение X находится в этом диапазоне, при условии, что достаточно n велико .
• В общем, сходимость распределения не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностью f _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1) . Эти случайные величины сходятся по распределению к равномерному U (0,1), тогда как их плотности вообще не сходятся.
  • Однако, согласно теореме Шеффе , сходимость функций плотности вероятности влечет за собой сходимость по распределению.
• Лемма о портманто дает несколько эквивалентных определений сходимости распределения. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что { X _n } сходится по распределению к X тогда и только тогда, когда верно любое из следующих утверждений:
  • $\mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)$ для всех точек непрерывности $x\mapsto \mathbb {P} (X\leq x)$;
  • $\mathbb {E} f(X_{n})\to \mathbb {E} f(X)$ для всех непрерывных ограниченных функций $f$ (где $\mathbb {E}$ обозначает оператор ожидаемого значения );
  • $\mathbb {E} f(X_{n})\to \mathbb {E} f(X)$ для всех ограниченных липшицевых функций $f$;
  • $\lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)$ для всех неотрицательных непрерывных функций $f$;
  • $\lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)$ за каждый открытый набор $G$;
  • $\lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)$ за каждое закрытое множество $F$;
  • $\mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)$ для всех множеств непрерывности $B$ случайной величины $X$;
  • $\limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)$ для каждой полунепрерывной сверху функции $f$ ограничен сверху;
  • $\liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)$ для каждой полунепрерывной снизу функции $f$ ограничено снизу.
• Теорема отображении утверждает, что для непрерывной функции g , если последовательность { Xn _} о непрерывном сходится по распределению к X , то { g ( Xn ₎ } сходится по распределению к g ( X ) .
  • Однако обратите внимание, что сходимость в распределении { X _n } к X и { Y _n } к Y , как правило, не подразумевает сходимость в распределении { X _n + Y _n } к X + Y или { X _n Y _n } к XY. .
• Теорема Леви о непрерывности : последовательность { X _n } сходится по распределению к X только тогда, когда последовательность соответствующих характеристических функций { φ _n } сходится поточечно к характеристической функции φ X тогда и .
• Сходимость по распределению метризуется метрикой Леви–Прохорова .
• Естественным звеном сходимости в распределении является теорема о представлении Скорохода .

Сходимость по вероятности

Примеры сходимости по вероятности

Рост человека
Рассмотрим следующий эксперимент. Сначала выберите случайного человека на улице. Пусть X — их высота, которая является случайной величиной. Затем попросите других людей оценить эту высоту на глаз. Пусть X n будет средним значением первых n ответов. Тогда (при отсутствии систематической ошибки ) по закону больших чисел последовательность Xn вероятности к случайной величине X. будет сходиться по
Прогнозирование генерации случайных чисел
Предположим, что генератор случайных чисел генерирует псевдослучайное число с плавающей запятой от 0 до 1. Пусть случайная величина X представляет распределение возможных выходных данных алгоритма. Поскольку псевдослучайное число генерируется детерминировано, его следующее значение не является действительно случайным. Предположим, что, наблюдая за последовательностью случайно сгенерированных чисел, вы можете вывести закономерность и делать все более точные прогнозы относительно того, каким будет следующее случайно сгенерированное число. Пусть X n будет вашим предположением о значении следующего случайного числа после наблюдения первых n случайных чисел. По мере того, как вы изучаете закономерность и ваши предположения становятся более точными, не только распределение X n будет сходиться к распределению X , но и результаты X n будут сходиться к результатам X .

Основная идея этого типа конвергенции заключается в том, что вероятность «необычного» результата становится все меньше и меньше по мере развития последовательности.

Понятие сходимости по вероятности очень часто используется в статистике. Например, оценщик называется непротиворечивым , если он сходится по вероятности к оцениваемой величине. Сходимость по вероятности — это также тип сходимости, устанавливаемый слабым законом больших чисел .

Определение

Последовательность { X _n } случайных величин сходится по вероятности к случайной величине X, если для всех ε > 0

$\lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.$

Более подробно, пусть P _n ( ε ) будет вероятностью того, что X _n находится вне шара радиуса ε с центром в X . Тогда X _n говорят, что сходится по вероятности к X для любого ε > 0 и любого δ > 0 существует число N (которое может зависеть от ε и δ ) такое, что для всех n ≥ N , Pn _если ( ε ) < δ (определение предела).

Обратите внимание, что для того, чтобы условие было удовлетворено, невозможно, чтобы для каждого n случайные величины X и X _n были независимыми (и, таким образом, сходимость по вероятности является условием для совместных функций распределения функций, в отличие от сходимости по распределению, которая является условие на отдельные функции распределения функций), если только X не является детерминированным, как в случае со слабым законом больших чисел. В то же время случай детерминированного X не может быть обработан методом сходимости в распределении, когда детерминированное значение является точкой разрыва (не изолированной), когда точки разрыва должны быть явно исключены.

Сходимость по вероятности обозначается добавлением буквы p над стрелкой, указывающей на сходимость, или использованием оператора ограничения вероятности «plim»:

$X_{n}\ \xrightarrow {p} \ X,\ \ X_{n}\ \xrightarrow {P} \ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.$ ( 2 )

Для случайных элементов { Xn _{сепарабельном} } в метрическом пространстве ( S , d ) сходимость по вероятности определяется аналогично формуле

$\forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.$

Характеристики

• Сходимость по вероятности подразумевает сходимость по распределению. ^{[доказательство]}
• В противоположном направлении сходимость распределения подразумевает сходимость вероятности, когда предельная случайная величина X является константой. ^{[доказательство]}
• Сходимость по вероятности не означает почти стопроцентной сходимости. ^{[доказательство]}
• Теорема о непрерывном отображении утверждает, что для каждой непрерывной функции $g$, если ${\textstyle X_{n}\xrightarrow {p} X}$, тогда также ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$.
• Сходимость по вероятности определяет топологию пространства случайных величин над фиксированным вероятностным пространством. Эта топология метризуема метрикой Фаня Кай : $$d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}$$ или попеременно по этой метрике $$d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].$$

Контрпримеры

Не каждая последовательность случайных величин, которая сходится к другой случайной величине в распределении, также сходится по вероятности к этой случайной величине. В качестве примера рассмотрим последовательность стандартных нормальных случайных величин. $X_{n}$ и вторая последовательность $Y_{n}=(-1)^{n}X_{n}$. Обратите внимание, что распределение $Y_{n}$ равно распределению $X_{n}$ для всех $n$, но: $$P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )$$

который не сходится к $0$. Таким образом, у нас нет сходимости по вероятности.

Почти уверенная конвергенция

Примеры почти наверняка сходимости

Пример 1
Рассмотрим животное одного из недолговечных видов. Записываем количество еды, которое потребляет это животное за день. Эта последовательность чисел будет непредсказуемой, но мы можем быть совершенно уверены , что однажды число станет нулевым и останется нулевым навсегда.
Пример 2
Представьте себе человека, который каждое утро подбрасывает семь монет. Каждый день он жертвует один фунт на благотворительность за каждую появившуюся голову. В первый раз результат — все решка, однако он остановится навсегда. Пусть X 1 , X 2 , … будут ежедневными суммами благотворительности, получаемой от него. Мы можем быть почти уверены , что однажды эта сумма станет нулевой и после этого останется нулевой навсегда. Однако, когда мы рассматриваем любое конечное число дней, существует ненулевая вероятность того, что завершающее условие не наступит.

Это тип стохастической сходимости, который наиболее похож на поточечную сходимость, известную из элементарного вещественного анализа .

Определение

Сказать, что последовательность X _n сходится почти наверняка или почти всюду , или с вероятностью 1 , или сильно к X, означает, что $$\mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.$$

Это означает, что значения X _n приближаются к значению X в том смысле, что события, для которых X _n не сходится к X, имеют вероятность 0 (см. Почти наверняка ). Использование вероятностного пространства $(\Omega ,{\mathcal {F}},\mathbb {P} )$ и понятие случайной величины как функции от Ω до R , это эквивалентно утверждению $$\mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.$$

Используя понятие верхнего предела последовательности множеств , сходимость почти наверняка также можно определить следующим образом: $$\mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.$$

Почти уверенную конвергенцию часто обозначают добавлением букв над стрелкой, обозначающей конвергенцию:

${\overset {}{X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X.}}$ ( 3 )

Для общих случайных элементов { X _n } в метрическом пространстве $(S,d)$, сходимость почти наверняка определяется аналогично: $$\mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1$$

Характеристики

• Почти уверенная сходимость подразумевает сходимость по вероятности (по лемме Фату ) и, следовательно, подразумевает сходимость по распределению. Это понятие сходимости используется в усиленном законе больших чисел .
• Концепция почти наверняка сходимости исходит не из топологии пространства случайных величин. Это означает, что в пространстве случайных величин не существует топологии, в которой почти наверняка сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти наверняка сходимости.

Уверенная сходимость или поточечная сходимость

Сказать, что последовательность случайных величин ( X _n ), определенная в одном и том же вероятностном пространстве (т. е. случайный процесс ), сходится наверняка или всюду , или поточечно к X , означает

$$\forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),$$

где Ω — это выборочное пространство основного вероятностного пространства, в котором определяются случайные величины.

Это понятие поточечной сходимости последовательности функций, расширенной до последовательности случайных величин . (Обратите внимание, что случайные величины сами по себе являются функциями).

$$\left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .$$

нет никакой выгоды Надежная сходимость случайной величины подразумевает все остальные виды сходимости, указанные выше, но в теории вероятностей от использования уверенной сходимости по сравнению с использованием почти наверняка сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Вот почему концепция уверенной сходимости случайных величин используется очень редко.

Контрпримеры

Рассмотрим последовательность $\{X_{n}\}$ независимых случайных величин таких, что $P(X_{n}=1)={\frac {1}{n}}$ и $P(X_{n}=0)=1-{\frac {1}{n}}$. Для $0<\varepsilon <1/2$ у нас есть $P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}$ который сходится к $0$ следовательно $X_{n}\to 0$ в вероятности.

С $\sum _{n\geq 1}P(X_{n}=1)\to \infty$ и события $\{X_{n}=1\}$ независимы, вторая лемма Бореля Кантелли гарантирует, что $P(\limsup _{n}\{X_{n}=1\})=1$ отсюда последовательность $\{X_{n}\}$ не сходится к $0$ почти всюду (фактически множество, на котором эта последовательность не сходится к $0$ имеет вероятность $1$).

Сходимость в среднем

Для действительного числа r ≥ 1 мы говорим, что последовательность X _n сходится в r -м среднем (или в L ^р -норма ) в сторону случайной величины X , если r -ые абсолютные моменты $\mathbb {E}$(| Х _н | ^р ) и $\mathbb {E}$(| Х | ^р ) X _n и X существуют, и

$\lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,$

где оператор E обозначает ожидаемое значение . Сходимость в r -м среднем говорит нам, что ожидание r -й степени разницы между $X_{n}$ и $X$ сходится к нулю.

Этот тип сходимости часто обозначается добавлением буквы L ^р над стрелкой, указывающей на сходимость:

${\overset {}{X_{n}\,{\xrightarrow {L^{r}}}\,X.}}$ ( 4 )

Наиболее важными случаями сходимости в r -м среднем являются:

• Когда X _n сходится в r -м среднем к X для r = 1, мы говорим, что X _n сходится в среднем к X .
• Когда X _n сходится в r -м среднем к X для r = 2, мы говорим, что X _n сходится в среднеквадратическом (или в среднем квадратичном ) к X .

Сходимость в r -м среднем, при r ≥ 1, влечет за собой сходимость по вероятности (по неравенству Маркова ). Более того, если r > s ≥ 1, сходимость в r -м среднем влечет за собой сходимость в s -м среднем. Следовательно, сходимость в среднем квадратическом подразумевает сходимость в среднем.

Кроме того,

${\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].$

Обратное не обязательно верно, однако оно верно, если ${\overset {}{X_{n}\,\xrightarrow {p} \,X}}$ (по более общей версии леммы Шеффе ).

Характеристики

При условии, что вероятностное пространство полно :

• Если $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$ и $X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y$, затем $X=Y$ почти наверняка .
• Если $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X$ и $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y$, затем $X=Y$ почти наверняка.
• Если $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X$ и $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y$, затем $X=Y$ почти наверняка.
• Если $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$ и $Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y$, затем $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY$ (для любых действительных чисел a и b ) и $X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY$.
• Если $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X$ и $Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y$, затем $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY$ (для любых действительных чисел a и b ) и $X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY$.
• Если $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X$ и $Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y$, затем $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY$ (для любых действительных чисел a и b ).
• Ни одно из приведенных выше утверждений не верно для конвергенции распределения.

Цепочка следствий между различными понятиями конвергенции отмечена в соответствующих разделах. Они, используя обозначения стрелок:

${\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}$

Эти свойства вместе с рядом других особых случаев сведены в следующий список:

• Почти уверенная сходимость подразумевает сходимость по вероятности: ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$

• Сходимость по вероятности означает, что существует подпоследовательность $(n_{k})$ которое почти наверняка сходится:

  $X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X$

• Сходимость по вероятности подразумевает сходимость по распределению: ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X$

• Сходимость в среднем r -го порядка подразумевает сходимость по вероятности:

  $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$

• Сходимость в среднем r -го порядка подразумевает сходимость в среднем более низком порядке, предполагая, что оба порядка больше или равны единице:

  $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,$ при условии r ≥ s ≥ 1.

• Если X _n сходится по распределению к константе c , то X _n сходится по вероятности к c : ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,$ при условии, что c является константой.

• Если X _n сходится по распределению к X и разность между X _n и Y _n сходится по вероятности к нулю, то Y _n также сходится по распределению к X : ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X$

• Если X _n сходится по распределению к X , а Y _n сходится по распределению к константе c , то совместный вектор ( X _n , Y _n ) сходится по распределению к ⁠ $(X,c)$⁠ : ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)$ при условии, что c является константой.

  Обратите внимание, что условие сходимости Y _n к константе важно: если бы оно сходилось к случайной величине Y , мы бы не смогли заключить, что ( X _n , Y _n ) сходится к ⁠ $(X,Y)$⁠ .

• Если X _n сходится по вероятности к X , а Y _n сходится по вероятности к Y , то совместный вектор ( X _n , Y _n ) сходится по вероятности к ( X , Y ) : ^{[доказательство]}

  $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)$

• Если X _n сходится по вероятности к X , и если P (| X _n | ≤ b ) = 1 для всех n и некоторого b , то X _n сходится в r- м среднем к X для всех r ≥ 1 . Другими словами, если X _n сходится по вероятности к X и все случайные величины X _n почти наверняка ограничены сверху и снизу, то X _n сходится к X также в любом r -м среднем.
• Почти наверняка представление . Обычно конвергенция в распределении почти наверняка не означает конвергенции. Однако для данной последовательности { Xn _{} ,} которая сходится по распределению к X0 _, всегда можно найти новое вероятностное пространство (Ω, = 0 , _, 1 F, P) и случайные величины {Yn, n ... } определенное на нем такое, что Y _n равно по распределению X _n для каждого n ≥ 0 и Y _n сходится к Y ₀ почти наверняка.
• Если для всех ε > 0,

  $\sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,$

  мы говорим, что сходится _Xn почти полностью или почти по вероятности к X. тогда Когда X _n почти полностью сходится к X , то оно также почти наверняка сходится к X . Другими словами, если Xn _ε достаточно быстро сходится по вероятности к X выше последовательность хвостовых вероятностей суммируема для всех > 0 ), то также _Xn почти наверняка сходится к X. (т.е. приведенная Это прямое следствие леммы Бореля – Кантелли .

• Если S _n представляет собой сумму n действительных независимых случайных величин:

  $S_{n}=X_{1}+\cdots +X_{n}\,$

  тогда Sn _Sn сходится почти наверняка тогда и только тогда, когда по _{сходится} вероятности.

• Теорема о доминируемой сходимости дает достаточные условия для почти наверняка сходимости, из которых следует, что L ¹ -схождение:

$\left.{\begin{matrix}X_{n}\xrightarrow {\overset {}{\text{a.s.}}} X\\|X_{n}|<Y\\\mathbb {E} [Y]<\infty \end{matrix}}\right\}\quad \Rightarrow \quad X_{n}\xrightarrow {L^{1}} X$ ( 5 )

• Необходимое и достаточное условие для L ¹ конвергенция $X_{n}{\xrightarrow {\overset {}{P}}}X$ последовательность ( Xn _и ) равномерно интегрируема .
• Если $X_{n}\ \xrightarrow {\overset {}{p}} \ X$, следующие действия эквивалентны
  • $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X$,
  • $\mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty$,
  • $\{|X_{n}|^{r}\}$ является равномерно интегрируемым .
• Если $X_{n}$ дискретны и независимы, то $X_{n}{\stackrel {p}{\rightarrow }}X$ подразумевает, что $X_{n}{\stackrel {a.s.}{\rightarrow }}X$. Это следствие второй леммы Бореля–Кантелли .

См. также

• Доказательства сходимости случайных величин
• Сближение мер
• Сходимость по мере
• Непрерывный случайный процесс : вопрос непрерывности случайного процесса по сути является вопросом конвергенции, и многие из тех же концепций и отношений, которые использовались выше, применимы к вопросу о непрерывности.
• Асимптотическое распределение
• Большое О в обозначениях вероятности
• Теорема о представлении Скорохода
• Теорема о сходимости Твиди
• Теорема Слуцкого
• Теорема о непрерывном отображении

Ссылки

• Бикель, Питер Дж.; Клаассен, Крис Эй Джей; Ритов, Яаков; Веллнер, Джон А. (1998). Эффективное и адаптивное оценивание полупараметрических моделей . Нью-Йорк: Springer-Verlag. ISBN  978-0-387-98473-5 .
• Биллингсли, Патрик (1986). Вероятность и мера . Серия Уайли по вероятности и математической статистике (2-е изд.). Уайли.
• Биллингсли, Патрик (1999). Сходимость вероятностных мер (2-е изд.). Джон Уайли и сыновья. стр. 1–28 . ISBN  978-0-471-19745-4 .
• Дадли, РМ (2002). Реальный анализ и вероятность . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  978-0-521-80972-6 .
• Фристедт, Берт; Грей, Лоуренс (1997). Современный подход к теории вероятностей . Нью-Йорк: Springer Science + Business Media. дои : 10.1007/978-1-4899-2837-5 . ISBN  978-1-4899-2837-5 .
• Гримметт, Греция; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы (2-е изд.). Кларендон Пресс, Оксфорд. стр. 271–285. ISBN  978-0-19-853665-9 .
• Якобсен, М. (1992). Расширенная теория вероятностей (3-е изд.). Печать HCØ, Копенгаген. стр. 18–20. ISBN  978-87-91180-71-2 .
• Леду, Мишель; Талагранд, Мишель (1991). Вероятность в банаховых пространствах . Берлин: Springer-Verlag. стр. xii+480. ISBN  978-3-540-52013-9 . МР   1102015 .
• Романо, Джозеф П.; Сигел, Эндрю Ф. (1985). Контрпримеры в теории вероятности и статистике . Великобритания: Чепмен и Холл. ISBN  978-0-412-98901-8 .
• Гриммет, Джеффри Р.; Стирзакер, Дэвид Р. (2020). Вероятность и случайные процессы (4-е изд.). Издательство Оксфордского университета. ISBN  978-0-198-84760-1 .
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (1996). Слабая сходимость и эмпирические процессы . Нью-Йорк: Springer-Verlag. ISBN  978-0-387-94640-5 .
• ван дер Ваарт, Аад В. (1998). Асимптотическая статистика . Нью-Йорк: Издательство Кембриджского университета. ISBN  978-0-521-49603-2 .
• Уильямс, Д. (1991). Вероятность с Мартингалами . Издательство Кембриджского университета. ISBN  978-0-521-40605-5 .
• Вонг, Э.; Гаек, Б. (1985). Случайные процессы в технических системах . Нью-Йорк: Спрингер-Верлаг.
• Зиткович, Гордан (17 ноября 2013 г.). «Лекция 7: Слабая сходимость» (PDF) .

Эта статья включает в себя материал из статьи Citizendium « Стохастическая конвергенция », которая лицензируется по лицензии Creative Commons Attribution-ShareAlike 3.0 Unported , но не по GFDL .