Сближение мер

В математике , а точнее в теории меры , существуют различные понятия сходимости мер . Для интуитивного общего понимания того, что подразумевается под сходимостью мер , рассмотрим последовательность мер $µ n$ в пространстве, имеющую общий набор измеримых множеств. Такая последовательность может представлять собой попытку построить «все лучшие и лучшие» приближения к желаемой мере $μ,$ которую трудно получить напрямую. Значение слова «лучше и лучше» подчиняется всем обычным ограничениям ; для любой толерантности к ошибкам $ε > 0$ мы требуем, чтобы $N$ было достаточно большим для $n \geq N,$ чтобы гарантировать, что «разница» между $µ n$ и $µ$ меньше, чем $ε$ . Различные понятия конвергенции точно определяют, что должно означать слово «разница» в этом описании; эти понятия не эквивалентны друг другу и различаются по силе.

Ниже описаны три наиболее распространенных понятия конвергенции.

Неофициальные описания

В этом разделе делается попытка дать грубое интуитивное описание трех понятий конвергенции, используя терминологию, разработанную в математического анализа курсах ; этот раздел неизбежно является неточным и неточным, и читателю следует обратиться к формальным разъяснениям в последующих разделах. В частности, приведенные здесь описания не учитывают возможность того, что мера некоторых множеств может быть бесконечной или что лежащее в их основе пространство может проявлять патологическое поведение, а для некоторых утверждений необходимы дополнительные технические предположения. Однако все утверждения этого раздела верны, если $µ n$ — последовательность вероятностных мер в польском пространстве .

Различные понятия конвергенции формализуют утверждение о том, что «среднее значение» каждой «достаточно хорошей» функции должно сходиться: $\int f\,d\mu _{n}\to \int f\,d\mu$

Чтобы формализовать это, требуется тщательная спецификация набора рассматриваемых функций и того, насколько равномерной должна быть сходимость.

Понятие слабой сходимости требует, чтобы эта сходимость имела место для каждой непрерывной ограниченной функции $f$ . Это понятие рассматривает сходимость для разных функций $f$ независимо друг от друга, т. е. разные функции $f$ могут требовать, чтобы разные значения $N \leq n$ были одинаково хорошо аппроксимированы (таким образом, сходимость неравномерна по $f$ ).

Понятие помножественной сходимости формализует утверждение о том, что мера каждого измеримого множества должна сходиться: $\mu _{n}(A)\to \mu (A)$

Опять же, никакой однородности по множеству $A$ не требуется.Интуитивно, рассматривая интегралы от «хороших» функций, это понятие обеспечивает больше единообразия, чем слабая сходимость. В самом деле, при рассмотрении последовательностей мер с равномерно ограниченнымвариация на польском пространстве , помножественная сходимость влечет за собой сходимость ${\textstyle \int f\,d\mu _{n}\to \int f\,d\mu }$ для любой ограниченной измеримой функции $f$ ^{[ нужна ссылка ]}.Как и раньше, эта сходимость неравномерна по $f$ .

Понятие сходимости полной вариации формализует утверждение о том, что мера всех измеримых множеств должна сходиться равномерно , т. е. для любого $ε > 0$ существует $N$ такое, что $|\mu _{n}(A)-\mu (A)|<\varepsilon$ для любого $n > N$ любого измеримого множества $A.$ и для Как и раньше, это означает сходимость интегралов по ограниченным измеримым функциям, но на этот раз сходимость равномерна по всем функциям, ограниченным любой фиксированной константой.

Полная вариационная сходимость мер

Это самое сильное понятие конвергенции, представленное на этой странице, и оно определяется следующим образом. Позволять $(X,{\mathcal {F}})$ быть измеримым пространством . Тогда общее расстояние вариации между двумя (положительными) мерами $µ$ и $ν$ определяется выражением

\left\|\mu -\nu \right\|_{\text{TV}}=\sup _{f}\left\{\int _{X}f\,d\mu -\int _{X}f\,d\nu \right\}.

Здесь верхняя грань берется по $f,$ простирающемуся по множеству всех измеримых функций от $X$ до $[-1, 1]$ . Это контрастирует, например, с метрикой Вассерштейна , где определение имеет ту же форму, но верхняя грань берется по $f,$ варьирующемуся по множеству измеримых функций от $X$ до $[-1, 1],$ которые имеют константу Липшица при большинство 1; а также в отличие от метрики Радона , где верхняя грань берется по $f,$ варьирующемуся по множеству непрерывных функций от $X$ до $[-1, 1]$ . В случае, когда $X$ — польское пространство , метрика полной вариации совпадает с метрикой Радона.

Если $µ$ и $ν$ обе являются вероятностными мерами , то общее расстояние вариации также определяется выражением

\left\|\mu -\nu \right\|_{\text{TV}}=2\cdot \sup _{A\in {\mathcal {F}}}|\mu (A)-\nu (A)|.

Эквивалентность этих двух определений можно рассматривать как частный случай двойственности Монжа–Канторовича . Из двух приведенных выше определений ясно, что общее расстояние вариации между вероятностными мерами всегда находится в диапазоне от 0 до 2.

Чтобы проиллюстрировать значение общего вариационного расстояния, рассмотрим следующий мысленный эксперимент. что нам даны две вероятностные меры $µ$ и $ν$ , а также случайная величина $X.$ Предположим , Мы знаем, что $X$ имеет закон либо $µ$ , либо $ν,$ но мы не знаем, какой из двух. что эти две меры имеют априорные вероятности 0,5 каждая из них являются истинным законом $X.$ Предположим , Предположим теперь, что нам дана одна выборка, распределенная по закону $X$ , а затем нас просят угадать, какое из двух распределений описывает этот закон. Количество

{2+\|\mu -\nu \|_{\text{TV}} \over 4}

затем дает точную верхнюю границу априорной вероятности того, что наше предположение окажется правильным.

Учитывая приведенное выше определение общего расстояния вариации, $µ n$ говорят, что последовательность мер , определенная в одном и том же пространстве меры, сходится к мере $µ$ на полном расстоянии вариации, если для каждого $ε > 0$ существует $N$ такое, что для всех $n > Н$ , у одного такое есть ^[1]

\|\mu _{n}-\mu \|_{\text{TV}}<\varepsilon .

Поэтапная сходимость мер

Для $(X,{\mathcal {F}})$ В измеримом пространстве последовательность $µ n$ называется сходящейся по множествам к пределу $µ,$ если

\lim _{n\to \infty }\mu _{n}(A)=\mu (A)

для каждого набора $A\in {\mathcal {F}}$ .

Типичные обозначения стрелок: $\mu _{n}\xrightarrow {sw} \mu$ и $\mu _{n}\xrightarrow {s} \mu$ .

Например, как следствие леммы Римана–Лебега , последовательность $µ n$ мер на интервале $[-1, 1],$ заданная выражением $µ n (dx) = (1 + sin(nx)) dx$ , сходится по множествам к мере Лебега , но не сходится по полной вариации.

В теоретическом или вероятностном контексте меры сходимость по множествам часто называют сильной сходимостью (в отличие от слабой сходимости). Это может привести к некоторой двусмысленности, поскольку в функциональном анализе сильная конвергенция обычно относится к конвергенции по отношению к норме.

Слабая сходимость мер

В математике и статистике — один из многих типов сходимости , слабая сходимость связанных со сходимостью мер . Это зависит от топологии базового пространства и, следовательно, не является чисто теоретико-мерным понятием.

Существует несколько эквивалентных определений слабой сходимости последовательности мер, некоторые из которых (по-видимому) более общие, чем другие. Эквивалентность этих условий иногда называют теоремой Портманто . ^[2]

Определение. Позволять $S$ — метрическое пространство со своим Борелем $\sigma$ -алгебра $\Sigma$ . Ограниченная последовательность положительных вероятностных мер $P_{n}\,(n=1,2,\dots )$ на $(S,\Sigma )$ говорят, что он слабо сходится к вероятностной мере $P$ (обозначается $P_{n}\Rightarrow P$ ), если любое из следующих эквивалентных условий истинно (здесь $\operatorname {E} _{n}$ обозначает ожидание или $L^{1}$ норма относительно $P_{n}$ , пока $\operatorname {E}$ обозначает ожидание или $L^{1}$ норма относительно $P$ ):

$\operatorname {E} _{n}[f]\to \operatorname {E} [f]$ для всех непрерывных ограниченных функций $f$ ;
$\operatorname {E} _{n}[f]\to \operatorname {E} [f]$ для всех ограниченных и липшицевых функций $f$ ;
$\limsup \operatorname {E} _{n}[f]\leq \operatorname {E} [f]$ для каждой полунепрерывной сверху функции $f$ ограничен сверху;
$\liminf \operatorname {E} _{n}[f]\geq \operatorname {E} [f]$ для каждой полунепрерывной снизу функции $f$ ограничен снизу;
$\limsup P_{n}(C)\leq P(C)$ для всех закрытых наборов $C$ пространства $S$ ;
$\liminf P_{n}(U)\geq P(U)$ для всех открытых наборов $U$ пространства $S$ ;
$\lim P_{n}(A)=P(A)$ для всех множеств непрерывности $A$ меры $P$ .

В случае $S\equiv \mathbf {R}$ со своей обычной топологией, если $F_{n}$ и $F$ обозначаем кумулятивные функции распределения мер $P_{n}$ и $P$ , соответственно, тогда $P_{n}$ слабо сходится к $P$ тогда и только тогда, когда $\lim _{n\to \infty }F_{n}(x)=F(x)$ по всем пунктам $x\in \mathbf {R}$ на котором $F$ является непрерывным.

Например, последовательность, где $P_{n}$ – это мера Дирака, расположенная в $1/n$ слабо сходится к мере Дирака, расположенной в точке 0 (если рассматривать их как меры на $\mathbf {R}$ с обычной топологией), но не сходится по множествам. Это интуитивно понятно: мы знаем только то, что $1/n$ находится «близко» к $0$ из-за топологии $\mathbf {R}$ .

Это определение слабой сходимости можно распространить на $S$ любое метризуемое топологическое пространство . Он также определяет слабую топологию на ${\mathcal {P}}(S)$ , набор всех вероятностных мер, определенных на $(S,\Sigma )$ . Слабая топология порождается следующим базисом открытых множеств:

\left\{\ U_{\varphi ,x,\delta }\ \left|\quad \varphi :S\to \mathbf {R} {\text{ is bounded and continuous, }}x\in \mathbf {R} {\text{ and }}\delta >0\ \right.\right\},

где

U_{\varphi ,x,\delta }:=\left\{\ \mu \in {\mathcal {P}}(S)\ \left|\quad \left|\int _{S}\varphi \,\mathrm {d} \mu -x\right|<\delta \ \right.\right\}.

Если $S$ также сепарабельна , то ${\mathcal {P}}(S)$ метризуемо и разделимо, например, метрикой Леви–Прохорова . Если $S$ также компактный или польский , как и ${\mathcal {P}}(S)$ .

Если $S$ сепарабельна, она естественным образом вкладывается в ${\mathcal {P}}(S)$ как (замкнутое) множество мер Дирака , а его оболочка плотна . выпуклая

Существует множество «стрелочных обозначений» для этого вида сходимости: наиболее часто используются $P_{n}\Rightarrow P$ , $P_{n}\rightharpoonup P$ , $P_{n}\xrightarrow {w} P$ и $P_{n}\xrightarrow {\mathcal {D}} P$ .

Слабая сходимость случайных величин

Позволять $(\Omega ,{\mathcal {F}},\mathbb {P} )$ — вероятностное пространство , а X — метрическое пространство. Если X _n : Ω → X — последовательность случайных величин , то X _n говорят, что слабо сходится (или по распределению , или по закону ) к случайной величине X : Ω → X при n → ∞, если последовательность мер прямого действия ( X _n ) _∗ ( P ) слабо сходится к X _∗ ( P ) в смысле слабой сходимости мер на X , как определено выше.

Сравнение с нечеткой конвергенцией

Позволять $X$ быть метрическим пространством (например $\mathbb {R}$ или $[0,1]$ ). Следующие пространства тестовых функций обычно используются при сходимости вероятностных мер. ^[3]

$C_{c}(X)$ класс непрерывных функций $f$ каждое исчезает вне компактного множества.
$C_{0}(X)$ класс непрерывных функций $f$ такой, что $\lim _{|x|\rightarrow \infty }f(x)=0$
$C_{B}(X)$ класс непрерывных ограниченных функций

У нас есть $C_{c}\subset C_{0}\subset C_{B}\subset C$ . Более того, $C_{0}$ это закрытие $C_{c}$ относительно равномерной сходимости. ^[3]

Смутная конвергенция

Последовательность мер $\left(\mu _{n}\right)_{n\in \mathbb {N} }$ сходится смутно к мере $\mu$ если для всех $f\in C_{c}(X)$ , $\int _{X}f\,d\mu _{n}\rightarrow \int _{X}f\,d\mu$ .

Слабая сходимость

Последовательность мер $\left(\mu _{n}\right)_{n\in \mathbb {N} }$ слабо сходится к мере $\mu$ если для всех $f\in C_{B}(X)$ , $\int _{X}f\,d\mu _{n}\rightarrow \int _{X}f\,d\mu$ .

В общем, эти два понятия конвергенции не эквивалентны.

В вероятностной ситуации расплывчатая сходимость и слабая сходимость вероятностных мер эквивалентны при условии тесноты . То есть плотная последовательность вероятностных мер $(\mu _{n})_{n\in \mathbb {N} }$ сходится неопределенно к вероятностной мере $\mu$ тогда и только тогда, когда $(\mu _{n})_{n\in \mathbb {N} }$ слабо сходится к $\mu$ .

Слабый предел последовательности вероятностных мер, если он существует, является вероятностной мерой. В общем, если не предполагается строгость, последовательность вероятностных (или субвероятностных) мер может не обязательно смутно сходиться к истинной вероятностной мере, а скорее к субвероятностной мере (такой мере, что $\mu (X)\leq 1$ ). ^[3] Таким образом, последовательность вероятностных мер $(\mu _{n})_{n\in \mathbb {N} }$ такой, что $\mu _{n}{\overset {v}{\to }}\mu$ где $\mu$ не указано как вероятностная мера, не гарантируется, что она будет подразумевать слабую сходимость.

Слабая сходимость мер как пример слабой сходимости

Несмотря на то, что в контексте функционального анализа она имеет то же название, что и слабая сходимость , слабая сходимость мер на самом деле является примером слабой сходимости. Определения слабой и слабой сходимости, используемые в функциональном анализе, следующие:

Позволять $V$ быть топологическим векторным пространством или банаховым пространством.

Последовательность $x_{n}$ в $V$ слабо сходится к $x$ если $\varphi \left(x_{n}\right)\rightarrow \varphi (x)$ как $n\to \infty$ для всех $\varphi \in V^{*}$ . Один пишет $x_{n}{\stackrel {w}{\rightarrow }}x$ как $n\to \infty$ .
Последовательность $\varphi _{n}\in V^{*}$ сходится в топологии слабого* к $\varphi$ при условии, что $\varphi _{n}(x)\rightarrow \varphi (x)$ для всех $x\in V$ . То есть сходимость происходит в поточечном смысле. В этом случае пишут $\varphi _{n}{\stackrel {w^{*}}{\rightarrow }}\varphi$ как $n\to \infty$ .

Чтобы проиллюстрировать, насколько слабая сходимость мер является примером слабой сходимости, приведем пример в терминах нечеткой сходимости (см. выше). Позволять $X$ — локально компактное хаусдорфово пространство. По теореме Рисса о представлении пространство $M(X)$ мер Радона изоморфно подпространству пространства непрерывных линейных функционалов на $C_{0}(X)$ . Следовательно, для каждой меры Радона $\mu _{n}\in M(X)$ , существует линейный функционал $\varphi _{n}\in C_{0}(X)^{*}$ такой, что $\varphi _{n}(f)=\int _{X}f\,d\mu _{n}$ для всех $f\in C_{0}(X)$ . Применяя определение слабой сходимости в терминах линейных функционалов, получена характеристика нечеткой сходимости мер. Для компактных $X$ , $C_{0}(X)=C_{B}(X)$ , поэтому в этом случае слабая сходимость мер является частным случаем слабой сходимости.

См. также

Примечания и ссылки

^ Мадрас, Нил; Сезер, Дениз (25 февраля 2011 г.). «Количественные границы сходимости цепи Маркова: Вассерштейн и полные вариационные расстояния». Бернулли . 16 (3): 882–908. arXiv : 1102.5245 . дои : 10.3150/09-BEJ238 . S2CID 88518773 .
^ Кленке, Ахим (2006). Теория вероятностей . Издательство Спрингер. ISBN 978-1-84800-047-6 .
^ Jump up to: ^а ^б ^с Чунг, Кай Лай (1974). Курс теории вероятностей . Интернет-архив. Нью-Йорк, Академик Пресс. стр. 84–99. ISBN 978-0-12-174151-8 .

Дальнейшее чтение

Амбросио Л., Джильи Н. и Саваре Г. (2005). Градиентные потоки в метрических пространствах и пространстве вероятностных мер . Базель: ETH Zürich, Birkhäuser Verlag. ISBN 3-7643-2428-7 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, штат Нью-Йорк: ISBN John Wiley & Sons, Inc. 0-471-00710-2 .
Биллингсли, Патрик (1999). Сходимость вероятностных мер . Нью-Йорк, штат Нью-Йорк: ISBN John Wiley & Sons, Inc. 0-471-19745-9 .

[1] Мадрас, Нил; Сезер, Дениз (25 февраля 2011 г.). «Количественные границы сходимости цепи Маркова: Вассерштейн и полные вариационные расстояния». Бернулли . 16 (3): 882–908. arXiv : 1102.5245 . дои : 10.3150/09-BEJ238 . S2CID 88518773 .

[2] Кленке, Ахим (2006). Теория вероятностей . Издательство Спрингер. ISBN 978-1-84800-047-6 .

[:0-3] Jump up to: ^а ^б ^с Чунг, Кай Лай (1974). Курс теории вероятностей . Интернет-архив. Нью-Йорк, Академик Пресс. стр. 84–99. ISBN 978-0-12-174151-8 .

[1]

[2]

[3]