Теорема Гливенко – Кантелли.

Левая диаграмма иллюстрирует теорему Гливенко – Кантелли для равномерных распределений. Правая диаграмма иллюстрирует теорему Донскера–Скорохода–Колмогорова.

Та же диаграмма для нормальных распределений

В теории вероятностей теорема Гливенко –Кантелли (иногда называемая « Основной теоремой статистики »), названная в честь Валерия Ивановича Гливенко и Франческо Паоло Кантелли , описывает асимптотическое поведение эмпирической функции распределения как числа независимых и одинаково распределенных наблюдения растут. В частности, эмпирическая функция распределения сходится равномерно к истинной функции распределения почти наверняка .

Равномерная сходимость более общих эмпирических мер становится важным свойством Гливенко–Кантелли . классов функций или множеств Классы Гливенко–Кантелли возникают в теории Вапника–Червоненкиса с приложениями к машинному обучению . Приложения можно найти в эконометрике с использованием M-оценок .

Заявление

Предположим, что $X_{1},X_{2},\dots$ являются независимыми и одинаково распределенными случайными величинами в $\mathbb {R}$ с общей кумулятивной функцией распределения $F(x)$. Эмпирическая функция распределения для $X_{1},\dots ,X_{n}$ определяется

$F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{[X_{i},\infty )}(x)={\frac {1}{n}}\ {\bigl |}\left\{\ i\ \mid X_{i}\leq x,\ 1\leq i\leq n\right\}{\bigr |}$

где $I_{C}$ – индикаторная функция множества $\ C~.$ За каждый (фиксированный) $\ x\ ,$ $\ F_{n}(x)\$ представляет собой последовательность случайных величин, которые сходятся к $F(x)$ почти наверняка по строгому закону больших чисел . Гливенко и Кантелли усилили этот результат, доказав равномерную сходимость $\ F_{n}\$ к $\ F~.$

Теорема

$\|F_{n}-F\|_{\infty }=\sup _{x\in \mathbb {R} }{\bigl |}F_{n}(x)-F(x){\bigr |}\longrightarrow 0$ почти наверняка.

Эта теорема принадлежит Валерию Гливенко. и Франческо Кантелли , в 1933 году.

Примечания

• Если $\ X_{n}\$ является стационарным эргодическим процессом , то $F_{n}(x)$ почти наверняка сходится к $\ F(x)=\operatorname {\mathbb {E} } {\bigl [}1_{X_{1}\leq x}{\bigr ]}~.$ Теорема Гливенко – Кантелли дает более сильный способ сходимости, чем в случае iid .
• Еще более сильный результат равномерной сходимости для эмпирической функции распределения доступен в виде закона повторного логарифма расширенного типа . См. асимптотические свойства эмпирической функции распределения для этого и связанных с ним результатов.

Доказательство

Для простоты рассмотрим случай непрерывной случайной величины $X$. Исправить $-\infty =x_{0}<x_{1}<\cdots <x_{m-1}<x_{m}=\infty$ такой, что $F(x_{j})-F(x_{j-1})={\frac {1}{m}}$ для $j=1,\dots ,m$. Теперь для всех $x\in \mathbb {R}$ существует $j\in \{1,\dots ,m\}$ такой, что $x\in [x_{j-1},x_{j}]$.

${\begin{aligned}F_{n}(x)-F(x)&\leq F_{n}(x_{j})-F(x_{j-1})=F_{n}(x_{j})-F(x_{j})+{\frac {1}{m}},\\F_{n}(x)-F(x)&\geq F_{n}(x_{j-1})-F(x_{j})=F_{n}(x_{j-1})-F(x_{j-1})-{\frac {1}{m}}.\end{aligned}}$

Поэтому,

$\|F_{n}-F\|_{\infty }=\sup _{x\in \mathbb {R} }|F_{n}(x)-F(x)|\leq \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|+{\frac {1}{m}}.$

С ${\textstyle \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|\to 0{\text{ a.s.}}}$ по строгому закону больших чисел мы можем гарантировать, что для любого положительного ${\textstyle \varepsilon }$ и любое целое число ${\textstyle m}$ такой, что ${\textstyle 1/m<\varepsilon }$, мы можем найти ${\textstyle N}$ такой, что для всех $n\geq N$, у нас есть ${\textstyle \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|\leq \varepsilon -1/m{\text{ a.s.}}}$. В сочетании с приведенным выше результатом это дополнительно означает, что ${\textstyle \|F_{n}-F\|_{\infty }\leq \varepsilon {\text{ a.s.}}}$, что является определением почти наверняка сходимости.

Эмпирические меры

можно Обобщить эмпирическую функцию распределения , заменив множество $(-\infty ,x]$ произвольным множеством C из класса множеств ${\mathcal {C}}$ чтобы получить эмпирическую меру, индексированную наборами $C\in {\mathcal {C}}.$

$P_{n}(C)={\frac {1}{n}}\sum _{i=1}^{n}I_{C}(X_{i}),C\in {\mathcal {C}}$

Где $I_{C}(x)$ – индикаторная функция каждого набора $C$.

Дальнейшим обобщением является отображение, индуцированное $P_{n}$ на измеримых вещественных функциях f , что определяется выражением

$f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i}),f\in {\mathcal {F}}.$

Тогда важным свойством этих классов становится то, выполняется ли усиленный закон больших чисел равномерно на ${\mathcal {F}}$ или ${\mathcal {C}}$.

Класс Гливенко – Кантелли

Рассмотрим набор $\ {\mathcal {S}}\$ с сигма-алгеброй борелевских подмножеств A и вероятностной мерой $\ \mathbb {P} ~.$ Для класса подмножеств

${\mathcal {C}}\subset {\bigl \{}C:C{\text{ is measurable subset of }}{\mathcal {S}}{\bigr \}}$

и класс функций

${\mathcal {F}}\subset {\bigl \{}f:{\mathcal {S}}\to \mathbb {R} ,f{\mbox{ is measurable}}\ {\bigr \}}$

определить случайные величины

${\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}=\sup _{C\in {\mathcal {C}}}{\bigl |}\mathbb {P} _{n}(C)-\mathbb {P} (C){\bigr |}$

${\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}{\bigl |}\mathbb {P} _{n}f-\mathbb {P} f{\bigr |}$

где $\ \mathbb {P} _{n}(C)\$ является эмпирической мерой, $\ \mathbb {P} _{n}f\$ — соответствующая карта, а

$\ \mathbb {P} f=\int _{\mathcal {S}}f\ \mathrm {d} \mathbb {P} \ ,$ предполагая, что оно существует.

Определения

• Класс $\ {\mathcal {C}}\$ называется классом Гливенко–Кантелли (или классом GC , а иногда и сильным классом GC ) относительно вероятностной меры P, если

$\ {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}\to 0\$ почти наверняка как $\ n\to \infty ~.$

• Класс — это $\ {\mathcal {C}}\$ является слабым классом Гливенко-Кантелли относительно P , если вместо этого он удовлетворяет более слабому условию

$\ {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}\to 0\$ по вероятности как $\ n\to \infty ~.$

• Класс называется универсальным классом Гливенко–Кантелли, если он является классом GC относительно любой вероятностной меры. $\mathbb {P}$ на $({\mathcal {S}},A)$.

• Класс называется слабым равномерным классом Гливенко–Кантелли, если сходимость происходит равномерно по всем вероятностным мерам. $\mathbb {P}$ на $({\mathcal {S}},A)$: Для каждого $\varepsilon >0$,

$\ \sup _{\mathbb {P} \in \mathbb {P} ({\mathcal {S}},A)}\Pr \left({\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}>\varepsilon \right)\to 0\$ как $\ n\to \infty ~.$

• Класс называется (сильным) однородным классом Гливенко-Кантелли, если он удовлетворяет более сильному условию, что для каждого $\varepsilon >0$,

$\ \sup _{\mathbb {P} \in \mathbb {P} ({\mathcal {S}},A)}\Pr \left(\sup _{m\geq n}{\bigl \|}\mathbb {P} _{m}-\mathbb {P} {\bigr \|}_{\mathcal {C}}>\varepsilon \right)\to 0\$ как $\ n\to \infty ~.$

Классы функций Гливенко–Кантелли (а также их равномерные и универсальные формы) определяются аналогично, заменяя все экземпляры ${\mathcal {C}}$ с ${\mathcal {F}}$.

Слабая и сильная версии различных свойств Гливенко-Кантелли часто совпадают при определенных условиях регулярности. В таких условиях регулярности обычно появляется следующее определение:

• Класс функций ${\mathcal {F}}$ является образно-допустимым по Суслину, если существует пространство Суслина $\Omega$ и сюръекция $T:\Omega \rightarrow {\mathcal {F}}$ такое, что карта $(x,y)\mapsto [T(y)](x)$ измеримо ${\mathcal {X}}\times \Omega$.

• Класс измеримых множеств ${\mathcal {C}}$ является образно-допустимым по Суслину, если класс функций $\{\mathbf {1} _{C}\mid C\in {\mathcal {C}}\}$ является образно-допустимым Суслина, где $\mathbf {1} _{C}$ обозначает индикаторную функцию для множества $C$.

Теоремы

Следующие две теоремы дают достаточные условия эквивалентности слабой и сильной версий свойства Гливенко-Кантелли.

Теорема ( Талагранд , 1987)

Позволять ${\mathcal {F}}$ быть классом функций, который интегрируем $\mathbb {P}$и определить ${\mathcal {F}}_{0}=\{f-\mathbb {P} f\mid f\in {\mathcal {F}}\}$. Тогда следующие условия эквивалентны:

• ${\mathcal {F}}$ является слабым классом Гливенко-Кантелли и ${\mathcal {F}}_{0}$ доминирует интегрируемая функция
• ${\mathcal {F}}$ это класс Гливенко-Кантелли

Теорема ( Дадли , Джине и Зинн, 1991)

Предположим, что класс функций ${\mathcal {F}}$ ограничен. Предположим также, что множество ${\mathcal {F}}_{0}=\{f-\inf f\mid f\in {\mathcal {F}}\}$ является образно-допустимым Суслином. Затем ${\mathcal {F}}$ является слабым равномерным классом Гливенко-Кантелли тогда и только тогда, когда он является сильным равномерным классом Гливенко-Кантелли.

Следующая теорема играет центральную роль в статистическом обучении задач двоичной классификации.

Теорема ( Вапник и Червоненкис , 1968)

При определенных условиях совместности универсально измеримый класс множеств $\ {\mathcal {C}}\$ является равномерным классом Гливенко–Кантелли тогда и только тогда, когда он является классом Вапника–Червоненкиса .

Существует множество условий совместности эквивалентности однородных классов Гливенко-Кантелли и Вапника-Червоненкиса. В частности, любое из следующих условий для класса ${\mathcal {C}}$ достаточно:

• ${\mathcal {C}}$ является образно-допустимым Суслином.
• ${\mathcal {C}}$ универсально отделимо : существует счетное подмножество ${\mathcal {C_{0}}}$ из ${\mathcal {C}}$ так, что каждый набор $C\in {\mathcal {C}}$ можно записать как поточечный предел множеств в ${\mathcal {C}}_{0}$.

Примеры

• Позволять $S=\mathbb {R}$ и ${\mathcal {C}}=\{(-\infty ,t]:t\in {\mathbb {R} }\}$. Классическая теорема Гливенко–Кантелли означает, что этот класс является универсальным классом GC. по теореме Колмогорова Кроме того ,

$\sup _{P\in {\mathcal {P}}(S,A)}\|P_{n}-P\|_{\mathcal {C}}\sim n^{-1/2}$, то есть ${\mathcal {C}}$ является равномерно классом Гливенко–Кантелли.

• Пусть P — неатомная вероятностная мера на S и ${\mathcal {C}}$ быть классом всех конечных подмножеств в S . Потому что $A_{n}=\{X_{1},\ldots ,X_{n}\}\in {\mathcal {C}}$, $P(A_{n})=0$, $P_{n}(A_{n})=1$, у нас это есть $\|P_{n}-P\|_{\mathcal {C}}=1$ и так ${\mathcal {C}}$ является не классом GC относительно P .

См. также

• Теорема Донскера
• Неравенство Дворецкого – Кифера – Вольфовица – усиливает теорему Гливенко – Кантелли путем количественного определения скорости сходимости.

Дальнейшее чтение

• Дадли, РМ (1999). Равномерные центральные предельные теоремы . Издательство Кембриджского университета. ISBN  0-521-46102-2 .
• Питман, EJG (1979). «Функция распределения выборки». Некоторые базовые теории статистических выводов . Лондон, Великобритания: Чепмен и Холл. п. 79–97. ISBN  0-470-26554-Х .
• Шорак, Греция ; Веллнер, Дж. А. (1986). Эмпирические процессы с приложениями к статистике . Уайли. ISBN  0-471-86725-Х .
• ван дер Ваарт, AW ; Веллнер, Дж. А. (1996). Слабая сходимость и эмпирические процессы . Спрингер. ISBN  0-387-94640-3 .
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (1996). Теоремы Гливенко-Кантелли . Спрингер.
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (2000). Теоремы сохранения для классов Гливенко–Кантелли и равномерных классов Гливенко–Кантелли . Спрингер.