Эмпирическая мера

В теории вероятностей эмпирическая мера — это случайная мера, возникающая в результате конкретной реализации (обычно конечной) последовательности случайных величин . Точное определение можно найти ниже. Эмпирические меры имеют отношение к математической статистике .

Мотивацией к изучению эмпирических показателей является то, что часто невозможно узнать истинную основную меру вероятности. $P$. Мы собираем наблюдения $X_{1},X_{2},\dots ,X_{n}$ и вычислить относительные частоты . Мы можем оценить $P$или соответствующая функция распределения $F$ с помощью эмпирической меры или эмпирической функции распределения соответственно. Это равномерно хорошие оценки при определенных условиях. Теоремы в области эмпирических процессов обеспечивают скорость этой сходимости.

Определение

Позволять $X_{1},X_{2},\dots$ быть последовательностью независимых одинаково распределенных случайных величин со значениями в пространстве состояний S с распределением вероятностей P .

Определение

Эмпирическая мера P _n определяется для измеримых подмножеств S и задается формулой

$P_{n}(A)={1 \over n}\sum _{i=1}^{n}I_{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)$

где $I_{A}$ – индикаторная функция и $\delta _{X}$ является мерой Дирака .

Характеристики

• Для фиксированного измеримого набора nP A n ₍ A ) является биномиальной случайной величиной со средним значением nP ( A ) и дисперсией nP ( A ) (1 - P ( A )).
  • В частности, P _n ( A ) является несмещенной оценкой P ( A ) .
• Для фиксированного раздела $A_{i}$ S , случайные величины $Y_{i}=nP_{n}(A_{i})$ сформировать полиномиальное распределение с вероятностями событий $P(A_{i})$
  • этого Ковариационная матрица полиномиального распределения равна $Cov(Y_{i},Y_{j})=nP(A_{i})(\delta _{ij}-P(A_{j}))$.

Определение

${\bigl (}P_{n}(c){\bigr )}_{c\in {\mathcal {C}}}$ является эмпирической мерой, индексируемой ${\mathcal {C}}$, набор измеримых подмножеств S .

Чтобы обобщить это понятие дальше, заметим, что эмпирическая мера $P_{n}$ отображает измеримые функции $f:S\to \mathbb {R}$ их эмпирическому среднему значению ,

$f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})$

В частности, эмпирическая мера A — это просто эмпирическое среднее индикаторной функции P _n ( A ) = P _n I _A .

Для фиксированной измеримой функции $f$, $P_{n}f$ является случайной величиной со средним значением $\mathbb {E} f$ и дисперсия ${\frac {1}{n}}\mathbb {E} (f-\mathbb {E} f)^{2}$.

По усиленному закону больших чисел Pn ( _при A ) к P ( A ) почти наверняка фиксированном A. сходится Сходным образом $P_{n}f$ сходится к $\mathbb {E} f$ почти наверняка для фиксированной измеримой функции $f$. Проблема равномерной сходимости P _n к P была открытой до тех пор, пока Вапник и Червоненкис не решили ее в 1968 году.

Если класс ${\mathcal {C}}$ (или ${\mathcal {F}}$) является Гливенко–Кантелли относительно P , то P _n сходится к P равномерно по $c\in {\mathcal {C}}$ (или $f\in {\mathcal {F}}$). Другими словами, с вероятностью 1 имеем

$\|P_{n}-P\|_{\mathcal {C}}=\sup _{c\in {\mathcal {C}}}|P_{n}(c)-P(c)|\to 0,$

$\|P_{n}-P\|_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}|P_{n}f-\mathbb {E} f|\to 0.$

Эмпирическая функция распределения

Основная статья: Эмпирическая функция распределения

Эмпирическая функция распределения представляет собой пример эмпирических показателей. Для действительных iid случайных величин $X_{1},\dots ,X_{n}$ это дано

$F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.$

В этом случае эмпирические меры индексируются классом ${\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.$ Было показано, что ${\mathcal {C}}$ — однородный класс Гливенко–Кантелли , в частности,

$\sup _{F}\|F_{n}(x)-F(x)\|_{\infty }\to 0$

с вероятностью 1.

См. также

• Минимизация эмпирического риска
• Случайная мера Пуассона

Дальнейшее чтение

• Биллингсли, П. (1995). Вероятность и мера (Третье изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN  0-471-80478-9 .
• Донскер, доктор медицины (1952). «Обоснование и расширение эвристического подхода Дуба к теоремам Колмогорова – Смирнова» . Анналы математической статистики . 23 (2): 277–281. дои : 10.1214/aoms/1177729445 .
• Дадли, РМ (1978). «Центральные предельные теоремы для эмпирических мер» . Анналы вероятности . 6 (6): 899–929. дои : 10.1214/aop/1176995384 . JSTOR   2243028 .
• Дадли, РМ (1999). Равномерные центральные предельные теоремы . Кембриджские исследования по высшей математике. Том. 63. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-521-46102-2 .
• Вулфовиц, Дж. (1954). «Обобщение теоремы Гливенко–Кантелли» . Анналы математической статистики . 25 (1): 131–138. дои : 10.1214/aoms/1177728852 . JSTOR   2236518 .