Большое О в обозначениях вероятности

Порядок в обозначении вероятности используется в теории вероятностей и статистической теории прямо параллельно обозначению большого числа О, которое является стандартным в математике . Там, где обозначение big-O имеет дело со сходимостью последовательностей или наборов обычных чисел, порядок в обозначении вероятности касается сходимости наборов случайных величин , где сходимость находится в смысле сходимости по вероятности .

Определения

Маленькое o: сходимость по вероятности

Для набора случайных величин X _n и соответствующего набора констант a _n (оба имеют индекс n и не обязательно должны быть дискретными) обозначение

$X_{n}=o_{p}(a_{n})$

означает, что набор значений X _n / an _n сходится к нулю по вероятности, когда n приближается к соответствующему пределу.Эквивалентно, X _n = o _p ( an ₎ можно записать как X _n / a _n = o _p (1),т.е.

$\lim _{n\to \infty }P\left[\left|{\frac {X_{n}}{a_{n}}}\right|\geq \varepsilon \right]=0,$

для любого положительного ε.

Большой О: стохастическая ограниченность

Обозначения

$X_{n}=O_{p}(a_{n}){\text{ as }}n\to \infty$

что множество значений X _n / an _{означает ,} стохастически ограничено. То есть для любого ε > 0 существуют конечное M > 0 и конечное N > 0 такие, что

$P\left(|{\frac {X_{n}}{a_{n}}}|>M\right)<\varepsilon ,\;\forall \;n>N.$

Сравнение двух определений

Разница между определениями невелика. Если использовать определение предела, то получим:

• Большой $O_{p}(1)$: $\forall \varepsilon \quad \exists N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ such that }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }$
• Маленький $o_{p}(1)$: $\forall \varepsilon ,\delta \quad \exists N_{\varepsilon ,\delta }\quad {\text{ such that }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon ,\delta }$

Разница заключается в $\delta$: для стохастической ограниченности достаточно существования одного (произвольно большого) $\delta$ для удовлетворения неравенства, и $\delta$ разрешено зависеть от $\varepsilon$ (отсюда и $\delta _{\varepsilon }$). С другой стороны, для сходимости утверждение должно выполняться не только для одного, но и для любого (сколь угодно малого) $\delta$. В некотором смысле это означает, что последовательность должна быть ограничена, причем граница становится меньше по мере увеличения размера выборки.

Это говорит о том, что если последовательность $o_{p}(1)$, тогда это $O_{p}(1)$, т.е. сходимость по вероятности подразумевает стохастическую ограниченность. Но обратное не имеет места.

Пример

Если $(X_{n})$ является стохастической последовательностью, каждый элемент которой имеет конечную дисперсию, тогда

$X_{n}-E(X_{n})=O_{p}\left({\sqrt {\operatorname {var} (X_{n})}}\right)$

(см. теорему 14.4-1 в работе Бишопа и др.)

Если, кроме того, $a_{n}^{-2}\operatorname {var} (X_{n})=\operatorname {var} (a_{n}^{-1}X_{n})$ является нулевой последовательностью для последовательности $(a_{n})$ действительных чисел, то $a_{n}^{-1}(X_{n}-E(X_{n}))$ сходится к нулю по вероятности по неравенству Чебышева , поэтому

$X_{n}-E(X_{n})=o_{p}(a_{n}).$