Закон больших чисел

Не путать с Законом действительно больших чисел .

Иллюстрация закона больших чисел с использованием определенной серии бросков одной игральной кости . По мере увеличения количества бросков в этом прогоне среднее значение всех результатов приближается к 3,5. Хотя каждый забег будет иметь отличительную форму при небольшом количестве бросков (слева), при большом количестве бросков (справа) формы будут чрезвычайно похожими.

В теории вероятностей закон больших чисел ( LLN ) — это математическая теорема , которая утверждает, что среднее значение результатов, полученных из большого количества независимых случайных выборок, сходится к истинному значению, если оно существует. Более формально, LLN утверждает, что при наличии выборки независимых и одинаково распределенных значений среднее значение выборки сходится к истинному среднему значению .

LLN важен, поскольку он гарантирует стабильные долгосрочные результаты для средних значений некоторых случайных событий . Например, хотя казино может потерять деньги за одно вращение колеса рулетки , его доходы будут иметь тенденцию к предсказуемому проценту за большое количество вращений. Любая победная серия игрока в конечном итоге будет преодолена параметрами игры. Важно отметить, что закон применяется (как следует из названия) только тогда, когда большое количество учитывается наблюдений. Не существует принципа, согласно которому небольшое количество наблюдений совпадет с ожидаемым значением или что полоса одного значения будет немедленно «уравновешена» другими (см. заблуждение игрока ).

LLN применяется только к среднему значению результатов, полученных в результате повторных испытаний, и утверждает, что это среднее значение сходится к ожидаемому значению; он не утверждает, что результатов приближается сумма n к ожидаемому значению, умноженному на n, по мере увеличения n .

На протяжении всей своей истории многие математики уточняли этот закон. Сегодня LLN используется во многих областях, включая статистику, теорию вероятностей, экономику и страхование.

Примеры

Например, при одном броске шестигранного игрального кубика выпадает одно из чисел 1, 2, 3, 4, 5 или 6, каждое из которых выпадает с одинаковой вероятностью . Следовательно, ожидаемое значение среднего значения бросков равно:

$${\frac {1+2+3+4+5+6}{6}}=3.5$$

Согласно закону больших чисел, если бросить большое количество шестигранных игральных костей, среднее их значений (иногда называемое выборочным средним ) будет приближаться к 3,5, причем точность увеличивается по мере того, как бросается больше игральных костей.

Из закона больших чисел следует, что эмпирическая вероятность успеха в серии испытаний Бернулли будет сходиться к теоретической вероятности. Для случайной величины Бернулли ожидаемое значение — это теоретическая вероятность успеха, а среднее значение n таких переменных (при условии, что они независимы и одинаково распределены (iid) ) — это в точности относительная частота.

Это изображение иллюстрирует сходимость относительных частот к их теоретическим вероятностям. Вероятность вытащить из мешка красный шар равна 0,4, а черный — 0,6. Левый график показывает относительную частоту выбора черного шара, а правый график показывает относительную частоту выбора красного шара, оба более 10 000 попыток. По мере увеличения количества испытаний относительные частоты приближаются к соответствующим теоретическим вероятностям, демонстрируя Закон больших чисел.

Например, честный подбрасывание монеты — это процесс Бернулли. Когда честная монета подбрасывается один раз, теоретическая вероятность того, что выпадет орел, равна 1 ⁄ 2 . Следовательно, согласно закону больших чисел, доля орлов при «большом» количестве подбрасываний монеты «должна составлять» примерно 1 ⁄ 2 . В частности, доля орлов после n переворотов почти наверняка будет стремиться к 1 ⁄ 2 , когда n приближается к бесконечности.

Хотя соотношение орла (и решки) приближается 1 ⁄ 2 , почти наверняка абсолютная разница в количестве орлов и решок станет большой по мере увеличения количества подбросов. То есть вероятность того, что абсолютная разница представляет собой небольшое число, приближается к нулю по мере того, как количество переворотов становится большим. Также почти наверняка отношение абсолютной разницы к количеству бросков будет приближаться к нулю. Интуитивно ожидаемая разница растет, но медленнее, чем количество переворотов.

Еще одним хорошим примером LLN является метод Монте-Карло . Эти методы представляют собой широкий класс вычислительных алгоритмов , которые полагаются на повторяющуюся случайную выборку для получения численных результатов. Чем больше число повторений, тем лучше будет аппроксимация. Причина важности этого метода заключается главным образом в том, что иногда трудно или невозможно использовать другие подходы.

Ограничение

В некоторых случаях среднее значение результатов, полученных в результате большого количества испытаний, может не сходиться. Например, среднее значение n результатов, взятых из распределения Коши или некоторых распределений Парето (α<1), не будет сходиться по мере n увеличения ; причина в тяжелых хвостах . Распределение Коши и распределение Парето представляют два случая: распределение Коши не имеет математического ожидания, тогда как математическое ожидание распределения Парето ( α <1) бесконечно. Один из способов создания примера распределения Коши заключается в том, что случайные числа равны тангенсу угла, равномерно распределенного между -90 ° и + 90 °. Медиана n равна нулю, но ожидаемого значения не существует, и действительно, среднее значение таких переменных имеет то же распределение, что и одна такая переменная. Он не сходится по вероятности к нулю (или любому другому значению), когда n стремится к бесконечности.

И если в испытаниях присутствует систематическая ошибка отбора , типичная для экономического/рационального поведения человека, закон больших чисел не поможет устранить эту систематическую ошибку. Даже если количество испытаний увеличится, систематическая ошибка отбора останется.

История

Диффузия является примером закона больших чисел. находятся Первоначально молекулы растворенного вещества на левой стороне барьера (пурпурная линия), а справа нет. Барьер удаляется, и растворенное вещество диффундирует, заполняя весь контейнер.

• Вверху: движение одной молекулы кажется совершенно случайным.
• В центре: при большем количестве молекул явно наблюдается тенденция к тому, что растворенное вещество заполняет контейнер все более и более равномерно, но наблюдаются и случайные колебания.
• Внизу: при огромном количестве молекул растворенного вещества (слишком много, чтобы его можно было увидеть) хаотичность практически исчезла: кажется, что растворенное вещество плавно и систематически перемещается из областей с высокой концентрацией в области с низкой концентрацией. В реальных ситуациях химики могут описать диффузию как детерминированное макроскопическое явление (см. законы Фика ), несмотря на лежащую в ее основе случайную природу.

Итальянский математик Джероламо Кардано (1501–1576) без доказательств заявил, что точность эмпирической статистики имеет тенденцию улучшаться с увеличением количества испытаний. Затем это было формализовано как закон больших чисел. Особая форма LLN (для двоичной случайной величины) была впервые доказана Якобом Бернулли . Ему потребовалось более 20 лет, чтобы разработать достаточно строгое математическое доказательство, которое было опубликовано в его книге Ars Conjectandi (« Искусство строить предположения ») в 1713 году. Он назвал это своей «Золотой теоремой», но оно стало широко известно как « Теорема Бернулли ». Это не следует путать с принципом Бернулли , названным в честь племянника Якоба Бернулли Даниэля Бернулли . В 1837 году С.Д. Пуассон далее описал его под названием «la loi des grands nombres» («закон больших чисел»). После этого он был известен под обоими названиями, но чаще всего используется «закон больших чисел».

После того как Бернулли и Пуассон опубликовали свои работы, в уточнение закона внесли свой вклад и другие математики, в том числе Чебышев , Марков , Борель , Кантелли , Колмогоров и Хинчин . Марков показал, что закон может применяться к случайной величине, которая не имеет конечной дисперсии при каком-либо другом, более слабом предположении, а Хинчин показал в 1929 году, что если ряд состоит из независимых одинаково распределенных случайных величин, то достаточно, чтобы ожидаемое значение существовало для слабый закон больших чисел, чтобы быть правдой. Эти дальнейшие исследования привели к появлению двух известных форм LLN. Один называется «слабым» законом, а другой - «сильным» законом в отношении двух различных способов сходимости совокупных выборочных средних к ожидаемому значению; в частности, как поясняется ниже, сильная форма подразумевает слабую.

Формы

Существуют две разные версии закона больших чисел , которые описаны ниже. Их называют сильным законом больших чисел и слабым законом больших чисел . Сформулировано для случая, когда X ₁ , X ₂ , ... представляет собой бесконечную последовательность независимых и одинаково распределенных (iid) интегрируемых по Лебегу случайных величин с математическим ожиданием E( X ₁ ) = E( X ₂ ) = ... = µ , обе версии закона гласят, что выборочное среднее

$${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$$

сходится к ожидаемому значению:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$$ ( 1 )

(Интегрируемость по Лебегу X _j означает, что ожидаемое значение E( X _j ) существует в соответствии с интегрированием Лебега и конечно. Это не означает, что соответствующая вероятностная мера абсолютно непрерывна относительно меры Лебега .)

Вводные тексты по вероятностям часто дополнительно предполагают идентичную конечную дисперсию. $\operatorname {Var} (X_{i})=\sigma ^{2}$ (для всех $i$) и отсутствие корреляции между случайными величинами. В этом случае дисперсия среднего значения n случайных величин равна

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

которые можно использовать для сокращения и упрощения доказательств. Это предположение о конечной дисперсии не является необходимым . Большая или бесконечная дисперсия замедлит сходимость, но LLN все равно сохраняется.

Взаимную независимость случайных величин можно заменить попарной независимостью. или возможность обмена в обеих редакциях закона.

Разница между сильной и слабой версиями связана с утверждаемым способом конвергенции. Интерпретацию этих режимов см. в разделе «Сходимость случайных величин» .

Слабый закон

Моделирование, иллюстрирующее закон больших чисел. В каждом кадре подбрасывается монета, красная с одной стороны и синяя с другой, и в соответствующем столбце добавляется точка. Круговая диаграмма показывает соотношение красного и синего цветов на данный момент. Обратите внимание, что, хотя поначалу эта доля значительно варьируется, по мере увеличения количества испытаний она приближается к 50%.

Слабый закон больших чисел (также называемый законом Хинчина ) гласит, что при наличии набора выборок iid из случайной величины с конечным средним значением выборочное среднее сходится по вероятности к ожидаемому значению.

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$ ( 2 )

есть для любого положительного числа ε То

$$\lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.$$

Интерпретируя этот результат, слабый закон утверждает, что для любого заданного ненулевого запаса ( ε ), независимо от того, насколько он мал, при достаточно большой выборке будет очень высокая вероятность того, что среднее значение наблюдений будет близко к ожидаемому значению; то есть в пределах нормы.

Как упоминалось ранее, слабый закон применяется в случае случайных величин iid, но он также применим и в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной величины в ряду, сохраняя при этом ожидаемое значение постоянным. Если дисперсии ограничены, то применяется закон, как показал Чебышев еще в 1867 году. (Если ожидаемые значения изменяются в течение ряда, то мы можем просто применить закон к среднему отклонению от соответствующих ожидаемых значений. Закон тогда утверждает, что это сходится по вероятности к нулю.) Фактически, доказательство Чебышева работает до тех пор, пока дисперсия среднего первых n значений стремится к нулю по мере того, как n стремится к бесконечности. В качестве примера предположим, что каждая случайная величина в ряду соответствует распределению Гаусса (нормальному распределению) со средним нулевым значением, но с дисперсией, равной $2n/\log(n+1)$, который не ограничен. На каждом этапе среднее будет иметь нормальное распределение (как среднее от набора нормально распределенных переменных). Дисперсия суммы равна сумме дисперсий, асимптотична которая $n^{2}/\log n$. Таким образом, дисперсия среднего асимптотична $1/\log n$ и уходит в ноль.

Есть также примеры применения слабого закона, даже если ожидаемая стоимость не существует.

Сильный закон

Усиленный закон больших чисел (также называемый законом Колмогорова ) гласит, что выборочное среднее почти наверняка сходится к ожидаемому значению.

$${\overline {X}}_{n}\ {\overset {\text{a.s.}}{\longrightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$ ( 3 )

То есть,

$$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.$$

Это означает, что вероятность того, что по мере того, как число испытаний n стремится к бесконечности, среднее значение наблюдений сходится к ожидаемому значению, равна единице. Современное доказательство сильного закона более сложное, чем доказательство слабого закона, и основано на переходе к соответствующей подпоследовательности.

Усиленный закон больших чисел сам по себе можно рассматривать как частный случай поточечной эргодической теоремы . Эта точка зрения оправдывает интуитивную интерпретацию ожидаемого значения (только для интеграции Лебега) случайной величины при многократной выборке как «долгосрочного среднего значения».

Закон 3 называется сильным законом, потому что случайные величины, которые сильно сходятся (почти наверняка), гарантированно сходятся слабо (по вероятности). Однако известно, что слабый закон выполняется в определенных условиях, когда сильный закон не выполняется, и тогда сходимость является лишь слабой (по вероятности). См. различия между слабым и сильным законом .

Сильный закон применяется к независимым одинаково распределенным случайным величинам, имеющим ожидаемое значение (как и слабый закон). Это было доказано Колмогоровым в 1930 году. Это применимо и в других случаях. Колмогоров также показал в 1933 году, что если переменные независимы и одинаково распределены, то для того, чтобы среднее почти наверняка к чему-то сходилось (это можно считать еще одним утверждением сильного закона), необходимо, чтобы они имели ожидаемое значение ( и тогда, конечно, среднее почти наверняка сходится к этому).

Если слагаемые независимы, но не одинаково распределены, то

$${\overline {X}}_{n}-\operatorname {E} {\big [}{\overline {X}}_{n}{\big ]}\ {\overset {\text{a.s.}}{\longrightarrow }}\ 0,$$ ( 2 )

при условии, что каждое X _k имеет конечный второй момент и

$$\sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .$$

Это утверждение известно как сильный закон Колмогорова , см., например, Сен и Сингер (1993 , теорема 2.3.10).

Различия между слабым законом и сильным законом

Слабый закон утверждает, что для заданного большого n среднее значение ${\overline {X}}_{n}$ вероятно, будет около μ . Таким образом, остается открытой возможность того, что $|{\overline {X}}_{n}-\mu |>\varepsilon$ происходит бесконечное число раз, хотя и через нечастые промежутки времени. (Не обязательно $|{\overline {X}}_{n}-\mu |\neq 0$ для всех n ).

Сильный закон показывает, что этого почти наверняка не произойдет. Это не означает, что с вероятностью 1 для любого ε > 0 выполняется неравенство $|{\overline {X}}_{n}-\mu |<\varepsilon$ справедливо для всех достаточно больших n , поскольку сходимость не обязательно равномерна на множестве, где она выполняется.

Сильный закон не действует в следующих случаях, а слабый закон — работает.

1. Пусть X — экспоненциально распределенная случайная величина с параметром 1. Случайная величина $\sin(X)e^{X}X^{-1}$ не имеет ожидаемого значения согласно интегрированию Лебега, но используя условную сходимость и интерпретируя интеграл как интеграл Дирихле , который является несобственным интегралом Римана , мы можем сказать: $$E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}$$
2. Пусть X — геометрически распределенная случайная величина с вероятностью 0,5. Случайная величина $2^{X}(-1)^{X}X^{-1}$ не имеет ожидаемого значения в общепринятом смысле, поскольку бесконечный ряд не является абсолютно сходящимся, но, используя условную сходимость, можно сказать: $$E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)$$
3. Если кумулятивная функция распределения случайной величины равна $${\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}$$тогда он не имеет ожидаемого значения, но слабый закон верен.
4. Пусть X _k будет плюс или минус ${\textstyle {\sqrt {k/\log \log \log k}}}$ (начиная с достаточно большого k , чтобы знаменатель был положительным) с вероятностью 1 ⁄ По на каждого. дисперсия X _{k равна} Тогда $k/\log \log \log k.$ Усиленный закон Колмогорова неприменим, поскольку частичная сумма в его критерии вплоть до k = n асимптотична $\log n/\log \log \log n$ и это безгранично. Если мы заменим случайные величины гауссовскими переменными, имеющими те же дисперсии, а именно ${\textstyle {\sqrt {k/\log \log \log k}}}$, то среднее значение в любой точке также будет нормально распределено. Ширина распределения среднего будет стремиться к нулю (стандартное отклонение, асимптотическое ${\textstyle 1/{\sqrt {2\log \log \log n}}}$), но для данного ε существует вероятность, которая не стремится к нулю с n , в то время как среднее значение через некоторое время после n -го испытания снова вернется к ε . Поскольку ширина распределения среднего значения не равна нулю, оно должно иметь положительную нижнюю границу p ( ε ), что означает, что существует вероятность не менее p ( ε ), что среднее значение достигнет ε после n испытаний. Это произойдет с вероятностью p ( ε )/2 до некоторого m , зависящего от n . Но даже после m все еще существует вероятность не менее p ( ε ), что это произойдет. (Похоже, это указывает на то, что p ( ε )=1 и среднее значение будет достигать ε бесконечное число раз.)

Равномерные законы больших чисел

Существуют расширения закона больших чисел на наборы оценок, где сходимость равномерна по всему набору; отсюда и название « единый закон больших чисел» .

Предположим, f ( x , θ ) — некоторая функция , определенная для θ ∈ Θ и непрерывная по θ . Тогда для любого фиксированного θ последовательность { f ( X ₁ , θ ), f ( X ₂ , θ ), ...} будет последовательностью независимых и одинаково распределенных случайных величин, таких что выборочное среднее этой последовательности сходится по вероятности равно E[ f ( X , θ )]. Это и есть поточечная (по θ ) сходимость.

Конкретный пример равномерного закона больших чисел устанавливает условия, при которых сходимость происходит равномерно по θ . Если

1. Θ компактен,
2. f ( x , θ ) непрерывна при каждом θ ∈ Θ почти для всех x s и является измеримой функцией x при каждом θ .
3. существует доминирующая функция d ( x ) такая, что E[ d ( X )] < ∞, и $$\left\|f(x,\theta )\right\|\leq d(x)\quad {\text{for all}}\ \theta \in \Theta .$$

Тогда E[ f ( X , θ )] непрерывен по θ и

$$\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\overset {\mathrm {P} }{\rightarrow }}\ 0.$$

Этот результат полезен для получения согласованности большого класса оценок (см. Оценка экстремума ).

Закон больших чисел Бореля

Закон больших чисел Бореля , названный в честь Эмиля Бореля , гласит, что если эксперимент повторяется большое количество раз независимо при одинаковых условиях, то доля раз, когда ожидается, что какое-либо заданное событие произойдет, примерно равна вероятности возникновения этого события. по какому-либо конкретному судебному разбирательству; чем больше число повторений, тем лучше будет аппроксимация. Точнее, если E обозначает рассматриваемое событие, p — его вероятность возникновения, а N _n ( E ) — количество раз, когда E встречается в первых n испытаниях, то с вероятностью единица $${\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .$$

Эта теорема делает более строгим интуитивное понятие вероятности как ожидаемой в долгосрочной перспективе относительной частоты возникновения события. Это частный случай любого из нескольких более общих законов больших чисел в теории вероятностей.

Неравенство Чебышева . Пусть X — случайная величина с конечным ожидаемым значением µ и конечной ненулевой дисперсией σ. ² . Тогда для любого действительного числа k > 0

$$\Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.$$

Доказательство слабого закона

Учитывая X ₁ , X ₂ , ... бесконечную последовательность случайных величин iid с конечным ожидаемым значением $E(X_{1})=E(X_{2})=\cdots =\mu <\infty$, нас интересует сходимость выборочного среднего

$${\overline {X}}_{n}={\tfrac {1}{n}}(X_{1}+\cdots +X_{n}).$$

Слабый закон больших чисел гласит:

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$ ( 2 )

Доказательство с использованием неравенства Чебышева в предположении конечной дисперсии.

В этом доказательстве используется предположение о конечной дисперсии. $\operatorname {Var} (X_{i})=\sigma ^{2}$ (для всех $i$). Независимость случайных величин подразумевает отсутствие корреляции между ними, и мы имеем, что

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

Общее среднее значение последовательности является средним значением выборочного среднего:

$$E({\overline {X}}_{n})=\mu .$$

Используя неравенство Чебышева на ${\overline {X}}_{n}$ приводит к

$$\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.$$

Это можно использовать для получения следующего:

$$\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.$$

Когда n приближается к бесконечности, выражение приближается к 1. И по определению сходимости по вероятности мы получили

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$ ( 2 )

Доказательство с использованием сходимости характеристических функций.

По теореме Тейлора для комплексных функций характеристическую функцию любой случайной величины X с конечным средним значением µ можно записать как

$$\varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.$$

Все X ₁ , X ₂ , ... имеют одну и ту же характеристическую функцию, поэтому мы будем обозначать это просто φ _X .

К основным свойствам характеристических функций относятся

$$\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad$$ если X и Y независимы.

Эти правила можно использовать для вычисления характеристической функции ${\overline {X}}_{n}$ в терминах φ _X :

$$\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{as}}\quad n\to \infty .$$

Предел e ^этоμ является характеристической функцией постоянной случайной величины ц, и, следовательно, по теореме о непрерывности Леви , ${\overline {X}}_{n}$ сходится по распределению к µ:

$${\overline {X}}_{n}\,{\overset {\mathcal {D}}{\rightarrow }}\,\mu \qquad {\text{for}}\qquad n\to \infty .$$

μ — константа, из чего следует, что сходимость по распределению к μ и сходимость по вероятности к μ эквивалентны (см. Сходимость случайных величин ). Следовательно,

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$ ( 2 )

Это показывает, что выборочное среднее сходится по вероятности к производной характеристической функции в начале координат, пока последняя существует.

Доказательство сильного закона

Мы даем относительно простое доказательство сильного закона в предположении, что $X_{i}$ являются идентификаторами, ${\mathbb {E} }[X_{i}]=:\mu <\infty$, $\operatorname {Var} (X_{i})=\sigma ^{2}<\infty$, и ${\mathbb {E} }[X_{i}^{4}]=:\tau <\infty$.

Прежде всего отметим, что без ограничения общности можно считать, что $\mu =0$ путем центрирования. В этом случае сильный закон гласит, что

$$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=0\right)=1,$$или $$\Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}=0\right)=1.$$Это эквивалентно показать, что $$\Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\right)=0,$$Обратите внимание, что $$\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\iff \exists \epsilon >0,\left|{\frac {S_{n}(\omega )}{n}}\right|\geq \epsilon \ {\mbox{infinitely often}},$$и, таким образом, чтобы доказать сильный закон, нам нужно показать, что для каждого $\epsilon >0$, у нас есть $$\Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}}\right)=0.$$Определите события $A_{n}=\{\omega :|S_{n}|\geq n\epsilon \}$, и если мы сможем это показать $$\sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,$$тогда из леммы Бореля-Кантелли следует результат. Итак, давайте оценим $\Pr(A_{n})$.

Мы вычисляем $${\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i}\right)^{4}\right]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l}\right].$$Сначала мы утверждаем, что каждый член формы $X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}$ где все индексы различны, должно иметь нулевое математическое ожидание. Это потому, что ${\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]$ по независимости, а последний член равен нулю --- и аналогично для остальных членов. Следовательно, единственные члены суммы с ненулевым математическим ожиданием — это ${\mathbb {E} }[X_{i}^{4}]$ и ${\mathbb {E} }[X_{i}^{2}X_{j}^{2}]$. Поскольку $X_{i}$ одинаково распределены, все они одинаковы, и притом ${\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}$.

Есть $n$ Условия формы ${\mathbb {E} }[X_{i}^{4}]$ и $3n(n-1)$ Условия формы $({\mathbb {E} }[X_{i}^{2}])^{2}$, и так $${\mathbb {E} }[S_{n}^{4}]=n\tau +3n(n-1)\sigma ^{4}.$$Обратите внимание, что правая часть представляет собой квадратичный полином от $n$, и поэтому существует $C>0$ такой, что ${\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}$ для $n$ достаточно большой. Марков, $$\Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},$$для $n$ достаточно велик, и поэтому этот ряд суммируем. Поскольку это справедливо для любого $\epsilon >0$, мы создали Strong LLN.

Еще одно доказательство можно найти в

Доказательство без дополнительного предположения о конечности четвертого момента см. в разделе 22.

Последствия

Закон больших чисел обеспечивает ожидание неизвестного распределения из реализации последовательности, а также любой особенности распределения вероятностей . Применяя закон больших чисел Бореля , можно легко получить функцию массы вероятности. Для каждого события в целевой функции массы вероятности можно аппроксимировать вероятность возникновения события долей раз, когда происходит любое заданное событие. Чем больше число повторений, тем лучше аппроксимация. Что касается непрерывного случая: $C=(a-h,a+h]$, для малых положительных h. Таким образом, для больших n:

$${\frac {N_{n}(C)}{n}}\thickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx\thickapprox 2hf(a)$$

С помощью этого метода можно покрыть всю ось X сеткой (с размером сетки 2h) и получить гистограмму, которая называется гистограммой .

Приложения

Одним из применений LLN является использование важного метода аппроксимации — метода Монте-Карло . Этот метод использует случайную выборку чисел для аппроксимации числовых результатов. Алгоритм вычисления интеграла от f(x) на интервале [a,b] следующий:

1. Смоделируйте однородные случайные величины X ₁ , X ₂ , ..., X _n, что можно сделать с помощью программного обеспечения, и используйте таблицу случайных чисел, которая дает U ₁ , U ₂ , ..., _Un независимые и одинаково распределенные (iid ) случайные величины на [0,1]. Тогда пусть X _i = a+(b - a)U _i для i = 1, 2, ..., n. Тогда X ₁ , X ₂ , ..., X _n — независимые и одинаково распределенные однородные случайные величины на [a, b].
2. Оценить f(X ₁ ), f(X ₂ ), ..., f(X _n )
3. Возьмите среднее значение f(X ₁ ), f(X ₂ ), ..., f(X _n ), вычислив $(b-a){\tfrac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n}}$ и тогда по сильному закону больших чисел это сходится к $(b-a)E(f(X_{1}))$ = $(b-a)\int _{a}^{b}f(x){\tfrac {1}{b-a}}{dx}$ = $\int _{a}^{b}f(x){dx}$

Мы можем найти интеграл $f(x)=cos^{2}(x){\sqrt {x^{3}+1}}$ на [-1,2]. Традиционными методами вычислить этот интеграл очень сложно, поэтому здесь можно использовать метод Монте-Карло. Используя приведенный выше алгоритм, получаем

$\int _{-1}^{2}f(x){dx}$ = 0,905 при n=25

и

$\int _{-1}^{2}f(x){dx}$ = 1,028 при n=250

Мы видим, что с увеличением n числовое значение также увеличивается. Когда мы получим фактические результаты для интеграла, мы получим

$\int _{-1}^{2}f(x){dx}$ = 1.000194

При использовании LLN аппроксимация интеграла была более точной и ближе к истинному значению.

Другой пример — интегрирование f(x) = ${\frac {e^{x}-1}{e-1}}$ на [0,1]. Используя метод Монте-Карло и LLN, мы видим, что по мере увеличения количества выборок числовое значение приближается к 0,4180233.

См. также

• Свойство асимптотического равнораспределения
• Центральная предельная теорема
• Теорема о бесконечных обезьянах
• Трактат Кейнса о вероятности
• Закон средних чисел
• Закон повторного логарифма
• Закон действительно больших чисел
• Эффект Линди
• Регрессия к среднему значению
• Жеребьевка
• Сильный закон малых чисел

Ссылки

• Гримметт, Греция; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы (2-е изд.). Оксфорд: Кларендон Пресс. ISBN  0-19-853665-8 .
• Дарретт, Ричард (1995). Вероятность: теория и примеры (2-е изд.). Даксбери Пресс.
• Мартин Якобсен (1992). на ( Расширенная теория вероятностей датском языке) (3-е изд.). Копенгаген: HCØ-print. ISBN  87-91180-71-6 .
• Лоев, Мишель (1977). Теория вероятностей 1 (4-е изд.). Спрингер.
• Ньюи, Уитни К.; Макфадден, Дэниел (1994). «36». Оценка большой выборки и проверка гипотез . Справочник по эконометрике. Том. IV. Эльзевир Наука. стр. 2111–2245.
• Росс, Шелдон (2009). Первый курс теории вероятности (8-е изд.). Прентис Холл. ISBN  978-0-13-603313-4 .
• Сен, П.К.; Сингер, Дж. М. (1993). Методы большой выборки в статистике . Чепмен и Холл.
• Сенета, Евгений (2013). «Трехсотлетняя история закона больших чисел». Бернулли . 19 (4): 1088–1121. arXiv : 1309.6488 . дои : 10.3150/12-BEJSP12 . S2CID   88520834 .

Внешние ссылки

• «Закон больших чисел» , Энциклопедия математики , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Слабый закон больших чисел» . Математический мир .
• Вайсштейн, Эрик В. «Сильный закон больших чисел» . Математический мир .
• Анимации для закона больших чисел от Ихуэй Се с использованием R. пакета анимации
• Генеральный директор Apple Тим Кук сказал нечто такое, что заставило бы статистов съежиться . «Мы не верим в такие законы, как в законы больших чисел. Я думаю, это своего рода старая догма, которую кто-то придумал [..]», — сказал Тим Кук и при этом: «Однако закон Закон больших чисел не имеет ничего общего с крупными компаниями, большими доходами или высокими темпами роста. Закон больших чисел — это фундаментальная концепция теории вероятностей и статистики, связывающая теоретические вероятности, которые мы можем рассчитать, с фактическими результатами экспериментов, которые мы проводим. эмпирически объяснил Business Insider.