Теорема Де Муавра – Лапласа

В системе, ячейки которой заполняются в соответствии с биномиальным распределением (такой как » Гальтона « машина для зерен , показанная здесь), при достаточном количестве испытаний (здесь ряды булавок, каждая из которых заставляет упавший «бобин» падать в сторону слева или справа), форма, представляющая распределение вероятностей k успехов в n испытаниях (см. нижнюю часть рис. 7), примерно соответствует распределению Гаусса с математическим ожиданием np и дисперсией np (1− p ), предполагая, что испытания независимы и успехи происходят с вероятностью p .

Представьте себе, что вы подбрасываете набор из n монет очень большое количество раз и подсчитываете количество выпадающих «орлов» каждый раз. Возможное количество орел при каждом броске k колеблется от 0 до n вдоль горизонтальной оси, а вертикальная ось представляет относительную частоту появления результата k орел. Таким образом, высота каждой точки — это вероятность наблюдения k решек при подбрасывании n монет ( биномиальное распределение, основанное на n испытаниях). Согласно теореме Муавра-Лапласа, при увеличении n форма дискретного распределения сходится к непрерывной кривой Гаусса нормального распределения .

В теории вероятностей теорема Муавра-Лапласа , которая является частным случаем центральной предельной теоремы , утверждает, что нормальное распределение может использоваться как приближение к биномиальному распределению при определенных условиях. В частности, теорема показывает, что массовая функция вероятности случайного числа «успехов», наблюдаемых в серии $n$ независимые испытания Бернулли , каждое из которых имеет вероятность $p$ успеха (биномиальное распределение с $n$ испытаний) сходится к функции плотности вероятности нормального распределения с математическим ожиданием $np$ и стандартное отклонение ${\textstyle {\sqrt {np(1-p)}}}$, как $n$ становится большим, предполагая $p$ не $0$ или $1$.

Теорема появилась во втором издании «Доктрины шансов » Абрахама де Муавра , опубликованном в 1738 году. Хотя де Муавр не использовал термин «испытания Бернулли», он писал о вероятностном распределении количества выпадений «орла», когда монету подбрасывают 3600 раз.

Это один из выводов конкретной функции Гаусса, используемой в нормальном распределении.

Это частный случай центральной предельной теоремы, поскольку процесс Бернулли можно рассматривать как выделение независимых случайных величин из бимодального дискретного распределения с ненулевой вероятностью только для значений 0 и 1. В этом случае модели биномиального распределения количество успехов (т. е. количество единиц), тогда как центральная предельная теорема утверждает, что при достаточно большом n распределение выборочных средних будет приблизительно нормальным. Однако, поскольку в этом случае доля успехов (т. е. количество единиц, разделенное на количество попыток n ) равна выборочному среднему , распределение долей успехов (описываемое биномиальным распределением, разделенным на константу n ) и распределение выборочных средних (приблизительно нормальное при больших n из-за центральной предельной теоремы) эквивалентны.

Теорема

Когда n становится большим, для k в окрестности np мы можем аппроксимировать

${n \choose k}\,p^{k}q^{n-k}\simeq {\frac {1}{\sqrt {2\pi npq}}}\,e^{-{\frac {(k-np)^{2}}{2npq}}},\qquad p+q=1,\ p,q>0$

в том смысле, что отношение левой части к правой стремится к 1 при n → ∞.

Доказательство

Более строго теорему можно сформулировать следующим образом: $\left(X\!\,-\!\,np\right)\!/\!{\sqrt {npq}}$, с $\textstyle X$ биномиально распределенная случайная величина, приближается к стандартной нормальной величине как $n\!\to \!\infty$, с отношением вероятностной массы $X$ с предельной нормальной плотностью, равной 1. Это можно показать для произвольной ненулевой и конечной точки. $c$. На немасштабированной кривой для $X$, это будет точка $k$ данный

$k=np+c{\sqrt {npq}}$

Например, с $c$ в 3, $k$ остается на уровне 3 стандартных отклонений от среднего значения немасштабированной кривой.

Нормальное распределение со средним $\mu$ и стандартное отклонение $\sigma$ определяется дифференциальным уравнением (ДУ)

$f'\!(x)\!=\!-\!\,{\frac {x-\mu }{\sigma ^{2}}}f(x)$ с начальным условием, заданным аксиомой вероятности $\int _{-\infty }^{\infty }\!f(x)\,dx\!=\!1$.

Предел биномиального распределения приближается к нормальному, если бином удовлетворяет этому DE. Поскольку бином дискретен, уравнение начинается как разностное уравнение , предел которого превращается в DE. В разностных уравнениях используется дискретная производная , $\textstyle p(k\!+\!1)\!-\!p(k)$, изменение размера шага 1. Поскольку $\textstyle n\!\to \!\infty$дискретная производная становится непрерывной производной . Следовательно, доказательство должно показать только то, что для немасштабированного биномиального распределения

${\frac {f'\!(x)}{f\!(x)}}\!\cdot \!\left(-{\frac {\sigma ^{2}}{x-\mu }}\right)\!\to \!1$ как $n\!\to \!\infty$.

Требуемый результат можно показать непосредственно:

${\begin{aligned}{\frac {f'\!(x)}{f\!(x)}}{\frac {npq}{np\!\,-\!\,k}}\!&={\frac {p\left(n,k+1\right)-p\left(n,k\right)}{p\left(n,k\right)}}{\frac {\sqrt {npq}}{-c}}\\&={\frac {np-k-q}{kq+q}}{\frac {\sqrt {npq}}{-c}}\\&={\frac {-c{\sqrt {npq}}-q}{npq+cq{\sqrt {npq}}+q}}{\frac {\sqrt {npq}}{-c}}\\&\to 1\end{aligned}}$

Последнее справедливо, поскольку термин $-cnpq$ доминирует как в знаменателе, так и в числителе, так как $n\!\to \!\infty$.

Как $\textstyle k$ принимает только целые значения, константа $\textstyle c$ имеет ошибку округления. Однако максимум этой ошибки, $\textstyle {0.5}/\!{\sqrt {npq}}$, является исчезающей величиной.

Альтернативное доказательство

Доказательство состоит в преобразовании левой части (в формулировке теоремы) в правую тремя приближениями.

Во-первых, согласно формуле Стирлинга факториал большого числа n можно заменить приближением

$n!\simeq n^{n}e^{-n}{\sqrt {2\pi n}}\qquad {\text{as }}n\to \infty .$

Таким образом

${\begin{aligned}{n \choose k}p^{k}q^{n-k}&={\frac {n!}{k!(n-k)!}}p^{k}q^{n-k}\\&\simeq {\frac {n^{n}e^{-n}{\sqrt {2\pi n}}}{k^{k}e^{-k}{\sqrt {2\pi k}}(n-k)^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}}}p^{k}q^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}{\frac {n^{n}}{k^{k}\left(n-k\right)^{n-k}}}p^{k}q^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\end{aligned}}$

Далее, приближение ${\tfrac {k}{n}}\to p$ используется для сопоставления корня выше с желаемым корнем в правой части.

${\begin{aligned}{n \choose k}p^{k}q^{n-k}&\simeq {\sqrt {\frac {1}{2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\\&\simeq {\frac {1}{\sqrt {2\pi npq}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\qquad p+q=1\\\end{aligned}}$

Наконец, выражение переписывается как экспоненциальное и используется приближение ряда Тейлора для ln(1+x):

$\ln \left(1+x\right)\simeq x-{\frac {x^{2}}{2}}+{\frac {x^{3}}{3}}-\cdots$

Затем

${\begin{aligned}{n \choose k}p^{k}q^{n-k}&\simeq {\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\ln \left(\left({\frac {np}{k}}\right)^{k}\right)+\ln \left(\left({\frac {nq}{n-k}}\right)^{n-k}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({\frac {k}{np}}\right)+(k-n)\ln \left({\frac {n-k}{nq}}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({\frac {np+x{\sqrt {npq}}}{np}}\right)+(k-n)\ln \left({\frac {n-np-x{\sqrt {npq}}}{nq}}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({1+x{\sqrt {\frac {q}{np}}}}\right)+(k-n)\ln \left({1-x{\sqrt {\frac {p}{nq}}}}\right)\right\}\qquad p+q=1\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\left({x{\sqrt {\frac {q}{np}}}}-{\frac {x^{2}q}{2np}}+\cdots \right)+(k-n)\left({-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-np-x{\sqrt {npq}}\right)\left({x{\sqrt {\frac {q}{np}}}}-{\frac {x^{2}q}{2np}}+\cdots \right)+\left(np+x{\sqrt {npq}}-n\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-np-x{\sqrt {npq}}\right)\left(x{\sqrt {\frac {q}{np}}}-{\frac {x^{2}q}{2np}}+\cdots \right)-\left(nq-x{\sqrt {npq}}\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-x{\sqrt {npq}}+{\frac {1}{2}}x^{2}q-x^{2}q+\cdots \right)+\left(x{\sqrt {npq}}+{\frac {1}{2}}x^{2}p-x^{2}p-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}q-{\frac {1}{2}}x^{2}p-\cdots \right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}(p+q)-\cdots \right\}\\&\simeq {\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}e^{\frac {-(k-np)^{2}}{2npq}}\\\end{aligned}}$

Каждый " $\simeq$«В приведенном выше аргументе есть утверждение, что две величины асимптотически эквивалентны по мере увеличения n , в том же смысле, что и в исходном утверждении теоремы, т. е. что отношение каждой пары величин приближается к 1 при n → ∞.

См. также

• Предельная теорема Пуассона - альтернативное приближение биномиального распределения для больших значений n .