Нормальное распределение

«Геллорсовая кривая» перенаправляется сюда. Чтобы узнать о других значениях, см. Кривую Белла (значения) .

Нормальное распределение

Функция плотности вероятности Красная кривая — стандартное нормальное распределение .
Кумулятивная функция распределения
Обозначения	${\mathcal {N}}(\mu ,\sigma ^{2})$
Параметры	$\mu \in \mathbb {R}$ = среднее ( местоположение ) $\sigma ^{2}\in \mathbb {R} _{>0}$ = дисперсия (квадратичная шкала )
Поддерживать	$x\in \mathbb {R}$
PDF	${\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$
CDF	$\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]$
Квантиль	$\mu +\sigma {\sqrt {2}}\operatorname {erf} ^{-1}(2p-1)$
Иметь в виду	$\mu$
медиана	$\mu$
Режим	$\mu$
Дисперсия	$\sigma ^{2}$
БЕЗУМНЫЙ	$\sigma {\sqrt {2/\pi }}$
асимметрия	$0$
Избыточный эксцесс	$0$
Энтропия	${\frac {1}{2}}\log(2\pi e\sigma ^{2})$
МГФ	$\exp(\mu t+\sigma ^{2}t^{2}/2)$
CF	$\exp(i\mu t-\sigma ^{2}t^{2}/2)$
Информация о Фишере	${\mathcal {I}}(\mu ,\sigma )={\begin{pmatrix}1/\sigma ^{2}&0\\0&2/\sigma ^{2}\end{pmatrix}}$ ${\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}1/\sigma ^{2}&0\\0&1/(2\sigma ^{4})\end{pmatrix}}$
Расхождение Кульбака – Лейблера	${1 \over 2}\left\{\left({\frac {\sigma _{0}}{\sigma _{1}}}\right)^{2}+{\frac {(\mu _{1}-\mu _{0})^{2}}{\sigma _{1}^{2}}}-1+\ln {\sigma _{1}^{2} \over \sigma _{0}^{2}}\right\}$
Ожидаемый дефицит	$\mu -\sigma {\frac {{\frac {1}{\sqrt {2\pi }}}e^{\frac {-\left(q_{p}\left({\frac {X-\mu }{\sigma }}\right)\right)^{2}}{2}}}{1-p}}$

В теории вероятностей и статистике нормальное распределение или распределение Гаусса — это тип непрерывного распределения вероятностей для вещественной случайной величины . Общий вид его функции плотности вероятности : $$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$$Параметр ${\textstyle \mu }$ — среднее или математическое ожидание распределения (а также его медиана и мода ), а параметр ${\textstyle \sigma ^{2}}$ это дисперсия . Стандартное отклонение распределения равно ${\textstyle \sigma }$. Случайная величина с распределением Гаусса называется нормально распределенной и называется нормальным отклонением .

Нормальные распределения важны в статистике и часто используются в естественных и социальных науках для представления действительных случайных величин , распределение которых неизвестно. Их важность частично обусловлена ​​центральной предельной теоремой . Он утверждает, что при некоторых условиях среднее значение многих выборок (наблюдений) случайной величины с конечным средним значением и дисперсией само по себе является случайной величиной, распределение которой сходится к нормальному распределению по мере увеличения количества выборок. Следовательно, физические величины, которые, как ожидается, будут суммой многих независимых процессов, таких как ошибки измерения , часто имеют распределение, близкое к нормальному.

Более того, гауссовы распределения обладают некоторыми уникальными свойствами, которые ценны в аналитических исследованиях. Например, любая линейная комбинация фиксированного набора независимых нормальных отклонений является нормальным отклонением. Многие результаты и методы, такие как распространение неопределенности и метод наименьших квадратов. подгонка параметров может быть получена аналитически в явной форме, когда соответствующие переменные имеют нормальное распределение.

Нормальное распределение иногда неофициально называют колоколообразной кривой . Однако многие другие распределения имеют колоколообразную форму (например, распределение Коши , Стьюдента распределение и логистическое распределение). Другие имена см. в разделе «Именование» .

Одномерное распределение вероятностей обобщено для векторов многомерного нормального распределения и для матриц матричного нормального распределения .

Определения

Стандартное нормальное распределение

Простейший случай нормального распределения известен как стандартное нормальное распределение или единичное нормальное распределение . Это особый случай, когда ${\textstyle \mu =0}$ и ${\textstyle \sigma ^{2}=1}$, и он описывается этой функцией плотности вероятности (или плотностью): $$\varphi (z)={\frac {e^{-z^{2}/2}}{\sqrt {2\pi }}}.$$Переменная ${\textstyle z}$ имеет среднее значение 0, а дисперсию и стандартное отклонение 1. Плотность ${\textstyle \varphi (z)}$ имеет свой пик ${\textstyle 1/{\sqrt {2\pi }}}$ в ${\textstyle z=0}$ и точки перегиба в ${\textstyle z=+1}$ и ${\textstyle z=-1}$.

Хотя приведенная выше плотность чаще всего известна как стандартное нормальное распределение, некоторые авторы использовали этот термин для описания других версий нормального распределения. Карл Фридрих Гаусс , например, однажды определил стандартную норму как $$\varphi (z)={\frac {e^{-z^{2}}}{\sqrt {\pi }}},$$который имеет дисперсию 1/2, и Стивен Стиглер однажды определил стандартную норму как $$\varphi (z)=e^{-\pi z^{2}},$$который имеет простую функциональную форму и дисперсию ${\textstyle \sigma ^{2}=1/(2\pi ).}$

Общее нормальное распределение

Каждое нормальное распределение является версией стандартного нормального распределения, область действия которого расширена в несколько раз. ${\textstyle \sigma }$ (стандартное отклонение), а затем переводится на ${\textstyle \mu }$ (среднее значение):

$$f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sigma }}\varphi \left({\frac {x-\mu }{\sigma }}\right)$$

Плотность вероятности должна быть масштабирована по формуле ${\textstyle 1/\sigma }$ так что интеграл по-прежнему равен 1.

Если ${\textstyle Z}$ является стандартным нормальным отклонением , тогда ${\textstyle X=\sigma Z+\mu }$ будет иметь нормальное распределение с ожидаемым значением ${\textstyle \mu }$ и стандартное отклонение ${\textstyle \sigma }$. Это эквивалентно утверждению, что стандартное нормальное распределение ${\textstyle Z}$ можно масштабировать/растягивать в несколько раз. ${\textstyle \sigma }$ и сдвинут на ${\textstyle \mu }$ чтобы получить другое нормальное распределение, называемое ${\textstyle X}$. И наоборот, если ${\textstyle X}$ это нормальное отклонение от параметров ${\textstyle \mu }$ и ${\textstyle \sigma ^{2}}$, тогда это ${\textstyle X}$ распределение можно масштабировать и сдвигать по формуле ${\textstyle Z=(X-\mu )/\sigma }$ чтобы преобразовать его к стандартному нормальному распределению. Эту вариацию также называют стандартизированной формой ${\textstyle X}$.

Обозначения

Плотность вероятности стандартного распределения Гаусса (стандартное нормальное распределение с нулевым средним и единичной дисперсией) часто обозначается греческой буквой. ${\textstyle \phi }$ ( фи ). Альтернативная форма греческой буквы фи. ${\textstyle \varphi }$, также используется довольно часто.

Нормальное распределение часто называют ${\textstyle N(\mu ,\sigma ^{2})}$ или ${\textstyle {\mathcal {N}}(\mu ,\sigma ^{2})}$. Таким образом, когда случайная величина ${\textstyle X}$ обычно распределяется со средним значением ${\textstyle \mu }$ и стандартное отклонение ${\textstyle \sigma }$, можно написать

$$X\sim {\mathcal {N}}(\mu ,\sigma ^{2}).$$

Альтернативные параметризации

Некоторые авторы выступают за использование точности ${\textstyle \tau }$ как параметр, определяющий ширину распределения, вместо стандартного отклонения ${\textstyle \sigma }$ или дисперсия ${\textstyle \sigma ^{2}}$. Точность обычно определяется как величина, обратная дисперсии, ${\textstyle 1/\sigma ^{2}}$. Тогда формула распределения примет вид

$$f(x)={\sqrt {\frac {\tau }{2\pi }}}e^{-\tau (x-\mu )^{2}/2}.$$

Утверждается, что этот выбор имеет преимущества при численных расчетах, когда ${\textstyle \sigma }$ очень близко к нулю и упрощает формулы в некоторых контекстах, например, при байесовском выводе переменных с многомерным нормальным распределением .

В качестве альтернативы, величина, обратная стандартному отклонению ${\textstyle \tau '=1/\sigma }$ может быть определена как точность , и в этом случае выражение нормального распределения становится

$$f(x)={\frac {\tau '}{\sqrt {2\pi }}}e^{-(\tau ')^{2}(x-\mu )^{2}/2}.$$

По мнению Стиглера, эта формулировка выгодна тем, что она гораздо проще и легче запоминается, а также имеет простые приближенные формулы для квантилей распределения.

Нормальные распределения образуют экспоненциальное семейство с натуральными параметрами. ${\textstyle \textstyle \theta _{1}={\frac {\mu }{\sigma ^{2}}}}$ и ${\textstyle \textstyle \theta _{2}={\frac {-1}{2\sigma ^{2}}}}$и естественная статистика x и x ² . Параметрами двойного ожидания для нормального распределения являются η ₁ = µ и η ₂ = µ. ² + р ² .

Кумулятивная функция распределения

Кумулятивная функция распределения (CDF) стандартного нормального распределения, обычно обозначаемая заглавной греческой буквой. ${\textstyle \Phi }$ ( фи ) — интеграл

$$\Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-t^{2}/2}\,dt$$

Функция ошибки

Соответствующая функция ошибки ${\textstyle \operatorname {erf} (x)}$ дает вероятность случайной величины с нормальным распределением среднего значения 0 и дисперсией 1/2, попадающими в диапазон ${\textstyle [-x,x]}$. То есть:

$$\operatorname {erf} (x)={\frac {1}{\sqrt {\pi }}}\int _{-x}^{x}e^{-t^{2}}\,dt={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt$$

Эти интегралы не могут быть выражены через элементарные функции, и их часто называют специальными функциями . Однако известно множество численных приближений; см . ниже подробнее .

Эти две функции тесно связаны, а именно

$$\Phi (x)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x}{\sqrt {2}}}\right)\right]$$

Для общего нормального распределения с плотностью ${\textstyle f}$, иметь в виду ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$кумулятивная функция распределения равна

$$F(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]$$

Дополнение стандартной нормальной функции кумулятивного распределения, ${\textstyle Q(x)=1-\Phi (x)}$, часто называют Q-функцией , особенно в технических текстах. Он дает вероятность того, что значение стандартной нормальной случайной величины ${\textstyle X}$ превысит ${\textstyle x}$: ${\textstyle P(X>x)}$. Другие определения слова ${\textstyle Q}$-функции, все из которых являются простыми преобразованиями ${\textstyle \Phi }$, также иногда используются.

График распределения стандартной нормальной кумулятивной функции ${\textstyle \Phi }$ имеет 2-кратную вращательную симметрию вокруг точки (0,1/2); то есть, ${\textstyle \Phi (-x)=1-\Phi (x)}$. Его первообразную (неопределенный интеграл) можно выразить следующим образом: $$\int \Phi (x)\,dx=x\Phi (x)+\varphi (x)+C.$$

Кумулятивную функцию распределения стандартного нормального распределения можно расширить путем интегрирования по частям в ряд:

$$\Phi (x)={\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\cdot e^{-x^{2}/2}\left[x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+\cdots +{\frac {x^{2n+1}}{(2n+1)!!}}+\cdots \right]$$

где ${\textstyle !!}$ обозначает двойной факториал .

Асимптотическое разложение кумулятивной функции распределения при больших x также можно получить с помощью интегрирования по частям. Дополнительную информацию см. в разделе Функция ошибки#Асимптотическое расширение .

Быстрое приближение к кумулятивной функции распределения стандартного нормального распределения можно найти с помощью аппроксимации рядом Тейлора:

$$\Phi (x)\approx {\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\sum _{k=0}^{n}{\frac {(-1)^{k}x^{(2k+1)}}{2^{k}k!(2k+1)}}$$

Рекурсивные вычисления с разложением в ряд Тейлора

Рекурсивный характер ${\textstyle e^{ax^{2}}}$семейство производных можно использовать для легкого построения быстро сходящегося разложения в ряд Тейлора с использованием рекурсивных записей о любой точке известного значения распределения, ${\textstyle \Phi (x_{0})}$:

$$\Phi (x)=\sum _{n=0}^{\infty }{\frac {\Phi ^{(n)}(x_{0})}{n!}}(x-x_{0})^{n}$$

где:

$${\begin{aligned}\Phi ^{(0)}(x_{0})&={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x_{0}}e^{-t^{2}/2}\,dt\\\Phi ^{(1)}(x_{0})&={\frac {1}{\sqrt {2\pi }}}e^{-x_{0}^{2}/2}\\\Phi ^{(n)}(x_{0})&=-\left(x_{0}\Phi ^{(n-1)}(x_{0})+(n-2)\Phi ^{(n-2)}(x_{0})\right),&n\geq 2\end{aligned}}$$

Использование ряда Тейлора и метода Ньютона для обратной функции

Применение вышеприведенного разложения в ряд Тейлора состоит в использовании метода Ньютона для обратного вычисления. То есть, если у нас есть значение кумулятивной функции распределения , ${\textstyle \Phi (x)}$, но не знаю, какой x необходим для получения ${\textstyle \Phi (x)}$, мы можем использовать метод Ньютона, чтобы найти x, и использовать приведенное выше разложение в ряд Тейлора, чтобы минимизировать количество вычислений. Метод Ньютона идеально подходит для решения этой проблемы, поскольку первая производная ${\textstyle \Phi (x)}$, которое является интегралом нормального стандартного распределения, является нормальным стандартным распределением и легко доступно для использования в решении метода Ньютона.

Для решения выберите известное приближенное решение, ${\textstyle x_{0}}$, к желаемому ${\textstyle \Phi (x)}$. ${\textstyle x_{0}}$ может быть значением из таблицы распределения или интеллектуальной оценкой, за которой следует вычисление ${\textstyle \Phi (x_{0})}$ используя любые необходимые средства для вычислений. Используйте это значение ${\textstyle x_{0}}$ и разложение в ряд Тейлора, приведенное выше, для минимизации вычислений.

Повторяйте следующий процесс до тех пор, пока разница между вычисленными ${\textstyle \Phi (x_{n})}$ и желаемое ${\textstyle \Phi }$, который мы назовем ${\textstyle \Phi ({\text{desired}})}$, находится ниже выбранной приемлемо малой ошибки, например 10 ⁻⁵ , 10 ⁻¹⁵ , и т. д.:

$$x_{n+1}=x_{n}-{\frac {\Phi (x_{n},x_{0},\Phi (x_{0}))-\Phi ({\text{desired}})}{\Phi '(x_{n})}}$$

где

${\textstyle \Phi (x,x_{0},\Phi (x_{0}))}$ это ${\textstyle \Phi (x)}$ из решения ряда Тейлора с использованием ${\textstyle x_{0}}$ и ${\textstyle \Phi (x_{0})}$

$$\Phi '(x_{n})={\frac {1}{\sqrt {2\pi }}}e^{-x_{n}^{2}/2}$$

Когда повторные вычисления сходятся к ошибке ниже выбранного приемлемо малого значения, x будет значением, необходимым для получения ${\textstyle \Phi (x)}$ желаемой стоимости, ${\textstyle \Phi ({\text{desired}})}$.

Стандартное отклонение и охват

Дополнительная информация: оценка интервала и вероятность покрытия.

Для нормального распределения значения менее одного стандартного отклонения от среднего составляют 68,27% набора; при этом два стандартных отклонения от среднего составляют 95,45%; и три стандартных отклонения составляют 99,73%.

Около 68% значений, полученных из нормального распределения, находятся в пределах одного стандартного отклонения σ от среднего значения; около 95% значений лежат в пределах двух стандартных отклонений; и около 99,7% находятся в пределах трех стандартных отклонений. Этот факт известен как правило 68–95–99,7 (эмпирическое) , или правило 3-х сигм .

Точнее, вероятность того, что нормальное отклонение лежит в диапазоне между ${\textstyle \mu -n\sigma }$ и ${\textstyle \mu +n\sigma }$ дается $$F(\mu +n\sigma )-F(\mu -n\sigma )=\Phi (n)-\Phi (-n)=\operatorname {erf} \left({\frac {n}{\sqrt {2}}}\right).$$До 12 значащих цифр значения для ${\textstyle n=1,2,\ldots ,6}$ являются:

${\textstyle n}$	${\textstyle p=F(\mu +n\sigma )-F(\mu -n\sigma )}$	${\textstyle 1-p}$	${\textstyle {\text{or }}1{\text{ in }}(1-p)}$	ОЭИС
1	0.682 689 492 137	0.317 310 507 863	3 .151 487 187 53	ОЭИС : A178647
2	0.954 499 736 104	0.045 500 263 896	21 .977 894 5080	ОЭИС : A110894
3	0.997 300 203 937	0.002 699 796 063	370 .398 347 345	ОЭИС : A270712
4	0.999 936 657 516	0.000 063 342 484	15 787 .192 7673
5	0.999 999 426 697	0.000 000 573 303	1 744 277 .893 62
6	0.999 999 998 027	0.000 000 001 973	506 797 345 .897

Для больших ${\textstyle n}$, можно использовать приближение ${\textstyle 1-p\approx {\frac {e^{-n^{2}/2}}{n{\sqrt {\pi /2}}}}}$.

Квантильная функция

Дополнительная информация: Квантильная функция § Нормальное распределение.

Квантильная функция распределения является обратной кумулятивной функции распределения. Квантильная функция стандартного нормального распределения называется пробит-функцией и может быть выражена через обратную функцию ошибки : $$\Phi ^{-1}(p)={\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).$$Для нормальной случайной величины со средним ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$, функция квантиля равна $$F^{-1}(p)=\mu +\sigma \Phi ^{-1}(p)=\mu +\sigma {\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).$$Квантиль ​ ${\textstyle \Phi ^{-1}(p)}$ стандартного нормального распределения обычно обозначается как ${\textstyle z_{p}}$. Эти значения используются при проверке гипотез , построении доверительных интервалов и графиков Q–Q . Обычная случайная величина ${\textstyle X}$ превысит ${\textstyle \mu +z_{p}\sigma }$ с вероятностью ${\textstyle 1-p}$, и будет лежать вне интервала ${\textstyle \mu \pm z_{p}\sigma }$ с вероятностью ${\textstyle 2(1-p)}$. В частности, квантиль ${\textstyle z_{0.975}}$ составляет 1,96 ; следовательно, нормальная случайная величина будет лежать вне интервала ${\textstyle \mu \pm 1.96\sigma }$ только в 5% случаев.

В следующей таблице приведены квантиль ${\textstyle z_{p}}$ такой, что ${\textstyle X}$ будет лежать в диапазоне ${\textstyle \mu \pm z_{p}\sigma }$ с заданной вероятностью ${\textstyle p}$. Эти значения полезны для определения интервала допуска для выборочных средних и других статистических оценок с нормальным (или асимптотически нормальным) распределением. В следующей таблице показаны ${\textstyle {\sqrt {2}}\operatorname {erf} ^{-1}(p)=\Phi ^{-1}\left({\frac {p+1}{2}}\right)}$, нет ${\textstyle \Phi ^{-1}(p)}$ как определено выше.

${\textstyle p}$	${\textstyle z_{p}}$		${\textstyle p}$	${\textstyle z_{p}}$
0.80	1.281 551 565 545		0.999	3.290 526 731 492
0.90	1.644 853 626 951		0.9999	3.890 591 886 413
0.95	1.959 963 984 540		0.99999	4.417 173 413 469
0.98	2.326 347 874 041		0.999999	4.891 638 475 699
0.99	2.575 829 303 549		0.9999999	5.326 723 886 384
0.995	2.807 033 768 344		0.99999999	5.730 728 868 236
0.998	3.090 232 306 168		0.999999999	6.109 410 204 869

Для маленьких ${\textstyle p}$, функция квантиля имеет полезное асимптотическое разложение ${\textstyle \Phi ^{-1}(p)=-{\sqrt {\ln {\frac {1}{p^{2}}}-\ln \ln {\frac {1}{p^{2}}}-\ln(2\pi )}}+{\mathcal {o}}(1).}$

Характеристики

Нормальное распределение — единственное распределение, кумулянты которого помимо первых двух (т. е. кроме среднего и дисперсии ) равны нулю. Это также непрерывное распределение с максимальной энтропией для заданного среднего значения и дисперсии. Гири показал, предполагая, что среднее значение и дисперсия конечны, что нормальное распределение является единственным распределением, в котором среднее значение и дисперсия, рассчитанные на основе набора независимых выборок, независимы друг от друга.

Нормальное распределение является подклассом эллиптических распределений . Нормальное распределение симметрично относительно своего среднего значения и не равно нулю на всей реальной линии. По существу, она может оказаться не подходящей моделью для переменных, которые по своей сути являются положительными или сильно искаженными, например, вес человека или цена акции . Такие переменные могут быть лучше описаны другими распределениями, такими как логарифмически нормальное распределение или распределение Парето .

Значение нормального распределения практически равно нулю, когда значение ${\textstyle x}$ находится более чем на несколько стандартных отклонений от среднего значения (например, разброс в три стандартных отклонения покрывает все, кроме 0,27% общего распределения). Следовательно, это может быть неподходящая модель, когда ожидается значительная доля выбросов (значений, которые отклоняются на много стандартных отклонений от среднего значения), а методы наименьших квадратов и другие методы статистического вывода , которые оптимальны для нормально распределенных переменных, часто становятся крайне ненадежными при их применении. к таким данным. В таких случаях следует предположить более тяжелое распределение и применить соответствующие надежные статистические методы вывода .

Распределение Гаусса принадлежит к семейству стабильных распределений , которые являются аттракторами сумм независимых, одинаково распределенных распределений, независимо от того, конечны ли среднее значение или дисперсия. За исключением гауссова распределения, которое является предельным случаем, все стабильные распределения имеют тяжелые хвосты и бесконечную дисперсию. Это одно из немногих распределений, которые стабильны и имеют функции плотности вероятности, которые могут быть выражены аналитически (остальные распределения — это распределение Коши и распределение Леви) .

Симметрии и производные

Нормальное распределение с плотностью ${\textstyle f(x)}$ (иметь в виду ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}>0}$) имеет следующие свойства:

• Оно симметрично относительно точки ${\textstyle x=\mu ,}$ что одновременно является модой , медианой и средним значением распределения.
• Он унимодальный : его первая производная положительна при ${\textstyle x<\mu ,}$ отрицательный для ${\textstyle x>\mu ,}$ и ноль только при ${\textstyle x=\mu .}$
• Площадь, ограниченная кривой и ${\textstyle x}$-ось равна единице (т.е. равна единице).
• Его первая производная ${\textstyle f'(x)=-{\frac {x-\mu }{\sigma ^{2}}}f(x).}$
• Его вторая производная ${\textstyle f''(x)={\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{4}}}f(x).}$
• Его плотность имеет две точки перегиба (где вторая производная ${\textstyle f}$ равно нулю и меняет знак), расположенное на одно стандартное отклонение от среднего значения, а именно на ${\textstyle x=\mu -\sigma }$ и ${\textstyle x=\mu +\sigma .}$
• Его плотность логарифмически вогнутая .
• Его плотность бесконечно дифференцируема и даже сверхгладкая второго порядка.

Кроме того, плотность ${\textstyle \varphi }$ стандартного нормального распределения (т.е. ${\textstyle \mu =0}$ и ${\textstyle \sigma =1}$) также имеет следующие свойства:

• Его первая производная ${\textstyle \varphi '(x)=-x\varphi (x).}$
• Его вторая производная ${\textstyle \varphi ''(x)=(x^{2}-1)\varphi (x)}$
• В более общем смысле, его n- я производная равна ${\textstyle \varphi ^{(n)}(x)=(-1)^{n}\operatorname {He} _{n}(x)\varphi (x),}$ где ${\textstyle \operatorname {He} _{n}(x)}$ — n -й (вероятностный) полином Эрмита .
• Вероятность того, что нормально распределенная переменная ${\textstyle X}$ с известными ${\textstyle \mu }$ и ${\textstyle \sigma ^{2}}$ находится в определенном наборе, можно вычислить, используя тот факт, что дробь ${\textstyle Z=(X-\mu )/\sigma }$ имеет стандартное нормальное распределение.

Моменты

См. Также: Список интегралов от функций Гаусса.

Простые и абсолютные моменты переменной ${\textstyle X}$ ожидаемые значения ${\textstyle X^{p}}$ и ${\textstyle |X|^{p}}$, соответственно. Если ожидаемое значение ${\textstyle \mu }$ из ${\textstyle X}$ равен нулю, эти параметры называются центральными моментами; в противном случае эти параметры называются нецентральными моментами. Обычно нас интересуют только моменты целого порядка. ${\textstyle \ p}$.

Если ${\textstyle X}$ имеет нормальное распределение, нецентральные моменты существуют и конечны для любого ${\textstyle p}$ действительная часть которого больше −1. Для любого неотрицательного целого числа ${\textstyle p}$, простыми центральными моментами являются: $$\operatorname {E} \left[(X-\mu )^{p}\right]={\begin{cases}0&{\text{if }}p{\text{ is odd,}}\\\sigma ^{p}(p-1)!!&{\text{if }}p{\text{ is even.}}\end{cases}}$$Здесь ${\textstyle n!!}$ обозначает двойной факториал , то есть произведение всех чисел из ${\textstyle n}$ до 1, которые имеют ту же четность, что и ${\textstyle n.}$

Центральные абсолютные моменты совпадают с простыми моментами для всех четных порядков, но отличны от нуля для нечетных порядков. Для любого неотрицательного целого числа ${\textstyle p,}$

$${\begin{aligned}\operatorname {E} \left[|X-\mu |^{p}\right]&=\sigma ^{p}(p-1)!!\cdot {\begin{cases}{\sqrt {\frac {2}{\pi }}}&{\text{if }}p{\text{ is odd}}\\1&{\text{if }}p{\text{ is even}}\end{cases}}\\&=\sigma ^{p}\cdot {\frac {2^{p/2}\Gamma \left({\frac {p+1}{2}}\right)}{\sqrt {\pi }}}.\end{aligned}}$$Последняя формула справедлива и для любых нецелых чисел. ${\textstyle p>-1.}$ Когда среднее ${\textstyle \mu \neq 0,}$ простой и абсолютный моменты могут быть выражены через вырожденные гипергеометрические функции ${\textstyle {}_{1}F_{1}}$ и ${\textstyle U.}$

$${\begin{aligned}\operatorname {E} \left[X^{p}\right]&=\sigma ^{p}\cdot (-i{\sqrt {2}})^{p}U\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right),\\\operatorname {E} \left[|X|^{p}\right]&=\sigma ^{p}\cdot 2^{p/2}{\frac {\Gamma \left({\frac {1+p}{2}}\right)}{\sqrt {\pi }}}{}_{1}F_{1}\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right).\end{aligned}}$$

Эти выражения остаются действительными, даже если ${\textstyle p}$ не является целым числом. См. также обобщенные полиномы Эрмита .

Заказ	Нецентральный момент	Центральный момент
1	${\textstyle \mu }$	${\textstyle 0}$
2	${\textstyle \mu ^{2}+\sigma ^{2}}$	${\textstyle \sigma ^{2}}$
3	${\textstyle \mu ^{3}+3\mu \sigma ^{2}}$	${\textstyle 0}$
4	${\textstyle \mu ^{4}+6\mu ^{2}\sigma ^{2}+3\sigma ^{4}}$	${\textstyle 3\sigma ^{4}}$
5	${\textstyle \mu ^{5}+10\mu ^{3}\sigma ^{2}+15\mu \sigma ^{4}}$	${\textstyle 0}$
6	${\textstyle \mu ^{6}+15\mu ^{4}\sigma ^{2}+45\mu ^{2}\sigma ^{4}+15\sigma ^{6}}$	${\textstyle 15\sigma ^{6}}$
7	${\textstyle \mu ^{7}+21\mu ^{5}\sigma ^{2}+105\mu ^{3}\sigma ^{4}+105\mu \sigma ^{6}}$	${\textstyle 0}$
8	${\textstyle \mu ^{8}+28\mu ^{6}\sigma ^{2}+210\mu ^{4}\sigma ^{4}+420\mu ^{2}\sigma ^{6}+105\sigma ^{8}}$	${\textstyle 105\sigma ^{8}}$

Ожидание ${\textstyle X}$ при условии, что ${\textstyle X}$ лежит в интервале ${\textstyle [a,b]}$ дается $$\operatorname {E} \left[X\mid a<X<b\right]=\mu -\sigma ^{2}{\frac {f(b)-f(a)}{F(b)-F(a)}}$$где ${\textstyle f}$ и ${\textstyle F}$ соответственно — плотность и кумулятивная функция распределения ${\textstyle X}$. Для ${\textstyle b=\infty }$ это известно как обратное соотношение Миллса . Обратите внимание, что выше плотность ${\textstyle f}$ из ${\textstyle X}$ используется вместо стандартной нормальной плотности, как в обратном соотношении Миллса, поэтому здесь мы имеем ${\textstyle \sigma ^{2}}$ вместо ${\textstyle \sigma }$.

Преобразование Фурье и характеристическая функция

нормальной Преобразование Фурье плотности ${\textstyle f}$ со средним ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$ является

$${\hat {f}}(t)=\int _{-\infty }^{\infty }f(x)e^{-itx}\,dx=e^{-i\mu t}e^{-{\frac {1}{2}}(\sigma t)^{2}}$$

где ${\textstyle i}$ это мнимая единица . Если среднее ${\textstyle \mu =0}$, первый множитель равен 1, а преобразование Фурье, помимо постоянного множителя, представляет собой нормальную плотность в частотной области со средним значением 0 и дисперсией ${\textstyle 1/\sigma ^{2}}$. В частности, стандартное нормальное распределение ${\textstyle \varphi }$ является собственной функцией преобразования Фурье.

В теории вероятностей преобразование Фурье распределения вероятностей действительной случайной величины. ${\textstyle X}$ тесно связана с характеристической функцией ${\textstyle \varphi _{X}(t)}$ этой переменной, которая определяется как ожидаемое значение ${\textstyle e^{itX}}$, как функция действительной переменной ${\textstyle t}$ ( частотный параметр преобразования Фурье). Это определение можно аналитически распространить на переменную с комплексным значением. ${\textstyle t}$. Связь между обоими такова: $$\varphi _{X}(t)={\hat {f}}(-t)$$

Функции, генерирующие момент и кумулянт

Момент -производящая функция действительной случайной величины ${\textstyle X}$ ожидаемое значение ${\textstyle e^{tX}}$, как функция действительного параметра ${\textstyle t}$. Для нормального распределения с плотностью ${\textstyle f}$, иметь в виду ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$, производящая функция момента существует и равна

$$M(t)=\operatorname {E} \left[e^{tX}\right]={\hat {f}}(it)=e^{\mu t}e^{\sigma ^{2}t^{2}/2}$$

Кумулянтная производящая функция представляет собой логарифм производящей функции момента, а именно

$$g(t)=\ln M(t)=\mu t+{\tfrac {1}{2}}\sigma ^{2}t^{2}$$

Поскольку это квадратичный полином от ${\textstyle t}$отличны от нуля только первые два кумулянта , а именно среднее ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$.

Некоторые авторы предпочитают вместо этого работать с E[ e ^ИТХ ] = и ^{яцт - п 2 т 2 /2} и ln E[ e ^ИТХ ] = iμt - ⁠ 1 / 2 ⁠ σ ² т ² .

Оператор и класс Штейна

В методе Штейна оператор Штейна и класс случайной величины ${\textstyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ являются ${\textstyle {\mathcal {A}}f(x)=\sigma ^{2}f'(x)-(x-\mu )f(x)}$ и ${\textstyle {\mathcal {F}}}$ класс всех абсолютно непрерывных функций ${\textstyle f:\mathbb {R} \to \mathbb {R} {\mbox{ such that }}\mathbb {E} [|f'(X)|]<\infty }$.

Предел нулевой дисперсии

В пределе , когда ${\textstyle \sigma ^{2}}$ стремится к нулю, плотность вероятности ${\textstyle f(x)}$ в конце концов стремится к нулю при любом ${\textstyle x\neq \mu }$, но растет неограниченно, если ${\textstyle x=\mu }$, а его интеграл остается равным 1. Следовательно, нормальное распределение нельзя определить как обычную функцию, когда ${\textstyle \sigma ^{2}=0}$.

Однако можно определить нормальное распределение с нулевой дисперсией как обобщенную функцию ; в частности, как дельта-функция Дирака ${\textstyle \delta }$ переведено в смысле ${\textstyle \mu }$, то есть ${\textstyle f(x)=\delta (x-\mu ).}$Тогда его кумулятивная функция распределения представляет собой ступенчатую функцию Хевисайда, переведенную через среднее значение ${\textstyle \mu }$, а именно $$F(x)={\begin{cases}0&{\text{if }}x<\mu \\1&{\text{if }}x\geq \mu \end{cases}}$$

Максимальная энтропия

Из всех распределений вероятностей по действительным числам с заданным конечным средним значением ${\textstyle \mu }$ и конечная дисперсия ${\textstyle \sigma ^{2}}$, нормальное распределение ${\textstyle N(\mu ,\sigma ^{2})}$ тот, у которого максимальная энтропия . Чтобы увидеть это, позвольте ${\textstyle X}$ быть непрерывной случайной величиной с плотностью вероятности ${\textstyle f(x)}$. Энтропия ${\textstyle X}$ определяется как $$H(X)=-\int _{-\infty }^{\infty }f(x)\ln f(x)\,dx$$

где ${\textstyle f(x)\log f(x)}$ считается равным нулю всякий раз, когда ${\textstyle f(x)=0}$. Этот функционал можно максимизировать при условии, что распределение правильно нормализовано и имеет заданное среднее значение и дисперсию, с помощью вариационного исчисления . функция с тремя множителями Лагранжа Определена :

$$L=-\int _{-\infty }^{\infty }f(x)\ln f(x)\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }f(x)\,dx\right)-\lambda _{1}\left(\mu -\int _{-\infty }^{\infty }f(x)x\,dx\right)-\lambda _{2}\left(\sigma ^{2}-\int _{-\infty }^{\infty }f(x)(x-\mu )^{2}\,dx\right)\,.$$

При максимальной энтропии небольшое изменение ${\textstyle \delta f(x)}$ о ${\textstyle f(x)}$ создам вариацию ${\textstyle \delta L}$ о ${\textstyle L}$ что равно 0:

$$0=\delta L=\int _{-\infty }^{\infty }\delta f(x)\left(-\ln f(x)-1+\lambda _{0}+\lambda _{1}x+\lambda _{2}(x-\mu )^{2}\right)\,dx$$

Поскольку это должно выполняться для любых малых ${\textstyle \delta f(x)}$, множитель ${\textstyle \delta f(x)}$ должно быть равно нулю, и решение для ${\textstyle f(x)}$ дает:

$$f(x)=\exp \left(-1+\lambda _{0}+\lambda _{1}x+\lambda _{2}(x-\mu )^{2}\right)\,.$$

Ограничения Лагранжа, которые ${\textstyle f(x)}$ правильно нормализован и имеет указанное среднее значение, а дисперсия удовлетворяется тогда и только тогда, когда ${\textstyle \lambda _{0}}$, ${\textstyle \lambda _{1}}$, и ${\textstyle \lambda _{2}}$ выбираются так, что $$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\,.$$Энтропия нормального распределения ${\textstyle X\sim N(\mu ,\sigma ^{2})}$ равно $$H(X)={\tfrac {1}{2}}(1+\ln 2\sigma ^{2}\pi )\,,$$который не зависит от среднего ${\textstyle \mu }$.

Другие объекты недвижимости

1. Если характеристическая функция ${\textstyle \phi _{X}}$ какой-то случайной величины ${\textstyle X}$ имеет форму ${\textstyle \phi _{X}(t)=\exp Q(t)}$ в окрестности нуля, где ${\textstyle Q(t)}$ является многочленом , то теорема Марцинкевича (названная в честь Юзефа Марцинкевича ) утверждает, что ${\textstyle Q}$ может быть не более чем квадратичным многочленом, и, следовательно, ${\textstyle X}$ является нормальной случайной величиной. Следствием этого результата является то, что нормальное распределение является единственным распределением с конечным числом (двумя) ненулевых кумулянтов .
2. Если ${\textstyle X}$ и ${\textstyle Y}$ если они совместно нормальны и некоррелированы , то они независимы . Требование, чтобы ${\textstyle X}$ и ${\textstyle Y}$ должно быть совместно нормальным, это важно; без этого имущество не сохраняется. ^{[доказательство]} Для ненормальных случайных величин некоррелированность не означает независимости.
3. Расхождение Кульбака – Лейблера одного нормального распределения ${\textstyle X_{1}\sim N(\mu _{1},\sigma _{1}^{2})}$ из другого ${\textstyle X_{2}\sim N(\mu _{2},\sigma _{2}^{2})}$ дается: $$D_{\mathrm {KL} }(X_{1}\parallel X_{2})={\frac {(\mu _{1}-\mu _{2})^{2}}{2\sigma _{2}^{2}}}+{\frac {1}{2}}\left({\frac {\sigma _{1}^{2}}{\sigma _{2}^{2}}}-1-\ln {\frac {\sigma _{1}^{2}}{\sigma _{2}^{2}}}\right)$$Расстояние Хеллингера между одинаковыми распределениями равно $$H^{2}(X_{1},X_{2})=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\exp \left(-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}\right)$$
4. Информационная матрица Фишера для нормального распределения относительно ${\textstyle \mu }$ и ${\textstyle \sigma ^{2}}$ диагональна и имеет вид $${\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{pmatrix}}$$
5. Сопряженное априорное значение нормального распределения является еще одним нормальным распределением. В частности, если ${\textstyle x_{1},\ldots ,x_{n}}$ являются идентификаторами ${\textstyle \sim N(\mu ,\sigma ^{2})}$ и предшествующий ${\textstyle \mu \sim N(\mu _{0},\sigma _{0}^{2})}$, то апостериорное распределение для оценки ${\textstyle \mu }$ будет $$\mu \mid x_{1},\ldots ,x_{n}\sim {\mathcal {N}}\left({\frac {{\frac {\sigma ^{2}}{n}}\mu _{0}+\sigma _{0}^{2}{\bar {x}}}{{\frac {\sigma ^{2}}{n}}+\sigma _{0}^{2}}},\left({\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}\right)^{-1}\right)$$
6. Семейство нормальных распределений не только образует экспоненциальное семейство (EF), но фактически образует естественное экспоненциальное семейство (NEF) с квадратичной функцией дисперсии ( NEF-QVF ). Многие свойства нормальных распределений обобщаются на свойства распределений NEF-QVF, распределений NEF или распределений EF в целом. Распределения NEF-QVF включают 6 семейств, включая распределения Пуассона, гамма, биномиальные и отрицательные биномиальные, в то время как многие из распространенных семейств, изучаемых в области вероятности и статистики, представляют собой NEF или EF.
7. В информационной геометрии семейство нормальных распределений образует статистическое многообразие с постоянной кривизной. ${\textstyle -1}$. Это же семейство плоско относительно (±1)-связностей ${\textstyle \nabla ^{(e)}}$ и ${\textstyle \nabla ^{(m)}}$.
8. Если ${\textstyle X_{1},\dots ,X_{n}}$ распределяются по ${\textstyle N(0,\sigma ^{2})}$, затем ${\textstyle E[\max _{i}X_{i}]\leq \sigma {\sqrt {2\ln n}}}$. Обратите внимание, что здесь нет никаких предположений о независимости.

Связанные дистрибутивы

Центральная предельная теорема

По мере увеличения количества дискретных событий функция начинает напоминать нормальное распределение.

Сравнение функций плотности вероятности, ${\textstyle p(k)}$ на сумму ${\textstyle n}$ справедливые шестигранные игральные кости, показывающие их сходимость к нормальному распределению с увеличением ${\textstyle na}$, в соответствии с центральной предельной теоремой. На правом нижнем графике сглаженные профили предыдущих графиков масштабируются, накладываются и сравниваются с нормальным распределением (черная кривая).

Основная статья: Центральная предельная теорема

Центральная предельная теорема утверждает, что при определенных (довольно распространенных) условиях сумма многих случайных величин будет иметь примерно нормальное распределение. Точнее, где ${\textstyle X_{1},\ldots ,X_{n}}$ являются независимыми и одинаково распределенными случайными величинами с одинаковым произвольным распределением, нулевым средним значением и дисперсией. ${\textstyle \sigma ^{2}}$ и ${\textstyle Z}$ это ихсреднее масштабирование по ${\textstyle {\sqrt {n}}}$$$Z={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)$$Тогда, как ${\textstyle n}$ увеличивается, распределение вероятностей ${\textstyle Z}$ будет стремиться к нормальному распределению с нулевым средним и дисперсией ${\textstyle \sigma ^{2}}$.

Теорему можно распространить на переменные ${\textstyle (X_{i})}$ которые не являются независимыми и/или неодинаково распределенными, если на степень зависимости и моменты распределений наложены определенные ограничения.

Многие тестовые статистики , баллы и оценки, встречающиеся на практике, содержат в себе суммы определенных случайных величин, и еще больше оценок можно представить в виде сумм случайных величин за счет использования функций влияния . Центральная предельная теорема подразумевает, что эти статистические параметры будут иметь асимптотически нормальное распределение.

Центральная предельная теорема также подразумевает, что некоторые распределения могут быть аппроксимированы нормальным распределением, например:

• Биномиальное распределение ${\textstyle B(n,p)}$ примерно нормально со средним значением ${\textstyle np}$ и дисперсия ${\textstyle np(1-p)}$ для больших ${\textstyle n}$ и для ${\textstyle p}$ не слишком близко к 0 или 1.
• Распределение Пуассона с параметром ${\textstyle \lambda }$ примерно нормально со средним значением ${\textstyle \lambda }$ и дисперсия ${\textstyle \lambda }$, для больших значений ${\textstyle \lambda }$.
• Распределение хи -квадрат ${\textstyle \chi ^{2}(k)}$ примерно нормально со средним значением ${\textstyle k}$ и дисперсия ${\textstyle 2k}$, для большого ${\textstyle k}$.
• Стьюдента t-распределение ${\textstyle t(\nu )}$ примерно нормально со средним значением 0 и дисперсией 1, когда ${\textstyle \nu }$ большой.

Достаточно ли точны эти приближения, зависит от цели, для которой они необходимы, и скорости сходимости к нормальному распределению. Обычно такие аппроксимации менее точны в хвостах распределения.

Общая верхняя оценка погрешности аппроксимации в центральной предельной теореме дается теоремой Берри–Эссеена , улучшения аппроксимации даются разложениями Эджворта .

Эту теорему можно также использовать для обоснования моделирования суммы многих источников однородного шума как гауссовского шума . См . AWGN .

Операции и функции обычных переменных

а: Плотность вероятности функции ${\textstyle \cos x^{2}}$ нормальной переменной ${\textstyle x}$ с ${\textstyle \mu =-2}$ и ${\textstyle \sigma =3}$. б: Плотность вероятности функции ${\textstyle x^{y}}$ двух нормальных переменных ${\textstyle x}$ и ${\textstyle y}$, где ${\textstyle \mu _{x}=1}$, ${\textstyle \mu _{y}=2}$, ${\textstyle \sigma _{x}=0.1}$, ${\textstyle \sigma _{y}=0.2}$, и ${\textstyle \rho _{xy}=0.8}$. c: Тепловая карта совместной плотности вероятности двух функций двух коррелирующих нормальных переменных. ${\textstyle x}$ и ${\textstyle y}$, где ${\textstyle \mu _{x}=-2}$, ${\textstyle \mu _{y}=5}$, ${\textstyle \sigma _{x}^{2}=10}$, ${\textstyle \sigma _{y}^{2}=20}$, и ${\textstyle \rho _{xy}=0.495}$. d: Плотность вероятности функции ${\textstyle \sum _{i=1}^{4}\vert x_{i}\vert }$ из 4 стандартных нормальных переменных iid. Они рассчитываются численным методом трассировки лучей.

Плотность вероятности , кумулятивное распределение и обратное кумулятивное распределение любой функции одной или нескольких независимых или коррелированных нормальных переменных можно вычислить с помощью численного метода трассировки лучей. ( код Матлаба ). В следующих разделах мы рассмотрим некоторые особые случаи.

Операции с одной нормальной переменной

Если ${\textstyle X}$ распределяется нормально со средним значением ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$, затем

• ${\textstyle aX+b}$, для любых действительных чисел ${\textstyle a}$ и ${\textstyle b}$, также имеет нормальное распределение со средним значением ${\textstyle a\mu +b}$ и дисперсия ${\textstyle a^{2}\sigma ^{2}}$. То есть семейство нормальных распределений замкнуто относительно линейных преобразований .
• Экспонента ${\textstyle X}$ распространяется логарифмически : ${\textstyle e^{X}\sim \ln(N(\mu ,\sigma ^{2}))}$.
• Стандартная сигмовидная ​ ${\textstyle X}$ распределено по логит-нормальному закону : ${\textstyle \sigma (X)\sim P({\mathcal {N}}(\mu ,\,\sigma ^{2}))}$.
• Абсолютное значение ${\textstyle X}$ свернул нормальное распределение : ${\textstyle {\left|X\right|\sim N_{f}(\mu ,\sigma ^{2})}}$. Если ${\textstyle \mu =0}$ это известно как полунормальное распределение .
• Абсолютное значение нормализованных остатков, ${\textstyle |X-\mu |/\sigma }$, имеет распределение хи с одной степенью свободы: ${\textstyle |X-\mu |/\sigma \sim \chi _{1}}$.
• Площадь ${\textstyle X/\sigma }$ имеет нецентральное распределение хи-квадрат с одной степенью свободы: ${\textstyle X^{2}/\sigma ^{2}\sim \chi _{1}^{2}(\mu ^{2}/\sigma ^{2})}$. Если ${\textstyle \mu =0}$, распределение называется просто хи-квадрат .
• Логарифмическое правдоподобие нормальной переменной ${\textstyle x}$ это просто журнал его функции плотности вероятности : $$\ln p(x)=-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}-\ln \left(\sigma {\sqrt {2\pi }}\right).$$ Поскольку это масштабированный и сдвинутый квадрат стандартной нормальной переменной, он распределяется как масштабированная и сдвинутая переменная хи-квадрат .
• Распределение переменной ${\textstyle X}$ ограничен интервалом ${\textstyle [a,b]}$ называется усеченным нормальным распределением .
• ${\textstyle (X-\mu )^{-2}}$ имеет распределение Леви с местоположением 0 и масштабом ${\textstyle \sigma ^{-2}}$.

Операции над двумя независимыми нормальными переменными

• Если ${\textstyle X_{1}}$ и ${\textstyle X_{2}}$ две независимые нормальные случайные величины со средними значениями ${\textstyle \mu _{1}}$, ${\textstyle \mu _{2}}$ и отклонения ${\textstyle \sigma _{1}^{2}}$, ${\textstyle \sigma _{2}^{2}}$, то их сумма ${\textstyle X_{1}+X_{2}}$ также будут нормально распределены, ^{[доказательство]} со средним ${\textstyle \mu _{1}+\mu _{2}}$ и дисперсия ${\textstyle \sigma _{1}^{2}+\sigma _{2}^{2}}$.
• В частности, если ${\textstyle X}$ и ${\textstyle Y}$ являются независимыми нормальными отклонениями с нулевым средним значением и дисперсией ${\textstyle \sigma ^{2}}$, затем ${\textstyle X+Y}$ и ${\textstyle X-Y}$ также независимы и нормально распределены, с нулевым средним значением и дисперсией ${\textstyle 2\sigma ^{2}}$. Это частный случай поляризационного тождества .
• Если ${\textstyle X_{1}}$, ${\textstyle X_{2}}$ представляют собой два независимых нормальных отклонения со средним значением ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$, и ${\textstyle a}$, ${\textstyle b}$ — произвольные действительные числа, то переменная $$X_{3}={\frac {aX_{1}+bX_{2}-(a+b)\mu }{\sqrt {a^{2}+b^{2}}}}+\mu$$ также обычно распределяется со средним значением ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$. Отсюда следует, что нормальное распределение устойчиво (с показателем ${\textstyle \alpha =2}$).
• Если ${\textstyle X_{k}\sim {\mathcal {N}}(m_{k},\sigma _{k}^{2})}$, ${\textstyle k\in \{0,1\}}$ являются нормальными распределениями, то их нормализованное среднее геометрическое ${\textstyle {\frac {1}{\int _{\mathbb {R} ^{n}}X_{0}^{\alpha }(x)X_{1}^{1-\alpha }(x)\,{\text{d}}x}}X_{0}^{\alpha }X_{1}^{1-\alpha }}$ это нормальное распределение ${\textstyle {\mathcal {N}}(m_{\alpha },\sigma _{\alpha }^{2})}$ с ${\textstyle m_{\alpha }={\frac {\alpha m_{0}\sigma _{1}^{2}+(1-\alpha )m_{1}\sigma _{0}^{2}}{\alpha \sigma _{1}^{2}+(1-\alpha )\sigma _{0}^{2}}}}$ и ${\textstyle \sigma _{\alpha }^{2}={\frac {\sigma _{0}^{2}\sigma _{1}^{2}}{\alpha \sigma _{1}^{2}+(1-\alpha )\sigma _{0}^{2}}}}$ (см. здесь визуализацию).

Операции над двумя независимыми стандартными нормальными переменными

Если ${\textstyle X_{1}}$ и ${\textstyle X_{2}}$ две независимые стандартные нормальные случайные величины со средним значением 0 и дисперсией 1, тогда

• Их сумма и разность распределяются нормально со средним нулевым значением и дисперсией два: ${\textstyle X_{1}\pm X_{2}\sim {\mathcal {N}}(0,2)}$.
• Их продукт ${\textstyle Z=X_{1}X_{2}}$ следит за распространением продукции с функцией плотности ${\textstyle f_{Z}(z)=\pi ^{-1}K_{0}(|z|)}$ где ${\textstyle K_{0}}$ — модифицированная функция Бесселя второго рода . Это распределение симметрично относительно нуля, неограничено в точке ${\textstyle z=0}$, и имеет характеристическую функцию ${\textstyle \phi _{Z}(t)=(1+t^{2})^{-1/2}}$.
• Их соотношение соответствует стандартному распределению Коши : ${\textstyle X_{1}/X_{2}\sim \operatorname {Cauchy} (0,1)}$.
• Их евклидова норма ${\textstyle {\sqrt {X_{1}^{2}+X_{2}^{2}}}}$ имеет распределение Рэлея .

Операции с несколькими независимыми нормальными переменными

• Любая линейная комбинация независимых нормальных отклонений является нормальным отклонением.
• Если ${\textstyle X_{1},X_{2},\ldots ,X_{n}}$ являются независимыми стандартными нормальными случайными величинами, то сумма их квадратов имеет распределение хи-квадрат с ${\textstyle n}$ степени свободы $$X_{1}^{2}+\cdots +X_{n}^{2}\sim \chi _{n}^{2}.$$
• Если ${\textstyle X_{1},X_{2},\ldots ,X_{n}}$ являются независимыми нормально распределенными случайными величинами со средними значениями ${\textstyle \mu }$ и отклонения ${\textstyle \sigma ^{2}}$, то их выборочное среднее не зависит от выборочного стандартного отклонения , что можно продемонстрировать с помощью теоремы Басу или теоремы Кокрена . Отношение этих двух величин будет иметь t-распределение Стьюдента с ${\textstyle n-1}$ степени свободы: $$t={\frac {{\overline {X}}-\mu }{S/{\sqrt {n}}}}={\frac {{\frac {1}{n}}(X_{1}+\cdots +X_{n})-\mu }{\sqrt {{\frac {1}{n(n-1)}}\left[(X_{1}-{\overline {X}})^{2}+\cdots +(X_{n}-{\overline {X}})^{2}\right]}}}\sim t_{n-1}.$$
• Если ${\textstyle X_{1},X_{2},\ldots ,X_{n}}$, ${\textstyle Y_{1},Y_{2},\ldots ,Y_{m}}$ являются независимыми стандартными нормальными случайными величинами, то отношение их нормированных сумм квадратов будет иметь F-распределение с ( n , m ) степенями свободы: $$F={\frac {\left(X_{1}^{2}+X_{2}^{2}+\cdots +X_{n}^{2}\right)/n}{\left(Y_{1}^{2}+Y_{2}^{2}+\cdots +Y_{m}^{2}\right)/m}}\sim F_{n,m}.$$

Операции с несколькими коррелирующими нормальными переменными

• Квадратичная форма нормального вектора, т.е. квадратичная функция ${\textstyle q=\sum x_{i}^{2}+\sum x_{j}+c}$ из нескольких независимых или коррелирующих нормальных переменных, является обобщенной переменной хи-квадрат .

Действия над функцией плотности

Расщепленное нормальное распределение наиболее непосредственно определяется с точки зрения объединения масштабированных участков функций плотности различных нормальных распределений и изменения масштаба плотности для интегрирования в одну. Усеченное нормальное распределение получается в результате изменения масштаба части одной функции плотности.

Бесконечная делимость и теорема Крамера

Для любого положительного целого числа ${\textstyle {\text{n}}}$, любое нормальное распределение со средним ${\textstyle \mu }$ и дисперсия ${\textstyle \sigma ^{2}}$ это распределение суммы ${\textstyle {\text{n}}}$ независимые нормальные отклонения, каждое со средним значением ${\textstyle {\frac {\mu }{n}}}$ и дисперсия ${\textstyle {\frac {\sigma ^{2}}{n}}}$. Это свойство называется бесконечной делимостью .

И наоборот, если ${\textstyle X_{1}}$ и ${\textstyle X_{2}}$ являются независимыми случайными величинами и их сумма ${\textstyle X_{1}+X_{2}}$ имеет нормальное распределение, то оба ${\textstyle X_{1}}$ и ${\textstyle X_{2}}$ должны быть нормальные отклонения.

Этот результат известен как теорема Крамера о разложении и эквивалентен утверждению, что свертка двух распределений является нормальной тогда и только тогда, когда оба распределения нормальны. Теорема Крамера подразумевает, что линейная комбинация независимых негауссовских переменных никогда не будет иметь точно нормальное распределение, хотя она может приближаться к нему сколь угодно близко.

Теорема Бернштейна

Теорема Бернштейна утверждает, что если ${\textstyle X}$ и ${\textstyle Y}$ независимы и ${\textstyle X+Y}$ и ${\textstyle X-Y}$ также независимы, то и X , и Y обязательно должны иметь нормальное распределение.

В более общем смысле, если ${\textstyle X_{1},\ldots ,X_{n}}$ являются независимыми случайными величинами, то две различные линейные комбинации ${\textstyle \sum {a_{k}X_{k}}}$ и ${\textstyle \sum {b_{k}X_{k}}}$будет независимым тогда и только тогда, когда все ${\textstyle X_{k}}$ нормальные и ${\textstyle \sum {a_{k}b_{k}\sigma _{k}^{2}=0}}$, где ${\textstyle \sigma _{k}^{2}}$ обозначает дисперсию ${\textstyle X_{k}}$.

Расширения

Понятие нормального распределения, являющегося одним из наиболее важных распределений в теории вероятностей, вышло далеко за рамки стандартных рамок одномерного (то есть одномерного) случая (случай 1). Все эти расширения также называются нормальными или гауссовскими законами, поэтому существует определенная двусмысленность в названиях.

• Многомерное нормальное распределение описывает закон Гаусса в k -мерном евклидовом пространстве . Вектор X ∈ R ^к является многомерно-нормально распределенным, если любая линейная комбинация его компонент Σ ^к
  _{j =1} a _j X _j имеет (одномерное) нормальное распределение. Дисперсия X представляет собой k×k положительно определенную матрицу V. симметричную Многомерное нормальное распределение является частным случаем эллиптических распределений . Таким образом, его локусы изоплотности в случае k = 2 представляют собой эллипсы , а в случае произвольного k — эллипсоиды .
• Выпрямленное распределение Гаусса - исправленная версия нормального распределения, в которой все отрицательные элементы сброшены до 0.
• Комплексное нормальное распределение имеет дело с комплексными нормальными векторами. Комплексный вектор X ∈ C ^к называется нормальным, если его действительная и мнимая компоненты совместно обладают 2k - мерным многомерным нормальным распределением. Ковариационно-дисперсионная структура X описывается двумя матрицами: матрицей дисперсии Γ и отношений матрицей C .
• Нормальное распределение матриц описывает случай нормально распределенных матриц.
• Гауссовы процессы — это нормально распределенные случайные процессы . Их можно рассматривать как элементы некоторого бесконечномерного гильбертова пространства   H и, таким образом, они являются аналогами многомерных нормальных векторов для случая k = ∞ . Случайный элемент h ∈ H называется нормальным, если для любой константы a ∈ H скалярное произведение ( a , h ) имеет (одномерное) нормальное распределение. Дисперсионную структуру такого гауссовского случайного элемента можно описать с помощью линейного ковариационного оператора K: H → H. Некоторые гауссовы процессы стали достаточно популярными, чтобы иметь собственные названия:
  • Броуновское движение ,
  • Броуновский мост ,
  • Процесс Орнштейна-Уленбека .
• Гауссово q-распределение — это абстрактная математическая конструкция, представляющая собой q-аналог нормального распределения.
• является q-гауссиан аналогом распределения Тсаллиса в том смысле, что он максимизирует энтропию Тсаллиса , и является одним из типов распределения Тсаллиса . Это распределение отличается от приведенного выше гауссова q-распределения .
• Распределение Каниадакиса κ -Гаусса является обобщением распределения Гаусса, которое возникает из статистики Каниадакиса , являющейся одним из распределений Каниадакиса .

Случайная величина X имеет нормальное распределение, состоящее из двух частей, если она имеет распределение

$$f_{X}(x)=N(\mu ,\sigma _{1}^{2}){\text{ if }}x\leq \mu$$$$f_{X}(x)=N(\mu ,\sigma _{2}^{2}){\text{ if }}x\geq \mu$$

где µ — среднее значение, а σ ₁ ² и σ ₂ ² — это дисперсии распределения слева и справа от среднего значения соответственно.

Были определены среднее значение, дисперсия и третий центральный момент этого распределения.

$$\operatorname {E} (X)=\mu +{\sqrt {\frac {2}{\pi }}}(\sigma _{2}-\sigma _{1})$$$$\operatorname {V} (X)=\left(1-{\frac {2}{\pi }}\right)(\sigma _{2}-\sigma _{1})^{2}+\sigma _{1}\sigma _{2}$$$$\operatorname {T} (X)={\sqrt {\frac {2}{\pi }}}(\sigma _{2}-\sigma _{1})\left[\left({\frac {4}{\pi }}-1\right)(\sigma _{2}-\sigma _{1})^{2}+\sigma _{1}\sigma _{2}\right]$$

где E( X ), V( X ) и T( X ) — среднее значение, дисперсия и третий центральный момент соответственно.

Одним из основных практических применений закона Гаусса является моделирование эмпирических распределений множества различных случайных величин, встречающихся на практике. В таком случае возможным расширением будет более богатое семейство распределений, имеющее более двух параметров и, следовательно, способное более точно соответствовать эмпирическому распределению. Примеры таких расширений:

• Распределение Пирсона — семейство вероятностных распределений с четырьмя параметрами, которые расширяют нормальный закон, включив в него различные значения асимметрии и эксцесса.
• Обобщенное нормальное распределение , также известное как экспоненциальное степенное распределение, допускает хвосты распределения с более толстыми или более тонкими асимптотическим поведением.

Статистический вывод

Оценка параметров

См. также: Максимальное правдоподобие § Непрерывное распределение, непрерывное пространство параметров ; и функция Гаусса § Оценка параметров

Часто мы не знаем параметров нормального распределения, но вместо этого хотим их оценить . То есть иметь образец ${\textstyle (x_{1},\ldots ,x_{n})}$ от нормального ${\textstyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ населения, мы хотели бы узнать примерные значения параметров ${\textstyle \mu }$ и ${\textstyle \sigma ^{2}}$. Стандартным подходом к этой проблеме является метод максимального правдоподобия , который требует максимизации логарифмической функции правдоподобия : $$\ln {\mathcal {L}}(\mu ,\sigma ^{2})=\sum _{i=1}^{n}\ln f(x_{i}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi )-{\frac {n}{2}}\ln \sigma ^{2}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.$$Взяв производные по ${\textstyle \mu }$ и ${\textstyle \sigma ^{2}}$ и решение полученной системы условий первого порядка дает оценки максимального правдоподобия : $${\hat {\mu }}={\overline {x}}\equiv {\frac {1}{n}}\sum _{i=1}^{n}x_{i},\qquad {\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}.$$

Затем ${\textstyle \ln {\mathcal {L}}({\hat {\mu }},{\hat {\sigma }}^{2})}$ заключается в следующем:

$$\ln {\mathcal {L}}({\hat {\mu }},{\hat {\sigma }}^{2})=(-n/2)[\ln(2\pi {\hat {\sigma }}^{2})+1]$$

Выборочное среднее

См. Также: Стандартная ошибка среднего значения.

Оценщик $\textstyle {\hat {\mu }}$ называется выборочным средним , поскольку оно является средним арифметическим всех наблюдений. Статистика $\textstyle {\overline {x}}$ является полным и достаточным для ${\textstyle \mu }$, и, следовательно, по теореме Лемана–Шеффе , $\textstyle {\hat {\mu }}$ — это несмещенная оценка равномерно минимальной дисперсии (UMVU). В конечных выборках оно распределяется нормально: $${\hat {\mu }}\sim {\mathcal {N}}(\mu ,\sigma ^{2}/n).$$Дисперсия этой оценки равна µμ -элементу обратной информационной матрицы Фишера $\textstyle {\mathcal {I}}^{-1}$. Это означает, что оценка эффективна для конечной выборки . Практическое значение имеет тот факт, что ошибка стандартная $\textstyle {\hat {\mu }}$ пропорционально $\textstyle 1/{\sqrt {n}}$, то есть, если кто-то хочет уменьшить стандартную ошибку в 10 раз, необходимо увеличить количество точек в выборке в 100 раз. Этот факт широко используется при определении размеров выборки для опросов общественного мнения и числа испытания в моделировании Монте-Карло .

С точки зрения асимптотической теории , $\textstyle {\hat {\mu }}$ является непротиворечивым , то есть сходится по вероятности к ${\textstyle \mu }$ как ${\textstyle n\rightarrow \infty }$. Оценка также асимптотически нормальна , что является простым следствием того факта, что она нормальна в конечных выборках: $${\sqrt {n}}({\hat {\mu }}-\mu )\,\xrightarrow {d} \,{\mathcal {N}}(0,\sigma ^{2}).$$

Выборочная дисперсия

См. также: Стандартное отклонение § Оценка и Отклонение § Оценка.

Оценщик $\textstyle {\hat {\sigma }}^{2}$ называется выборочной дисперсией , поскольку это дисперсия выборки ( ${\textstyle (x_{1},\ldots ,x_{n})}$). На практике вместо $\textstyle {\hat {\sigma }}^{2}$. Эта другая оценка обозначается ${\textstyle s^{2}}$, а также называется выборочной дисперсией , что представляет собой определенную неоднозначность в терминологии; его квадратный корень ${\textstyle s}$ называется выборочным стандартным отклонением . Оценщик ${\textstyle s^{2}}$ отличается от $\textstyle {\hat {\sigma }}^{2}$ имея ( n − 1) вместо n в знаменателе (так называемая поправка Бесселя ): $$s^{2}={\frac {n}{n-1}}{\hat {\sigma }}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}.$$Разница между ${\textstyle s^{2}}$ и $\textstyle {\hat {\sigma }}^{2}$ становится пренебрежимо малым для n больших . Однако в конечных выборках мотивация использования ${\textstyle s^{2}}$ заключается в том, что это несмещенная оценка основного параметра ${\textstyle \sigma ^{2}}$, тогда как $\textstyle {\hat {\sigma }}^{2}$ является предвзятым. Кроме того, по теореме Лемана–Шеффе оценка ${\textstyle s^{2}}$ является равномерно несмещенной минимальной дисперсией ( UMVU ), что делает его «лучшим» оценщиком среди всех несмещенных. Однако можно показать, что смещенная оценка $\textstyle {\hat {\sigma }}^{2}$ лучше, чем ${\textstyle s^{2}}$ с точки зрения критерия среднеквадратической ошибки (MSE). В конечных выборках оба ${\textstyle s^{2}}$ и $\textstyle {\hat {\sigma }}^{2}$ имеют масштабированное распределение хи-квадрат с ( n - 1) степенями свободы: $$s^{2}\sim {\frac {\sigma ^{2}}{n-1}}\cdot \chi _{n-1}^{2},\qquad {\hat {\sigma }}^{2}\sim {\frac {\sigma ^{2}}{n}}\cdot \chi _{n-1}^{2}.$$Первое из этих выражений показывает, что дисперсия ${\textstyle s^{2}}$ равно ${\textstyle 2\sigma ^{4}/(n-1)}$, что немного больше, чем σσ -элемент обратной информационной матрицы Фишера $\textstyle {\mathcal {I}}^{-1}$. Таким образом, ${\textstyle s^{2}}$ не является эффективной оценкой ${\textstyle \sigma ^{2}}$, и более того, поскольку ${\textstyle s^{2}}$ является UMVU, мы можем заключить, что эффективная оценка конечной выборки для ${\textstyle \sigma ^{2}}$ не существует.

Применяя асимптотическую теорию, обе оценки ${\textstyle s^{2}}$ и $\textstyle {\hat {\sigma }}^{2}$ непротиворечивы, то есть сходятся по вероятности к ${\textstyle \sigma ^{2}}$ как размер выборки ${\textstyle n\rightarrow \infty }$. Обе оценки также асимптотически нормальны: $${\sqrt {n}}({\hat {\sigma }}^{2}-\sigma ^{2})\simeq {\sqrt {n}}(s^{2}-\sigma ^{2})\,\xrightarrow {d} \,{\mathcal {N}}(0,2\sigma ^{4}).$$В частности, обе оценки асимптотически эффективны для ${\textstyle \sigma ^{2}}$.

Доверительные интервалы

См. Также: Стьюдентизация и правило 3-х сигм.

По теореме Кокрена для нормальных распределений выборочное среднее $\textstyle {\hat {\mu }}$ и выборочная дисперсия s ² независимы , а это означает , не дает никакой выгоды что рассмотрение их совместного распределения . Существует также обратная теорема: если в выборке выборочное среднее и выборочная дисперсия независимы, то выборка должна иметь нормальное распределение. Независимость между $\textstyle {\hat {\mu }}$ и s можно использовать для построения так называемой t-статистики : $$t={\frac {{\hat {\mu }}-\mu }{s/{\sqrt {n}}}}={\frac {{\overline {x}}-\mu }{\sqrt {{\frac {1}{n(n-1)}}\sum (x_{i}-{\overline {x}})^{2}}}}\sim t_{n-1}$$Эта величина t имеет t-распределение Стьюдента с ( n − 1) степенями свободы и является вспомогательной статистикой (независимой от значения параметров). Инвертирование распределения этой t -статистики позволит нам построить доверительный интервал для μ ; аналогично, инвертируя χ ² распределение статистики s ² даст нам доверительный интервал для σ ² : $$\mu \in \left[{\hat {\mu }}-t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}s,{\hat {\mu }}+t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}s\right],$$$$\sigma ^{2}\in \left[{\frac {(n-1)s^{2}}{\chi _{n-1,1-\alpha /2}^{2}}},{\frac {(n-1)s^{2}}{\chi _{n-1,\alpha /2}^{2}}}\right],$$где t _k,p и χ   2
k,p   квантили p ые - t- — и χ ² -распределения соответственно. Эти доверительные интервалы имеют доверительный уровень 1 − α , что означает, что истинные значения μ и σ ² выходят за пределы этих интервалов с вероятностью (или уровнем значимости ) α . На практике люди обычно принимают α = 5% , что приводит к доверительным интервалам 95%.

Приближенные формулы можно вывести из асимптотических распределений $\textstyle {\hat {\mu }}$ и с ² : $$\mu \in \left[{\hat {\mu }}-|z_{\alpha /2}|{\frac {1}{\sqrt {n}}}s,{\hat {\mu }}+|z_{\alpha /2}|{\frac {1}{\sqrt {n}}}s\right],$$$$\sigma ^{2}\in \left[s^{2}-|z_{\alpha /2}|{\frac {\sqrt {2}}{\sqrt {n}}}s^{2},s^{2}+|z_{\alpha /2}|{\frac {\sqrt {2}}{\sqrt {n}}}s^{2}\right],$$Приближенные формулы становятся справедливыми при больших значениях n более удобны для ручного расчета, поскольку стандартные нормальные квантили zα _{и /2} не зависят от n . В частности, наиболее популярное значение α = 5% приводит к | г _0,025 | = 1,96 .

Тесты на нормальность

Основная статья: Тесты на нормальность

Критерии нормальности оценивают вероятность того, что данный набор данных { x ₁ , ..., x _n } имеет нормальное распределение. Обычно нулевая гипотеза H ₀ заключается в том, что наблюдения распределяются нормально с неопределенным средним значением µ и дисперсией σ. ² , по сравнению с альтернативой H _a , что распределение является произвольным. Для решения этой проблемы было разработано множество тестов (более 40). Наиболее известные из них представлены ниже:

Диагностические графики более интуитивно привлекательны, но в то же время субъективны, поскольку они полагаются на неформальное человеческое суждение при принятии или отклонении нулевой гипотезы.

• График Q–Q , также известный как график нормальной вероятности или график ранки , представляет собой график отсортированных значений из набора данных в сравнении с ожидаемыми значениями соответствующих квантилей из стандартного нормального распределения. То есть это график точки вида (Φ ⁻¹ ( p _k ), x _{( k )} ), где точки построения p _k равны p _k = ( k − α )/( n + 1 − 2 α ), а α — константа корректировки, которая может принимать любое значение от 0 до 1. Если нулевая гипотеза верна, нанесенные точки должны примерно лежать на прямой линии.
• График P-P - аналогичен графику Q-Q, но используется гораздо реже. Этот метод заключается в нанесении точек (Φ( z _{( k )} ), p _k ), где ${\textstyle \textstyle z_{(k)}=(x_{(k)}-{\hat {\mu }})/{\hat {\sigma }}}$. Для нормально распределенных данных этот график должен лежать на линии под углом 45° между (0, 0) и (1, 1).

Тесты на соответствие :

Моментные тесты :

• Критерий К-квадрата Д'Агостино
• Тест Жарка-Бера
• Критерий Шапиро-Уилка : основан на том факте, что линия на графике Q-Q имеет наклон σ . Тест сравнивает оценку этого наклона методом наименьших квадратов со значением выборочной дисперсии и отклоняет нулевую гипотезу, если эти две величины значительно различаются.

Тесты, основанные на эмпирической функции распределения :

• Тест Андерсона-Дарлинга
• Тест Лиллифорса (адаптация теста Колмогорова-Смирнова )

Байесовский анализ нормального распределения

Байесовский анализ нормально распределенных данных осложняется множеством различных возможностей, которые можно учитывать:

• Фиксированной величиной можно считать либо среднее значение, либо дисперсию, либо ни то, ни другое.
• Когда дисперсия неизвестна, анализ можно проводить непосредственно с точки зрения дисперсии или с точки зрения точности , обратной дисперсии. Причина выражения формул с точки зрения точности состоит в том, что анализ большинства случаев упрощается.
• как одномерные, так и многомерные случаи. Необходимо учитывать
• как сопряженные , так и неправильные априорные распределения . Неизвестным переменным могут быть присвоены
• Дополнительный набор случаев возникает в байесовской линейной регрессии , где в базовой модели предполагается нормальное распределение данных, а к коэффициентам регрессии ставятся нормальные априорные значения . Итоговый анализ аналогичен базовым случаям независимых одинаково распределенных данных.

Формулы для случаев нелинейной регрессии обобщены в сопряженной предыдущей статье.

Сумма двух квадратичных дробей

Скалярная форма

Следующая вспомогательная формула полезна для упрощения уравнений апостериорного обновления, которые в противном случае становятся довольно утомительными.

$$a(x-y)^{2}+b(x-z)^{2}=(a+b)\left(x-{\frac {ay+bz}{a+b}}\right)^{2}+{\frac {ab}{a+b}}(y-z)^{2}$$

Это уравнение переписывает сумму двух квадратичных дробей по x, расширяя квадраты, группируя члены по x и дополняя квадрат . Обратите внимание на следующие сложные постоянные коэффициенты, связанные с некоторыми терминами:

1. Фактор ${\textstyle {\frac {ay+bz}{a+b}}}$ имеет форму средневзвешенного значения y и z .
2. ${\textstyle {\frac {ab}{a+b}}={\frac {1}{{\frac {1}{a}}+{\frac {1}{b}}}}=(a^{-1}+b^{-1})^{-1}.}$ Это показывает, что этот фактор можно рассматривать как результат ситуации, когда обратные величины a и b складываются напрямую, поэтому, чтобы объединить сами a и b , необходимо совершать возвратно-поступательные движения, складывать и снова возвращать результат, чтобы вернуться в оригинальные агрегаты. Именно такую ​​операцию выполняет среднее гармоническое , поэтому неудивительно, что ${\textstyle {\frac {ab}{a+b}}}$ составляет половину среднего значений a b и . гармонического

Векторная форма

Аналогичную формулу можно записать для суммы двух векторных квадратиков: Если x , y , z — векторы длины k , а A и B — симметричные , обратимые матрицы размера ${\textstyle k\times k}$, затем

$${\begin{aligned}&(\mathbf {y} -\mathbf {x} )'\mathbf {A} (\mathbf {y} -\mathbf {x} )+(\mathbf {x} -\mathbf {z} )'\mathbf {B} (\mathbf {x} -\mathbf {z} )\\={}&(\mathbf {x} -\mathbf {c} )'(\mathbf {A} +\mathbf {B} )(\mathbf {x} -\mathbf {c} )+(\mathbf {y} -\mathbf {z} )'(\mathbf {A} ^{-1}+\mathbf {B} ^{-1})^{-1}(\mathbf {y} -\mathbf {z} )\end{aligned}}$$

где

$$\mathbf {c} =(\mathbf {A} +\mathbf {B} )^{-1}(\mathbf {A} \mathbf {y} +\mathbf {B} \mathbf {z} )$$

Форма x ′ A x называется квадратичной формой и является скаляром : $$\mathbf {x} '\mathbf {A} \mathbf {x} =\sum _{i,j}a_{ij}x_{i}x_{j}$$Другими словами, он суммирует все возможные комбинации произведений пар элементов из x с отдельным коэффициентом для каждой. Кроме того, поскольку ${\textstyle x_{i}x_{j}=x_{j}x_{i}}$, только сумма ${\textstyle a_{ij}+a_{ji}}$ имеет значение для любых недиагональных элементов A , и нет потери общности, если предположить, A симметричен что . Более того, если A симметричен, то форма ${\textstyle \mathbf {x} '\mathbf {A} \mathbf {y} =\mathbf {y} '\mathbf {A} \mathbf {x} .}$

Сумма отличий от среднего

Еще одна полезная формула выглядит следующим образом: $$\sum _{i=1}^{n}(x_{i}-\mu )^{2}=\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}$$где ${\textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}.}$

С известной дисперсией

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует ${\textstyle x\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ с известной дисперсией σ ² , сопряженное априорное распределение также имеет нормальное распределение.

Это можно показать проще, переписав дисперсию как точность , т. е. используя τ = 1/σ. ² . Тогда, если ${\textstyle x\sim {\mathcal {N}}(\mu ,1/\tau )}$ и ${\textstyle \mu \sim {\mathcal {N}}(\mu _{0},1/\tau _{0}),}$ мы действуем следующим образом.

Во-первых, функция правдоподобия (используя приведенную выше формулу для суммы отличий от среднего):

$${\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{i=1}^{n}{\sqrt {\frac {\tau }{2\pi }}}\exp \left(-{\frac {1}{2}}\tau (x_{i}-\mu )^{2}\right)\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left(-{\frac {1}{2}}\tau \sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left[-{\frac {1}{2}}\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right].\end{aligned}}$$

Далее действуем следующим образом:

$${\begin{aligned}p(\mu \mid \mathbf {X} )&\propto p(\mathbf {X} \mid \mu )p(\mu )\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left[-{\frac {1}{2}}\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]{\sqrt {\frac {\tau _{0}}{2\pi }}}\exp \left(-{\frac {1}{2}}\tau _{0}(\mu -\mu _{0})^{2}\right)\\&\propto \exp \left(-{\frac {1}{2}}\left(\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)+\tau _{0}(\mu -\mu _{0})^{2}\right)\right)\\&\propto \exp \left(-{\frac {1}{2}}\left(n\tau ({\bar {x}}-\mu )^{2}+\tau _{0}(\mu -\mu _{0})^{2}\right)\right)\\&=\exp \left(-{\frac {1}{2}}(n\tau +\tau _{0})\left(\mu -{\dfrac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\right)^{2}+{\frac {n\tau \tau _{0}}{n\tau +\tau _{0}}}({\bar {x}}-\mu _{0})^{2}\right)\\&\propto \exp \left(-{\frac {1}{2}}(n\tau +\tau _{0})\left(\mu -{\dfrac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\right)^{2}\right)\end{aligned}}$$

В приведенном выше выводе мы использовали приведенную выше формулу для суммы двух квадратичных дробей и исключили все постоянные факторы, не включающие µ . Результатом является ядро ​​нормального распределения со средним значением ${\textstyle {\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}}$ и точность ${\textstyle n\tau +\tau _{0}}$, то есть

$$p(\mu \mid \mathbf {X} )\sim {\mathcal {N}}\left({\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}},{\frac {1}{n\tau +\tau _{0}}}\right)$$

Это можно записать как набор байесовских уравнений обновления апостериорных параметров с точки зрения априорных параметров:

$${\begin{aligned}\tau _{0}'&=\tau _{0}+n\tau \\[5pt]\mu _{0}'&={\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\\[5pt]{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\end{aligned}}$$

То есть объединить n точек данных с общей точностью nτ (или, что то же самое, общей дисперсией n / σ ² ) и среднее значение значений ${\textstyle {\bar {x}}}$, получить новую общую точность, просто добавив общую точность данных к предыдущей общей точности, и сформировать новое среднее значение через взвешенное по точности среднее значение , т.е. средневзвешенное среднее значение данных и априорное среднее значение, каждое из которых взвешено по соответствующая общая точность. Это имеет логический смысл, если рассматривать точность как показатель достоверности наблюдений: в распределении апостериорного среднего каждый из входных компонентов взвешивается по его достоверности, а достоверность этого распределения представляет собой сумму отдельных достоверностей. . (Для интуитивного понимания этого сравните выражение «целое больше суммы своих частей». Кроме того, учтите, что знание апостериорного происходит из комбинации знаний априорного и правдоподобия. , поэтому вполне логично, что мы более уверены в нем, чем в любом из его компонентов.)

удобнее проводить байесовский анализ сопряженных априорных значений Приведенная выше формула показывает, почему с точки зрения точности для нормального распределения. Апостериорная точность представляет собой просто сумму априорной точности и точности правдоподобия, а апостериорное среднее вычисляется посредством взвешенного по точности среднего значения, как описано выше. Те же самые формулы можно записать с точки зрения дисперсии, выполняя возвратно-поступательные движения со всеми точностью, что приводит к более уродливым формулам.

$${\begin{aligned}{\sigma _{0}^{2}}'&={\frac {1}{{\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}}}\\[5pt]\mu _{0}'&={\frac {{\frac {n{\bar {x}}}{\sigma ^{2}}}+{\frac {\mu _{0}}{\sigma _{0}^{2}}}}{{\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}}}\\[5pt]{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\end{aligned}}$$

С известным средним значением

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует ${\textstyle x\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ с известным средним значением μ сопряженная априорная дисперсия обратное гамма - имеет распределение или масштабированное обратное распределение хи-квадрат . Они эквивалентны, за исключением того, что имеют разные параметризации . Хотя обратная гамма используется чаще, для удобства мы используем масштабированный обратный хи-квадрат. Приор для σ ² заключается в следующем:

$$p(\sigma ^{2}\mid \nu _{0},\sigma _{0}^{2})={\frac {(\sigma _{0}^{2}{\frac {\nu _{0}}{2}})^{\nu _{0}/2}}{\Gamma \left({\frac {\nu _{0}}{2}}\right)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\propto {\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}$$

Функция правдоподобия , приведенная выше, записанная через дисперсию, равна:

$${\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {S}{2\sigma ^{2}}}\right]\end{aligned}}$$

где

$$S=\sum _{i=1}^{n}(x_{i}-\mu )^{2}.$$

Затем:

$${\begin{aligned}p(\sigma ^{2}\mid \mathbf {X} )&\propto p(\mathbf {X} \mid \sigma ^{2})p(\sigma ^{2})\\&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {S}{2\sigma ^{2}}}\right]{\frac {(\sigma _{0}^{2}{\frac {\nu _{0}}{2}})^{\frac {\nu _{0}}{2}}}{\Gamma \left({\frac {\nu _{0}}{2}}\right)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\\&\propto \left({\frac {1}{\sigma ^{2}}}\right)^{n/2}{\frac {1}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\exp \left[-{\frac {S}{2\sigma ^{2}}}+{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]\\&={\frac {1}{(\sigma ^{2})^{1+{\frac {\nu _{0}+n}{2}}}}}\exp \left[-{\frac {\nu _{0}\sigma _{0}^{2}+S}{2\sigma ^{2}}}\right]\end{aligned}}$$

Вышеупомянутое также представляет собой масштабированное обратное распределение хи-квадрат, где

$${\begin{aligned}\nu _{0}'&=\nu _{0}+n\\\nu _{0}'{\sigma _{0}^{2}}'&=\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}\end{aligned}}$$

или эквивалентно

$${\begin{aligned}\nu _{0}'&=\nu _{0}+n\\{\sigma _{0}^{2}}'&={\frac {\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu _{0}+n}}\end{aligned}}$$

Если провести повторную параметризацию с точки зрения обратного гамма-распределения , результат будет следующим:

$${\begin{aligned}\alpha '&=\alpha +{\frac {n}{2}}\\\beta '&=\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\end{aligned}}$$

С неизвестным средним значением и неизвестной дисперсией

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует ${\textstyle x\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ с неизвестным средним значением µ и неизвестной дисперсией σ ² , комбинированное (многомерное) сопряженное априорное значение помещается над средним значением и дисперсией, состоящее из нормального обратного гамма-распределения .Логически это происходит следующим образом:

1. Из анализа случая с неизвестным средним значением, но известной дисперсией, мы видим, что уравнения обновления включают достаточную статистику, рассчитанную на основе данных, состоящих из среднего значения точек данных и общей дисперсии точек данных, вычисленных, в свою очередь, на основе известной дисперсии. разделить на количество точек данных.
2. Из анализа случая с неизвестной дисперсией, но известным средним значением, мы видим, что уравнения обновления включают достаточную статистику по данным, состоящую из количества точек данных и суммы квадратичных отклонений .
3. Имейте в виду, что значения апостериорного обновления служат априорным распределением при обработке дальнейших данных. Таким образом, мы должны логически думать о наших априорных значениях с точки зрения только что описанной достаточной статистики, сохраняя при этом в максимально возможной степени одну и ту же семантику.
4. Чтобы справиться со случаем, когда и среднее значение, и дисперсия неизвестны, мы могли бы разместить независимые априорные значения над средним значением и дисперсией с фиксированными оценками среднего среднего значения, общей дисперсии, количества точек данных, используемых для вычисления априорной дисперсии, и суммы квадратичных отклонений. . Однако обратите внимание, что в действительности общая дисперсия среднего значения зависит от неизвестной дисперсии, а сумма квадратов отклонений, которая входит в априорную дисперсию (по-видимому), зависит от неизвестного среднего значения. На практике последняя зависимость относительно не важна: сдвиг фактического среднего значения смещает сгенерированные точки на равную величину, и в среднем квадраты отклонений останутся прежними. Однако это не относится к общей дисперсии среднего значения: по мере увеличения неизвестной дисперсии общая дисперсия среднего будет пропорционально увеличиваться, и мы хотели бы уловить эту зависимость.
5. Это предполагает, что мы создаем условное априорное значение среднего значения для неизвестной дисперсии с гиперпараметром, указывающим среднее значение псевдонаблюдений , связанных с априорным значением, и другим параметром, указывающим количество псевдонаблюдений. Это число служит параметром масштабирования дисперсии, позволяя контролировать общую дисперсию среднего значения относительно фактического параметра дисперсии. Априорное значение дисперсии также имеет два гиперпараметра: один определяет сумму квадратов отклонений псевдонаблюдений, связанных с априорным, а другой еще раз указывает количество псевдонаблюдений. Каждый из априорных значений имеет гиперпараметр, определяющий количество псевдонаблюдений, и в каждом случае он контролирует относительную дисперсию этого априорного значения. Они задаются как два отдельных гиперпараметра, так что дисперсию (т. е. достоверность) двух априорных значений можно контролировать отдельно.
6. Это немедленно приводит к нормальному обратному гамма-распределению , которое является продуктом двух только что определенных распределений с использованием сопряженных априорных значений ( обратное гамма-распределение по дисперсии и нормальное распределение по среднему значению, зависящее от дисперсии) и с теми же четырьмя только что определенными параметрами.

Априоры обычно определяются следующим образом:

$${\begin{aligned}p(\mu \mid \sigma ^{2};\mu _{0},n_{0})&\sim {\mathcal {N}}(\mu _{0},\sigma ^{2}/n_{0})\\p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})&\sim I\chi ^{2}(\nu _{0},\sigma _{0}^{2})=IG(\nu _{0}/2,\nu _{0}\sigma _{0}^{2}/2)\end{aligned}}$$

Уравнения обновления могут быть выведены и выглядят следующим образом:

$${\begin{aligned}{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\\\mu _{0}'&={\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\\n_{0}'&=n_{0}+n\\\nu _{0}'&=\nu _{0}+n\\\nu _{0}'{\sigma _{0}^{2}}'&=\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\end{aligned}}$$

К соответствующему количеству псевдонаблюдений добавляется количество реальных наблюдений. Новый средний гиперпараметр снова представляет собой средневзвешенное значение, на этот раз взвешенное по относительному количеству наблюдений. Наконец, обновление для ${\textstyle \nu _{0}'{\sigma _{0}^{2}}'}$ аналогичен случаю с известным средним значением, но в этом случае сумма квадратов отклонений берется относительно среднего значения наблюдаемых данных, а не истинного среднего значения, и в результате необходимо добавить новый член взаимодействия, чтобы позаботиться о дополнительный источник ошибок, возникающий из-за отклонения между априорным и средним значением данных.

Доказательство

Предыдущие распределения $${\begin{aligned}p(\mu \mid \sigma ^{2};\mu _{0},n_{0})&\sim {\mathcal {N}}(\mu _{0},\sigma ^{2}/n_{0})={\frac {1}{\sqrt {2\pi {\frac {\sigma ^{2}}{n_{0}}}}}}\exp \left(-{\frac {n_{0}}{2\sigma ^{2}}}(\mu -\mu _{0})^{2}\right)\\&\propto (\sigma ^{2})^{-1/2}\exp \left(-{\frac {n_{0}}{2\sigma ^{2}}}(\mu -\mu _{0})^{2}\right)\\p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})&\sim I\chi ^{2}(\nu _{0},\sigma _{0}^{2})=IG(\nu _{0}/2,\nu _{0}\sigma _{0}^{2}/2)\\&={\frac {(\sigma _{0}^{2}\nu _{0}/2)^{\nu _{0}/2}}{\Gamma (\nu _{0}/2)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+\nu _{0}/2}}}\\&\propto {(\sigma ^{2})^{-(1+\nu _{0}/2)}}\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right].\end{aligned}}$$

Таким образом, совместным приором является

$${\begin{aligned}p(\mu ,\sigma ^{2};\mu _{0},n_{0},\nu _{0},\sigma _{0}^{2})&=p(\mu \mid \sigma ^{2};\mu _{0},n_{0})\,p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})\\&\propto (\sigma ^{2})^{-(\nu _{0}+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+n_{0}(\mu -\mu _{0})^{2}\right)\right].\end{aligned}}$$

Функция правдоподобия из приведенного выше раздела с известной дисперсией:

$${\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)\right]\end{aligned}}$$

Записав это в терминах дисперсии, а не точности, мы получаем: $${\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\&\propto {\sigma ^{2}}^{-n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(S+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}$$где ${\textstyle S=\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}.}$

Следовательно, апостериорное (опуская гиперпараметры как обуславливающие факторы): $${\begin{aligned}p(\mu ,\sigma ^{2}\mid \mathbf {X} )&\propto p(\mu ,\sigma ^{2})\,p(\mathbf {X} \mid \mu ,\sigma ^{2})\\&\propto (\sigma ^{2})^{-(\nu _{0}+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+n_{0}(\mu -\mu _{0})^{2}\right)\right]{\sigma ^{2}}^{-n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(S+n({\bar {x}}-\mu )^{2}\right)\right]\\&=(\sigma ^{2})^{-(\nu _{0}+n+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+n_{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\&=(\sigma ^{2})^{-(\nu _{0}+n+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}+(n_{0}+n)\left(\mu -{\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\right)^{2}\right)\right]\\&\propto (\sigma ^{2})^{-1/2}\exp \left[-{\frac {n_{0}+n}{2\sigma ^{2}}}\left(\mu -{\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\right)^{2}\right]\\&\quad \times (\sigma ^{2})^{-(\nu _{0}/2+n/2+1)}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\right)\right]\\&={\mathcal {N}}_{\mu \mid \sigma ^{2}}\left({\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}},{\frac {\sigma ^{2}}{n_{0}+n}}\right)\cdot {\rm {IG}}_{\sigma ^{2}}\left({\frac {1}{2}}(\nu _{0}+n),{\frac {1}{2}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\right)\right).\end{aligned}}$$

Другими словами, апостериорное распределение имеет вид произведения нормального распределения по ${\textstyle p(\mu |\sigma ^{2})}$ раз обратное гамма-распределение по ${\textstyle p(\sigma ^{2})}$, с параметрами, такими же, как приведенные выше уравнения обновления.

Возникновение и применение

Возникновение нормального распределения в практических задачах можно условно разделить на четыре категории:

1. Точно нормальные распределения;
2. Приблизительно нормальные законы, например, когда такое приближение оправдано центральной предельной теоремой ; и
3. Распределения моделируются как нормальные: нормальное распределение представляет собой распределение с максимальной энтропией для заданного среднего значения и дисперсии.
4. Проблемы регрессии – нормальное распределение обнаруживается после того, как систематические эффекты были достаточно хорошо смоделированы.

Точная нормальность

Основное состояние квантового гармонического осциллятора имеет распределение Гаусса.

Некоторые величины в физике распределяются нормально, как это впервые продемонстрировал Джеймс Клерк Максвелл . Примеры таких величин:

• Функция плотности вероятности основного состояния квантового гармонического осциллятора .
• Положение частицы, испытывающей диффузию . Если изначально частица расположена в конкретной точке (то есть ее распределение вероятностей — дельта-функция Дирака ), то по истечении времени t ее местоположение описывается нормальным распределением с дисперсией t , которое удовлетворяет уравнению диффузии  ${\textstyle {\frac {\partial }{\partial t}}f(x,t)={\frac {1}{2}}{\frac {\partial ^{2}}{\partial x^{2}}}f(x,t)}$. Если начальное местоположение задано некоторой функцией плотности ${\textstyle g(x)}$ то плотность в момент времени t представляет собой свертку g , и нормальной функции плотности вероятности.

Приблизительная нормальность

Приблизительно нормальное распределение встречается во многих ситуациях, как это объясняется центральной предельной теоремой . Когда результат создается множеством небольших эффектов, действующих аддитивно и независимо , его распределение будет близко к нормальному. Нормальное приближение не будет действительным, если эффекты действуют мультипликативно (а не аддитивно) или если существует одно внешнее влияние, которое имеет значительно большую величину, чем остальные эффекты.

• В задачах счета, где центральная предельная теорема включает приближение от дискретного к континуальному и где бесконечно делимые и разложимые задействованы распределения, такие как
  • Биномиальные случайные величины , связанные с бинарными переменными отклика;
  • Случайные величины Пуассона , связанные с редкими событиями;
• Тепловое излучение имеет распределение Бозе-Эйнштейна на очень коротких временных масштабах и нормальное распределение на более длительных временных масштабах из-за центральной предельной теоремы.

Предполагаемая нормальность

Гистограмма ширины чашелистика Iris versicolor Фишера из набора данных о цветах Iris с наложенным наиболее подходящим нормальным распределением.

Я могу лишь признать появление нормальной кривой – лапласовой кривой ошибок – весьма ненормальным явлением. В некоторых дистрибутивах он примерно приближается к ; по этой причине, а также ввиду его прекрасной простоты, мы, возможно, можем использовать его в качестве первого приближения, особенно в теоретических исследованиях.

- Пирсон (1901)

Существуют статистические методы эмпирической проверки этого предположения; см. выше раздел «Тестирование нормальности» .

• В биологии логарифмы (после разделения на мужские различных переменных имеют тенденцию иметь нормальное распределение, то есть они имеют тенденцию иметь логарифмически нормальное распределение и женские субпопуляции), в том числе примеры:
  • Меры размера живой ткани (длина, высота, площадь кожи, вес);
  • Длина в придатков инертных (волос, когтей, ногтей, зубов) биологических особей направлении роста ; предположительно, под эту категорию подпадает и толщина древесной коры;
  • Определенные физиологические измерения, такие как артериальное давление взрослых людей.
• В финансах, в частности в модели Блэка-Шоулза , изменения логарифма обменных курсов, индексов цен и индексов фондового рынка считаются нормальными (эти переменные ведут себя как сложные проценты , а не как простые проценты, и поэтому являются мультипликативными). Некоторые математики, такие как Бенуа Мандельброт, утверждали, что лог-распределения Леви с тяжелыми хвостами были бы более подходящей моделью, в частности, для анализа обвалов фондового рынка . Использование предположения о нормальном распределении в финансовых моделях также подвергалось критике со стороны Нассима Николаса Талеба в его работах.
• Ошибки измерений в физических экспериментах часто моделируются нормальным распределением. Такое использование нормального распределения не означает, что предполагается, что ошибки измерения имеют нормальное распределение; скорее, использование нормального распределения дает наиболее консервативные прогнозы, возможные при условии знания только среднего значения и дисперсии ошибок.
• При стандартизированном тестировании результаты могут иметь нормальное распределение, выбирая количество и сложность вопросов (как в тесте IQ ) или преобразуя необработанные результаты теста в выходные баллы, подгоняя их к нормальному распределению. Например, традиционный диапазон SAT 200–800 основан на нормальном распределении со средним значением 500 и стандартным отклонением 100.

Подобрано кумулятивное нормальное распределение октябрьских осадков, см. подгонку распределения.

• Многие оценки получены на основе нормального распределения, включая процентильные ранги (процентили или квантили), эквиваленты нормальной кривой , станины , z-показатели и T-показатели. Кроме того, некоторые поведенческие статистические процедуры предполагают, что баллы распределяются нормально; например, t-тесты и ANOVA . Оценивание по кривой колокола присваивает относительные оценки на основе нормального распределения баллов.
• В гидрологии распределение долговременного речного стока или осадков, например, месячных и годовых сумм, часто считается практически нормальным в соответствии с центральной предельной теоремой . Синее изображение, сделанное с помощью CumFreq , иллюстрирует пример подбора нормального распределения к ранжированным октябрьским осадкам, показывающим 90% доверительный интервал на основе биномиального распределения . Данные об осадках представлены в виде координат на графике в рамках кумулятивного частотного анализа .

Методологические проблемы и экспертная оценка

Джон Иоаннидис утверждал , что использование нормально распределенных стандартных отклонений в качестве стандартов для проверки результатов исследований оставляет непроверенными фальсифицируемые предсказания о явлениях, которые обычно не распределяются. Сюда относятся, например, явления, которые возникают только при наличии всех необходимых условий и одно не может быть заменено другим путем сложения, и явления, которые не распределены случайным образом. Иоаннидис утверждает, что проверка, ориентированная на стандартное отклонение, создает ложную видимость достоверности гипотез и теорий, в которых некоторые, но не все фальсифицируемые прогнозы нормально распределены, поскольку часть фальсифицируемых прогнозов, против которых имеются доказательства, может, а в некоторых случаях, находится в ненормально распределенные части диапазона фальсифицируемых предсказаний, а также безосновательное отклонение гипотез, для которых ни одно из фальсифицируемых предсказаний обычно не распределяется так, как если бы они были нефальсифицируемы, тогда как на самом деле они делают фальсифицируемые предсказания. Иоаннидис утверждает, что многие случаи принятия взаимоисключающих теорий как подтвержденные исследовательскими журналами вызваны неспособностью журналов принять эмпирические фальсификации предсказаний с ненормально распределенным распределением, а не потому, что взаимоисключающие теории верны, чего они не могут сделать. быть, хотя две взаимоисключающие теории могут быть как неправильными, так и третья правильной.

Вычислительные методы

Генерация значений из нормального распределения

Бобовую машину — устройство, изобретенное Фрэнсисом Гальтоном , можно назвать первым генератором нормальных случайных величин. Эта машина состоит из вертикальной доски с чередующимися рядами булавок. Маленькие шарики падают сверху, а затем случайным образом отскакивают влево или вправо, попадая в кегли. Шары собираются в контейнеры внизу и располагаются в форме, напоминающей кривую Гаусса.

В компьютерном моделировании, особенно в приложениях метода Монте-Карло , часто желательно генерировать значения, которые имеют нормальное распределение. Все перечисленные ниже алгоритмы генерируют стандартные нормальные отклонения, поскольку N ( µ , σ ² ) может быть сгенерирован как X = µ + σZ , где Z — стандартная нормаль. Все эти алгоритмы полагаются на наличие генератора случайных чисел U, способного генерировать однородные случайные величины.

• Самый простой метод основан на свойстве преобразования интеграла вероятности : если U распределено равномерно на (0,1), то Φ ⁻¹ ( U ) будет иметь стандартное нормальное распределение. Недостатком этого метода является то, что он основан на вычислении пробит-функции Φ ⁻¹ , что невозможно сделать аналитически. Некоторые приближенные методы описаны у Харта (1968) и в статье erf . Вичура предлагает быстрый алгоритм вычисления этой функции с точностью до 16 знаков после запятой. который используется R для вычисления случайных величин нормального распределения.
• Простой в программировании приближенный подход , основанный на центральной предельной теореме, заключается в следующем: сгенерируйте 12 равномерных отклонений U (0,1), сложите их все и вычтите 6 – полученная случайная величина будет иметь примерно стандартное нормальное распределение. По правде говоря, распределение будет Ирвина-Холла , которое представляет собой аппроксимацию нормального распределения полиномом одиннадцатого порядка из 12 секций. Это случайное отклонение будет иметь ограниченный диапазон (-6, 6). Обратите внимание, что при истинно нормальном распределении только 0,00034% всех выборок выходят за пределы ±6σ.
• Метод Бокса – Мюллера использует два независимых случайных числа U и V распределенных , равномерно по (0,1). Тогда две случайные величины X и Y $$X={\sqrt {-2\ln U}}\,\cos(2\pi V),\qquad Y={\sqrt {-2\ln U}}\,\sin(2\pi V).$$ оба будут иметь стандартное нормальное распределение и будут независимыми . Эта формулировка возникает потому, что для двумерного нормального случайного вектора ( X , Y ) квадрат нормы X ² + И ² будет иметь распределение хи-квадрат с двумя степенями свободы, которое представляет собой легко генерируемую экспоненциальную случайную величину, соответствующую величине −2 ln( U ) в этих уравнениях; и угол равномерно распределен по кругу, выбранному случайной величиной V .
• представляет Полярный метод Марсальи собой модификацию метода Бокса – Мюллера, которая не требует вычисления функций синуса и косинуса. В этом методе U и V извлекаются из равномерного (−1,1) распределения, а затем S = U ² + V ² вычисляется. Если S больше или равно 1, метод начинается заново, в противном случае две величины $$X=U{\sqrt {\frac {-2\ln S}{S}}},\qquad Y=V{\sqrt {\frac {-2\ln S}{S}}}$$ возвращаются. Опять же, X и Y — независимые стандартные нормальные случайные величины.
• Метод отношений это метод отказа. Алгоритм действует следующим образом:
  • Сгенерируйте два независимых равномерных отклонения U и V ;
  • Вычислить X = √ 8/ e ( V - 0,5)/ U ;
  • Необязательно: если X ² ≤ 5 − 4 е ^1/4 Затем вы принимаете X и завершаете алгоритм;
  • Необязательно: если X ² ≥ 4 е ^−1.35 / U + 1,4, затем отклоните X и начните заново с шага 1;
  • Если Х ² ≤ −4 ln U, тогда примите X , иначе начните алгоритм заново.

  Два дополнительных шага позволяют в большинстве случаев избежать вычисления логарифма на последнем шаге. Эти шаги можно значительно улучшить так что логарифм вычисляется редко.

• Алгоритм зиккурата быстрее, чем преобразование Бокса-Мюллера, но при этом является точным. Примерно в 97% всех случаев он использует только два случайных числа: одно случайное целое и одно случайное равномерное, одно умножение и проверку if. Только в 3% случаев, когда комбинация этих двух факторов выходит за пределы «ядра зиккурата» (своего рода отбраковочная выборка с использованием логарифмов), приходится использовать экспоненту и более однородные случайные числа.
• Целочисленную арифметику можно использовать для выборки из стандартного нормального распределения. Этот метод точен в том смысле, что он удовлетворяет условиям идеального приближения ; т. е. это эквивалентно выборке действительного числа из стандартного нормального распределения и округлению его до ближайшего представимого числа с плавающей запятой.
• Также есть расследование в связь между быстрым преобразованием Адамара и нормальным распределением, поскольку преобразование использует только сложение и вычитание, и согласно центральной предельной теореме случайные числа практически из любого распределения будут преобразованы в нормальное распределение. В этом отношении серию преобразований Адамара можно комбинировать со случайными перестановками, чтобы превратить произвольные наборы данных в нормально распределенные данные.

Численные аппроксимации нормальной кумулятивной функции распределения и нормальной функции квантиля

Стандартная функция нормального кумулятивного распределения широко используется в научных и статистических вычислениях.

Значения Φ( x ) могут быть очень точно аппроксимированы различными методами, такими как численное интегрирование , ряд Тейлора , асимптотический ряд и цепные дроби . В зависимости от желаемого уровня точности используются различные приближения.

• Зелен и Северо (1964) дают аппроксимацию Φ( x ) для x > 0 с абсолютной ошибкой | ε ( Икс ) | < 7,5·10 ⁻⁸ (алгоритм 26.2.17 ): $$\Phi (x)=1-\varphi (x)\left(b_{1}t+b_{2}t^{2}+b_{3}t^{3}+b_{4}t^{4}+b_{5}t^{5}\right)+\varepsilon (x),\qquad t={\frac {1}{1+b_{0}x}},$$ где φ ( x ) — стандартная нормальная функция плотности вероятности, а b ₀ = 0,2316419, b ₁ = 0,319381530, b ₂ = -0,356563782, b ₃ = 1,781477937, b ₄ = -1,821255978, b ₅ = 1,330274429.
• Харт (1968) перечисляет несколько десятков аппроксимаций – с помощью рациональных функций, с экспонентами или без них – для функция erfc() . Его алгоритмы различаются по степени сложности и получаемой точности, максимальная абсолютная точность составляет 24 цифры. Алгоритм Уэста (2009) сочетает в себе алгоритм Харта 5666 с аппроксимацией непрерывной дроби в хвосте, чтобы обеспечить быстрый алгоритм вычислений с точностью до 16 цифр.
• Коди (1969), вспомнив, что решение Hart68 не подходит для erf, дает решение как для erf, так и для erfc с максимальной границей относительной ошибки с помощью рационального приближения Чебышева .
• Марсалья (2004) предложил простой алгоритм. на основе разложения в ряд Тейлора $$\Phi (x)={\frac {1}{2}}+\varphi (x)\left(x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+{\frac {x^{7}}{3\cdot 5\cdot 7}}+{\frac {x^{9}}{3\cdot 5\cdot 7\cdot 9}}+\cdots \right)$$ для вычисления Φ( x ) с произвольной точностью. Недостатком этого алгоритма является сравнительно медленное время расчета (например, для вычисления функции с точностью до 16 знаков при x = 10 требуется более 300 итераций ).
• Научная библиотека GNU вычисляет значения стандартной нормальной кумулятивной функции распределения, используя алгоритмы Харта и аппроксимации с помощью полиномов Чебышева .
• Диа (2023) предлагает следующее приближение ${\textstyle 1-\Phi }$ с максимальной относительной погрешностью менее ${\textstyle 2^{-53}}$ ${\textstyle \left(\approx 1.1\times 10^{-16}\right)}$ в абсолютном значении: за ${\textstyle x\geq 0}$${\textstyle {\begin{aligned}1-\Phi \left(x\right)&=\left({\frac {0.39894228040143268}{x+2.92678600515804815}}\right)\left({\frac {x^{2}+8.42742300458043240x+18.38871225773938487}{x^{2}+5.81582518933527391x+8.97280659046817350}}\right)\\&\left({\frac {x^{2}+7.30756258553673541x+18.25323235347346525}{x^{2}+5.70347935898051437x+10.27157061171363079}}\right)\left({\frac {x^{2}+5.66479518878470765x+18.61193318971775795}{x^{2}+5.51862483025707963x+12.72323261907760928}}\right)\\&\left({\frac {x^{2}+4.91396098895240075x+24.14804072812762821}{x^{2}+5.26184239579604207x+16.88639562007936908}}\right)\left({\frac {x^{2}+3.83362947800146179x+11.61511226260603247}{x^{2}+4.92081346632882033x+24.12333774572479110}}\right)e^{-{\frac {x^{2}}{2}}}\end{aligned}}}$ и для ${\textstyle x<0}$,

$$1-\Phi \left(x\right)=1-\left(1-\Phi \left(-x\right)\right)$$

Шор (1982) представил простые аппроксимации, которые могут быть включены в модели стохастической оптимизации инженерных и эксплуатационных исследований, такие как проектирование надежности и анализ запасов. Обозначая p = Φ( z ) , простейшим приближением для функции квантиля является: $$z=\Phi ^{-1}(p)=5.5556\left[1-\left({\frac {1-p}{p}}\right)^{0.1186}\right],\qquad p\geq 1/2$$

Это приближение дает для z максимальную абсолютную ошибку 0,026 (для 0,5 ≤ p ≤ 0,9999 , что соответствует 0 ≤ z ≤ 3,719 ). Для p < 1/2 замените p на 1 − p и поменяйте знак. Другое приближение, несколько менее точное, — это однопараметрическое приближение: $$z=-0.4115\left\{{\frac {1-p}{p}}+\log \left[{\frac {1-p}{p}}\right]-1\right\},\qquad p\geq 1/2$$

Последнее послужило для получения простой аппроксимации интеграла потерь нормального распределения, определяемого формулой $${\begin{aligned}L(z)&=\int _{z}^{\infty }(u-z)\varphi (u)\,du=\int _{z}^{\infty }[1-\Phi (u)]\,du\\[5pt]L(z)&\approx {\begin{cases}0.4115\left({\dfrac {p}{1-p}}\right)-z,&p<1/2,\\\\0.4115\left({\dfrac {1-p}{p}}\right),&p\geq 1/2.\end{cases}}\\[5pt]{\text{or, equivalently,}}\\L(z)&\approx {\begin{cases}0.4115\left\{1-\log \left[{\frac {p}{1-p}}\right]\right\},&p<1/2,\\\\0.4115{\dfrac {1-p}{p}},&p\geq 1/2.\end{cases}}\end{aligned}}$$

Это приближение особенно точно для правого дальнего хвоста (максимальная ошибка 10 ⁻³ для z≥1,4). Высокоточные аппроксимации кумулятивной функции распределения, основанные на методологии моделирования отклика (RMM, Shore, 2011, 2012), показаны в Shore (2005).

Еще несколько приближений можно найти по адресу: Функция ошибки#Приближение элементарными функциями . В частности, небольшая относительная ошибка во всей области для кумулятивной функции распределения. ${\textstyle \Phi }$ и функция квантиля ${\textstyle \Phi ^{-1}}$ также достигается с помощью явно обратимой формулы Сергея Виницкого в 2008 году.

История

Разработка

Некоторые авторы приписывают заслугу открытия нормального распределения де Муавра , который в 1738 г. опубликовал во втором издании своей «Доктрины шансов» исследование коэффициентов разложения биномиального ( a + b ) ^н . Де Муавр доказал, что средний член этого расширения имеет приблизительную величину ${\textstyle 2^{n}/{\sqrt {2\pi n}}}$, и что «Если m или ⁠ 1 / 2 ⁠ n — бесконечно большая Величина, то логарифм отношения, которое Член, отстоящий от середины на Интервал ℓ , имеет к среднему Члену, равен ${\textstyle -{\frac {2\ell \ell }{n}}}$." Хотя эту теорему можно интерпретировать как первое неясное выражение нормального закона вероятности, Стиглер указывает, что сам де Муавр не интерпретировал свои результаты как нечто большее, чем приближенное правило для биномиальных коэффициентов, и, в частности, у де Муавра не было концепции функция плотности вероятности.

Карл Фридрих Гаусс открыл нормальное распределение в 1809 году как способ рационализации метода наименьших квадратов .

В 1823 году Гаусс опубликовал свою монографию « Теория комбинаций наблюдений erroribus minimis obnoxiae », где, среди прочего, он вводит несколько важных статистических понятий, таких как метод наименьших квадратов , метод максимального правдоподобия и нормальное распределение . Гаусс использовал M , M ′ , M ", ... для обозначения измерений некоторой неизвестной величины V и искал наиболее вероятную оценку этой величины: ту, которая максимизирует вероятность φ ( M − V ) · φ ( M ′ − V ) · φ ( M » − V ) · ... получения наблюдаемых экспериментальных результатов. В его обозначениях φΔ — функция плотности вероятности ошибок измерения величины Δ. Не зная, что представляет собой функция φ , Гаусс требует, чтобы его метод сводился к известному ответу: среднему арифметическому измеренных величин. Исходя из этих принципов, Гаусс показывает, что единственным законом, который рационализирует выбор среднего арифметического в качестве оценки параметра местоположения, является нормальный закон ошибок: $$\varphi {\mathit {\Delta }}={\frac {h}{\surd \pi }}\,e^{-\mathrm {hh} \Delta \Delta },$$ где h - «мера точности наблюдений». Используя этот нормальный закон в качестве общей модели ошибок в экспериментах, Гаусс формулирует то, что сейчас известно как нелинейный взвешенный метод наименьших квадратов .

Пьер-Симон Лаплас доказал центральную предельную теорему в 1810 году, подтвердив важность нормального распределения в статистике.

Хотя Гаусс был первым, кто предложил закон нормального распределения, Лаплас внес значительный вклад. Именно Лаплас впервые поставил задачу объединения нескольких наблюдений в 1774 году. хотя его собственное решение привело к распределению Лапласа . Именно Лаплас первым вычислил значение интеграла ∫ e ^{− т 2}  dt = √ π в 1782 году, что обеспечивает константу нормализации нормального распределения. Наконец, именно Лаплас в 1810 году доказал и представил академии фундаментальную центральную предельную теорему , подчеркивавшую теоретическую важность нормального распределения.

Интересно отметить, что в 1809 году американский математик ирландского происхождения Роберт Адрейн опубликовал два проницательных, но ошибочных вывода нормального закона вероятности одновременно и независимо от Гаусса. Его работы оставались по большей части незамеченными научным сообществом, пока в 1871 году их не эксгумировал Аббе .

В середине XIX века Максвелл продемонстрировал, что нормальное распределение является не только удобным математическим инструментом, но может встречаться и в природных явлениях: Число частиц, скорость которых, разрешенная в определенном направлении, лежит между x и x + dx, равна $$\operatorname {N} {\frac {1}{\alpha \;{\sqrt {\pi }}}}\;e^{-{\frac {x^{2}}{\alpha ^{2}}}}\,dx$$

Мы

Сегодня эта концепция обычно известна на английском языке как нормальное распределение или распределение Гаусса . Другие менее распространенные названия включают распределение Гаусса, распределение Лапласа-Гаусса, закон ошибок, закон возможности ошибок, второй закон Лапласа и закон Гаусса.

Сам Гаусс, по-видимому, придумал этот термин в отношении «нормальных уравнений», используемых в его приложениях, причем «нормальный» имеет техническое значение «ортогональный», а не «обычный». Однако к концу XIX века некоторые авторы начал использовать название «нормальное распределение », где слово «нормальный» использовалось как прилагательное – этот термин теперь рассматривается как отражение того факта, что это распределение считалось типичным, распространенным – и, следовательно, нормальным. Пирс (один из этих авторов) однажды определил понятие «нормальности» следующим образом: «...«норма» — это не среднее (или какое-либо другое среднее значение) того, что происходит на самом деле, а то, что произойдет в долгосрочной перспективе. при определенных обстоятельствах». Примерно на рубеже 20-го века Пирсон популяризировал термин «нормальный» для обозначения этого распределения.

Много лет назад я назвал кривую Лапласа-Гаусса нормальной кривой, это название, хотя оно и избегает международного вопроса о приоритете, имеет тот недостаток, что заставляет людей поверить, что все другие распределения частот в том или ином смысле являются «ненормальными».

- Пирсон (1920)

Кроме того, именно Пирсон первым записал распределение в терминах стандартного отклонения σ в современных обозначениях. Вскоре после этого, в 1915 году, Фишер добавил в формулу нормального распределения параметр местоположения, выразив его так, как он пишется сейчас: $$df={\frac {1}{\sqrt {2\sigma ^{2}\pi }}}e^{-(x-m)^{2}/(2\sigma ^{2})}\,dx.$$

Термин «стандартное нормальное», обозначающий нормальное распределение с нулевым средним значением и единичной дисперсией, стал широко использоваться примерно в 1950-х годах, появившись в популярных учебниках П. Г. Хоэля (1947) « Введение в математическую статистику» и А. М. Муда (1950) « Введение в математическую статистику ». Теория статистики .

См. также

• Распределение Бейтса - аналогично распределению Ирвина – Холла, но масштабировано обратно в диапазон от 0 до 1.
• Проблема Беренса-Фишера - давняя проблема проверки того, имеют ли две нормальные выборки с разными дисперсиями одинаковые средние значения;
• Расстояние Бхаттачарьи - метод, используемый для разделения смесей нормальных распределений.
• Теорема Эрдеша – Каца - о возникновении нормального распределения в теории чисел.
• Полная ширина на половине максимума
• Размытие по Гауссу — свертка , использующая в качестве ядра нормальное распределение.
• Модифицированное полунормальное распределение с PDF-файлом на ${\textstyle (0,\infty )}$ дается как ${\textstyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}x^{\alpha -1}\exp(-\beta x^{2}+\gamma x)}{\Psi {\left({\frac {\alpha }{2}},{\frac {\gamma }{\sqrt {\beta }}}\right)}}}}$, где ${\textstyle \Psi (\alpha ,z)={}_{1}\Psi _{1}\left({\begin{matrix}\left(\alpha ,{\frac {1}{2}}\right)\\(1,0)\end{matrix}};z\right)}$ обозначает Пси-функцию Фокса–Райта .
• Нормально распределенные и некоррелированные не подразумевают независимость.
• Отношение нормального распределения
• Взаимное нормальное распределение
• Стандартный обычный стол
• Лемма Штейна
• Субгауссово распределение
• Сумма нормально распределенных случайных величин
• Распределение Твиди . Нормальное распределение является членом семейства моделей экспоненциальной дисперсии Твиди .
• Обернутое нормальное распределение - нормальное распределение, примененное к круговой области.
• Z-тест – использование нормального распределения

Ссылки

Источники

• Олдрич, Джон; Миллер, Джефф. «Самое раннее использование символов в теории вероятности и статистике» .
• Олдрич, Джон; Миллер, Джефф. «Самые ранние известные варианты использования некоторых математических слов» . В частности, записи «Колоколообразная и колоколообразная кривая» , «Нормальное (распределение)» , «Гауссово» и «Ошибка, закон ошибок, теория ошибок и т. д.» .
• Амари, Сюн-ичи; Нагаока, Хироши (2000). Методы информационной геометрии . Издательство Оксфордского университета. ISBN  978-0-8218-0531-2 .
• Бернардо, Хосе М.; Смит, Адриан FM (2000). Байесовская теория . Уайли. ISBN  978-0-471-49464-5 .
• Брик, Влодзимеж (1995). Нормальное распределение: характеристики с приложениями . Спрингер-Верлаг. ISBN  978-0-387-97990-8 .
• Казелла, Джордж; Бергер, Роджер Л. (2001). Статистический вывод (2-е изд.). Даксбери. ISBN  978-0-534-24312-8 .
• Коди, Уильям Дж. (1969). «Рациональные чебышевские аппроксимации функции ошибки» . Математика вычислений . 23 (107): 631–638. дои : 10.1090/S0025-5718-1969-0247736-4 .
• Обложка, Томас М.; Томас, Джой А. (2006). Элементы теории информации . Джон Уайли и сыновья.
• Диа, Яя Д. (2023). «Приближенные неполные интегралы, приложение к дополнительной функции ошибки» . ССРН . дои : 10.2139/ssrn.4487559 . S2CID   259689086 .
• де Муавр, Авраам (1738). Доктрина шансов . Американское математическое общество. ISBN  978-0-8218-2103-9 .
• Фань, Цзяньцин (1991). «Об оптимальных скоростях сходимости для непараметрических задач деконволюции» . Анналы статистики . 19 (3): 1257–1272. дои : 10.1214/aos/1176348248 . JSTOR   2241949 .
• Гальтон, Фрэнсис (1889). Естественное наследование (PDF) . Лондон, Великобритания: Ричард Клей и сыновья.
• Галамбос, Янош; Симонелли, Итало (2004). Произведения случайных величин: приложения к задачам физики и арифметическим функциям . Марсель Деккер, Inc. ISBN  978-0-8247-5402-0 .
• Гаусс, Кароло Фридерико (1809). Theoria motvs corporvm coelestivm insectionibvs conicis Solemambiivm [ Теория движения небесных тел, движущихся вокруг Солнца в конических сечениях ] (на латыни). Хамбврги, Свмтибс Ф. Пертес и И.Х. Бессер. Английский перевод .
• Гулд, Стивен Джей (1981). Неизмерение человека (первое изд.). WW Нортон. ISBN  978-0-393-01489-1 .
• Гальперин, Макс; Хартли, Герман О.; Хоэл, Пол Г. (1965). «Рекомендуемые стандарты статистических символов и обозначений. Комитет COPSS по символам и обозначениям». Американский статистик . 19 (3): 12–14. дои : 10.2307/2681417 . JSTOR   2681417 .
• Харт, Джон Ф.; и др. (1968). Компьютерные приближения . Нью-Йорк, штат Нью-Йорк: ISBN John Wiley & Sons, Inc.  978-0-88275-642-4 .
• «Нормальное распределение» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Хернштейн, Ричард Дж.; Мюррей, Чарльз (1994). Колоколовая кривая: интеллект и классовая структура в американской жизни . Свободная пресса . ISBN  978-0-02-914673-6 .
• Хаксли, Джулиан С. (1932). Проблемы относительного роста . Лондон. ISBN  978-0-486-61114-3 . OCLC   476909537 .
• Джонсон, Норман Л.; Коц, Сэмюэл; Балакришнан, Нараянасвами (1994). Непрерывные одномерные распределения, Том 1 . Уайли. ISBN  978-0-471-58495-7 .
• Джонсон, Норман Л.; Коц, Сэмюэл; Балакришнан, Нараянасвами (1995). Непрерывные одномерные распределения, Том 2 . Уайли. ISBN  978-0-471-58494-0 .
• Карни, CFF (2016). «Выборка точно из нормального распределения». Транзакции ACM в математическом программном обеспечении . 42 (1): 3:1–14. arXiv : 1303.6257 . дои : 10.1145/2710016 . S2CID   14252035 .
• Киндерман, Альберт Дж.; Монахан, Джон Ф. (1977). «Компьютерная генерация случайных величин с использованием соотношения равномерных отклонений» . Транзакции ACM в математическом программном обеспечении . 3 (3): 257–260. дои : 10.1145/355744.355750 . S2CID   12884505 .
• Кришнамурти, Калимуту (2006). Справочник по статистическим распределениям с приложениями . Чепмен и Холл/CRC. ISBN  978-1-58488-635-8 .
• Краскал, Уильям Х.; Стиглер, Стивен М. (1997). Спенсер, Брюс Д. (ред.). Нормативная терминология: «нормальный» в статистике и других источниках . Статистика и государственная политика. Издательство Оксфордского университета. ISBN  978-0-19-852341-3 .
• Лаплас, Пьер-Симон де (1774). «Память о вероятности причин по событиям» . Мемуары Парижской королевской академии наук (иностранные ученые), том 6 : 621–656. Перевод Стивена М. Стиглера в журнале Statistical Science 1 (3), 1986: JSTOR   2245476 .
• Лаплас, Пьер-Симон (1812). вероятностей Аналитическая теория . Париж, пятница. Курьер.
• Ле Кам, Люсьен; Ло Ян, Грейс (2000). Асимптотика в статистике: некоторые основные понятия (второе изд.). Спрингер. ISBN  978-0-387-95036-5 .
• Лева, Джозеф Л. (1992). «Быстрый нормальный генератор случайных чисел» (PDF) . Транзакции ACM в математическом программном обеспечении . 18 (4): 449–453. CiteSeerX   10.1.1.544.5806 . дои : 10.1145/138351.138364 . S2CID   15802663 . Архивировано из оригинала (PDF) 16 июля 2010 г.
• Лексис, Вильгельм (1878). «О нормальной продолжительности жизни человека и о теории устойчивости статистических связей». Анналы международной демографии . II . Париж: 447–462.
• Лукач, Евгений; Кинг, Эдгар П. (1954). «Свойство нормального распределения» . Анналы математической статистики . 25 (2): 389–394. дои : 10.1214/aoms/1177728796 . JSTOR   2236741 .
• Макферсон, Глен (1990). Статистика в научных исследованиях: ее основы, применение и интерпретация . Спрингер-Верлаг. ISBN  978-0-387-97137-7 .
• Марсалья, Джордж ; Цанг, Вай Ван (2000). «Метод Зиккурата для генерации случайных величин» . Журнал статистического программного обеспечения . 5 (8). дои : 10.18637/jss.v005.i08 .
• Марсалья, Джордж (2004). «Оценка нормального распределения» . Журнал статистического программного обеспечения . 11 (4). дои : 10.18637/jss.v011.i04 .
• Максвелл, Джеймс Клерк (1860). «V. Иллюстрации динамической теории газов. — Часть I: О движении и столкновениях идеально упругих сфер». Философский журнал . Ряд 4. 19 (124): 19–32. дои : 10.1080/14786446008642818 .
• Монахан, Дж. Ф. (1985). «Точность генерации случайных чисел» . Математика вычислений . 45 (172): 559–568. doi : 10.1090/S0025-5718-1985-0804945-X .
• Патель, Джагдиш К.; Прочтите, Кэмпбелл Б. (1996). Справочник по нормальному распределению (2-е изд.). ЦРК Пресс. ISBN  978-0-8247-9342-5 .
• Пирсон, Карл (1901). «О линиях и плоскостях, наиболее близких к системам точек в пространстве» (PDF) . Философский журнал . 6. 2 (11): 559–572. дои : 10.1080/14786440109462720 . S2CID   125037489 .
• Пирсон, Карл (1905). « Закон ошибок и его обобщения Фехнера и Пирсона». Возражение» . Биометрия . 4 (1): 169–212. дои : 10.2307/2331536 . JSTOR   2331536 .
• Пирсон, Карл (1920). «Заметки по истории корреляции» . Биометрика . 13 (1): 25–45. дои : 10.1093/biomet/13.1.25 . JSTOR   2331722 .
• Рорбассер, Жан-Марк; Верон, Жак (2003). «Лексика Вильгельма: Нормальная продолжительность жизни как выражение «природы вещей» » . Население . 58 (3): 303–322. дои : 10.3917/папа.303.0303 .
• Шор, Х. (1982). «Простые приближения для обратной кумулятивной функции, функции плотности и интеграла потерь нормального распределения». Журнал Королевского статистического общества. Серия C (Прикладная статистика) . 31 (2): 108–114. дои : 10.2307/2347972 . JSTOR   2347972 .
• Шор, Х. (2005). «Точные аппроксимации на основе RMM для CDF нормального распределения». Коммуникации в статистике – теория и методы . 34 (3): 507–513. дои : 10.1081/sta-200052102 . S2CID   122148043 .
• Шор, Х (2011). «Методология моделирования реагирования». ПРОВОДА Вычисление Стат . 3 (4): 357–372. дои : 10.1002/wics.151 . S2CID   62021374 .
• Шор, Х (2012). «Модели методологии моделирования реакции». ПРОВОДА Вычисление Стат . 4 (3): 323–333. дои : 10.1002/wics.1199 . S2CID   122366147 .
• Стиглер, Стивен М. (1978). «Математическая статистика в ранних государствах» . Анналы статистики . 6 (2): 239–265. дои : 10.1214/aos/1176344123 . JSTOR   2958876 .
• Стиглер, Стивен М. (1982). «Скромное предложение: новый стандарт нормальности». Американский статистик . 36 (2): 137–138. дои : 10.2307/2684031 . JSTOR   2684031 .
• Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Издательство Гарвардского университета. ISBN  978-0-674-40340-6 .
• Стиглер, Стивен М. (1999). Статистика в таблице . Издательство Гарвардского университета. ISBN  978-0-674-83601-3 .
• Уокер, Хелен М. (1985). «Де Муавр о законе нормальной вероятности» (PDF) . В Смите, Дэвид Юджин (ред.). Справочник по математике . Дувр. ISBN  978-0-486-64690-9 .
• Уоллес, CS (1996). «Быстрые псевдослучайные генераторы для нормальных и экспоненциальных переменных» . Транзакции ACM в математическом программном обеспечении . 22 (1): 119–127. дои : 10.1145/225545.225554 . S2CID   18514848 .
• Вайсштейн, Эрик В. «Нормальное распределение» . Математический мир .
• Уэст, Грэм (2009). «Лучшие приближения кумулятивных нормальных функций» (PDF) . Журнал Уилмотт : 70–76. Архивировано из оригинала (PDF) 29 февраля 2012 г.
• Зелен, Марвин; Северо, Норман К. (1964). Функции вероятности (глава 26) . Справочник по математическим функциям с формулами, графиками и математическими таблицами Абрамовица М .; и Стегун, Айова : Национальное бюро стандартов. Нью-Йорк, штат Нью-Йорк: Дувр. ISBN  978-0-486-61272-0 .

Внешние ссылки

• «Нормальное распределение» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Калькулятор нормального распределения