Сумма нормально распределенных случайных величин

В теории вероятностей вычисление суммы нормально распределенных случайных величин является примером арифметики случайных величин .

Это не следует путать с суммой нормальных распределений , которая образует смешанное распределение .

Независимые случайные величины

Пусть X и Y — независимые случайные величины , которые нормально распределены (а значит, и совместно), тогда их сумма также нормально распределена. то есть, если

$X\sim N(\mu _{X},\sigma _{X}^{2})$

$Y\sim N(\mu _{Y},\sigma _{Y}^{2})$

$Z=X+Y,$

затем

$Z\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2}).$

Это означает, что сумма двух независимых нормально распределенных случайных величин является нормальной, причем ее среднее значение представляет собой сумму двух средних значений, а ее дисперсия представляет собой сумму двух дисперсий (т. е. квадрат стандартного отклонения представляет собой сумму квадраты стандартных отклонений).

Чтобы этот результат был верным, нельзя отказаться от предположения о том, что X и Y независимы, хотя его можно ослабить до предположения, что X и Y нормально распределены вместе , а не по отдельности. (См. здесь пример .)

Результат о среднем значении справедлив во всех случаях, тогда как результат дисперсии требует некоррелированности, но не независимости.

Доказательства

Доказательство с использованием характеристических функций

Характеристическая функция

$\varphi _{X+Y}(t)=\operatorname {E} \left(e^{it(X+Y)}\right)$

суммы двух независимых случайных величин X и Y является просто произведением двух отдельных характеристических функций:

$\varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right),\qquad \varphi _{Y}(t)=\operatorname {E} \left(e^{itY}\right)$

X ​ и Y. ​

Характеристическая функция нормального распределения с математическим ожиданием µ и дисперсией σ ² является

$\varphi (t)=\exp \left(it\mu -{\sigma ^{2}t^{2} \over 2}\right).$

Так

${\begin{aligned}\varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)&=\exp \left(it\mu _{X}-{\sigma _{X}^{2}t^{2} \over 2}\right)\exp \left(it\mu _{Y}-{\sigma _{Y}^{2}t^{2} \over 2}\right)\\[6pt]&=\exp \left(it(\mu _{X}+\mu _{Y})-{(\sigma _{X}^{2}+\sigma _{Y}^{2})t^{2} \over 2}\right).\end{aligned}}$

Это характеристическая функция нормального распределения с ожидаемым значением. $\mu _{X}+\mu _{Y}$ и дисперсия $\sigma _{X}^{2}+\sigma _{Y}^{2}$

Наконец, вспомните, что никакие два различных распределения не могут иметь одну и ту же характеристическую функцию, поэтому распределение X + Y должно быть именно этим нормальным распределением.

Доказательство с использованием сверток

Для независимых случайных величин X и Y распределение f _Z от Z = X + Y равно свертке f _X и f _Y :

$f_{Z}(z)=\int _{-\infty }^{\infty }f_{Y}(z-x)f_{X}(x)\,dx$

Учитывая, что f _X и f _Y — нормальные плотности,

${\begin{aligned}f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}e^{-(x-\mu _{X})^{2}/(2\sigma _{X}^{2})}\\[5pt]f_{Y}(y)={\mathcal {N}}(y;\mu _{Y},\sigma _{Y}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}e^{-(y-\mu _{Y})^{2}/(2\sigma _{Y}^{2})}\end{aligned}}$

Подставляя в свертку:

${\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}\exp \left[-{(z-x-\mu _{Y})^{2} \over 2\sigma _{Y}^{2}}\right]{\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}\exp \left[-{(x-\mu _{X})^{2} \over 2\sigma _{X}^{2}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z-x-\mu _{Y})^{2}+\sigma _{Y}^{2}(x-\mu _{X})^{2}}{2\sigma _{X}^{2}\sigma _{Y}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z^{2}+x^{2}+\mu _{Y}^{2}-2xz-2z\mu _{Y}+2x\mu _{Y})+\sigma _{Y}^{2}(x^{2}+\mu _{X}^{2}-2x\mu _{X})}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {x^{2}(\sigma _{X}^{2}+\sigma _{Y}^{2})-2x(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X})+\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]\end{aligned}}$

Определение $\sigma _{Z}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}}}$, и завершая квадрат :

${\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {x^{2}-2x{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}+{\frac {\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}-\left({\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}+{\frac {\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{\frac {\sigma _{Z}^{2}\left(\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}\right)-\left(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}\right)^{2}}{2\sigma _{Z}^{2}\left(\sigma _{X}\sigma _{Y}\right)^{2}}}\right]{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\end{aligned}}$

Выражение в интеграле представляет собой нормальное распределение плотности по x , поэтому интеграл равен 1. Желаемый результат следующий:

$f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]$

Использование теоремы

Можно показать, что преобразование Фурье гауссовой $f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})$, является

${\mathcal {F}}\{f_{X}\}=F_{X}(\omega )=\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]$

По теореме о свертке :

${\begin{aligned}f_{Z}(z)&=(f_{X}*f_{Y})(z)\\[5pt]&={\mathcal {F}}^{-1}{\big \{}{\mathcal {F}}\{f_{X}\}\cdot {\mathcal {F}}\{f_{Y}\}{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]\exp \left[-j\omega \mu _{Y}\right]\exp \left[-{\tfrac {\sigma _{Y}^{2}\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega (\mu _{X}+\mu _{Y})\right]\exp \left[-{\tfrac {(\sigma _{X}^{2}\ +\sigma _{Y}^{2})\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {N}}(z;\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})\end{aligned}}$

Геометрическое доказательство

Сначала рассмотрим нормализованный случай, когда X , Y ~ N (0, 1), так что их PDF-файлы равны

$f(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}$

и

$g(y)={\frac {1}{\sqrt {2\pi \,}}}e^{-y^{2}/2}.$

Пусть Z = X + Y. ​Тогда CDF для Z будет

$z\mapsto \int _{x+y\leq z}f(x)g(y)\,dx\,dy.$

Этот интеграл находится по полуплоскости, лежащей под прямой x + y = z .

Ключевое наблюдение состоит в том, что функция

$f(x)g(y)={\frac {1}{2\pi }}e^{-(x^{2}+y^{2})/2}\,$

является радиально симметричным. Итак, мы вращаем координатную плоскость вокруг начала координат, выбирая новые координаты. $x',y'$ такая, что линия x + y = z описывается уравнением $x'=c$ где $c=c(z)$ определяется геометрически. Ввиду радиальной симметрии имеем $f(x)g(y)=f(x')g(y')$, а CDF для Z равен

$\int _{x'\leq c,y'\in \mathbb {R} }f(x')g(y')\,dx'\,dy'.$

Это легко интегрировать; мы находим, что CDF для Z равен

$\int _{-\infty }^{c(z)}f(x')\,dx'=\Phi (c(z)).$

Чтобы определить ценность $c(z)$, обратите внимание, что мы повернули плоскость так, что линия x + y = z теперь проходит вертикально с точкой пересечения x, равной c . Таким образом, c — это просто расстояние от начала координат до линии x + y = z вдоль серединного перпендикуляра, который пересекает линию в ближайшей к началу координат точке, в данном случае $(z/2,z/2)\,$. Итак, расстояние $c={\sqrt {(z/2)^{2}+(z/2)^{2}}}=z/{\sqrt {2}}\,$, а CDF для Z равен $\Phi (z/{\sqrt {2}})$, то есть, $Z=X+Y\sim N(0,2).$

Теперь, если a , b — любые действительные константы (не обе равные нулю), то вероятность того, что $aX+bY\leq z$ находится по тому же интегралу, что и выше, но с ограничивающей линией $ax+by=z$. Работает тот же метод вращения, и в этом более общем случае мы обнаруживаем, что ближайшая точка линии к началу координат находится на расстоянии (со знаком)

${\frac {z}{\sqrt {a^{2}+b^{2}}}}$

прочь, так что

$aX+bY\sim N(0,a^{2}+b^{2}).$

Тот же аргумент в более высоких измерениях показывает, что если

$X_{i}\sim N(0,\sigma _{i}^{2}),\qquad i=1,\dots ,n,$

затем

$X_{1}+\cdots +X_{n}\sim N(0,\sigma _{1}^{2}+\cdots +\sigma _{n}^{2}).$

Теперь мы, по сути, закончили, потому что

$X\sim N(\mu ,\sigma ^{2})\Leftrightarrow {\frac {1}{\sigma }}(X-\mu )\sim N(0,1).$

В общем, если

$X_{i}\sim N(\mu _{i},\sigma _{i}^{2}),\qquad i=1,\dots ,n,$

затем

$\sum _{i=1}^{n}a_{i}X_{i}\sim N\left(\sum _{i=1}^{n}a_{i}\mu _{i},\sum _{i=1}^{n}(a_{i}\sigma _{i})^{2}\right).$

Коррелированные случайные величины

См. Также: Центральная предельная теорема цепи Маркова.

В случае, если переменные X и Y совместно являются нормально распределенными случайными величинами, то X + Y по-прежнему имеет нормальное распределение (см. Многомерное нормальное распределение ), а среднее значение представляет собой сумму средних значений. Однако дисперсии не являются аддитивными из-за корреляции. Действительно,

$\sigma _{X+Y}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}+2\rho \sigma _{X}\sigma _{Y}}},$

где ρ – корреляция . В частности, всякий раз, когда ρ <0, дисперсия меньше суммы X и Y. дисперсий

Распространение этого результата может быть сделано для более чем двух случайных величин, используя ковариационную матрицу .

Доказательство

В этом случае (когда X и Y имеют нулевые средние значения) необходимо рассмотреть

${\frac {1}{2\pi \sigma _{x}\sigma _{y}{\sqrt {1-\rho ^{2}}}}}\iint _{x\,y}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {x^{2}}{\sigma _{x}^{2}}}+{\frac {y^{2}}{\sigma _{y}^{2}}}-{\frac {2\rho xy}{\sigma _{x}\sigma _{y}}}\right)\right]\delta (z-(x+y))\,\mathrm {d} x\,\mathrm {d} y.$

Как и выше, делается замена $y\rightarrow z-x$

Этот интеграл сложнее упростить аналитически, но его можно легко выполнить с помощью программы символьной математики. Распределение вероятностей f _Z ( z ) в этом случае определяется выражением

$f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{+}}}\exp \left(-{\frac {z^{2}}{2\sigma _{+}^{2}}}\right)$

где

$\sigma _{+}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}+2\rho \sigma _{x}\sigma _{y}}}.$

Если вместо этого рассмотреть Z = X − Y , то получим

$f_{Z}(z)={\frac {1}{\sqrt {2\pi (\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}}\exp \left(-{\frac {z^{2}}{2(\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}\right)$

который также можно переписать с помощью

$\sigma _{X-Y}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y}}}.$

Стандартные отклонения каждого распределения очевидны при сравнении со стандартным нормальным распределением.

См. также

• Распространение неопределенности
• Алгебра случайных величин
• Стабильное распространение
• Стандартная ошибка (статистика)
• Распределение соотношения
• Распространение продукции
• Слэш-распределение
• Список сверток вероятностных распределений