Свертка вероятностных распределений

Свертка /сумма распределений вероятностей возникает в теории вероятностей и статистике как операция с точки зрения распределений вероятностей , которая соответствует сложению независимых случайных величин и, как следствие, формированию линейных комбинаций случайных величин. Данная операция представляет собой частный случай свертки в контексте вероятностных распределений.

Введение

Распределение вероятностей суммы двух или более независимых случайных величин представляет собой свертку их индивидуальных распределений. Этот термин мотивирован тем фактом, что функция массы вероятности или функция плотности вероятности суммы независимых случайных величин представляет собой свертку соответствующих им функций массы вероятности или функций плотности вероятности соответственно. Многие известные распределения имеют простые свертки: см. Список сверток вероятностных распределений .

Общая формула распределения суммы $Z=X+Y$ двух независимых целочисленных (и, следовательно, дискретных) случайных величин есть

$P(Z=z)=\sum _{k=-\infty }^{\infty }P(X=k)P(Y=z-k)$

Для независимых непрерывных случайных величин с функциями плотности вероятности (PDF) $f,g$ и кумулятивные функции распределения (CDF) $F,G$ соответственно, мы имеем, что CDF суммы:

$H(z)=\int _{-\infty }^{\infty }F(z-t)g(t)dt=\int _{-\infty }^{\infty }G(t)f(z-t)dt$

Если мы начнем со случайных величин $X$ и $Y$, связанный $Z=X+Y$, и при отсутствии информации об их возможной независимости, то:

$f_{Z}(z)=\int \limits _{-\infty }^{\infty }f_{XY}(x,z-x)~dx$

Однако, если $X$ и $Y$ независимы, то:

$f_{XY}(x,y)=f_{X}(x)f_{Y}(y)$

и эта формула становится сверткой вероятностных распределений:

$f_{Z}(z)=\int \limits _{-\infty }^{\infty }f_{X}(x)~f_{Y}(z-x)~dx$

Пример вывода

Существует несколько способов вывода формул свертки вероятностных распределений. Часто манипуляций с интегралами можно избежать, используя какой-либо тип производящей функции . Такие методы также могут быть полезны для получения свойств результирующего распределения, таких как моменты, даже если явную формулу для самого распределения вывести невозможно.

Один из простых методов — использовать характеристические функции , которые всегда существуют и уникальны для данного распределения.

Свертка распределений Бернулли

Свертка двух независимых одинаково распределенных случайных величин Бернулли представляет собой биномиальную случайную величину. То есть, в сокращенной записи,

$\sum _{i=1}^{2}\mathrm {Bernoulli} (p)\sim \mathrm {Binomial} (2,p)$

Чтобы показать это, позвольте

$X_{i}\sim \mathrm {Bernoulli} (p),\quad 0<p<1,\quad 1\leq i\leq 2$

и определить

$Y=\sum _{i=1}^{2}X_{i}$

Кроме того, пусть Z обозначает общую биномиальную случайную величину:

$Z\sim \mathrm {Binomial} (2,p)\,\!$

Использование функций вероятностной массы

Как $X_{1}{\text{ and }}X_{2}$ независимы,

${\begin{aligned}\mathbb {P} [Y=n]&=\mathbb {P} \left[\sum _{i=1}^{2}X_{i}=n\right]\\&=\sum _{m\in \mathbb {Z} }\mathbb {P} [X_{1}=m]\times \mathbb {P} [X_{2}=n-m]\\&=\sum _{m\in \mathbb {Z} }\left[{\binom {1}{m}}p^{m}\left(1-p\right)^{1-m}\right]\left[{\binom {1}{n-m}}p^{n-m}\left(1-p\right)^{1-n+m}\right]\\&=p^{n}\left(1-p\right)^{2-n}\sum _{m\in \mathbb {Z} }{\binom {1}{m}}{\binom {1}{n-m}}\\&=p^{n}\left(1-p\right)^{2-n}\left[{\binom {1}{0}}{\binom {1}{n}}+{\binom {1}{1}}{\binom {1}{n-1}}\right]\\&={\binom {2}{n}}p^{n}\left(1-p\right)^{2-n}=\mathbb {P} [Z=n]\end{aligned}}$

Здесь мы использовали тот факт, что ${\tbinom {n}{k}}=0$ при k > n в предпоследнем равенстве и правила Паскаля во предпоследнем равенстве.

Использование характеристических функций

Характерная функция каждого $X_{k}$ и из $Z$ является

$\varphi _{X_{k}}(t)=1-p+pe^{it}\qquad \varphi _{Z}(t)=\left(1-p+pe^{it}\right)^{2}$

где t находится в некоторой окрестности нуля.

${\begin{aligned}\varphi _{Y}(t)&=\operatorname {E} \left(e^{it\sum _{k=1}^{2}X_{k}}\right)=\operatorname {E} \left(\prod _{k=1}^{2}e^{itX_{k}}\right)\\&=\prod _{k=1}^{2}\operatorname {E} \left(e^{itX_{k}}\right)=\prod _{k=1}^{2}\left(1-p+pe^{it}\right)\\&=\left(1-p+pe^{it}\right)^{2}=\varphi _{Z}(t)\end{aligned}}$

Ожидание каждое продукта — это продукт ожиданий, поскольку $X_{k}$ является независимым.С $Y$ и $Z$ имеют одну и ту же характеристическую функцию, они должны иметь одинаковое распределение.

См. также

• Список сверток вероятностных распределений

Ссылки

• Хогг, Роберт В .; Маккин, Джозеф В.; Крейг, Аллен Т. (2004). Введение в математическую статистику (6-е изд.). Река Аппер-Сэддл, Нью-Джерси: Прентис-Холл. п. 692. ИСБН  978-0-13-008507-8 . МР   0467974 .