Функция, генерирующая вероятность

В теории вероятностей дискретной производящая функция вероятности случайной величины представляет собой представление степенного ряда ( производящей функции ) массовой функции вероятности случайной величины . Генерирующие функции часто используются для краткого описания последовательности вероятностей Pr( X = i ) в функции массы вероятности для случайной величины X , а также для обеспечения доступности хорошо разработанной теории степенных рядов с неотрицательными коэффициентами.

Определение

Одномерный случай

Если X — дискретная случайная величина, значения в целых неотрицательных числах {0,1, ...}, то производящая функция вероятности X принимающая определяется как

$G(z)=\operatorname {E} (z^{X})=\sum _{x=0}^{\infty }p(x)z^{x},$

где $p$ - массы вероятности функция $X$. Обратите внимание, что индексные обозначения $G_{X}$ и $p_{X}$ часто используются, чтобы подчеркнуть, что они относятся к определенной случайной величине. $X$и его распространение . Степенной ряд сходится абсолютно по крайней мере для всех комплексных чисел. $z$ с $|z|<1$; радиус схождения часто больше.

Многомерный случай

Если X = ( X ₁ ,..., X _d ) — дискретная случайная величина, принимающая значения в d неотрицательных -мерной решетке целых чисел {0,1, ...} ^д , то производящая функция вероятности X как определяется

$G(z)=G(z_{1},\ldots ,z_{d})=\operatorname {E} {\bigl (}z_{1}^{X_{1}}\cdots z_{d}^{X_{d}}{\bigr )}=\sum _{x_{1},\ldots ,x_{d}=0}^{\infty }p(x_{1},\ldots ,x_{d})z_{1}^{x_{1}}\cdots z_{d}^{x_{d}},$

где p функция массы вероятности X. — Степенной ряд сходится абсолютно по крайней мере для всех комплексных векторов. $z=(z_{1},...z_{d})\in \mathbb {C} ^{d}$ с ${\text{max}}\{|z_{1}|,...,|z_{d}|\}\leq 1.$

Характеристики

Силовая серия

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, $G(1^{-})=1$, где $G(1^{-})=\lim _{x\to 1,x<1}G(x)$, x приближается к 1 снизу , поскольку сумма вероятностей должна равняться единице. Таким образом, радиус сходимости любой производящей функции вероятности должен быть не менее 1 согласно теореме Абеля для степенных рядов с неотрицательными коэффициентами .

Вероятности и ожидания

Следующие свойства позволяют вывести различные основные величины, связанные с $X$:

1. Функция массы вероятности $X$ восстанавливается путем взятия производных от $G$,

   $p(k)=\operatorname {Pr} (X=k)={\frac {G^{(k)}(0)}{k!}}.$

2. Из свойства 1 следует, что если случайные величины $X$ и $Y$ имеют функции, генерирующие вероятности, которые равны, $G_{X}=G_{Y}$, затем $p_{X}=p_{Y}$. То есть, если $X$ и $Y$ имеют одинаковые производящие вероятности функции, то они имеют одинаковые распределения.
3. Нормализацию функции массы вероятности можно выразить через производящую функцию следующим образом:

   $\operatorname {E} [1]=G(1^{-})=\sum _{i=0}^{\infty }p(i)=1.$

   Ожидание ​ ​ $X$ дается

   $\operatorname {E} [X]=G'(1^{-}).$

   В более общем смысле, $k^{th}$факториальный момент , $\operatorname {E} [X(X-1)\cdots (X-k+1)]$ из $X$ дается

   $\operatorname {E} \left[{\frac {X!}{(X-k)!}}\right]=G^{(k)}(1^{-}),\quad k\geq 0.$

   Таким образом дисперсия , $X$ дается

   $\operatorname {Var} (X)=G''(1^{-})+G'(1^{-})-\left[G'(1^{-})\right]^{2}.$

   Наконец, $k^{th}$исходный момент X определяется выражением

   $\operatorname {E} [X^{k}]=\left(z{\frac {\partial }{\partial z}}\right)^{k}G(z){\Big |}_{z=1^{-}}$

4. $G_{X}(e^{t})=M_{X}(t)$ где X — случайная величина, $G_{X}(t)$ — производящая функция вероятности (из $X$) и $M_{X}(t)$ – производящая момент функция (из $X$).

Функции независимых случайных величин

Функции, генерирующие вероятность, особенно полезны при работе с функциями независимых случайных величин. Например:

• Если $X_{i},i=1,2,\cdots ,N$ представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, которые принимают значения натуральных чисел, и

$S_{N}=\sum _{i=1}^{N}a_{i}X_{i},$

где $a_{i}$ являются постоянными натуральными числами, то производящая функция вероятности имеет вид

$G_{S_{N}}(z)=\operatorname {E} (z^{S_{N}})=\operatorname {E} \left(z^{\sum _{i=1}^{N}a_{i}X_{i},}\right)=G_{X_{1}}(z^{a_{1}})G_{X_{2}}(z^{a_{2}})\cdots G_{X_{N}}(z^{a_{N}})$.

• В частности, если $X$ и $Y$ являются независимыми случайными величинами:

$G_{X+Y}(z)=G_{X}(z)\cdot G_{Y}(z)$ и

$G_{X-Y}(z)=G_{X}(z)\cdot G_{Y}(1/z)$.

• В приведенном выше числе $N$ независимых случайных величин в последовательности фиксировано. Давайте предположим $N$ дискретная случайная величина, принимающая значения целых неотрицательных чисел, не зависящая от $X_{i}$и рассмотрим функцию, производящую вероятность $G_{N}$. Если $X_{i}$ не только независимы, но и одинаково распределены с общей производящей функцией вероятности. $G_{X}=G_{X_{i}}$, затем

$G_{S_{N}}(z)=G_{N}(G_{X}(z)).$

Это можно увидеть, используя закон полного ожидания , следующим образом:

${\begin{aligned}G_{S_{N}}(z)&=\operatorname {E} (z^{S_{N}})=\operatorname {E} (z^{\sum _{i=1}^{N}X_{i}})\\[4pt]&=\operatorname {E} {\big (}\operatorname {E} (z^{\sum _{i=1}^{N}X_{i}}\mid N){\big )}=\operatorname {E} {\big (}(G_{X}(z))^{N}{\big )}=G_{N}(G_{X}(z)).\end{aligned}}$

Этот последний факт полезен при изучении процессов Гальтона–Ватсона и сложных процессов Пуассона .

• Когда $X_{i}$ не предполагаются одинаково распределенными (но все же независимыми и независимыми от $N$), у нас есть

$G_{S_{N}}(z)=\sum _{n\geq 1}f_{n}\prod _{i=1}^{n}G_{X_{i}}(z)$, где $f_{n}=Pr(N=n)$.

Для одинаково распределенных $X_{i}$s, это упрощается до указанного ранее тождества, но общий случай иногда полезен для получения разложения $S_{N}$ с помощью производящих функций.

Примеры

• Производящая функция вероятности почти наверняка постоянной случайной величины , т. е. такой, у которой $Pr(X=c)=1$ и $Pr(X\neq c)=0$ является

$G(z)=z^{c}.$

• Производящая функция вероятности биномиальной случайной величины , количество успехов в $n$ испытания, с вероятностью $p$ Успех в каждом испытании

$G(z)=\left[(1-p)+pz\right]^{n}.$

Примечание : это $n$-кратное произведение производящей функции вероятности случайной величины Бернулли с параметром $p$.

Таким образом, функция, производящая вероятность честной монеты , равна

$G(z)=1/2+z/2.$

• Производящая функция вероятности отрицательной биномиальной случайной величины на $\{0,1,2\cdots \}$, количество отказов до $r^{th]}$ успех с вероятностью успеха в каждом испытании $p$, является

$G(z)=\left({\frac {p}{1-(1-p)z}}\right)^{r}$, который сходится при $|z|<{\frac {1}{1-p}}$.

Обратите внимание , что это $r$-кратное произведение производящей функции вероятности геометрической случайной величины с параметром $1-p$ на $\{0,1,2,\cdots \}$.

• Производящая функция вероятности пуассоновской случайной величины с параметром скорости $\lambda$ является

$G(z)=e^{\lambda (z-1)}.$

Связанные понятия

Производящая функция вероятности является примером производящей функции последовательности: см. также формальный степенной ряд . Это эквивалентно и иногда его называют z-преобразованием z-преобразованию функции вероятности .

Другие производящие функции случайных величин включают производящую функцию момента , характеристическую функцию и кумулянтную производящую функцию . Производящая функция вероятности также эквивалентна производящей функции факториального момента , которая, как $\operatorname {E} \left[z^{X}\right]$ также можно рассматривать для непрерывных и других случайных величин.

Ссылки

• Джонсон, Нидерланды; Коц, С.; Кемп, AW (1993) Одномерные дискретные распределения (2-е издание). Уайли. ISBN   0-471-54897-9 (раздел 1.B9)