Функция, генерирующая вероятность

В теории вероятностей дискретной производящая функция вероятности случайной величины представляет собой представление степенного ряда ( производящая функция ) массовой функции вероятности случайной величины . Генерирующие функции часто используются для краткого описания последовательности вероятностей Pr( X = i ) в функции массы вероятности для случайной величины X , а также для обеспечения доступности хорошо разработанной теории степенных рядов с неотрицательными коэффициентами.

Определение

Одномерный случай

Если X — дискретная случайная величина, значения в целых неотрицательных числах {0,1, ...}, то производящая функция вероятности X принимающая определяется как

$G(z)=\operatorname {E} (z^{X})=\sum _{x=0}^{\infty }p(x)z^{x},$

где p — массы X. функция вероятности Обратите внимание, что индексные обозначения G _X и p _X часто используются, чтобы подчеркнуть, что они относятся к конкретной случайной величине X и ее распределению . Степенной ряд сходится абсолютно по крайней мере для всех комплексных чисел z с | г | ≤ 1; во многих примерах радиус сходимости больше.

Многомерный случай

Если X = ( X ₁ ,..., X _d ) — дискретная случайная величина, принимающая значения в d неотрицательных -мерной решетке целых чисел {0,1, ...} ^д , то производящая функция вероятности X как определяется

$G(z)=G(z_{1},\ldots ,z_{d})=\operatorname {E} {\bigl (}z_{1}^{X_{1}}\cdots z_{d}^{X_{d}}{\bigr )}=\sum _{x_{1},\ldots ,x_{d}=0}^{\infty }p(x_{1},\ldots ,x_{d})z_{1}^{x_{1}}\cdots z_{d}^{x_{d}},$

где p функция массы вероятности X. — Степенной ряд сходится абсолютно по крайней мере для всех комплексных векторов. $z=(z_{1},...z_{d})\in \mathbb {C} ^{d}$ с ${\text{max}}\{|z_{1}|,...,|z_{d}|\}\leq 1.$

Свойства

Серия Power

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, G (1 ⁻ ) = 1, где G (1 ⁻ ) = lim _z→1 G ( z ) снизу , поскольку сумма вероятностей должна равняться единице. Таким образом, радиус сходимости любой производящей функции вероятности должен быть не менее 1 согласно теореме Абеля для степенных рядов с неотрицательными коэффициентами .

и

Следующие свойства позволяют вывести различные основные величины, связанные с X :

1. Массовая функция вероятности X восстанавливается путем взятия производных от G:

   $p(k)=\operatorname {Pr} (X=k)={\frac {G^{(k)}(0)}{k!}}.$

2. Из свойства 1 следует, что если случайные величины X и Y имеют равные производящие вероятности функции, $G_{X}=G_{Y}$, затем $p_{X}=p_{Y}$. То есть, если X и Y имеют одинаковые функции, генерирующие вероятность, то они имеют идентичные распределения.
3. Нормализацию функции массы вероятности можно выразить через производящую функцию следующим образом:

   $\operatorname {E} [1]=G(1^{-})=\sum _{i=0}^{\infty }p(i)=1.$

   Ожидание ​ ​ $X$ дается

   $\operatorname {E} [X]=G'(1^{-}).$

   В более общем смысле, k ^й факториальный момент , $\operatorname {E} (X(X-1)\cdots (X-k+1))$ X выражением определяется

   $\operatorname {E} \left[{\frac {X!}{(X-k)!}}\right]=G^{(k)}(1^{-}),\quad k\geq 0.$

   Таким образом, X определяется дисперсия выражением

   $\operatorname {Var} (X)=G''(1^{-})+G'(1^{-})-\left[G'(1^{-})\right]^{2}.$

   Наконец, к ^й исходный момент X определяется выражением

   $\operatorname {E} [X^{k}]=\left(z{\frac {\partial }{\partial z}}\right)^{k}G(z){\Big |}_{z=1^{-}}$

4. $G_{X}(e^{t})=M_{X}(t)$ где X — случайная величина, $G_{X}(t)$ — производящая функция вероятности ( X ) и $M_{X}(t)$ — производящая момент функция ( X ).

Функции независимых случайных величин

Функции, генерирующие вероятность, особенно полезны при работе с функциями независимых случайных величин. Например:

• Если X ₁ , X ₂ , ..., X _N представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, которые принимают значения натуральных чисел, и

$S_{N}=\sum _{i=1}^{N}a_{i}X_{i},$

где a _i — постоянные натуральные числа, то производящая функция вероятности имеет вид

$G_{S_{N}}(z)=\operatorname {E} (z^{S_{N}})=\operatorname {E} \left(z^{\sum _{i=1}^{N}a_{i}X_{i},}\right)=G_{X_{1}}(z^{a_{1}})G_{X_{2}}(z^{a_{2}})\cdots G_{X_{N}}(z^{a_{N}}).$

Например, если

$S_{N}=\sum _{i=1}^{N}X_{i},$

тогда производящая функция вероятности G _{S N} ( z ) определяется выражением

$G_{S_{N}}(z)=G_{X_{1}}(z)G_{X_{2}}(z)\cdots G_{X_{N}}(z).$

Отсюда также следует, что производящая функция вероятности разности двух независимых случайных величин S = X ₁ − X ₂ равна

$G_{S}(z)=G_{X_{1}}(z)G_{X_{2}}(1/z).$

• Предположим, что N , количество независимых случайных величин в сумме выше, не является фиксированным натуральным числом, но также является независимой дискретной случайной величиной, принимающей значения в неотрицательных целых числах, с функцией генерации вероятности G _N . Если X ₁ , X ₂ , ..., X _N независимы и одинаково распределены с общей производящей функцией вероятности G _X , то

$G_{S_{N}}(z)=G_{N}(G_{X}(z)).$

Это можно увидеть, используя закон полного ожидания , следующим образом:

${\begin{aligned}G_{S_{N}}(z)&=\operatorname {E} (z^{S_{N}})=\operatorname {E} (z^{\sum _{i=1}^{N}X_{i}})\\[4pt]&=\operatorname {E} {\big (}\operatorname {E} (z^{\sum _{i=1}^{N}X_{i}}\mid N){\big )}=\operatorname {E} {\big (}(G_{X}(z))^{N}{\big )}=G_{N}(G_{X}(z)).\end{aligned}}$

Этот последний факт полезен при изучении процессов Гальтона–Ватсона и сложных процессов Пуассона .

• Предположим еще раз, что N также является независимой дискретной случайной величиной, принимающей значения неотрицательных целых чисел, с функцией генерации вероятности G _N и функцией массы вероятности. $f_{i}=\Pr\{N=i\}$. Если X ₁ , X ₂ , ..., X _N являются независимыми, но не одинаково распределенными случайными величинами, где $G_{X_{i}}$ обозначает производящую функцию вероятности $X_{i}$, затем

$G_{S_{N}}(z)=\sum _{i\geq 1}f_{i}\prod _{k=1}^{i}G_{X_{i}}(z).$

Для одинаково распределенного X _i это упрощается до установленного ранее тождества. получения разложения SN _{Общий случай иногда полезен для} с помощью производящих функций.

Примеры

• Производящая функция вероятности почти наверняка постоянной случайной величины , т.е. такой, у которой Pr( X = c ) = 1, равна

$G(z)=z^{c}.$

• Производящая функция вероятности биномиальной случайной величины , количества успехов в n испытаниях, с вероятностью p успеха в каждом испытании, равна

$G(z)=\left[(1-p)+pz\right]^{n}.$

Обратите внимание, что это n -кратное произведение производящей функции вероятности случайной величины Бернулли с параметром p .

Таким образом, функция, производящая вероятность честной монеты , равна

$G(z)=1/2+z/2.$

• Производящая функция вероятности отрицательной биномиальной случайной величины на {0,1,2 ...}, количество неудач до r -го успеха с вероятностью успеха в каждом испытании p , равна

$G(z)=\left({\frac {p}{1-(1-p)z}}\right)^{r}.$

(Конвергенция для $|z|<{\frac {1}{1-p}}$).

Обратите внимание, что это r -кратное произведение производящей функции вероятности геометрической случайной величины с параметром 1 - p на {0,1,2,...}.

• Производящая функция вероятности пуассоновской случайной величины с параметром скорости λ равна

$G(z)=e^{\lambda (z-1)}.$

Связанные понятия

Производящая функция вероятности является примером производящей функции последовательности: см. также формальный степенной ряд . Это эквивалентно и иногда его называют z-преобразованием z-преобразованию функции вероятности .

Другие производящие функции случайных величин включают производящую функцию момента , характеристическую функцию и кумулянтную производящую функцию . Производящая функция вероятности также эквивалентна производящей функции факториального момента , которая, как $\operatorname {E} \left[z^{X}\right]$ также можно рассматривать для непрерывных и других случайных величин.

Ссылки

• Джонсон, Нидерланды; Коц, С.; Кемп, AW (1993) Одномерные дискретные распределения (2-е издание). Уайли. ISBN   0-471-54897-9 (раздел 1.B9)