Функция генерации момента

В теории вероятностей и статистике вещественной производящая момент функция случайной величины является альтернативной спецификацией ее распределения вероятностей . Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с прямой работой с функциями плотности вероятности или кумулятивными функциями распределения . Особенно простые результаты получены для моментных функций распределений, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие момент.

Как следует из названия, функция, генерирующая распределения момент, может использоваться для вычисления моментов : n- й момент около 0 является n -й производной функции, генерирующей момент, оцененной как 0.

В дополнение к действительным распределениям (одномерным распределениям) функции, генерирующие момент, могут быть определены для случайных величин с векторными или матричными значениями и даже могут быть расширены на более общие случаи.

Момент-производящая функция вещественного распределения не всегда существует, в отличие от характеристической функции . Существуют связи между поведением производящей момент функции распределения и свойствами распределения, такими как существование моментов.

Определение

Позволять $X$ быть случайной величиной с CDF $F_{X}$. Производящая функция момента (mgf) $X$ (или $F_{X}$), обозначаемый $M_{X}(t)$, является

$M_{X}(t)=\operatorname {E} \left[e^{tX}\right]$

при условии, что это ожидание существует для $t$ в некоторой открытой окрестности 0. То есть существует $h>0$ такой, что для всех $t$ в $-h<t<h$, $\operatorname {E} \left[e^{tX}\right]$существует. Если математическое ожидание не существует в открытой окрестности 0, мы говорим, что производящая функция момента не существует.

Другими словами, производящая момент функция X — это математическое ожидание случайной величины $e^{tX}$. В более общем плане, когда $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }$, $n$-мерный случайный вектор и $\mathbf {t}$ фиксированный вектор, используется $\mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X}$ вместо $tX$:

$M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).$

$M_{X}(0)$всегда существует и равен 1. Однако ключевая проблема с производящими момент функциями заключается в том, что моменты и производящая момент функция могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (поскольку она является интегралом ограниченной функции в пространстве конечной меры ) и для некоторых целей может использоваться вместо нее.

Функция, производящая момент, названа так потому, что ее можно использовать для нахождения моментов распределения. Расширение серии $e^{tX}$ является

$e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .$

Следовательно

${\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}$

где $m_{n}$ это $n$этот момент . Дифференциация $M_{X}(t)$ $i$ раз по отношению к $t$ и настройка $t=0$, мы получаем $i$момент о происхождении, $m_{i}$; см. расчет моментов ниже.

Если $X$ является непрерывной случайной величиной, следующее соотношение между ее производящей момент функцией $M_{X}(t)$ и двустороннее преобразование Лапласа ее функции плотности вероятности $f_{X}(x)$ держит:

$M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),$

поскольку двустороннее преобразование Лапласа PDF задается как

${\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,$

и определение функции, порождающей момент, расширяется (по закону бессознательного статистика ) до

$M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.$

Это соответствует характеристической функции $X$ являющееся Вика вращением $M_{X}(t)$ когда существует производящая функция момента как характеристическая функция непрерывной случайной величины $X$ - преобразование Фурье его функции плотности вероятности $f_{X}(x)$и вообще когда функция $f(x)$ имеет экспоненциальный порядок , преобразование Фурье $f$представляет собой виковское вращение его двустороннего преобразования Лапласа в области сходимости. см. Связь преобразований Фурье и Лапласа Для получения дополнительной информации .

Примеры

Вот несколько примеров моментообразующей функции и характеристической функции для сравнения. Видно, что характеристическая функция представляет собой виковское вращение производящей момент функции $M_{X}(t)$ когда последний существует.

Распределение	Функция генерации момента $M_{X}(t)$	Характеристическая функция $\varphi (t)$
Выродиться $\delta _{a}$	$e^{ta}$	$e^{ita}$
Бернулли $P(X=1)=p$	$1-p+pe^{t}$	$1-p+pe^{it}$
Геометрический $(1-p)^{k-1}\,p$	${\frac {pe^{t}}{1-(1-p)e^{t}}},~t<-\ln(1-p)$	${\frac {pe^{it}}{1-(1-p)\,e^{it}}}$
Биномиальный $B(n,p)$	$\left(1-p+pe^{t}\right)^{n}$	$\left(1-p+pe^{it}\right)^{n}$
Отрицательный бином $\operatorname {NB} (r,p)$	$\left({\frac {p}{1-e^{t}+pe^{t}}}\right)^{r},~t<-\ln(1-p)$	$\left({\frac {p}{1-e^{it}+pe^{it}}}\right)^{r}$
Пуассон $\operatorname {Pois} (\lambda )$	$e^{\lambda (e^{t}-1)}$	$e^{\lambda (e^{it}-1)}$
Равномерный (непрерывный) $\operatorname {U} (a,b)$	${\frac {e^{tb}-e^{ta}}{t(b-a)}}$	${\frac {e^{itb}-e^{ita}}{it(b-a)}}$
Равномерный (дискретный) $\operatorname {DU} (a,b)$	${\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}$	${\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}$
Лаплас $L(\mu ,b)$	${\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b$	${\frac {e^{it\mu }}{1+b^{2}t^{2}}}$
Нормальный $N(\mu ,\sigma ^{2})$	$e^{t\mu +{\frac {1}{2}}\sigma ^{2}t^{2}}$	$e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}$
Хи-квадрат $\chi _{k}^{2}$	$(1-2t)^{-{\frac {k}{2}}},~t<1/2$	$(1-2it)^{-{\frac {k}{2}}}$
Нецентральный хи-квадрат $\chi _{k}^{2}(\lambda )$	$e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}$	$e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}$
Гамма $\Gamma (k,{\tfrac {1}{\theta }})$	$(1-t\theta )^{-k},~t<{\tfrac {1}{\theta }}$	$(1-it\theta )^{-k}$
Экспоненциальный $\operatorname {Exp} (\lambda )$	$\left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda$	$\left(1-it\lambda ^{-1}\right)^{-1}$
Бета	$1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {t^{k}}{k!}}$	${}_{1}F_{1}(\alpha ;\alpha +\beta ;i\,t)\!$ (см. Вырожденная гипергеометрическая функция )
Многомерный нормальный $N(\mathbf {\mu } ,\mathbf {\Sigma } )$	$e^{\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\frac {1}{2}}\mathbf {\Sigma t} \right)}$	$e^{\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\frac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)}$
Коши $\operatorname {Cauchy} (\mu ,\theta )$	Не существует	$e^{it\mu -\theta |t|}$
Многомерный Коши $\operatorname {MultiCauchy} (\mu ,\Sigma )$	Не существует	$\!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}}$

Расчет

Производящая момент функция – это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной массы вероятности функции $M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}$
• Для непрерывной функции плотности вероятности $M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx$
• В общем случае: $M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)$, используя интеграл Римана–Стилтьеса , и где $F$– кумулятивная функция распределения . Это просто Лапласа-Стилтьеса преобразование $F$, но с обратным знаком аргумента.

Обратите внимание, что для случая, когда $X$ имеет непрерывную функцию плотности вероятности $f(x)$, $M_{X}(-t)$ является двусторонним преобразованием Лапласа $f(x)$.

${\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}$

где $m_{n}$ это $n$этот момент .

Линейные преобразования случайных величин

Если случайная величина $X$ имеет функцию создания момента $M_{X}(t)$, затем $\alpha X+\beta$ имеет функцию создания момента $M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)$

$M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)$

независимых

Если $S_{n}=\sum _{i=1}^{n}a_{i}X_{i}$, где X _i — независимые случайные величины, а i _— константы, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а порождающая функция момента для Sn _a задается к

$M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.$

Векторные случайные величины

Для векторных случайных величин $\mathbf {X}$ с действительными компонентами, производящая момент функция имеет вид

$M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)$

где $\mathbf {t}$ является вектором и $\langle \cdot ,\cdot \rangle$ является скалярным произведением .

Важные свойства

Производящие функции момента положительны и логарифмически выпуклы . при М (0) = 1.

Важным свойством производящей момента функции является то, что она однозначно определяет распределение. Другими словами, если $X$ и $Y$ являются двумя случайными величинами и для всех значений t ,

$M_{X}(t)=M_{Y}(t),\,$

затем

$F_{X}(x)=F_{Y}(x)\,$

для всех значений x (или, что то же самое, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они одинаковы во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а производящая момент функция отсутствует, поскольку предел

$\lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}$

может не существовать. Логнормальное распределение является примером того, когда это происходит.

Расчеты моментов

Производящая момент функция называется так потому, что если она существует на открытом интервале около = 0, то это экспоненциальная производящая функция моментов t вероятностей распределения :

$m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.$

То есть, когда n является неотрицательным целым числом, n- й момент около 0 является n- й производной производящей функции момента, оцененной при t = 0.

Другая недвижимость

Неравенство Йенсена дает простую нижнюю оценку производящей момент функции:

$M_{X}(t)\geq e^{\mu t},$

где $\mu$ является средним X. значением

Генерирующая момент функция может использоваться в сочетании с неравенством Маркова для ограничения верхнего хвоста действительной случайной величины X . Это утверждение также называют границей Чернова . С $x\mapsto e^{xt}$ монотонно возрастает для $t>0$, у нас есть

$P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)$

для любого $t>0$ и любой a при условии $M_{X}(t)$существует. Например, когда X является стандартным нормальным распределением и $a>0$, мы можем выбрать $t=a$ и вспомни, что $M_{X}(t)=e^{t^{2}/2}$. Это дает $P(X\geq a)\leq e^{-a^{2}/2}$, что находится в пределах 1+ a от точного значения.

Различные леммы, такие как лемма Хеффдинга или неравенство Беннета, дают границы производящей момент функции в случае ограниченной случайной величины с нулевым средним.

Когда $X$ неотрицательен, функция, производящая момент, дает простую и полезную оценку моментов:

$E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),$

Для любого $X,m\geq 0$ и $t>0$.

Это следует из неравенства $1+x\leq e^{x}$ в который мы можем заменить $x'=tx/m-1$ подразумевает $tx/m\leq e^{tx/m-1}$ для любого $x,t,m\in \mathbb {R}$. Сейчас если $t>0$ и $x,m\geq 0$, это можно переставить на $x^{m}\leq (m/(te))^{m}e^{tx}$. Учет ожиданий с обеих сторон дает оценку $E[X^{m}]$ с точки зрения $E[e^{tX}]$.

В качестве примера рассмотрим $X\sim {\text{Chi-Squared}}$ с $k$степени свободы. Тогда из примеров $M_{X}(t)=(1-2t)^{-k/2}$. Сбор $t=m/(2m+k)$ и подставив в оценку:

$E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.$

Мы знаем, что в этом случае правильная оценка равна $E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)$. Для сравнения оценок можно рассмотреть асимптотику для больших $k$. Здесь граница производящей момент функции равна $k^{m}(1+m^{2}/k+O(1/k^{2}))$, где реальная граница $k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))$. Таким образом, в этом случае граница производящей момент функции очень сильна.

Связь с другими функциями

С функцией, производящей момент, связан ряд других преобразований , которые распространены в теории вероятностей:

Характеристическая функция

Характеристическая функция $\varphi _{X}(t)$ связана с моментообразующей функцией через $\varphi _{X}(t)=M_{iX}(t)=M_{X}(it):$характеристическая функция — это производящая момент функция iX или производящая момент функция X , оцененная на мнимой оси. Эту функцию также можно рассматривать как преобразование Фурье функции плотности вероятности , которую, следовательно, можно вывести из нее с помощью обратного преобразования Фурье.

Кумулянт-генерирующая функция

Кумулянт -генерирующая функция определяется как логарифм производящей момент функции; некоторые вместо этого определяют производящую кумулянт функцию как логарифм характеристической функции , в то время как другие называют ее второй производящей кумулянт функцией.

Функция, генерирующая вероятность

Функция , порождающая вероятность, определяется как $G(z)=E\left[z^{X}\right].\,$ Это сразу означает, что $G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,$

См. также

• Характеристическая функция (теория вероятностей)
• Производящая функция факториального момента
• Функция оценки
• Проблема момента гамбургера

Ссылки

Источники

• Казелла, Джордж; Бергер, Роджер (2002). Статистический вывод (2-е изд.). стр. 100-1 59–68. ISBN  978-0-534-24312-8 .