Нормально-обратное гамма-распределение

нормальная обратная гамма

Функция плотности вероятности
Параметры	$\mu \,$ местоположение ( реальное ) $\lambda >0\,$ (настоящий) $\alpha >0\,$ (настоящий) $\beta >0\,$ (настоящий)
Поддерживать	$x\in (-\infty ,\infty )\,\!,\;\sigma ^{2}\in (0,\infty )$
PDF	${\frac {\sqrt {\lambda }}{\sqrt {2\pi \sigma ^{2}}}}{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (x-\mu )^{2}}{2\sigma ^{2}}}\right)$
Иметь в виду	$\operatorname {E} [x]=\mu$ $\operatorname {E} [\sigma ^{2}]={\frac {\beta }{\alpha -1}}$, для $\alpha >1$
Режим	$x=\mu \;{\textrm {(univariate)}},x={\boldsymbol {\mu }}\;{\textrm {(multivariate)}}$ $\sigma ^{2}={\frac {\beta }{\alpha +1+1/2}}\;{\textrm {(univariate)}},\sigma ^{2}={\frac {\beta }{\alpha +1+k/2}}\;{\textrm {(multivariate)}}$
Дисперсия	$\operatorname {Var} [x]={\frac {\beta }{(\alpha -1)\lambda }}$, для $\alpha >1$ $\operatorname {Var} [\sigma ^{2}]={\frac {\beta ^{2}}{(\alpha -1)^{2}(\alpha -2)}}$, для $\alpha >2$ $\operatorname {Cov} [x,\sigma ^{2}]=0$, для $\alpha >1$

В теории вероятностей и статистике нормальное обратное гамма-распределение (или обратное гамма-распределение Гаусса ) представляет собой четырехпараметрическое семейство многомерных непрерывных распределений вероятностей . Это сопряженное априорное нормальное распределение с неизвестными средним значением и дисперсией .

Определение

Предполагать

$x\mid \sigma ^{2},\mu ,\lambda \sim \mathrm {N} (\mu ,\sigma ^{2}/\lambda )\,\!$

имеет нормальное распределение со средним $\mu$ и дисперсия $\sigma ^{2}/\lambda$, где

$\sigma ^{2}\mid \alpha ,\beta \sim \Gamma ^{-1}(\alpha ,\beta )\!$

имеет обратное гамма-распределение . Затем $(x,\sigma ^{2})$ имеет нормальное обратное гамма-распределение, обозначаемое как

$(x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.$

( ${\text{NIG}}$ также используется вместо ${\text{N-}}\Gamma ^{-1}.$)

Нормальное обратное распределение Уишарта представляет собой обобщение нормального обратного гамма-распределения, которое определяется для многомерных случайных величин.

Характеристика

Функция плотности вероятности

$f(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {\sqrt {\lambda }}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (x-\mu )^{2}}{2\sigma ^{2}}}\right)$

Для многомерной формы, где $\mathbf {x}$ это $k\times 1$ случайный вектор,

$f(\mathbf {x} ,\sigma ^{2}\mid \mu ,\mathbf {V} ^{-1},\alpha ,\beta )=|\mathbf {V} |^{-1/2}{(2\pi )^{-k/2}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1+k/2}\exp \left(-{\frac {2\beta +(\mathbf {x} -{\boldsymbol {\mu }})^{T}\mathbf {V} ^{-1}(\mathbf {x} -{\boldsymbol {\mu }})}{2\sigma ^{2}}}\right).$

где $|\mathbf {V} |$ является определяющим фактором $k\times k$ матрица $\mathbf {V}$. Обратите внимание, как это последнее уравнение сводится к первой форме, если $k=1$ так что $\mathbf {x} ,\mathbf {V} ,{\boldsymbol {\mu }}$ являются скалярами .

Альтернативная параметризация

Также можно позволить $\gamma =1/\lambda$ в этом случае PDF становится

$f(x,\sigma ^{2}\mid \mu ,\gamma ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi \gamma }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\gamma \beta +(x-\mu )^{2}}{2\gamma \sigma ^{2}}}\right)$

В многомерной форме соответствующим изменением будет учет ковариационной матрицы $\mathbf {V}$ вместо обратного $\mathbf {V} ^{-1}$ в качестве параметра.

Кумулятивная функция распределения

$F(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {e^{-{\frac {\beta }{\sigma ^{2}}}}\left({\frac {\beta }{\sigma ^{2}}}\right)^{\alpha }\left(\operatorname {erf} \left({\frac {{\sqrt {\lambda }}(x-\mu )}{{\sqrt {2}}\sigma }}\right)+1\right)}{2\sigma ^{2}\Gamma (\alpha )}}$

Характеристики

Маржинальные распределения

Данный $(x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.$ как указано выше, $\sigma ^{2}$ само по себе следует обратному гамма-распределению :

$\sigma ^{2}\sim \Gamma ^{-1}(\alpha ,\beta )\!$

пока ${\sqrt {\frac {\alpha \lambda }{\beta }}}(x-\mu )$ следует t-распределению с $2\alpha$ степени свободы.

Доказательство $\lambda =1$

Для $\lambda =1$ функция плотности вероятности

$f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)$

Маргинальное распределение по $x$ является

${\begin{aligned}f(x\mid \mu ,\alpha ,\beta )&=\int _{0}^{\infty }d\sigma ^{2}f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )\\&={\frac {1}{\sqrt {2\pi }}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)\end{aligned}}$

За исключением нормировочного коэффициента, выражение под интегралом совпадает с обратным гамма-распределением.

$\Gamma ^{-1}(x;a,b)={\frac {b^{a}}{\Gamma (a)}}{\frac {e^{-b/x}}{{x}^{a+1}}},$

с $x=\sigma ^{2}$, $a=\alpha +1/2$, $b={\frac {2\beta +(x-\mu )^{2}}{2}}$.

С $\int _{0}^{\infty }dx\Gamma ^{-1}(x;a,b)=1,\quad \int _{0}^{\infty }dxx^{-(a+1)}e^{-b/x}=\Gamma (a)b^{-a}$, и

$\int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)=\Gamma (\alpha +1/2)\left({\frac {2\beta +(x-\mu )^{2}}{2}}\right)^{-(\alpha +1/2)}$

Подставив это выражение и факторизовав зависимость от $x$,

$f(x\mid \mu ,\alpha ,\beta )\propto _{x}\left(1+{\frac {(x-\mu )^{2}}{2\beta }}\right)^{-(\alpha +1/2)}.$

Форма обобщенного t-распределения Стьюдента :

$t(x|\nu ,{\hat {\mu }},{\hat {\sigma }}^{2})\propto _{x}\left(1+{\frac {1}{\nu }}{\frac {(x-{\hat {\mu }})^{2}}{{\hat {\sigma }}^{2}}}\right)^{-(\nu +1)/2}$.

Маргинальное распределение $f(x\mid \mu ,\alpha ,\beta )$ следует t-распределению с $2\alpha$ степени свободы

$f(x\mid \mu ,\alpha ,\beta )=t(x|\nu =2\alpha ,{\hat {\mu }}=\mu ,{\hat {\sigma }}^{2}=\beta /\alpha )$.

В многомерном случае предельное распределение $\mathbf {x}$ представляет собой многомерное распределение t :

$\mathbf {x} \sim t_{2\alpha }({\boldsymbol {\mu }},{\frac {\beta }{\alpha }}\mathbf {V} )\!$

Масштабирование

Предполагать

$(x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.$

Тогда для $c>0$,

$(cx,c\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )\!.$

Доказательство: Чтобы доказать это, пусть $(x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )$ и исправить $c>0$. Определение $Y=(Y_{1},Y_{2})=(cx,c\sigma ^{2})$, заметим, что PDF случайной величины $Y$ оценивается в $(y_{1},y_{2})$ дается $1/c^{2}$ раз больше PDF ${\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )$ случайная величина, оцененная в $(y_{1}/c,y_{2}/c)$. Следовательно, PDF-файл $Y$ оценивается в $(y_{1},y_{2})$ дается: $f_{Y}(y_{1},y_{2})={\frac {1}{c^{2}}}{\frac {\sqrt {\lambda }}{\sqrt {2\pi y_{2}/c}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}/c}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (y_{1}/c-\mu )^{2}}{2y_{2}/c}}\right)={\frac {\sqrt {\lambda /c}}{\sqrt {2\pi y_{2}}}}\,{\frac {(c\beta )^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2c\beta +(\lambda /c)\,(y_{1}-c\mu )^{2}}{2y_{2}}}\right).\!$

Правое выражение — это PDF-файл для ${\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )$ случайная величина, оцененная в $(y_{1},y_{2})$, что завершает доказательство.

Экспоненциальное семейство

Распределения нормального обратного гамма-распределения образуют экспоненциальное семейство с натуральными параметрами. $\textstyle \theta _{1}={\frac {-\lambda }{2}}$, $\textstyle \theta _{2}=\lambda \mu$, $\textstyle \theta _{3}=\alpha$, и $\textstyle \theta _{4}=-\beta +{\frac {-\lambda \mu ^{2}}{2}}$ и достаточная статистика $\textstyle T_{1}={\frac {x^{2}}{\sigma ^{2}}}$, $\textstyle T_{2}={\frac {x}{\sigma ^{2}}}$, $\textstyle T_{3}=\log {\big (}{\frac {1}{\sigma ^{2}}}{\big )}$, и $\textstyle T_{4}={\frac {1}{\sigma ^{2}}}$.

Расхождение Кульбака – Лейблера

Измеряет разницу между двумя распределениями.

Апостериорное распределение параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном .

Интерпретация параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном .

Генерация случайных величин нормальной-обратной гаммы

Генерация случайных величин проста:

1. Образец $\sigma ^{2}$ из обратного гамма-распределения с параметрами $\alpha$ и $\beta$
2. Образец $x$ из нормального распределения со средним $\mu$ и дисперсия $\sigma ^{2}/\lambda$

Связанные дистрибутивы

• Нормальное гамма-распределение — это то же распределение, параметризованное точностью , а не дисперсией.
• Обобщение этого распределения, которое учитывает многомерное среднее и совершенно неизвестную положительно определенную ковариационную матрицу. $\sigma ^{2}\mathbf {V}$ (тогда как в многомерном обратном гамма-распределении ковариационная матрица считается известной с точностью до масштабного коэффициента $\sigma ^{2}$) — нормальное обратное распределение Уишарта.

См. также

• Сложное распределение вероятностей

Ссылки

• Денисон, Дэвид Г.Т.; Холмс, Кристофер С.; Маллик, Бани К.; Смит, Адриан Ф.М. (2002) Байесовские методы нелинейной классификации и регрессии , Wiley. ISBN   0471490369
• Кох, Карл-Рудольф (2007) Введение в байесовскую статистику (2-е издание), Springer. ISBN   354072723X