Нормально-гамма-распределение

нормальная гамма

Параметры	$\mu \,$ местоположение ( реальное ) $\lambda >0\,$ (настоящий) $\alpha >0\,$ (настоящий) $\beta >0\,$ (настоящий)
Поддерживать	$x\in (-\infty ,\infty )\,\!,\;\tau \in (0,\infty )$
PDF	$f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\,e^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}$
Иметь в виду	$\operatorname {E} (X)=\mu \,\!,\quad \operatorname {E} (\mathrm {T} )=\alpha \beta ^{-1}$
Режим	$\left(\mu ,{\frac {\alpha -{\frac {1}{2}}}{\beta }}\right)$
Дисперсия	$\operatorname {var} (X)={\Big (}{\frac {\beta }{\lambda (\alpha -1)}}{\Big )},\quad \operatorname {var} (\mathrm {T} )=\alpha \beta ^{-2}$

В теории вероятностей и статистике нормальное гамма-распределение (или гауссово-гамма-распределение ) представляет собой двумерное четырехпараметрическое семейство непрерывных распределений вероятностей . Это сопряженное априорное значение нормального распределения с неизвестным средним значением и точностью .

Определение

Для пары случайных величин ( X , T ) предположим, что условное распределение X при условии T определяется выражением

$X\mid T\sim N(\mu ,1/(\lambda T))\,\!,$

это означает, что условное распределение является нормальным распределением со средним значением $\mu$ и точность $\lambda T$ — эквивалентно, с дисперсией $1/(\lambda T).$

Предположим также, что маргинальное распределение T определяется выражением

$T\mid \alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta ),$

где это означает, что T имеет гамма-распределение . Здесь λ , α и β — параметры совместного распределения.

Тогда ( X , T ) имеет нормальное гамма-распределение, и это обозначается

$(X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ).$

Характеристики

Функция плотности вероятности

Совместная функция плотности вероятности ( X , T ) равна

$$f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\exp \left(-{\frac {\lambda \tau (x-\mu )^{2}}{2}}\right)$$

Маржинальные распределения

По построению предельное распределение $\tau$ представляет собой гамма-распределение , а условное распределение $x$ данный $\tau$ является распределением Гаусса . Маргинальное распределение ​ $x$ представляет собой трехпараметрическое нестандартизованное t-распределение Стьюдента с параметрами $(\nu ,\mu ,\sigma ^{2})=(2\alpha ,\mu ,\beta /(\lambda \alpha ))$.

Экспоненциальное семейство

Нормальное гамма-распределение представляет собой четырехпараметрическое экспоненциальное семейство с натуральными параметрами. $\alpha -1/2,-\beta -\lambda \mu ^{2}/2,\lambda \mu ,-\lambda /2$ и естественная статистика $\ln \tau ,\tau ,\tau x,\tau x^{2}$.

Моменты естественной статистики

Следующие моменты можно легко вычислить, используя производящую функцию достаточной статистики :

$\operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta ,$

где $\psi \left(\alpha \right)$ это дигамма-функция ,

${\begin{aligned}\operatorname {E} (T)&={\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX)&=\mu {\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX^{2})&={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}.\end{aligned}}$

Масштабирование

Если $(X,T)\sim \mathrm {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ),$ тогда для любого $b>0,(bX,bT)$ распространяется как ${\rm {NormalGamma}}(b\mu ,\lambda /b^{3},\alpha ,\beta /b).$

Апостериорное распределение параметров

Предположим, что x распределен согласно нормальному распределению с неизвестным средним значением. $\mu$ и точность $\tau$.

$x\sim {\mathcal {N}}(\mu ,\tau ^{-1})$

и что предварительное распространение на $\mu$ и $\tau$, $(\mu ,\tau )$, имеет нормальное гамма-распределение

$(\mu ,\tau )\sim {\text{NormalGamma}}(\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),$

для которого плотность π удовлетворяет

$\pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[-\beta _{0}\tau ]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].$

Предполагать

$x_{1},\ldots ,x_{n}\mid \mu ,\tau \sim \operatorname {{i.}{i.}{d.}} \operatorname {N} \left(\mu ,\tau ^{-1}\right),$

то есть компоненты $\mathbf {X} =(x_{1},\ldots ,x_{n})$ условно независимы, учитывая $\mu ,\tau$ и условное распределение каждого из них задано $\mu ,\tau$ нормально с ожидаемым значением $\mu$ и дисперсия $1/\tau .$ Заднее распределение $\mu$ и $\tau$ учитывая этот набор данных $\mathbb {X}$ может быть аналитически определено по теореме Байеса явно,

$\mathbf {P} (\tau ,\mu \mid \mathbf {X} )\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu ),$

где $\mathbf {L}$ - вероятность параметров с учетом данных.

Поскольку данные являются iid, вероятность всего набора данных равна произведению правдоподобий отдельных выборок данных:

$\mathbf {L} (\mathbf {X} \mid \tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}\mid \tau ,\mu ).$

Это выражение можно упростить следующим образом:

${\begin{aligned}\mathbf {L} (\mathbf {X} \mid \tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}$

где ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$, среднее значение выборок данных и $s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}$, выборочная дисперсия.

Апостериорное распределение параметров пропорционально вероятности в предыдущий раз.

${\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}$

Последний член экспоненты упрощается путем заполнения квадрата.

${\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu )+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}}$

Вставив это обратно в выражение выше,

${\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}$

Это окончательное выражение имеет точно такую ​​же форму, как распределение нормального гамма-распределения, т.е.

$\mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)$

Интерпретация параметров

Интерпретация параметров с точки зрения псевдонаблюдений следующая:

• Новое среднее значение представляет собой средневзвешенное значение старого псевдосреднего и наблюдаемого среднего значения, взвешенное по количеству связанных (псевдо) наблюдений.
• Точность оценивалась по $2\alpha$ псевдонаблюдения (т.е., возможно, другое количество псевдонаблюдений, чтобы можно было отдельно контролировать дисперсию среднего значения и точность) с выборочным средним значением $\mu$ и выборочная дисперсия ${\frac {\beta }{\alpha }}$ (т.е. с суммой квадратов отклонений $2\beta$).
• Апостериор обновляет количество псевдонаблюдений ( $\lambda _{0}$) просто добавив соответствующее количество новых наблюдений ( $n$).
• Новая сумма квадратов отклонений вычисляется путем сложения предыдущих соответствующих сумм квадратов отклонений. Однако необходим третий «член взаимодействия», поскольку два набора квадратичных отклонений были рассчитаны относительно разных средних значений, и, следовательно, сумма двух занижает фактическое общее квадратическое отклонение.

Как следствие, если у кого-то есть априорное среднее значение $\mu _{0}$ от $n_{\mu }$ образцы и априорная точность $\tau _{0}$ от $n_{\tau }$ выборки, предварительное распределение по $\mu$ и $\tau$ является

$\mathbf {P} (\tau ,\mu \mid \mathbf {X} )=\operatorname {NormalGamma} \left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)$

и после наблюдения $n$ образцы со средним $\mu$ и дисперсия $s$, апостериорная вероятность равна

$\mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)$

Обратите внимание, что в некоторых языках программирования, таких как Matlab , гамма-распределение реализуется с помощью обратного определения $\beta$, поэтому четвертый аргумент нормального гамма-распределения равен $2\tau _{0}/n_{\tau }$.

Генерация случайных переменных нормальной гаммы

Генерация случайных величин проста:

1. Образец $\tau$ из гамма-распределения с параметрами $\alpha$ и $\beta$
2. Образец $x$ из нормального распределения со средним $\mu$ и дисперсия $1/(\lambda \tau )$

Связанные дистрибутивы

• Нормальное обратное гамма-распределение , по сути, представляет собой то же распределение, параметризованное дисперсией, а не точностью.
• Нормально -экспоненциальное гамма-распределение

Ссылки

• Бернардо, Дж. М.; Смит, AFM (1993) Байесовская теория , Wiley. ISBN   0-471-49464-X
• Дирден и др. «Байесовское Q-обучение» , Труды Пятнадцатой Национальной конференции по искусственному интеллекту (AAAI-98) , 26–30 июля 1998 г., Мэдисон, Висконсин, США.