Нормальное обратное распределение Уишарта

нормальный-обратный-Wishart

Обозначения	$({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )$
Параметры	${\boldsymbol {\mu }}_{0}\in \mathbb {R} ^{D}\,$ местоположение (вектор реального ) $\lambda >0\,$ (настоящий) ${\boldsymbol {\Psi }}\in \mathbb {R} ^{D\times D}$ матрица обратного масштаба ( поз. по определению ) $\nu >D-1\,$ (настоящий)
Поддерживать	${\boldsymbol {\mu }}\in \mathbb {R} ^{D};{\boldsymbol {\Sigma }}\in \mathbb {R} ^{D\times D}$ ковариационная матрица ( поз. по определению )
PDF	$f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}({\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},{\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }})\ {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )$

В теории вероятностей и статистике нормальное обратное распределение Уишарта (или обратное распределение Уишарта по Гауссу ) представляет собой многомерное четырехпараметрическое семейство непрерывных распределений вероятностей . Это сопряженный априор многомерного нормального распределения с неизвестным средним значением и ковариационной матрицей (обратной матрице точности ).

Определение

Предполагать

${\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Sigma }}\sim {\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right)$

имеет многомерное нормальное распределение со средним ${\boldsymbol {\mu }}_{0}$ и ковариационная матрица ${\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }}$, где

${\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu \sim {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )$

имеет обратное распределение Уишарта . Затем $({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ имеет нормальное обратное распределение Уишарта, обозначаемое как

$({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).$

Характеристика

Функция плотности вероятности

$f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right){\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )$

Полная версия PDF выглядит следующим образом:

$f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\frac {\lambda ^{D/2}|{\boldsymbol {\Psi }}|^{\nu /2}|{\boldsymbol {\Sigma }}|^{-{\frac {\nu +D+2}{2}}}}{(2\pi )^{D/2}2^{\frac {\nu D}{2}}\Gamma _{D}({\frac {\nu }{2}})}}{\text{exp}}\left\{-{\frac {1}{2}}Tr({\boldsymbol {\Psi \Sigma }}^{-1})-{\frac {\lambda }{2}}({\boldsymbol {\mu }}-{\boldsymbol {\mu }}_{0})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}-{\boldsymbol {\mu }}_{0})\right\}$

Здесь $\Gamma _{D}[\cdot ]$ - многомерная гамма-функция и $Tr({\boldsymbol {\Psi }})$ является следом данной матрицы.

Характеристики

Маржинальные распределения

По построению предельное распределение по ${\boldsymbol {\Sigma }}$ — обратное распределение Уишарта , а условное распределение по ${\boldsymbol {\mu }}$ данный ${\boldsymbol {\Sigma }}$ является многомерным нормальным распределением . Маргинальное распределение по ${\boldsymbol {\mu }}$ является многомерным t-распределением .

Апостериорное распределение параметров

Предположим, что плотность выборки представляет собой многомерное нормальное распределение.

${\boldsymbol {y_{i}}}|{\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$

где ${\boldsymbol {y}}$ это $n\times p$ матрица и ${\boldsymbol {y_{i}}}$ (длины $p$) — строка $i$ матрицы.

Поскольку среднее значение и ковариационная матрица выборочного распределения неизвестны, мы можем применить априорный алгоритм Normal-Inverse-Wishart к среднему значению и ковариационным параметрам совместно.

$({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).$

Результирующее апостериорное распределение для матрицы среднего и ковариационной матрицы также будет нормальным-обратным-Wishart.

$({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|y)\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{n},\lambda _{n},{\boldsymbol {\Psi }}_{n},\nu _{n}),$

где

${\boldsymbol {\mu }}_{n}={\frac {\lambda {\boldsymbol {\mu }}_{0}+n{\bar {\boldsymbol {y}}}}{\lambda +n}}$

$\lambda _{n}=\lambda +n$

$\nu _{n}=\nu +n$

${\boldsymbol {\Psi }}_{n}={\boldsymbol {\Psi +S}}+{\frac {\lambda n}{\lambda +n}}({\boldsymbol {{\bar {y}}-\mu _{0}}})({\boldsymbol {{\bar {y}}-\mu _{0}}})^{T}~~~\mathrm {with} ~~{\boldsymbol {S}}=\sum _{i=1}^{n}({\boldsymbol {y_{i}-{\bar {y}}}})({\boldsymbol {y_{i}-{\bar {y}}}})^{T}$.

Взять образец из заднего сустава $({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$, просто берут образцы из ${\boldsymbol {\Sigma }}|{\boldsymbol {y}}\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }}_{n},\nu _{n})$, затем нарисуй ${\boldsymbol {\mu }}|{\boldsymbol {\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }}_{n},{\boldsymbol {\Sigma }}/\lambda _{n})$. Чтобы получить апостериорное предсказание нового наблюдения, нарисуйте ${\boldsymbol {\tilde {y}}}|{\boldsymbol {\mu ,\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ , учитывая уже нарисованные значения ${\boldsymbol {\mu }}$ и ${\boldsymbol {\Sigma }}$.

Генерация случайных переменных нормального обратного Уишарта

Генерация случайных величин проста:

1. Образец ${\boldsymbol {\Sigma }}$ из обратного распределения Уишарта с параметрами ${\boldsymbol {\Psi }}$ и $\nu$
2. Образец ${\boldsymbol {\mu }}$ из многомерного нормального распределения со средним ${\boldsymbol {\mu }}_{0}$ и дисперсия ${\boldsymbol {\tfrac {1}{\lambda }}}{\boldsymbol {\Sigma }}$

Связанные дистрибутивы

• Нормальное распределение Уишарта , по сути, представляет собой то же распределение, параметризованное точностью, а не дисперсией. Если $({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )$ затем $({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}^{-1})\sim \mathrm {NW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }}^{-1},\nu )$ .
• Нормальное обратное гамма-распределение является одномерным эквивалентом.
• Многомерное нормальное распределение и обратное распределение Уишарта являются распределениями компонентов, из которых состоит это распределение.

Ссылки

• Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение. Springer Science+Business Media.
• Мерфи, Кевин П. (2007). «Сопряженный байесовский анализ распределения Гаусса». [2]