Обратное распределение Уишарта

Обратный-Wishart

Обозначения	${\mathcal {W}}^{-1}({\mathbf {\Psi } },\nu )$
Параметры	$\nu >p-1$ степени свободы ( действительные ) $\mathbf {\Psi } >0$, $p\times p$ матрица масштаба ( поз. по определению )
Поддерживать	$\mathbf {X}$ является p × p положительно определенным
PDF	${\frac {\left|\mathbf {\Psi } \right|^{\nu /2}}{2^{\nu p/2}\Gamma _{p}({\frac {\nu }{2}})}}\left|\mathbf {x} \right|^{-(\nu +p+1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\mathbf {\Psi } \mathbf {x} ^{-1})}$ $\Gamma _{p}$ многомерная гамма-функция $\operatorname {tr}$ это трассировки функция
Иметь в виду	${\frac {\mathbf {\Psi } }{\nu -p-1}}$Для $\nu >p+1$
Режим	${\frac {\mathbf {\Psi } }{\nu +p+1}}$
Дисперсия	см. ниже

В статистике обратное распределение Уишарта , также называемое инвертированным распределением Уишарта , представляет собой распределение вероятностей, определенное на вещественных положительно определенных матрицах . В байесовской статистике он используется как априорное сопряжение для ковариационной матрицы многомерное нормальное распределение.

Мы говорим $\mathbf {X}$ следует обратному распределению Уишарта, обозначенному как $\mathbf {X} \sim {\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )$, если это обратное $\mathbf {X} ^{-1}$ имеет дистрибутив Wishart ${\mathcal {W}}(\mathbf {\Psi } ^{-1},\nu )$. Важные тождества были получены для обратного распределения Уишарта.

Плотность

Функция плотности вероятности обратного Уишарта:

$f_{\mathbf {X} }({\mathbf {X} };{\mathbf {\Psi } },\nu )={\frac {\left|{\mathbf {\Psi } }\right|^{\nu /2}}{2^{\nu p/2}\Gamma _{p}({\frac {\nu }{2}})}}\left|\mathbf {X} \right|^{-(\nu +p+1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\mathbf {\Psi } \mathbf {X} ^{-1})}$

где $\mathbf {X}$ и ${\mathbf {\Psi } }$ являются $p\times p$ положительно определенные матрицы, $|\cdot |$ – определитель, а Γ _p (·) – многомерная гамма-функция .

Теоремы

Распределение обратной матрицы, распределенной Уишартом

Если ${\mathbf {X} }\sim {\mathcal {W}}({\mathbf {\Sigma } },\nu )$ и ${\mathbf {\Sigma } }$ имеет размер $p\times p$, затем $\mathbf {A} ={\mathbf {X} }^{-1}$ имеет обратное распределение Уишарта $\mathbf {A} \sim {\mathcal {W}}^{-1}({\mathbf {\Sigma } }^{-1},\nu )$ .

Маргинальные и условные распределения из обратной матрицы, распределенной Уишартом

Предполагать ${\mathbf {A} }\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } },\nu )$ имеет обратное распределение Уишарта. Разделите матрицы ${\mathbf {A} }$ и ${\mathbf {\Psi } }$ согласованно друг с другом

${\mathbf {A} }={\begin{bmatrix}\mathbf {A} _{11}&\mathbf {A} _{12}\\\mathbf {A} _{21}&\mathbf {A} _{22}\end{bmatrix}},\;{\mathbf {\Psi } }={\begin{bmatrix}\mathbf {\Psi } _{11}&\mathbf {\Psi } _{12}\\\mathbf {\Psi } _{21}&\mathbf {\Psi } _{22}\end{bmatrix}}$

где ${\mathbf {A} _{ij}}$ и ${\mathbf {\Psi } _{ij}}$ являются $p_{i}\times p_{j}$ матрицы, то мы имеем

1. $\mathbf {A} _{11}$ не зависит от $\mathbf {A} _{11}^{-1}\mathbf {A} _{12}$ и ${\mathbf {A} }_{22\cdot 1}$, где ${\mathbf {A} _{22\cdot 1}}={\mathbf {A} }_{22}-{\mathbf {A} }_{21}{\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}$ является Шура дополнением ${\mathbf {A} _{11}}$ в ${\mathbf {A} }$;
2. ${\mathbf {A} _{11}}\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } _{11}},\nu -p_{2})$;
3. ${\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}\mid {\mathbf {A} }_{22\cdot 1}\sim MN_{p_{1}\times p_{2}}({\mathbf {\Psi } }_{11}^{-1}{\mathbf {\Psi } }_{12},{\mathbf {A} }_{22\cdot 1}\otimes {\mathbf {\Psi } }_{11}^{-1})$, где $MN_{p\times q}(\cdot ,\cdot )$ – матричное нормальное распределение ;
4. ${\mathbf {A} }_{22\cdot 1}\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } }_{22\cdot 1},\nu )$, где ${\mathbf {\Psi } _{22\cdot 1}}={\mathbf {\Psi } }_{22}-{\mathbf {\Psi } }_{21}{\mathbf {\Psi } }_{11}^{-1}{\mathbf {\Psi } }_{12}$;

Сопряженное распределение

Предположим, мы хотим сделать вывод о ковариационной матрице ${\mathbf {\Sigma } }$ чей предыдущий ${p(\mathbf {\Sigma } )}$ имеет ${\mathcal {W}}^{-1}({\mathbf {\Psi } },\nu )$ распределение. Если наблюдения $\mathbf {X} =[\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}]$ являются независимыми гауссовскими переменными p-меры, взятыми из $N(\mathbf {0} ,{\mathbf {\Sigma } })$ распределение, то условное распределение ${p(\mathbf {\Sigma } \mid \mathbf {X} )}$ имеет ${\mathcal {W}}^{-1}({\mathbf {A} }+{\mathbf {\Psi } },n+\nu )$ распределение, где ${\mathbf {A} }=\mathbf {X} \mathbf {X} ^{T}$.

Поскольку априорное и апостериорное распределения относятся к одному и тому же семейству, мы говорим, что обратное распределение Уишарта сопряжено с многомерным гауссианом.

Благодаря его сопряженности с многомерным гауссианом, можно исключить (интегрировать) параметр гаусса. $\mathbf {\Sigma }$, используя формулу $p(x)={\frac {p(x|\Sigma )p(\Sigma )}{p(\Sigma |x)}}$ и тождество линейной алгебры $v^{T}\Omega v={\text{tr}}(\Omega vv^{T})$:

$f_{\mathbf {X} \,\mid \,\Psi ,\nu }(\mathbf {x} )=\int f_{\mathbf {X} \,\mid \,\mathbf {\Sigma } \,=\,\sigma }(\mathbf {x} )f_{\mathbf {\Sigma } \,\mid \,\mathbf {\Psi } ,\nu }(\sigma )\,d\sigma ={\frac {|\mathbf {\Psi } |^{\nu /2}\Gamma _{p}\left({\frac {\nu +n}{2}}\right)}{\pi ^{np/2}|\mathbf {\Psi } +\mathbf {A} |^{(\nu +n)/2}\Gamma _{p}({\frac {\nu }{2}})}}$

(это полезно, поскольку матрица отклонений $\mathbf {\Sigma }$ на практике неизвестно, но поскольку ${\mathbf {\Psi } }$ известно априори , и ${\mathbf {A} }$ можно получить из данных, правую часть можно вычислить напрямую). Обратное распределение Уишарта как априорное может быть построено на основе существующих переданных априорных знаний .

Моменты

Нижеследующее основано на работе Press, SJ (1982) «Прикладной многомерный анализ», 2-е изд. (Dover Publications, Нью-Йорк) после изменения параметров степени свободы, чтобы она соответствовала приведенному выше определению в формате PDF.

Позволять $W\sim {\mathcal {W}}(\mathbf {\Psi } ^{-1},\nu )$ с $\nu \geq p$ и $X\doteq W^{-1}$, так что $X\sim {\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )$.

Среднее значение:

$\operatorname {E} (\mathbf {X} )={\frac {\mathbf {\Psi } }{\nu -p-1}}.$

Дисперсия каждого элемента $\mathbf {X}$:

$\operatorname {Var} (x_{ij})={\frac {(\nu -p+1)\psi _{ij}^{2}+(\nu -p-1)\psi _{ii}\psi _{jj}}{(\nu -p)(\nu -p-1)^{2}(\nu -p-3)}}$

Для расчета дисперсии диагонали используется та же формула, что и выше, с $i=j$, что упрощает:

$\operatorname {Var} (x_{ii})={\frac {2\psi _{ii}^{2}}{(\nu -p-1)^{2}(\nu -p-3)}}.$

Ковариация элементов $\mathbf {X}$ даны:

$\operatorname {Cov} (x_{ij},x_{k\ell })={\frac {2\psi _{ij}\psi _{k\ell }+(\nu -p-1)(\psi _{ik}\psi _{j\ell }+\psi _{i\ell }\psi _{kj})}{(\nu -p)(\nu -p-1)^{2}(\nu -p-3)}}$

Те же результаты выражены в форме произведения Кронекера фон Розеном. следующее:

${\begin{aligned}\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)&=c_{1}\Psi \otimes \Psi +c_{2}Vec(\Psi )Vec(\Psi )^{T}+c_{2}K_{pp}\Psi \otimes \Psi \\\mathbf {Cov} _{\otimes }\left(W^{-1},W^{-1}\right)&=(c_{1}-c_{3})\Psi \otimes \Psi +c_{2}Vec(\Psi )Vec(\Psi )^{T}+c_{2}K_{pp}\Psi \otimes \Psi \end{aligned}}$

где

${\begin{aligned}c_{2}&=\left[(\nu -p)(\nu -p-1)(\nu -p-3)\right]^{-1}\\c_{1}&=(\nu -p-2)c_{2}\\c_{3}&=(\nu -p-1)^{-2},\end{aligned}}$

$K_{pp}{\text{ is a }}p^{2}\times p^{2}$ матрица коммутации

$\mathbf {Cov} _{\otimes }\left(W^{-1},W^{-1}\right)=\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)-\mathbf {E} \left(W^{-1}\right)\otimes \mathbf {E} \left(W^{-1}\right).$

Судя по всему, в статье допущена опечатка, согласно которой коэффициент $K_{pp}\Psi \otimes \Psi$ дается как $c_{1}$ скорее, чем $c_{2}$и что выражение для среднеквадратического обратного Уишарта (следствие 3.1) должно иметь следующий вид:

$\mathbf {E} \left[W^{-1}W^{-1}\right]=(c_{1}+c_{2})\Sigma ^{-1}\Sigma ^{-1}+c_{2}\Sigma ^{-1}\mathbf {tr} (\Sigma ^{-1}).$

Чтобы показать, как взаимодействующие члены становятся разреженными, когда ковариация диагональна, позвольте $\Psi =\mathbf {I} _{3\times 3}$ и введем некоторые произвольные параметры $u,v,w$:

$\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)=u\Psi \otimes \Psi +v\,\mathrm {vec} (\Psi )\,\mathrm {vec} (\Psi )^{T}+wK_{pp}\Psi \otimes \Psi .$

где $\mathrm {vec}$ обозначает оператор матричной векторизации . Тогда матрица второго момента принимает вид

$\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)={\begin{bmatrix}u+v+w&\cdot &\cdot &\cdot &v&\cdot &\cdot &\cdot &v\\\cdot &u&\cdot &w&\cdot &\cdot &\cdot &\cdot &\cdot \\\cdot &\cdot &u&\cdot &\cdot &\cdot &w&\cdot &\cdot \\\cdot &w&\cdot &u&\cdot &\cdot &\cdot &\cdot &\cdot \\v&\cdot &\cdot &\cdot &u+v+w&\cdot &\cdot &\cdot &v\\\cdot &\cdot &\cdot &\cdot &\cdot &u&\cdot &w&\cdot \\\cdot &\cdot &w&\cdot &\cdot &\cdot &u&\cdot &\cdot \\\cdot &\cdot &\cdot &\cdot &\cdot &w&\cdot &u&\cdot \\v&\cdot &\cdot &\cdot &v&\cdot &\cdot &\cdot &u+v+w\\\end{bmatrix}}$

которое отлично от нуля только при использовании корреляций диагональных элементов $W^{-1}$, все остальные элементы взаимно некоррелированы, хотя и не обязательно статистически независимы. Дисперсии произведения Уишарта также получены Cook et al. в единственном случае и, как следствие, в случае полного ранга.

Мюрхед показывает в теореме 3.2.8, что если $A^{p\times p}$ распространяется как ${\mathcal {W}}_{p}(\nu ,\Sigma )$ и $V$ – произвольный вектор, не зависящий от $A$ затем $V^{T}AV\sim {\mathcal {W}}_{1}(\nu ,A^{T}\Sigma A)$ и ${\frac {V^{T}AV}{V^{T}\Sigma V}}\sim \chi _{\nu -1}^{2}$, причем одна степень свободы отказывается от оценки выборочного среднего в последнем. Аналогичным образом, Bodnar et.al. дальше найти, что ${\frac {V^{T}A^{-1}V}{V^{T}\Sigma ^{-1}V}}\sim {\text{Inv-}}\chi _{\nu -p+1}^{2}$ и настройка $V=(1,\,0,\cdots ,0)^{T}$ таким образом, маргинальное распределение ведущего диагонального элемента равно

${\frac {[A^{-1}]_{1,1}}{[\Sigma ^{-1}]_{1,1}}}\sim {\frac {2^{-k/2}}{\Gamma (k/2)}}x^{-k/2-1}e^{-1/(2x)},\;\;k=\nu -p+1$

и вращая $V$ в конце аналогичный результат применяется ко всем диагональным элементам $[A^{-1}]_{i,i}$.

Соответствующий результат в сложном случае Уишарта показали Бреннан и Рид. и некоррелированный обратный комплекс Уишарта ${\mathcal {W_{C}}}^{-1}(\mathbf {I} ,\nu ,p)$ было показано Шаманом иметь диагональную статистическую структуру, в которой ведущие диагональные элементы коррелированы, а все остальные элементы некоррелированы.

Связанные дистрибутивы

• Одномерной обратное гамма - специализацией обратного распределения Уишарта является распределение . С $p=1$ (т.е. одномерный) и $\alpha =\nu /2$, $\beta =\mathbf {\Psi } /2$ и $x=\mathbf {X}$ функция плотности вероятности обратного распределения Уишарта становится матрицей

$p(x\mid \alpha ,\beta )={\frac {\beta ^{\alpha }\,x^{-\alpha -1}\exp(-\beta /x)}{\Gamma _{1}(\alpha )}}.$

т. е. обратное гамма-распределение, где $\Gamma _{1}(\cdot )$ это обычная гамма-функция .

• Обратное распределение Уишарта представляет собой частный случай обратного матричного гамма-распределения, когда параметр формы $\alpha ={\frac {\nu }{2}}$ и параметр масштаба $\beta =2$.
• Другое обобщение получило название обобщенного обратного распределения Уишарта. ${\mathcal {GW}}^{-1}$. А $p\times p$ положительно определенная матрица $\mathbf {X}$ Говорят, что оно распределяется как ${\mathcal {GW}}^{-1}(\mathbf {\Psi } ,\nu ,\mathbf {S} )$ если $\mathbf {Y} =\mathbf {X} ^{1/2}\mathbf {S} ^{-1}\mathbf {X} ^{1/2}$ распространяется как ${\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )$. Здесь $\mathbf {X} ^{1/2}$ обозначает квадратный корень симметричной матрицы из $\mathbf {X}$, параметры $\mathbf {\Psi } ,\mathbf {S}$ являются $p\times p$ положительно определенные матрицы, а параметр $\nu$ является положительной скалярной величиной, большей, чем $2p$. Обратите внимание, что когда $\mathbf {S}$ равна единичной матрице, ${\mathcal {GW}}^{-1}(\mathbf {\Psi } ,\nu ,\mathbf {S} )={\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )$. Это обобщенное обратное распределение Уишарта применялось для оценки распределений многомерных авторегрессионных процессов.
• Другой тип обобщения — это нормальное обратное распределение Вишарта , по существу являющееся продуктом многомерного нормального распределения с обратным распределением Вишарта.
• Когда масштабная матрица является единичной матрицей, ${\mathcal {\Psi }}=\mathbf {I} ,{\text{ and }}{\mathcal {\Phi }}$ – произвольная ортогональная матрица, замена $\mathbf {X}$ к ${\Phi }\mathbf {X} {\mathcal {\Phi }}^{T}$ не меняет PDF-файл $\mathbf {X}$ так ${\mathcal {W}}^{-1}(\mathbf {I} ,\nu ,p)$ в некотором смысле принадлежит к семейству сферически-инвариантных случайных процессов (SIRP).

Таким образом, произвольный p-вектор $V$ с $l_{2}$ длина $V^{T}V=1$ можно повернуть в вектор $\mathbf {\Phi } V=[1\;0\;0\cdots ]^{T}$ без изменения PDF-файла $V^{T}\mathbf {X} V$, более того $\mathbf {\Phi }$ может быть матрицей перестановок, которая меняет местами диагональные элементы. Отсюда следует, что диагональные элементы $\mathbf {X}$ распределены одинаково обратно хи-квадрат, с pdf $f_{x_{11}}$ в предыдущем разделе, хотя они не являются взаимно независимыми. Результат известен в статистике оптимального портфеля, как в теореме 2, следствии 1 Боднара и др.: где оно выражается в обратной форме ${\frac {V^{T}\mathbf {\Psi } V}{V^{T}\mathbf {X} V}}\sim \chi _{\nu -p+1}^{2}$.

• Как и в случае с распределением Уишарта, линейные преобразования распределения дают модифицированное обратное распределение Вишарта. Если $\mathbf {X^{p\times p}} \sim {\mathcal {W}}_{p}^{-1}\left({\mathbf {\Psi } },\nu \right).$ и ${\mathbf {\Theta } }^{p\times p}$ являются матрицами полного ранга, тогда $\mathbf {\Theta } \mathbf {X} {\mathbf {\Theta } }^{T}\sim {\mathcal {W}}_{p}^{-1}\left({\mathbf {\Theta } }{\mathbf {\Psi } }{\mathbf {\Theta } }^{T},\nu \right).$
• Если $\mathbf {X^{p\times p}} \sim {\mathcal {W}}_{p}^{-1}\left({\mathbf {\Psi } },\nu \right).$ и ${\mathbf {\Theta } }^{m\times p}$ является $m\times p,\;\;m<p$ полного ранга $m$ затем $\mathbf {\Theta } \mathbf {X} {\mathbf {\Theta } }^{T}\sim {\mathcal {W}}_{m}^{-1}\left({\mathbf {\Theta } }{\mathbf {\Psi } }{\mathbf {\Theta } }^{T},\nu \right).$

См. также

• Обратная матрица гамма-распределения
• Матричное нормальное распределение
• Распределение желаний
• Комплексное обратное распределение Уишарта