Распределение желаний

Уишарт

Обозначения	Икс ~ W п ( V , п )
Параметры	n > p − 1 степени свободы ( действительная ) V > 0 Масштабная матрица ( p × p поз. def )
Поддерживать	X ( p × p ) положительно определенная матрица
PDF	$f_{\mathbf {X} }(\mathbf {X} )={\frac {|\mathbf {X} |^{(n-p-1)/2}e^{-\operatorname {tr} (\mathbf {V} ^{-1}\mathbf {X} )/2}}{2^{\frac {np}{2}}|{\mathbf {V} }|^{n/2}\Gamma _{p}({\frac {n}{2}})}}$ Γ p — многомерная гамма-функция tr — трассировки функция
Иметь в виду	$\operatorname {E} [\mathbf {\mathbf {X} } ]=n{\mathbf {V} }$
Режим	( n − p − 1) V для n ≥ p + 1
Дисперсия	$\operatorname {Var} (\mathbf {X} _{ij})=n\left(v_{ij}^{2}+v_{ii}v_{jj}\right)$
Энтропия	см. ниже
CF	$\Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}$

В статистике распределение Уишарта представляет собой обобщение гамма-распределения на несколько измерений. Оно названо в честь Джона Уишарта , который впервые сформулировал распределение в 1928 году. Другие названия включают ансамбль Вишарта (в теории случайных матриц распределения вероятностей по матрицам обычно называют «ансамблями»), или ансамбль Вишарта – Лагерра (поскольку его распределение собственных значений включает полиномы Лагерра ), или LOE, LUE, LSE (по аналогии с GOE, ГУЭ, ВГЭ ).

Это семейство вероятностных распределений, определенных над симметричными положительно определенными случайными матрицами (т. е. матрицы со значениями случайными величинами ). Эти распределения имеют большое значение при оценке ковариационных матриц в многомерной статистике . В байесовской статистике распределение Уишарта является сопряженным априором ковариационной обратной матрицы многомерного нормального случайного вектора .

Определение

Предположим, что G — матрица размера p × n , каждый столбец которой независимо взят из p нормального распределения с переменной и нулевым средним значением:

$G=(g_{i}^{1},\dots ,g_{i}^{n})\sim {\mathcal {N}}_{p}(0,V).$

Тогда распределение Уишарта — это вероятностей распределение p × p. случайной матрицы

$S=GG^{T}=\sum _{i=1}^{n}g_{i}g_{i}^{T}$

известная как матрица рассеяния . Один указывает на то, что S имеет такое распределение вероятностей, записывая

$S\sim W_{p}(V,n).$

Положительное целое число n — это количество степеней свободы . Иногда это пишут W ( V , p , n ) . При n ≥ p матрица S обратима с вероятностью 1, если V обратима.

Если p = V = 1 , то это распределение представляет собой распределение хи-квадрат с n степенями свободы.

возникновение

Распределение Уишарта возникает как распределение выборочной ковариационной матрицы для выборки из многомерного нормального распределения . Это часто происходит в тестах отношения правдоподобия в многомерном статистическом анализе. Он также возникает в спектральной теории случайных матриц и в многомерном байесовском анализе. Это также встречается в беспроводной связи при анализе производительности с релеевским затуханием беспроводных каналов MIMO .

Функция плотности вероятности

Спектральная плотность ансамбля Уишарт-Лагерра размерностей (8, 15). Реконструкция рисунка 1 .

Распределение Уишарта можно охарактеризовать своей функцией плотности вероятности следующим образом:

Пусть X — p × p симметричная матрица случайных величин размера , положительно полуопределенная . Пусть V — (фиксированная) симметричная положительно определенная матрица размера p × p .

Тогда, если n ≥ p , X имеет распределение Уишарта с n степенями свободы, если оно имеет функцию плотности вероятности

$f_{\mathbf {X} }(\mathbf {X} )={\frac {1}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}\left({\frac {n}{2}}\right)}}{\left|\mathbf {X} \right|}^{(n-p-1)/2}e^{-{\frac {1}{2}}\operatorname {tr} ({\mathbf {V} }^{-1}\mathbf {X} )}$

где $\left|{\mathbf {X} }\right|$ является определяющим фактором $\mathbf {X}$ и Γ _p — многомерная гамма-функция, определенная как

$\Gamma _{p}\left({\frac {n}{2}}\right)=\pi ^{p(p-1)/4}\prod _{j=1}^{p}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right).$

Указанная выше плотность не является общей плотностью всех $p^{2}$ элементы случайной матрицы X (такие $p^{2}$-мерная плотность не существует из-за ограничений симметрии $X_{ij}=X_{ji}$), это скорее плотность соединения $p(p+1)/2$ элементы $X_{ij}$ для $i\leq j$ (, стр. 38). Кроме того, приведенная выше формула плотности применима только к положительно определенным матрицам. $\mathbf {x} ;$ для остальных матриц плотность равна нулю.

Спектральная плотность

Совместная плотность собственных значений для собственных значений $\lambda _{1},\dots ,\lambda _{p}\geq 0$ случайной матрицы $\mathbf {X} \sim W_{p}(\mathbf {I} ,n)$ является,

$c_{n,p}e^{-{\frac {1}{2}}\sum _{i}\lambda _{i}}\prod \lambda _{i}^{(n-p-1)/2}\prod _{i<j}|\lambda _{i}-\lambda _{j}|$

где $c_{n,p}$является константой.

Фактически приведенное выше определение можно распространить на любое вещественное число n > p − 1 . Если n ≤ p − 1 , то Уишарт больше не имеет плотности — вместо этого он представляет собой сингулярное распределение, которое принимает значения в подпространстве меньшей размерности пространства матриц p × p .

Использование в байесовской статистике

В байесовской статистике , в контексте многомерного нормального распределения , распределение Уишарта является сопряженным до точности матрицы Ω = Σ. ⁻¹ , где Σ — ковариационная матрица.

Выбор параметров

Наименее информативный и правильный априор Уишарта получается, если установить n = p .

Априорное среднее значение W _p ( V , n ) равно n V , что позволяет предположить, что разумным выбором для V было бы n ⁻¹ С ₀ ⁻¹ , где Σ ₀ — некоторое априорное предположение для ковариационной матрицы.

Характеристики

Лог-ожидание

Следующая формула играет роль в Байеса вариационном выводе для сетей Байеса. с использованием дистрибутива Wishart. Из уравнения (2.63)

$\operatorname {E} [\,\ln \left|\mathbf {X} \right|\,]=\psi _{p}\left({\frac {n}{2}}\right)+p\,\ln(2)+\ln |\mathbf {V} |$

где $\psi _{p}$ — многомерная дигамма-функция (производная логарифма многомерной гамма-функции ).

Логарифмическая дисперсия

Следующее вычисление дисперсии может помочь в байесовской статистике:

$\operatorname {Var} \left[\,\ln \left|\mathbf {X} \right|\,\right]=\sum _{i=1}^{p}\psi _{1}\left({\frac {n+1-i}{2}}\right)$

где $\psi _{1}$ это тригамма-функция. Это возникает при вычислении информации Фишера случайной величины Уишарта.

Энтропия

Информационная энтропия распределения имеет следующую формулу:

$\operatorname {H} \left[\,\mathbf {X} \,\right]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}$

где B ( V , n ) — нормировочная константа распределения:

$B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{n/2}2^{np/2}\Gamma _{p}\left({\frac {n}{2}}\right)}}.$

Это можно расширить следующим образом:

${\begin{aligned}\operatorname {H} \left[\,\mathbf {X} \,\right]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\operatorname {E} \left[\,\ln \left|\mathbf {X} \right|\,\right]+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(\psi _{p}\left({\frac {n}{2}}\right)+p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {n}{2}}\ln \left|\mathbf {V} \right|+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln 2+\ln \left|\mathbf {V} \right|\right)+{\frac {np}{2}}\\[8pt]&={\frac {p+1}{2}}\ln \left|\mathbf {V} \right|+{\frac {1}{2}}p(p+1)\ln 2+\ln \Gamma _{p}\left({\frac {n}{2}}\right)-{\frac {n-p-1}{2}}\psi _{p}\left({\frac {n}{2}}\right)+{\frac {np}{2}}\end{aligned}}$

Перекрестная энтропия

Перекрестная энтропия двух распределений Уишарта $p_{0}$ с параметрами $n_{0},V_{0}$ и $p_{1}$ с параметрами $n_{1},V_{1}$ является

${\begin{aligned}H(p_{0},p_{1})&=\operatorname {E} _{p_{0}}[\,-\log p_{1}\,]\\[8pt]&=\operatorname {E} _{p_{0}}\left[\,-\log {\frac {\left|\mathbf {X} \right|^{(n_{1}-p_{1}-1)/2}e^{-\operatorname {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )/2}}{2^{n_{1}p_{1}/2}\left|\mathbf {V} _{1}\right|^{n_{1}/2}\Gamma _{p_{1}}\left({\tfrac {n_{1}}{2}}\right)}}\right]\\[8pt]&={\tfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}{2}}\log \left|\mathbf {V} _{1}\right|+\log \Gamma _{p_{1}}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p_{1}-1}{2}}\operatorname {E} _{p_{0}}\left[\,\log \left|\mathbf {X} \right|\,\right]+{\tfrac {1}{2}}\operatorname {E} _{p_{0}}\left[\,\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}\mathbf {X} \,\right)\,\right]\\[8pt]&={\tfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}{2}}\log \left|\mathbf {V} _{1}\right|+\log \Gamma _{p_{1}}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p_{1}-1}{2}}\left(\psi _{p_{0}}({\tfrac {n_{0}}{2}})+p_{0}\log 2+\log \left|\mathbf {V} _{0}\right|\right)+{\tfrac {1}{2}}\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}n_{0}\mathbf {V} _{0}\,\right)\\[8pt]&=-{\tfrac {n_{1}}{2}}\log \left|\,\mathbf {V} _{1}^{-1}\mathbf {V} _{0}\,\right|+{\tfrac {p_{1}+1}{2}}\log \left|\mathbf {V} _{0}\right|+{\tfrac {n_{0}}{2}}\operatorname {tr} \left(\,\mathbf {V} _{1}^{-1}\mathbf {V} _{0}\right)+\log \Gamma _{p_{1}}\left({\tfrac {n_{1}}{2}}\right)-{\tfrac {n_{1}-p_{1}-1}{2}}\psi _{p_{0}}({\tfrac {n_{0}}{2}})+{\tfrac {n_{1}(p_{1}-p_{0})+p_{0}(p_{1}+1)}{2}}\log 2\end{aligned}}$

Обратите внимание, что когда $p_{0}=p_{1}$ и $n_{0}=n_{1}$мы восстанавливаем энтропию.

KL-дивергенция

Кульбака –Лейблера Расхождение $p_{1}$ от $p_{0}$ является

${\begin{aligned}D_{KL}(p_{0}\|p_{1})&=H(p_{0},p_{1})-H(p_{0})\\[6pt]&=-{\frac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\frac {n_{0}}{2}}(\operatorname {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})-p)+\log {\frac {\Gamma _{p}\left({\frac {n_{1}}{2}}\right)}{\Gamma _{p}\left({\frac {n_{0}}{2}}\right)}}+{\tfrac {n_{0}-n_{1}}{2}}\psi _{p}\left({\frac {n_{0}}{2}}\right)\end{aligned}}$

Характеристическая функция

Характеристическая функция распределения Уишарта:

$\Theta \mapsto \operatorname {E} \left[\,\exp \left(\,i\operatorname {tr} \left(\,\mathbf {X} {\mathbf {\Theta } }\,\right)\,\right)\,\right]=\left|\,1-2i\,{\mathbf {\Theta } }\,{\mathbf {V} }\,\right|^{-n/2}$

где E[⋅] обозначает ожидание. (Здесь Θ — любая матрица тех же размеров, что и V , 1 обозначает единичную матрицу, а i — квадратный корень из −1 ). Правильная интерпретация этой формулы требует некоторой осторожности, поскольку нецелочисленные комплексные степени многозначны ; когда n нецелое, правильная ветвь должна быть определена посредством аналитического продолжения .

Теорема

Если p × p случайная матрица X имеет распределение Уишарта с m степенями свободы и матрицей дисперсии V — запишите $\mathbf {X} \sim {\mathcal {W}}_{p}({\mathbf {V} },m)$ - и C — q × p матрица ранга q , тогда

$\mathbf {C} \mathbf {X} {\mathbf {C} }^{T}\sim {\mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} }^{T},m\right).$

Следствие 1

Если z — ненулевой постоянный вектор p × 1 , то:

$\sigma _{z}^{-2}\,{\mathbf {z} }^{T}\mathbf {X} {\mathbf {z} }\sim \chi _{m}^{2}.$

В этом случае, $\chi _{m}^{2}$ это распределение хи-квадрат и $\sigma _{z}^{2}={\mathbf {z} }^{T}{\mathbf {V} }{\mathbf {z} }$ (Обратите внимание, что $\sigma _{z}^{2}$ является константой; оно положительно, поскольку V положительно определено).

Следствие 2

Рассмотрим случай, когда z ^Т = (0,...,0,1,0,...,0) (т.е. j -й элемент равен единице, а все остальные равны нулю). Тогда следствие 1 выше показывает, что

$\sigma _{jj}^{-1}\,w_{jj}\sim \chi _{m}^{2}$

дает предельное распределение каждого из элементов на диагонали матрицы.

Джордж Себер отмечает, что распределение Уишарта не называется «многомерным распределением хи-квадрат», поскольку предельное распределение недиагональных элементов не является хи-квадратом. Себер предпочитает использовать термин «многомерный» для случая, когда все одномерные маргинальные значения принадлежат к одному и тому же семейству.

Оценка многомерного нормального распределения

Распределение Уишарта — это выборочное распределение оценки максимального правдоподобия (MLE) ковариационной матрицы многомерного нормального распределения . Вывод MLE использует спектральную теорему .

Разложение Бартлетта

Разложение Бартлетта матрицы X из p -вариантного распределения Уишарта с масштабной матрицей V и n степенями свободы представляет собой факторизацию:

$\mathbf {X} ={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T},$

где L — фактор Холецкого для V , и:

$\mathbf {A} ={\begin{pmatrix}c_{1}&0&0&\cdots &0\\n_{21}&c_{2}&0&\cdots &0\\n_{31}&n_{32}&c_{3}&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\n_{p1}&n_{p2}&n_{p3}&\cdots &c_{p}\end{pmatrix}}$

где $c_{i}^{2}\sim \chi _{n-i+1}^{2}$ и n _ij ~ N (0, 1) независимо. Это обеспечивает полезный метод получения случайных выборок из распределения Уишарта.

Маргинальное распределение элементов матрицы

Пусть V — дисперсионная матрица размером 2 × 2, характеризующаяся коэффициентом корреляции −1 < ρ < 1 , а L — ее нижним фактором Холецкого:

$\mathbf {V} ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}},\qquad \mathbf {L} ={\begin{pmatrix}\sigma _{1}&0\\\rho \sigma _{2}&{\sqrt {1-\rho ^{2}}}\sigma _{2}\end{pmatrix}}$

Умножая приведенное выше разложение Бартлетта, мы обнаруживаем, что случайная выборка из распределения Уишарта 2 × 2 равна

$\mathbf {X} ={\begin{pmatrix}\sigma _{1}^{2}c_{1}^{2}&\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)\\\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)&\sigma _{2}^{2}\left(\left(1-\rho ^{2}\right)c_{2}^{2}+\left({\sqrt {1-\rho ^{2}}}n_{21}+\rho c_{1}\right)^{2}\right)\end{pmatrix}}$

Диагональные элементы, особенно в первом элементе, следуют за χ ² распределение с n степенями свободы (масштабируемое σ ² ), как и ожидалось. Недиагональный элемент менее знаком, но его можно идентифицировать как нормальную смесь средней дисперсии , где плотность смешивания равна χ ² распределение. Следовательно, соответствующая предельная плотность вероятности для недиагонального элемента представляет собой гамма-распределение дисперсии.

$f(x_{12})={\frac {\left|x_{12}\right|^{\frac {n-1}{2}}}{\Gamma \left({\frac {n}{2}}\right){\sqrt {2^{n-1}\pi \left(1-\rho ^{2}\right)\left(\sigma _{1}\sigma _{2}\right)^{n+1}}}}}\cdot K_{\frac {n-1}{2}}\left({\frac {\left|x_{12}\right|}{\sigma _{1}\sigma _{2}\left(1-\rho ^{2}\right)}}\right)\exp {\left({\frac {\rho x_{12}}{\sigma _{1}\sigma _{2}(1-\rho ^{2})}}\right)}$

где Kν _рода ( z ) — модифицированная функция Бесселя второго . Аналогичные результаты можно получить и для более высоких размерностей. В общем, если $X$ следует распределению Уишарта с параметрами, $\Sigma ,n$, то для $i\neq j$, недиагональные элементы

$X_{ij}\sim {\text{VG}}(n,\Sigma _{ij},(\Sigma _{ii}\Sigma _{jj}-\Sigma _{ij}^{2})^{1/2},0)$.

Также можно записать производящую момент функцию даже в нецентральном случае (по сути, n-ю степень Крейга (1936) уравнение 10), хотя плотность вероятности становится бесконечной суммой функций Бесселя.

Диапазон параметра формы

Это можно показать что распределение Уишарта можно определить тогда и только тогда, когда параметр формы n принадлежит множеству

$\Lambda _{p}:=\{0,\ldots ,p-1\}\cup \left(p-1,\infty \right).$

Этот набор назван в честь Гиндикина, который его представил. в 1970-х годах в контексте гамма-распределений на однородных конусах. Однако для новых параметров дискретного спектра ансамбля Гиндикина, а именно

$\Lambda _{p}^{*}:=\{0,\ldots ,p-1\},$

соответствующее распределение Уишарта не имеет плотности Лебега.

Отношения с другими дистрибутивами

• Распределение Уишарта связано с обратным распределением Уишарта , обозначаемым $W_{p}^{-1}$, следующим образом: Если X ~ W _p ( V , n ) и если мы сделаем замену переменных C = X ⁻¹ , затем $\mathbf {C} \sim W_{p}^{-1}(\mathbf {V} ^{-1},n)$. Это соотношение можно получить, заметив, что абсолютное значение определителя Якобиана этой замены переменных равно | С | ^{р +1} , см., например, уравнение (15.15) в.
• В байесовской статистике распределение Уишарта является сопряженным априорным многомерного параметром точности нормального распределения , когда известен средний параметр.
• Обобщением является многомерное гамма-распределение .
• Другой тип обобщения — это нормальное распределение Уишарта , по существу являющееся продуктом многомерного нормального распределения с распределением Уишарта.

См. также

• Распределение хи-квадрат
• Комплексное распределение Wishart
• F-распределение
• Гамма-распределение
• Распределение Хотеллинга Т-квадрат
• Обратное распределение Уишарта
• Многомерное гамма-распределение
• t-распределение Стьюдента
• Лямбда-распределение Уилкса

Внешние ссылки

• Библиотека C++ для генератора случайных матриц.