Матричное нормальное распределение

Матрица нормальная

Обозначения	${\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )$
Параметры	$\mathbf {M}$ местоположение ( реальное $n\times p$ матрица ) $\mathbf {U}$ масштаб ( положительно-определенный действительный $n\times n$ матрица ) $\mathbf {V}$ масштаб ( положительно-определенный действительный $p\times p$ матрица )
Поддерживать	$\mathbf {X} \in \mathbb {R} ^{n\times p}$
PDF	${\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}$
Иметь в виду	$\mathbf {M}$
Дисперсия	$\mathbf {U}$ (среди рядов) и $\mathbf {V}$ (среди столбцов)

В статистике матричное нормальное распределение или матричное распределение Гаусса — это распределение вероятностей , которое является обобщением многомерного нормального распределения для матричных случайных величин.

Определение

Функция плотности вероятности для случайной матрицы X ( n × p ), которая следует матричному нормальному распределению ${\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )$ имеет форму:

$p(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}$

где $\mathrm {tr}$ обозначает след , а M — это n × p , U — это n × n, а V — это p × p , а плотность понимается как функция плотности вероятности относительно стандартной меры Лебега в $\mathbb {R} ^{n\times p}$, т. е.: мера, соответствующая интегрированию по $dx_{11}dx_{21}\dots dx_{n1}dx_{12}\dots dx_{n2}\dots dx_{np}$.

Нормаль матрицы связана с многомерным нормальным распределением следующим образом:

$\mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} ),$

тогда и только тогда, когда

$\mathrm {vec} (\mathbf {X} )\sim {\mathcal {N}}_{np}(\mathrm {vec} (\mathbf {M} ),\mathbf {V} \otimes \mathbf {U} )$

где $\otimes$ обозначает произведение Кронекера и $\mathrm {vec} (\mathbf {M} )$ обозначает векторизацию ​ $\mathbf {M}$.

Доказательство

Эквивалентность между вышеупомянутыми матричными нормальными и многомерными нормальными функциями плотности может быть показана с использованием нескольких свойств следа и произведения Кронекера следующим образом. Начнем с аргумента показателя степени нормального PDF матрицы:

${\begin{aligned}&\;\;\;\;-{\frac {1}{2}}{\text{tr}}\left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}{\text{vec}}\left(\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\mathbf {V} ^{-1}\right)\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}\left(\mathbf {V} ^{-1}\otimes \mathbf {U} ^{-1}\right){\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)\\&=-{\frac {1}{2}}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]^{T}\left(\mathbf {V} \otimes \mathbf {U} \right)^{-1}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]\end{aligned}}$

который является аргументом показателя многомерной нормальной PDF относительно меры Лебега в $\mathbb {R} ^{np}$. Доказательство завершается использованием свойства определителя: $|\mathbf {V} \otimes \mathbf {U} |=|\mathbf {V} |^{n}|\mathbf {U} |^{p}.$

Характеристики

Если $\mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )$, то мы имеем следующие свойства:

Ожидаемые значения

Среднее или ожидаемое значение :

$E[\mathbf {X} ]=\mathbf {M}$

и у нас есть следующие ожидания второго порядка:

$E[(\mathbf {X} -\mathbf {M} )(\mathbf {X} -\mathbf {M} )^{T}]=\mathbf {U} \operatorname {tr} (\mathbf {V} )$

$E[(\mathbf {X} -\mathbf {M} )^{T}(\mathbf {X} -\mathbf {M} )]=\mathbf {V} \operatorname {tr} (\mathbf {U} )$

где $\operatorname {tr}$ обозначает след .

В более общем смысле, для матриц A , B , C соответствующего размера :

${\begin{aligned}E[\mathbf {X} \mathbf {A} \mathbf {X} ^{T}]&=\mathbf {U} \operatorname {tr} (\mathbf {A} ^{T}\mathbf {V} )+\mathbf {MAM} ^{T}\\E[\mathbf {X} ^{T}\mathbf {B} \mathbf {X} ]&=\mathbf {V} \operatorname {tr} (\mathbf {U} \mathbf {B} ^{T})+\mathbf {M} ^{T}\mathbf {BM} \\E[\mathbf {X} \mathbf {C} \mathbf {X} ]&=\mathbf {V} \mathbf {C} ^{T}\mathbf {U} +\mathbf {MCM} \end{aligned}}$

Трансформация

Транспонирование преобразования:

$\mathbf {X} ^{T}\sim {\mathcal {MN}}_{p\times n}(\mathbf {M} ^{T},\mathbf {V} ,\mathbf {U} )$

Линейное преобразование: пусть D ( r -by- n ) имеет полный ранг r ≤ n и C ( p -by- s ) имеет полный ранг s ≤ p , тогда:

$\mathbf {DXC} \sim {\mathcal {MN}}_{r\times s}(\mathbf {DMC} ,\mathbf {DUD} ^{T},\mathbf {C} ^{T}\mathbf {VC} )$

Пример

Представим себе выборку из n независимых p -мерных случайных величин, одинаково распределенных в соответствии с многомерным нормальным распределением :

$\mathbf {Y} _{i}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}){\text{ with }}i\in \{1,\ldots ,n\}$.

При определении размера n × p матрицы $\mathbf {X}$ для которого i -я строка $\mathbf {Y} _{i}$, получаем:

$\mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )$

где каждая строка $\mathbf {M}$ равно ${\boldsymbol {\mu }}$, то есть $\mathbf {M} =\mathbf {1} _{n}\times {\boldsymbol {\mu }}^{T}$, $\mathbf {U}$ - единичная матрица размера n × n , то есть строки независимы, а $\mathbf {V} ={\boldsymbol {\Sigma }}$.

Оценка параметра максимального правдоподобия

Учитывая k матриц, каждая из которых имеет размер n × p , обозначается $\mathbf {X} _{1},\mathbf {X} _{2},\ldots ,\mathbf {X} _{k}$, которые, как мы предполагаем, были выбраны iid из матричного нормального распределения, оценку максимального правдоподобия параметров можно получить путем максимизации:

$\prod _{i=1}^{k}{\mathcal {MN}}_{n\times p}(\mathbf {X} _{i}\mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} ).$

Решение для среднего имеет замкнутый вид, а именно

$\mathbf {M} ={\frac {1}{k}}\sum _{i=1}^{k}\mathbf {X} _{i}$

но параметры ковариации этого не делают. Однако эти параметры можно итеративно максимизировать, обнулив их градиенты:

$\mathbf {U} ={\frac {1}{kp}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )\mathbf {V} ^{-1}(\mathbf {X} _{i}-\mathbf {M} )^{T}$

и

$\mathbf {V} ={\frac {1}{kn}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} _{i}-\mathbf {M} ),$

См. например и ссылки в нем. Параметры ковариации неидентифицируются в том смысле, что для любого масштабного коэффициента s > 0 мы имеем:

${\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,s\mathbf {U} ,{\tfrac {1}{s}}\mathbf {V} ).$

Получение значений из распределения

Выборка из матричного нормального распределения является частным случаем процедуры выборки для многомерного нормального распределения . Позволять $\mathbf {X}$ быть матрицей размера n на p из np независимых выборок из стандартного нормального распределения, так что

$\mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {0} ,\mathbf {I} ,\mathbf {I} ).$

Тогда пусть

$\mathbf {Y} =\mathbf {M} +\mathbf {A} \mathbf {X} \mathbf {B} ,$

так что

$\mathbf {Y} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {AA} ^{T},\mathbf {B} ^{T}\mathbf {B} ),$

где A и B могут быть выбраны с помощью разложения Холецкого или аналогичной операции матричного квадратного корня.

Связь с другими дистрибутивами

Дэвид (1981) обсуждает связь матричного нормального распределения с другими распределениями, включая распределение Вишарта , обратное распределение Вишарта и матричное t-распределение , но использует обозначения, отличные от используемых здесь.

См. также

• Многомерное нормальное распределение

Ссылки

• Дэвид, AP (1981). «Некоторые теории распределения матричных переменных: соображения по обозначениям и байесовское приложение». Биометрика . 68 (1): 265–274. дои : 10.1093/biomet/68.1.265 . JSTOR   2335827 . МР   0614963 .
• Дютийёль, П. (1999). «Алгоритм MLE для матричного нормального распределения». Журнал статистических вычислений и моделирования . 64 (2): 105–123. дои : 10.1080/00949659908811970 .
• Арнольд, С.Ф. (1981), Теория линейных моделей и многомерный анализ , Нью-Йорк: John Wiley & Sons , ISBN  0471050652