Многомерное нормальное распределение

Многомерный нормальный

Функция плотности вероятности Многие точки выборки из многомерного нормального распределения с ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ и ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, показанный вместе с 3-сигмовым эллипсом, двумя маргинальными распределениями и двумя одномерными гистограммами.
Обозначения	${\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$
Параметры	ц € Р к - расположение Σ ∈ R к × к — ковариация ( положительная полуопределенная матрица )
Поддерживать	x ∈ µ + span( ) ⊆ R к
PDF	$(2\pi )^{-k/2}\det({\boldsymbol {\Sigma }})^{-1/2}\,\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})\right),$ существует только тогда, когда Σ положительно определена
Иметь в виду	м
Режим	м
Дисперсия	С
Энтропия	${\frac {k}{2}}\log {\mathord {\left(2\pi \mathrm {e} \right)}}+{\frac {1}{2}}\log \det {\mathord {\left({\boldsymbol {\Sigma }}\right)}}$
МГФ	$\exp \!{\Big (}{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
CF	$\exp \!{\Big (}i{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
Расхождение Кульбака – Лейблера	См. § Расхождение Кульбака – Лейблера.

В теории вероятностей и статистике многомерное нормальное распределение , многомерное распределение Гаусса или совместное нормальное распределение является обобщением одномерного ( одномерного ) нормального распределения на более высокие измерения . Одно из определений состоит в том, что случайный вектор называется нормально распределенным с k -мерными значениями, если каждая линейная комбинация его k компонентов имеет одномерное нормальное распределение. Его важность проистекает главным образом из многомерной центральной предельной теоремы . Многомерное нормальное распределение часто используется для описания, по крайней мере приблизительно, любого набора (возможно) коррелированных действительных случайных величин , каждая из которых группируется вокруг среднего значения.

Определения

Обозначения и параметризация

Многомерное нормальное распределение k -мерного случайного вектора $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ можно записать в следующих обозначениях:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

или чтобы явно было известно, что X является k -мерным,

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

с k -мерным средним вектором

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },$

и $k\times k$ ковариационная матрица

$\Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

такой, что $1\leq i\leq k$ и $1\leq j\leq k$. Обратная и ковариационная матрица называется матрицей точности обозначается ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$.

Стандартный нормальный случайный вектор

Настоящий случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ называется стандартным нормальным случайным вектором, если все его компоненты $X_{i}$ независимы и каждая представляет собой нормально распределенную случайную величину с нулевой средней единичной дисперсией, т.е. если $X_{i}\sim \ {\mathcal {N}}(0,1)$ для всех $i=1\ldots k$.

Центрированный нормальный случайный вектор

Настоящий случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ называется центрированным нормальным случайным вектором, если существует детерминированный $k\times \ell$ матрица ${\boldsymbol {A}}$ такой, что ${\boldsymbol {A}}\mathbf {Z}$ имеет то же распределение, что и $\mathbf {X}$ где $\mathbf {Z}$ — стандартный нормальный случайный вектор с $\ell$ компоненты.

Нормальный случайный вектор

Настоящий случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ называется нормальным случайным вектором, если существует случайный $\ell$-вектор $\mathbf {Z}$, который представляет собой стандартный нормальный случайный вектор, a $k$-вектор $\mathbf {\mu }$и $k\times \ell$ матрица ${\boldsymbol {A}}$, такой, что $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu }$.

Формально:

$\mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ and }}\forall n=1,\ldots ,\ell :Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

Здесь матрица ковариационная ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$.

В вырожденном случае, когда ковариационная матрица сингулярна , соответствующее распределение не имеет плотности; см . в разделе ниже подробности . Этот случай часто возникает в статистике ; например, в распределении вектора остатков в обычной регрессии наименьших квадратов . $X_{i}$ в целом не являются независимыми; их можно рассматривать как результат применения матрицы ${\boldsymbol {A}}$ к набору независимых гауссовских переменных $\mathbf {Z}$.

Эквивалентные определения

Следующие определения эквивалентны определению, данному выше. Случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ имеет многомерное нормальное распределение, если оно удовлетворяет одному из следующих эквивалентных условий.

• Любая линейная комбинация $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ его компонентов нормально распределены . То есть для любого постоянного вектора $\mathbf {a} \in \mathbb {R} ^{k}$, случайная величина $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ имеет одномерное нормальное распределение, где одномерное нормальное распределение с нулевой дисперсией представляет собой точечную массу в своем среднем значении.
• Существует k -вектор $\mathbf {\mu }$ и симметричный положительно полуопределенный $k\times k$ матрица ${\boldsymbol {\Sigma }}$, такой, что характеристическая функция $\mathbf {X}$ является $$\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$$

Сферическое нормальное распределение можно охарактеризовать как уникальное распределение, компоненты которого независимы в любой ортогональной системе координат.

Функция плотности

Двумерная нормальная плотность суставов

Невырожденный случай

Многомерное нормальное распределение называется «невырожденным», если симметричная ковариационная матрица ${\boldsymbol {\Sigma }}$ является положительно определенным . В этом случае распределение имеет плотность

$f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}$

где ${\mathbf {x} }$ является действительным k -мерным вектором-столбцом и $|{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}$ является определяющим фактором ${\boldsymbol {\Sigma }}$, также известный как обобщенная дисперсия . Приведенное выше уравнение сводится к уравнению одномерного нормального распределения, если ${\boldsymbol {\Sigma }}$ это $1\times 1$ матрица (т.е. одно действительное число).

Циркулярно-симметричная версия комплексного нормального распределения имеет несколько иную форму.

изоплотности Каждый локус — локус точек в k -мерном пространстве, каждая из которых дает одно и то же конкретное значение плотности — представляет собой эллипс или его многомерное обобщение; следовательно, многомерная нормаль является частным случаем эллиптических распределений .

Количество ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ известно как расстояние Махаланобиса , которое представляет собой расстояние до контрольной точки. ${\mathbf {x} }$ от среднего ${\boldsymbol {\mu }}$. Квадрат расстояния Махаланобиса $({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})$ разлагается на сумму k членов, каждый из которых представляет собой произведение трех значимых компонентов. Обратите внимание, что в случае, когда $k=1$, распределение сводится к одномерному нормальному распределению, а расстояние Махаланобиса сводится к абсолютному значению стандартного балла . См. также Интервал ниже.

Двумерный случай

В двумерном неособом случае ( $k=\operatorname {rank} \left(\Sigma \right)=2$), функция плотности вероятности вектора ${\text{[XY]}}\prime$ является: $$f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)$$ где $\rho$ это корреляция между $X$ и $Y$ и где $\sigma _{X}>0$ и $\sigma _{Y}>0$. В этом случае,

${\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.$

В двумерном случае первое эквивалентное условие многомерного восстановления нормальности можно сделать менее ограничительным, поскольку достаточно проверить, что счетное множество различных линейных комбинаций $X$ и $Y$ нормальны, чтобы заключить, что вектор ${\text{[XY]}}\prime$ является двумерным нормальным.

Двумерные локусы изоплотности, нанесенные на графике $x,y$-плоскостью являются эллипсы , главные оси которых определяются собственными векторами ковариационной матрицы ${\boldsymbol {\Sigma }}$ (большой и малый полудиаметры эллипса равны квадратному корню из упорядоченных собственных значений).

Двумерное нормальное распределение с центром $(1,3)$ со стандартным отклонением 3 примерно $(0.878,0.478)$ направлении и 1 в ортогональном направлении.

Поскольку абсолютное значение параметра корреляции $\rho$ увеличивается, эти локусы сжимаются к следующей линии:

$y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.$

Это потому, что это выражение, с $\operatorname {sgn}(\rho )$ (где Sign — функция Sign ), замененная на $\rho$, является лучшим линейным несмещенным прогнозом $Y$ учитывая значение $X$.

Вырожденный случай

Если ковариационная матрица ${\boldsymbol {\Sigma }}$ не является полным рангом, то многомерное нормальное распределение вырождено и не имеет плотности. Точнее, он не имеет плотности по отношению к k -мерной мере Лебега (которая является обычной мерой, принимаемой в курсах вероятностей на уровне исчисления). Говорят , что только случайные векторы, распределения которых абсолютно непрерывны относительно меры, имеют плотность (относительно этой меры). Чтобы говорить о плотностях, но не иметь дело с теоретико-мерными сложностями, проще ограничить внимание подмножеством $\operatorname {rank} ({\boldsymbol {\Sigma }})$ координат $\mathbf {x}$ такая, что ковариационная матрица для этого подмножества является положительно определенной; тогда другие координаты можно рассматривать как аффинную функцию этих выбранных координат.

Чтобы осмысленно говорить о плотности в особых случаях, мы должны выбрать другую базовую меру. Используя теорему дезинтеграции, мы можем определить ограничение меры Лебега на $\operatorname {rank} ({\boldsymbol {\Sigma }})$-мерное аффинное подпространство $\mathbb {R} ^{k}$ где поддерживается распределение Гаусса, т.е. $\left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\right\}$. По этой мере распределение имеет плотность следующего мотива:

$f(\mathbf {x} )={\frac {\exp \left(-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right)}{\sqrt {\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})}}}$

где ${\boldsymbol {\Sigma }}^{+}$ является обобщенным обратным и $\det \nolimits ^{*}$ является псевдодетерминантом .

Кумулятивная функция распределения

Понятие кумулятивной функции распределения (cdf) в измерении 1 можно расширить двумя способами на многомерный случай, основанный на прямоугольных и эллипсоидальных областях.

Первый способ — определить cdf $F(\mathbf {x} )$ случайного вектора $\mathbf {X}$ как вероятность того, что все компоненты $\mathbf {X}$ меньше или равны соответствующим значениям в векторе $\mathbf {x}$:

$F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).$

Хотя закрытой формы для $F(\mathbf {x} )$, существует ряд алгоритмов, которые оценивают его численно .

Другой способ - определить cdf $F(r)$ как вероятность того, что образец находится внутри эллипсоида, определяемая его расстоянием Махаланобиса $r$ от гауссовой, прямого обобщения стандартного отклонения. Для вычисления значений этой функции существуют замкнутые аналитические формулы: следующее.

Интервал

Дополнительная информация: Область достоверности и статистика t-квадрата Хотеллинга.

Интервал x многомерного нормального распределения дает область, состоящую из тех векторов , которые удовлетворяют

$({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).$

Здесь ${\mathbf {x} }$ это $k$-мерный вектор, ${\boldsymbol {\mu }}$ это известный $k$-мерный средний вектор, ${\boldsymbol {\Sigma }}$ - известная ковариационная матрица и $\chi _{k}^{2}(p)$ - функция квантиля вероятности $p$ распределения хи-квадрат с $k$ степени свободы. Когда $k=2,$ выражение определяет внутреннюю часть эллипса, а распределение хи-квадрат упрощается до экспоненциального распределения со средним значением, равным двум (скорость равна половине).

Дополнительная кумулятивная функция распределения (хвостовое распределение)

Дополнительная кумулятивная функция распределения (ccdf) или хвостовое распределение. определяется как ${\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)$. Когда $\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$, затем ccdf можно записать как вероятность максимума зависимых гауссовских переменных:

${\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).$

Хотя простой замкнутой формулы для вычисления ccdf не существует, максимум зависимых гауссовских переменных может быть быть точно оценен с помощью метода Монте-Карло .

Характеристики

Вероятность в разных областях

Вверху: вероятность двумерной нормальности в области. $x\sin y-y\cos x>1$ (синие регионы). В центре: вероятность трехмерной нормали в тороидальной области. Внизу: сходящийся интеграл Монте-Карло вероятности 4-мерной нормали в 4d-регулярной многогранной области, определяемой формулой $\sum _{i=1}^{4}\vert x_{i}\vert <1$. Все они рассчитываются численным методом трассировки лучей.

Вероятностное содержание многомерной нормали в квадратичной области, определяемое формулой $q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0$ (где $\mathbf {Q_{2}}$ это матрица, ${\boldsymbol {q_{1}}}$ является вектором, и $q_{0}$ является скаляром), который важен для байесовской классификации/теории принятия решений с использованием гауссовского дискриминантного анализа, определяется обобщенным распределением хи-квадрат . Содержимое вероятности в любой общей области, определяемой формулой $f({\boldsymbol {x}})>0$ (где $f({\boldsymbol {x}})$ — общая функция) можно вычислить с помощью численного метода трассировки лучей ( код Матлаба ).

Высшие моменты

Основная статья: теорема Иссерлиса

Моменты k порядка - го по x определяются выражением

$\mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]$

где р ₁ + р ₂ + ⋯ + р _N знак равно k .

Центральные моменты k -го порядка следующие:

1. Если k нечетно, µ _{1, ..., N} ( x - µ ) знак равно 0 .
2. Если k четно с k = 2 λ , то $$\mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)$$

где сумма берется по всем распределениям набора $\left\{1,\ldots ,2\lambda \right\}$ на λ (неупорядоченные) пары. То есть для k -го (= 2 λ = 6) центрального момента суммируются произведения ковариаций λ = 3 (в интересах экономии ожидаемое значение µ принимается равным 0):

${\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}$

Это дает ${\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}$ члены в сумме (15 в приведенном выше случае), каждое из которых является произведением ковариаций λ (в данном случае 3). Для моментов четвертого порядка (четыре переменные) имеется три члена. Для моментов шестого порядка имеется 3 × 5 = 15 членов, а для моментов восьмого порядка — 3 × 5 × 7 = 105 членов.

Затем ковариации определяются путем замены членов списка $[1,\ldots ,2\lambda ]$ соответствующими членами списка, состоящего из r ₁ единиц, затем r ₂ двоек и т. д. Чтобы проиллюстрировать это, рассмотрим следующий случай центрального момента 4-го порядка:

${\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}$

где $\sigma _{ij}$ — ковариация X _i и X _j . С помощью описанного выше метода сначала находится общий случай для k -го момента с k различными X- переменными: $E\left[X_{i}X_{j}X_{k}X_{n}\right]$, а затем это соответственно упрощается. Например, для $\operatorname {E} [X_{i}^{2}X_{k}X_{n}]$, положим X _i = X _j и воспользуемся тем фактом, что $\sigma _{ii}=\sigma _{i}^{2}$.

Функции нормального вектора

а: Плотность вероятности функции $\cos x^{2}$ одной нормальной переменной $x$ с $\mu =-2$ и $\sigma =3$. б: Плотность вероятности функции $x^{y}$ нормального вектора $(x,y)$, со средним ${\boldsymbol {\mu }}=(1,2)$и ковариация $\mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}$. c: Тепловая карта совместной плотности вероятности двух функций нормального вектора. $(x,y)$, со средним ${\boldsymbol {\mu }}=(-2,5)$и ковариация $\mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}$. d: Плотность вероятности функции $\sum _{i=1}^{4}\vert x_{i}\vert$ из 4 стандартных нормальных переменных iid. Они рассчитываются численным методом трассировки лучей.

Квадратичная форма нормального вектора ${\boldsymbol {x}}$, $q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}$ (где $\mathbf {Q_{2}}$ это матрица, ${\boldsymbol {q_{1}}}$ является вектором, и $q_{0}$ является скаляром), является обобщенной переменной хи-квадрат . Направление вектора нормали соответствует прогнозируемому нормальному распределению .

Если $f({\boldsymbol {x}})$ — это общая скалярная функция нормального вектора, ее функция плотности вероятности , кумулятивная функция распределения и обратная кумулятивная функция распределения могут быть вычислены с помощью численного метода трассировки лучей ( код Matlab ).

Функция правдоподобия

Если известны среднее значение и ковариационная матрица, логарифмическая вероятность наблюдаемого вектора ${\boldsymbol {x}}$ это просто журнал функции плотности вероятности :

$\ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]$,

Циркулярно-симметричный вариант нецентрального комплексного случая, когда ${\boldsymbol {z}}$ вектор комплексных чисел, будет

$\ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )$

т.е. с сопряженным транспонированием (обозначенным $\dagger$), заменяя обычное транспонирование (обозначается $'$). Это немного отличается от реального случая, поскольку циркулярно-симметричная версия комплексного нормального распределения имеет несколько иной вид константы нормализации .

Аналогичные обозначения используются для множественной линейной регрессии .

Поскольку логарифмическая вероятность нормального вектора представляет собой квадратичную форму нормального вектора, она распределяется как обобщенная переменная хи-квадрат .

Дифференциальная энтропия

Дифференциальная энтропия многомерного нормального распределения равна

${\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\&={\frac {1}{2}}\ln {}\left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}+{\frac {k}{2}}\ln {}2\pi +{\frac {1}{2}}\ln {}\left|{\boldsymbol {\Sigma }}\right|\\\end{aligned}}$,

где столбцы обозначают определитель матрицы , k — размерность векторного пространства, а результат имеет единицы измерения nats .

Расхождение Кульбака – Лейблера

Расхождение Кульбака –Лейблера от ${\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})$ к ${\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})$для неособых матриц Σ ₁ и Σ ₀ равно:

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},$

где $|\cdot |$ обозначает определитель матрицы , $tr(\cdot )$ это след , $ln(\cdot )$ натуральный логарифм и $k$ — размерность векторного пространства.

Логарифм поскольку необходимо брать по основанию e, два члена, следующие за логарифмом, сами являются логарифмами по основанию e выражений, которые либо являются факторами функции плотности, либо возникают естественным образом. Таким образом, уравнение дает результат, измеряемый в натс . Разделив все приведенное выше выражение на log _e 2, получим расхождение в битах .

Когда ${\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}$,

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.$

Взаимная информация

Взаимная информация распределения представляет собой частный случай расхождения Кульбака – Лейблера , в котором $P$ полное многомерное распределение и $Q$ является продуктом одномерных предельных распределений. В обозначениях раздела о расходимости Кульбака – Лейблера этой статьи: ${\boldsymbol {\Sigma }}_{1}$ представляет собой диагональную матрицу с диагональными элементами ${\boldsymbol {\Sigma }}_{0}$, и ${\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}$. Итоговая формула взаимной информации:

$I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,$

где ${\boldsymbol {\rho }}_{0}$ – корреляционная матрица, построенная из ${\boldsymbol {\Sigma }}_{0}$.

В двумерном случае выражение взаимной информации имеет вид:

$I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).$

Нормальность суставов

Нормально распределенные и независимые

Если $X$ и $Y$ нормально распределены и независимы , это означает, что они «совместно нормально распределены», т. е. пара $(X,Y)$ должно иметь многомерное нормальное распределение. Однако пара совместно нормально распределенных переменных не обязательно должна быть независимой (будет таковой только в том случае, если она некоррелирована, $\rho =0$ ).

Две нормально распределенные случайные величины не обязательно должны быть совместно двумерными нормальными.

См. также: нормально распределенные и некоррелированные не подразумевают независимость.

Тот факт, что две случайные величины $X$ и $Y$ оба имеют нормальное распределение, это не означает, что пара $(X,Y)$ имеет совместное нормальное распределение. Простым примером является тот, в котором X имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1, и $Y=X$ если $|X|>c$ и $Y=-X$ если $|X|<c$, где $c>0$. Существуют аналогичные контрпримеры для более чем двух случайных величин. В общем, они суммируются в смешанной модели .

Корреляции и независимость

В общем, случайные величины могут быть некоррелированными, но статистически зависимыми. Но если случайный вектор имеет многомерное нормальное распределение, то любые два или более его некоррелированных компонента являются независимыми . Это означает, что любые два или более его компонента, попарно независимые, являются независимыми. Но, как указывалось выше, неверно, что две случайные величины, которые ( отдельно , незначительно) нормально распределены и некоррелированы, независимы.

Условные распределения

Если N -мерный x разбит следующим образом

$\mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}$

и, соответственно, µ и Σ разбиваются следующим образом

${\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}$

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}$

тогда распределение x ₁ при условии x ₂ = a является многомерным нормальным ( Икс ₁ | Икс ₂ знак равно а ) ~ N ( μ , Σ ) где

${\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)$

и ковариационная матрица

${\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.$

Здесь ${\boldsymbol {\Sigma }}_{22}^{-1}$ является обобщенной инверсией ${\boldsymbol {\Sigma }}_{22}$. Матрица ${\overline {\boldsymbol {\Sigma }}}$ является дополнением к 22 ₂₂ в . Шура То есть приведенное выше уравнение эквивалентно инвертированию общей ковариационной матрицы, удалению строк и столбцов, соответствующих обусловленным переменным, и обратному обращению для получения условной ковариационной матрицы.

Обратите внимание, что знание того, что x ₂ = a изменяет дисперсию, хотя новая дисперсия не зависит от конкретного значения a ; что еще более удивительно, среднее значение смещается на ${\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)$; сравните это с ситуацией, когда значение a не известно , и в этом случае x ₁ будет иметь распределение ${\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)$.

Интересный факт, полученный для доказательства этого результата, состоит в том, что случайные векторы $\mathbf {x} _{2}$ и $\mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}$ независимы.

Матрица Σ ₁₂ Σ ₂₂ ⁻¹ известна как матрица коэффициентов регрессии .

Двумерный случай

В двумерном случае, когда x разбивается на $X_{1}$ и $X_{2}$, условное распределение $X_{1}$ данный $X_{2}$ является

$X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)$

где $\rho$ коэффициент корреляции между $X_{1}$ и $X_{2}$.

Двумерное условное ожидание

В общем случае

${\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)$

Условное ожидание X ₁ при условии X ₂ равно:

$\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})$

Доказательство: результат получается, если взять математическое ожидание условного распределения $X_{1}\mid X_{2}$ выше.

В центрированном случае с единичными дисперсиями

${\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)$

Условное ожидание X ₁ при условии X ₂ равно

$\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}$

и условная дисперсия равна

$\operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};$

таким образом, условная дисперсия не зависит от x ₂ .

Условное ожидание X ₁ при условии, что X ₂ меньше/больше z, равно:

$\operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},$

$\operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},$

где окончательное соотношение здесь называется обратным коэффициентом Миллса .

Доказательство: два последних результата получены с использованием результата $\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}$, так что

$\operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)$ а затем используя свойства ожидания усеченного нормального распределения .

Маржинальные распределения

Чтобы получить маргинальное распределение по подмножеству многомерных нормальных случайных величин, нужно только исключить нерелевантные переменные (переменные, которые нужно исключить) из среднего вектора и ковариационной матрицы. Доказательство этого следует из определений многомерного нормального распределения и линейной алгебры.

Пример

Пусть X = [ X ₁ , X ₂ , X ₃ ] — многомерные нормальные случайные величины со средним вектором µ = [ µ ₁ , µ ₂ , µ ₃ ] и ковариационной матрицей Σ (стандартная параметризация для многомерных нормальных распределений). Тогда совместное распределение X ′ = [ X ₁ , X ₃ ] является многомерным нормальным со средним вектором µ ′ = [ µ ₁ , µ ₃ ] и ковариационной матрицей ${\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}$.

Аффинное преобразование

Если Y = c + BX — преобразование аффинное $\mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),$ где c - это $M\times 1$ вектор констант и B — константа $M\times N$ матрица, то Y имеет многомерное нормальное распределение с ожидаемым значением c + Bμ и дисперсией BΣB ^Т то есть $\mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)$. В частности, любое подмножество X _i имеет предельное распределение, которое также является многомерным нормальным. Чтобы убедиться в этом, рассмотрим следующий пример: чтобы извлечь подмножество ( X ₁ , X ₂ , X ₄ ) ^Т , использовать

$\mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}$

который извлекает нужные элементы напрямую.

Другим следствием является то, что распределение Z = b · X , где b — постоянный вектор с тем же количеством элементов, что и X , а точка указывает скалярное произведение , является одномерным гауссовским с $Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)$. Этот результат получается при использовании

$\mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.$

Обратите внимание, что из положительной определенности Σ следует, что дисперсия скалярного произведения должна быть положительной.

Аффинное преобразование X такое как 2 X, — это не то же самое, что двух независимых реализаций X. , сумма

Геометрическая интерпретация

См. также: Уверенная область.

Контуры эквивалентности неособого многомерного нормального распределения представляют собой эллипсоиды (т.е. аффинные преобразования гиперсфер ) с центром в среднем. Следовательно, многомерное нормальное распределение является примером класса эллиптических распределений . Направления главных осей эллипсоидов задаются собственными векторами ковариационной матрицы ${\boldsymbol {\Sigma }}$. Квадраты относительных длин главных осей задаются соответствующими собственными значениями.

Если Σ = UΛU ^Т = UΛ ^1/2 ( UΛ ^1/2 ) ^Т является собственным разложением , где столбцы U являются единичными собственными векторами, а Λ является диагональной матрицей собственных значений, то мы имеем

$\mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).$

Более того, U можно выбрать в качестве матрицы вращения , поскольку инвертирование оси не влияет на N (0, Λ ), но инвертирование столбца меняет знак U. определителя Распределение N ( µ , Σ ) фактически является N (0, I ) масштабированным с помощью Λ ^1/2 , повёрнутый U и переведённый на µ .

И наоборот, любой выбор µ , матрицы полного ранга U и положительных диагональных элементов Λ _i дает неособое многомерное нормальное распределение. Если любой Λ _i равен нулю, а U квадратный, результирующая ковариационная матрица UΛU ^Т является единичным . Геометрически это означает, что каждый контурный эллипсоид бесконечно тонкий и имеет нулевой объем в n -мерном пространстве, поскольку хотя бы одна из главных осей имеет нулевую длину; это вырожденный случай .

«Радиус вокруг истинного среднего значения двумерной нормальной случайной величины, переписанной в полярных координатах (радиус и угол), соответствует распределению Хойта ».

В одном измерении вероятность найти выборку нормального распределения в интервале $\mu \pm \sigma$ составляет примерно 68,27%, но в более высоких размерностях вероятность найти выборку в области эллипса стандартного отклонения ниже.

Размерность	Вероятность
1	0.6827
2	0.3935
3	0.1987
4	0.0902
5	0.0374
6	0.0144
7	0.0052
8	0.0018
9	0.0006
10	0.0002

Статистический вывод

Оценка параметров

Дополнительная информация: Оценка ковариационных матриц.

Вывод максимального правдоподобия оценки ковариационной матрицы многомерного нормального распределения прост.

Короче говоря, функция плотности вероятности (pdf) многомерного нормального значения равна

$f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)$

а ML-оценщик ковариационной матрицы из выборки из n наблюдений равен

${\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }$

это просто выборочная ковариационная матрица . Это смещенная оценка, математическое ожидание которой равно

$E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.$

Несмещенная выборочная ковариация — это

${\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]$ (матричная форма; $I$ это $K\times K$ единичная матрица, J представляет собой $K\times K$ матрица единиц; термин в скобках, таким образом, является $K\times K$ центрирующая матрица)

Информационная матрица Фишера для оценки параметров многомерного нормального распределения имеет выражение замкнутого вида. Это можно использовать, например, для вычисления границы Крамера-Рао для оценки параметров в этой ситуации. см . в информации Fisher Дополнительную информацию .

Байесовский вывод

В байесовской статистике сопряженный априор среднего вектора представляет собой еще одно многомерное нормальное распределение, а сопряженный априор ковариационной матрицы представляет собой обратное распределение Вишарта. ${\mathcal {W}}^{-1}$ . Предположим тогда, что n было сделано наблюдений.

$\mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$

и что был назначен сопряженный априор, где

$p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),$

где

$p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),$

и

$p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).$

Затем

${\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}$

где

${\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}$

Многомерные тесты на нормальность

Многомерные тесты на нормальность проверяют заданный набор данных на сходство с многомерным нормальным распределением . Нулевая гипотеза заключается в том, что набор данных аналогичен нормальному распределению, поэтому достаточно маленькое p значение указывает на ненормальные данные. Многомерные тесты на нормальность включают тест Кокса – Смолла. и адаптация Смита и Джайна теста Фридмана-Рафски, созданного Ларри Рафски и Джеромом Фридманом .

тест Мардии основано на многомерном расширении мер асимметрии и эксцесса . Для выборки { x ₁ , ..., x _n } k -мерных векторов мы вычисляем

${\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{\mathrm {T} }\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}$

При нулевой гипотезе многомерной нормальности статистика A будет иметь приблизительно распределение хи-квадрат с ⁠ 1/6 + + ⁠ ⋅ k ( k 1)( k 2) степеней свободы, и B будет примерно стандартным нормалем N (0,1).

Статистика эксцесса Мардиа искажена и очень медленно сходится к предельному нормальному распределению. Для образцов среднего размера $(50\leq n<400)$, параметры асимптотического распределения статистики эксцесса изменяются Для небольших выборочных испытаний ( $n<50$) используются эмпирические критические значения. Таблицы критических значений для обеих статистик даны Ренчером. для к = 2, 3, 4.

Тесты Мардиа аффинно-инвариантны, но несогласованны. Например, многомерный тест на асимметрию не согласуется с симметричные ненормальные альтернативы.

Тест BHEP вычисляет норму разности между эмпирической характеристической функцией и теоретической характеристической функцией нормального распределения. Расчет нормы производится в формате L ² ( µ ) пространство суммируемых с квадратом функций относительно весовой функции Гаусса $\mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}$. Статистика теста

${\begin{aligned}T_{\beta }&=\int _{\mathbb {R} ^{k}}\left|{1 \over n}\sum _{j=1}^{n}e^{i\mathbf {t} ^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1/2}(\mathbf {x} _{j}-{\bar {\mathbf {x} )}}}-e^{-|\mathbf {t} |^{2}/2}\right|^{2}\;{\boldsymbol {\mu }}_{\beta }(\mathbf {t} )\,d\mathbf {t} \\&={1 \over n^{2}}\sum _{i,j=1}^{n}e^{-{\beta ^{2} \over 2}(\mathbf {x} _{i}-\mathbf {x} _{j})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-\mathbf {x} _{j})}-{\frac {2}{n(1+\beta ^{2})^{k/2}}}\sum _{i=1}^{n}e^{-{\frac {\beta ^{2}}{2(1+\beta ^{2})}}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})}+{\frac {1}{(1+2\beta ^{2})^{k/2}}}\end{aligned}}$

Предельное распределение этой тестовой статистики представляет собой взвешенную сумму случайных величин хи-квадрат.

Доступен подробный обзор этих и других процедур испытаний.

Классификация на многомерные нормальные классы

Слева: Классификация семи многомерных нормальных классов. Цветные эллипсы — это эллипсы ошибок с точностью до 1 стандартного отклонения. Черным отмечены границы между областями классификации. $p_{e}$ – вероятность полной ошибки классификации. Справа: матрица ошибок. $p_{ij}$ - вероятность классифицировать образец от нормального $i$ как $j$. Они рассчитываются численным методом трассировки лучей. ( код Матлаба ).

Гауссов дискриминантный анализ

Предположим, что наблюдения (которые являются векторами) предположительно происходят из одного из нескольких многомерных нормальных распределений с известными средними значениями и ковариациями. Тогда любое данное наблюдение можно отнести к распределению, из которого оно имеет наибольшую вероятность возникновения. Эта процедура классификации называется гауссовским дискриминантным анализом. Эффективность классификации, то есть вероятности различных результатов классификации, а также общая ошибка классификации, могут быть рассчитаны с помощью численного метода трассировки лучей. ( код Матлаба ).

Вычислительные методы

Получение значений из распределения

Широко используемый метод рисования (выборки) случайного вектора x из N -мерного многомерного нормального распределения со средним вектором µ и ковариационной матрицей Σ работает следующим образом:

1. Найдите любую вещественную матрицу A такую, что AA ^Т = Σ . Когда Σ положительно определена, разложение Холецкого обычно используется , и всегда можно использовать расширенную форму этого разложения (поскольку ковариационная матрица может быть только положительно-полуопределенной) в обоих случаях подходящая матрица A. получается Альтернативой является использование матрицы A = UΛ ^1/2 полученное спектральным разложением Σ = UΛU ⁻¹ Σ ​ . Первый подход более прост с вычислительной точки зрения, но матрицы A изменяются для различного порядка элементов случайного вектора, тогда как второй подход дает матрицы, которые связаны простым переупорядочением. Теоретически оба подхода дают одинаково хорошие способы определения подходящей матрицы A , но есть различия во времени вычислений.
2. Пусть z = ( z ₁ , ..., z _N ) ^Т быть вектором, компоненты которого являются N независимыми стандартными нормальными переменными (которые можно сгенерировать, например, с помощью преобразования Бокса – Мюллера ).
3. Пусть x будет µ + Az . Оно имеет желаемое распределение благодаря свойству аффинного преобразования.

См. также

• Распределение Хи , PDF ( 2-нормы евклидова норма или длина вектора ) многомерного нормально распределенного вектора (некоррелированного и центрированного по нулю).
  • Распределение Рэлея , PDF-файл длины вектора двумерного нормально распределенного вектора (некоррелированного и с центром в нуле)
  • Распределение риса , PDF-файл длины вектора двумерного нормально распределенного вектора (некоррелированного и нецентрированного)
  • Распределение Хойта , PDF-файл длины вектора двумерного нормально распределенного вектора (коррелированного и центрированного)
• Комплексное нормальное распределение , применение двумерного нормального распределения
• Copula для определения гауссовой или нормальной модели копулы.
• Многомерное t-распределение — еще одно широко используемое сферически-симметричное многомерное распределение.
• Расширение многомерного устойчивого распределения многомерного нормального распределения, когда индекс (показатель степени характеристической функции) находится между нулем и двумя.
• Расстояние Махаланобис
• Распределение желаний
• Матричное нормальное распределение

Ссылки

Литература

• Ренчер, AC (1995). Методы многомерного анализа . Нью-Йорк: Уайли.
• Тонг, ЮЛ (1990). Многомерное нормальное распределение . Серия Спрингера по статистике. Нью-Йорк: Springer-Verlag. дои : 10.1007/978-1-4613-9655-0 . ISBN  978-1-4613-9657-4 . S2CID   120348131 .