Ковариационная матрица

Не путать с матрицей перекрестной ковариации .

Двумерная гауссова функция плотности вероятности с центром в точке (0, 0) с ковариационной матрицей, заданной выражением ${\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}$

Точки выборки из двумерного распределения Гаусса со стандартным отклонением 3 примерно в нижнем левом – верхнем правом направлении и 1 в ортогональном направлении. Поскольку компоненты x и y изменяются совместно, дисперсии $x$ и $y$не полностью описывают распространение. А $2\times 2$необходима ковариационная матрица; направления стрелок соответствуют собственным векторам этой ковариационной матрицы, а их длины — квадратным корням собственных значений .

В теории вероятностей и статистике ковариационная матрица (также известная как матрица автоковариации , матрица дисперсии , матрица дисперсии или матрица дисперсии-ковариации ) представляет собой квадратную матрицу , дающую ковариацию между каждой парой элементов данного случайного вектора .

Интуитивно, ковариационная матрица обобщает понятие дисперсии на несколько измерений. Например, вариации в наборе случайных точек в двумерном пространстве не могут быть полностью охарактеризованы одним числом, равно как и дисперсии в $x$ и $y$инструкции содержат всю необходимую информацию; а $2\times 2$ матрица будет необходима для полной характеристики двумерного изменения.

Любая ковариационная матрица симметрична и положительно полуопределена , а ее главная диагональ содержит дисперсии (т. е. ковариацию каждого элемента с самим собой).

Ковариационная матрица случайного вектора $\mathbf {X}$ обычно обозначается $\operatorname {K} _{\mathbf {X} \mathbf {X} }$, $\Sigma$ или $S$.

Определение

В этой статье жирным шрифтом без подписки $\mathbf {X}$ и $\mathbf {Y}$ используются для обозначения случайных векторов, а римские индексы $X_{i}$ и $Y_{i}$ используются для обозначения скалярных случайных величин.

Если записи в вектор-столбце

$$\mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathsf {T}}$$

являются случайными величинами , каждая из которых имеет конечную дисперсию и ожидаемое значение , тогда ковариационная матрица $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ матрица, $(i,j)$ запись - это ковариация

$$\operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]$$

где оператор $\operatorname {E}$ обозначает ожидаемое значение (среднее значение) своего аргумента.

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, вслед за специалистом по теории вероятностей Уильямом Феллером в его двухтомной книге « Введение в теорию вероятностей и ее приложения» , вызвать матрицу $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ дисперсия вектора случайного $\mathbf {X}$, потому что это естественное обобщение одномерной дисперсии на более высокие измерения. Другие называют ее ковариационной матрицей , потому что это матрица ковариаций между скалярными компонентами вектора. $\mathbf {X}$.

$$\operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].$$

Обе формы вполне стандартны, и между ними нет никакой двусмысленности. Матрица $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ также часто называют дисперсионно-ковариационной матрицей , поскольку диагональные члены на самом деле являются дисперсиями.

Для сравнения, обозначение матрицы взаимной ковариации между двумя векторами имеет вид

$$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].$$

Свойства

Связь с матрицей автокорреляции

Матрица автоковариации $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ связано с матрицей автокорреляции $\operatorname {R} _{\mathbf {X} \mathbf {X} }$ к

$$\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}$$

где матрица автокорреляции определяется как $\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]$.

корреляционной

Дополнительная информация: Корреляционная матрица.

Объектом, тесно связанным с ковариационной матрицей, является матрица коэффициентов корреляции моментов произведения Пирсона между каждой из случайных величин в случайном векторе. $\mathbf {X}$, который можно записать как

$$\operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},$$

где $\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })$ – матрица диагональных элементов $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ (т.е. диагональная матрица дисперсий $X_{i}$ для $i=1,\dots ,n$).

Эквивалентно, корреляционную матрицу можно рассматривать как ковариационную матрицу стандартизированных случайных величин. $X_{i}/\sigma (X_{i})$ для $i=1,\dots ,n$.

$$\operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.$$

Каждый элемент на главной диагонали корреляционной матрицы представляет собой корреляцию случайной величины с самой собой, которая всегда равна 1. Каждый недиагональный элемент находится в диапазоне от -1 до +1 включительно.

ковариационная

Обратная эта матрица, $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}$, если она существует, является обратной матрицей ковариации (или обратной матрицей концентрации), также известной как матрица точности (или матрица концентрации ).

Точно так же, как ковариационная матрица может быть записана как масштабирование корреляционной матрицы с помощью предельных отклонений:

$$\operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}{\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}$$

Итак, используя идею частичной корреляции и частичной дисперсии, обратную ковариационную матрицу можно выразить аналогичным образом:

$$\operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}{\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}...}&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}...x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}...}&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}...x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}...x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}...x_{n-1}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}$$

Эта двойственность мотивирует ряд других двойственностей между маргинализацией и обусловленностью гауссовских случайных величин.

Основные свойства

Для $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]$ и ${\boldsymbol {\mu }}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]$, где $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathsf {T}}$ это $n$-мерная случайная величина, применяются следующие основные свойства:

1. $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\mathsf {T}}} )-{\boldsymbol {\mu }}_{\mathbf {X} }{\boldsymbol {\mu }}_{\mathbf {X} }^{\mathsf {T}}$
2. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ является положительно-полуопределенным , т.е. $\mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}$
3. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ симметричен т.е. , $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{\mathsf {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }$
4. Для любой константы (т.е. неслучайной) $m\times n$ матрица $\mathbf {A}$ и постоянный $m\times 1$ вектор $\mathbf {a}$, надо $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\mathsf {T}}$
5. Если $\mathbf {Y}$ — еще один случайный вектор той же размерности, что и $\mathbf {X}$, затем $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$ где $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ представляет собой перекрестной ковариации матрицу $\mathbf {X}$ и $\mathbf {Y}$.

Блочные матрицы

Совместное среднее ${\boldsymbol {\mu }}$ и совместная ковариационная матрица ${\boldsymbol {\Sigma }}$ из $\mathbf {X}$ и $\mathbf {Y}$ можно записать в блочной форме

$${\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}$$

где $\operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )$, $\operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )$ и $\operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\mathsf {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$.

$\operatorname {K} _{\mathbf {XX} }$ и $\operatorname {K} _{\mathbf {YY} }$ могут быть идентифицированы как матрицы дисперсии предельных распределений для $\mathbf {X}$ и $\mathbf {Y}$ соответственно.

Если $\mathbf {X}$ и $\mathbf {Y}$ распределены совместно нормально ,

$$\mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\operatorname {\boldsymbol {\Sigma }} ),$$

то условное распределение для $\mathbf {Y}$ данный $\mathbf {X}$ дан кем-то

$$\mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}({\boldsymbol {\mu }}_{\mathbf {Y|X} },\operatorname {K} _{\mathbf {Y|X} }),$$

определяется условным средним

$${\boldsymbol {\mu }}_{\mathbf {Y} |\mathbf {X} }={\boldsymbol {\mu }}_{\mathbf {Y} }+\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -{\boldsymbol {\mu }}_{\mathbf {X} }\right)$$

и условная дисперсия

$$\operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.$$

Матрица $\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}$ известна как матрица коэффициентов регрессии , а в линейной алгебре $\operatorname {K} _{\mathbf {Y|X} }$ является Шура дополнением $\operatorname {K} _{\mathbf {XX} }$ в ${\boldsymbol {\Sigma }}$.

Матрица коэффициентов регрессии часто может быть представлена ​​в транспонированной форме: $\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }$, подходит для последующего умножения вектора-строки независимых переменных $\mathbf {X} ^{\mathsf {T}}$ вместо предварительного умножения вектор-столбца $\mathbf {X}$. В таком виде они соответствуют коэффициентам, полученным путем обращения матрицы нормальных уравнений обыкновенного наименьших квадратов (МНК).

Матрица частичной ковариации

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую коррелируют, но и косвенно коррелируют через другие переменные. Часто такие косвенные синфазные корреляции тривиальны и неинтересны. Их можно подавить, вычислив частичную ковариационную матрицу, то есть часть ковариационной матрицы, которая показывает только интересную часть корреляций.

Если два вектора случайных величин $\mathbf {X}$ и $\mathbf {Y}$ коррелируются через другой вектор $\mathbf {I}$, последние корреляции подавляются в матрице

$$\operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).$$

Частичная ковариационная матрица $\operatorname {K} _{\mathbf {XY\mid I} }$ по сути, это простая ковариационная матрица $\operatorname {K} _{\mathbf {XY} }$ как будто неинтересные случайные величины $\mathbf {I}$ держались постоянными.

распределения

Если вектор-столбец $\mathbf {X}$ из $n$ возможно, коррелированные случайные величины совместно нормально распределены или, в более общем случае, эллиптически распределены , тогда ее функция плотности вероятности $\operatorname {f} (\mathbf {X} )$ может быть выражено через ковариационную матрицу ${\boldsymbol {\Sigma }}$ следующее

$$\operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|{\boldsymbol {\Sigma }}|^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\mathsf {T}}\Sigma ^{-1}(X-\mu )} \right),$$

где ${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]$ и $|{\boldsymbol {\Sigma }}|$ является определяющим фактором ${\boldsymbol {\Sigma }}$.

Ковариационная матрица как линейный оператор

Основная статья: Ковариационный оператор

Применительно к одному вектору ковариационная матрица отображает линейную комбинацию c случайных величин X в вектор ковариаций с этими переменными: $\mathbf {c} ^{\mathsf {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\mathsf {T}}\mathbf {X} ,\mathbf {X} )$. Рассматриваемый как билинейная форма , он дает ковариацию между двумя линейными комбинациями: $\mathbf {d} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\mathsf {T}}\mathbf {X} ,\mathbf {c} ^{\mathsf {T}}\mathbf {X} )$. Тогда дисперсия линейной комбинации равна $\mathbf {c} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c}$, его ковариантность сама с собой.

Аналогичным образом, (псевдо) обратная ковариационная матрица дает внутренний продукт $\langle c-\mu |\Sigma ^{+}|c-\mu \rangle$, что вызывает расстояние Махаланобиса , меру «маловероятности» c .

Какие матрицы являются ковариационными?

Исходя из приведенного выше тождества, пусть $\mathbf {b}$ быть $(p\times 1)$ вектор с действительным знаком, тогда

$$\operatorname {var} (\mathbf {b} ^{\mathsf {T}}\mathbf {X} )=\mathbf {b} ^{\mathsf {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,$$

которая всегда должна быть неотрицательной, поскольку это дисперсия действительной случайной величины, поэтому ковариационная матрица всегда является положительно-полуопределенной матрицей .

Приведенный выше аргумент можно расширить следующим образом:

$${\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}$$

где последнее неравенство следует из наблюдения, что $w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])$ является скаляром.

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы увидеть это, предположим $M$ это $p\times p$симметричная положительно-полуопределенная матрица. Из конечномерного случая спектральной теоремы следует, что $M$ имеет неотрицательный симметричный квадратный корень , который можно обозначить через M ^1/2 . Позволять $\mathbf {X}$ быть любым $p\times 1$ случайная величина со значением вектора-столбца, ковариационная матрица которой представляет собой $p\times p$единичная матрица. Затем

$$\operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .$$

Сложные случайные векторы

Дополнительная информация: Комплексный случайный вектор § Ковариационная матрица и псевдоковариационная матрица.

Дисперсия значением сложной случайной величины с скалярной ожидаемым $\mu$ традиционно определяется с помощью комплексного сопряжения :

$$\operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],$$

где комплексно-сопряженное комплексное число $z$ обозначается ${\overline {z}}$; таким образом, дисперсия комплексной случайной величины является действительным числом.

Если $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathsf {T}}$ — вектор-столбец комплексных случайных величин, то сопряженное транспонирование $\mathbf {Z} ^{\mathsf {H}}$образуется как транспонированием, так и конъюгированием. В следующем выражении произведение вектора на сопряженное с ним транспонирование дает в называемую ковариационной матрицей : качестве математического ожидания квадратную матрицу,

$$\operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],$$

Полученная таким образом матрица будет эрмитовой положительно-полуопределенной , с действительными числами на главной диагонали и комплексными числами вне диагонали.

Характеристики

• Ковариационная матрица является эрмитовой матрицей , т.е. $\operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathsf {H}}=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }$.
• Диагональные элементы ковариационной матрицы действительны.

Матрица псевдоковариации

Для комплексных случайных векторов другой вид второго центрального момента — матрица псевдоковариации (также называемая матрицей отношений ) определяется следующим образом:

$$\operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]$$

В отличие от ковариационной матрицы, определенной выше, эрмитова транспозиция заменяется транспозицией в определении. Его диагональные элементы могут иметь комплексное значение; это сложная симметричная матрица .

Оценка

Основная статья: Оценка ковариационных матриц

Если $\mathbf {M} _{\mathbf {X} }$ и $\mathbf {M} _{\mathbf {Y} }$ являются центрированными матрицами данных размерности $p\times n$ и $q\times n$ соответственно, т. е. с n столбцами наблюдений за p и q строками переменных, из которых были вычтены средние значения строк, тогда, если средние значения строк были оценены на основе данных, выборочные ковариационные матрицы $\mathbf {Q} _{\mathbf {XX} }$ и $\mathbf {Q} _{\mathbf {XY} }$ можно определить как

$$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}$$

или, если средние значения строки были известны априори,

$$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}.$$

Эти ковариационные матрицы эмпирической выборки являются наиболее простыми и наиболее часто используемыми оценщиками ковариационных матриц, но существуют и другие оценки, в том числе регуляризованные оценки или оценки сжатия, которые могут иметь лучшие свойства.

Приложения

Ковариационная матрица является полезным инструментом во многих различных областях. Из него матрицу преобразования можно вывести , называемую преобразованием отбеливания , позволяющую полностью декоррелировать данные. или, с другой точки зрения, найти оптимальную основу для компактного представления данных. ( см. в разделе «Фактор Рэлея» формальное доказательство и дополнительные свойства ковариационных матриц ). Это называется анализом главных компонент (PCA) и преобразованием Карунена-Лоэва (KL-преобразованием).

Ковариационная матрица играет ключевую роль в финансовой экономике , особенно в теории портфеля и ее теореме о разделении взаимных фондов , а также в модели ценообразования капитальных активов . Матрица ковариаций доходности различных активов используется для определения, при определенных допущениях, относительных сумм различных активов, которые инвесторы должны (в нормативном анализе ) или, по прогнозам, (в позитивном анализе ) предпочитают держать в контексте диверсификация .

Использование в оптимизации

Стратегия эволюции , особое семейство эвристик рандомизированного поиска, в своем механизме фундаментально опирается на ковариационную матрицу. Оператор характеристической мутации извлекает шаг обновления из многомерного нормального распределения, используя развивающуюся ковариационную матрицу. Существует формальное доказательство того, что ковариационная матрица стратегии эволюции адаптируется к обратной матрице Гессе ландшафта поиска, с точностью до скалярного коэффициента и небольших случайных флуктуаций (доказано для стратегии с одним родителем и статической модели, как численность популяции увеличивается, исходя из квадратичного приближения). Интуитивно этот результат подтверждается тем, что оптимальное ковариационное распределение может предлагать этапы мутации, контуры вероятности эквивалентности которых соответствуют наборам уровней ландшафта, и поэтому они максимизируют скорость прогресса.

Ковариационное отображение

При ковариационном отображении значения $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ или $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$матрицы отображаются в виде двумерной карты. Когда векторы $\mathbf {X}$ и $\mathbf {Y}$являются дискретными случайными функциями , на карте показаны статистические отношения между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины нулевого уровня, а положительные или отрицательные корреляции отображаются соответственно в виде холмов или долин.

На практике векторы-столбцы $\mathbf {X} ,\mathbf {Y}$, и $\mathbf {I}$ приобретаются экспериментально в виде рядов $n$ образцы, например

$$\left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},$$

где $X_{j}(t_{i})$ - е — i дискретное значение в выборке j случайной функции $X(t)$. Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего значения , например

$$\langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}$$

а ковариационная матрица оценивается с помощью выборочной ковариационной матрицы

$$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\mathsf {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle ,$$

где угловые скобки обозначают выборочное усреднение, как и раньше, за исключением того, что поправку Бесселя необходимо внести во избежание систематической ошибки . Используя эту оценку, матрицу частичной ковариации можно рассчитать как

$$\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),$$

где обратная косая черта обозначает левый оператор деления матрицы , который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab .

Рисунок 1: Построение карты частичной ковариации молекул N ₂ , подвергающихся кулоновскому взрыву, вызванному лазером на свободных электронах. Панели a и b отображают два члена ковариационной матрицы, которая показана на панели c . Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель e отображает матрицу частичной ковариации, в которую исправлены флуктуации интенсивности. Панель f показывает, что 10%-ная чрезмерная коррекция улучшает карту и делает ион-ионные корреляции четко видимыми. Благодаря сохранению импульса эти корреляции выглядят как линии, приблизительно перпендикулярные линии автокорреляции (и периодическим модуляциям, вызываемым звоном детектора).

На рис. 1 показано, как строится карта частичной ковариации на примере эксперимента, проведенного на FLASH лазере на свободных электронах в Гамбурге. Случайная функция $X(t)$представляет собой времяпролетный спектр ионов от кулоновского взрыва молекул азота, многократно ионизированных лазерным импульсом. Поскольку при каждом лазерном импульсе ионизируется всего несколько сотен молекул, спектры одиночных импульсов сильно флуктуируют. Однако сбор обычно $m=10^{4}$ такие спектры, $\mathbf {X} _{j}(t)$, и усредняя их по $j$ создает гладкий спектр $\langle \mathbf {X} (t)\rangle$, который показан красным внизу на рис. 1. Средний спектр $\langle \mathbf {X} \rangle$ обнаруживает несколько ионов азота в виде пиков, уширенных их кинетической энергией, но для нахождения корреляций между стадиями ионизации и импульсами ионов требуется расчет ковариационной карты.

В примере рис. 1 спектры $\mathbf {X} _{j}(t)$ и $\mathbf {Y} _{j}(t)$ одинаковы, за исключением того, что диапазон времени пролета $t$отличается. Панель показывает ​ $\langle \mathbf {XY^{\mathsf {T}}} \rangle$, панель b показывает $\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle$ а панель c показывает их разницу, которая $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$(обратите внимание на изменение цветовой гаммы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от выстрела к выстрелу. Для подавления таких корреляций интенсивность лазера $I_{j}$ записывается при каждом выстреле, помещается в $\mathbf {I}$ и $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$рассчитывается, как показано на панелях d и e . Однако подавление неинтересных корреляций несовершенно, поскольку существуют и другие источники синфазных флуктуаций, кроме интенсивности лазера, и в принципе все эти источники должны контролироваться в векторном режиме. $\mathbf {I}$. Тем не менее, на практике часто бывает достаточно сверхкомпенсации частичной ковариационной коррекции, как показано на панели f , где теперь ясно видны интересные корреляции импульсов ионов в виде прямых линий, центрированных на стадиях ионизации атомарного азота.

Двумерная

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения двумерных спектров конденсированной фазы . Существует две версии этого анализа: синхронная и асинхронная . Математически первое выражается через выборочную ковариационную матрицу, и этот метод эквивалентен ковариационному картированию.

См. также

• Ковариационная функция
• Разложение по собственным значениям
• Матрица Грамиана
• Распределение Левандовски-Куровицки-Джо
• Многомерная статистика
• Основные компоненты
• Квадратичная форма (статистика)

Дальнейшее чтение

• «Ковариационная матрица» , Математическая энциклопедия , EMS Press , 2001 [1994]
• « Ковариационная матрица с иллюстрациями » — простой способ визуализировать ковариационные матрицы!
• Вайсштейн, Эрик В. «Ковариационная матрица» . Математический мир .
• ван Кампен, НГ (1981). Случайные процессы в физике и химии . Нью-Йорк: Северная Голландия. ISBN  0-444-86200-5 .