Многомерная случайная величина

Для более широкого освещения этой темы см. Многомерную статистику .

В теории вероятности и статистике многомерная случайная величина или случайный вектор представляет собой список или вектор математических переменных, значение каждой из которых неизвестно либо потому, что значение еще не возникло, либо потому, что существует несовершенное знание его значения. Отдельные переменные в случайном векторе группируются вместе, поскольку все они являются частью единой математической системы — часто они представляют разные свойства отдельной статистической единицы . Например, хотя данный человек имеет определенный возраст, рост и вес, представление этих особенностей неопределенного человека внутри группы будет случайным вектором. Обычно каждый элемент случайного вектора является действительным числом .

Случайные векторы часто используются в качестве базовой реализации различных типов совокупных случайных величин , например, случайной матрицы , случайного дерева , случайной последовательности , случайного процесса и т. д.

Более формально, многомерная случайная величина — это вектор-столбец. $\mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}$ (или его транспонирование , которое является вектором-строкой ), компоненты которого являются скалярными в случайными величинами том же вероятностном пространстве, что и друг друга, $(\Omega ,{\mathcal {F}},P)$, где $\Omega$ это пространство выборки , ${\mathcal {F}}$ - это сигма-алгебра (совокупность всех событий), и $P$ — вероятностная мера каждого события (функция, возвращающая вероятность ).

Распределение

Основная статья: Многомерное распределение вероятностей

Каждый случайный вектор порождает вероятностную меру на $\mathbb {R} ^{n}$ с алгеброй Бореля в качестве базовой сигма-алгебры. Эта мера также известна как совместное распределение вероятностей , совместное распределение или многомерное распределение случайного вектора.

Распределения величин каждой из составляющих случайных $X_{i}$ называются маргинальными распределениями . Условное вероятностей распределение $X_{i}$ данный $X_{j}$ это распределение вероятностей $X_{i}$ когда $X_{j}$ известно, что это определенная ценность.

Кумулятивная функция распределения $F_{\mathbf {X} }:\mathbb {R} ^{n}\mapsto [0,1]$ случайного вектора $\mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}$ определяется как

$F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{n}\leq x_{n})$ ( Уравнение 1 )

где $\mathbf {x} =(x_{1},\dots ,x_{n})^{\mathsf {T}}$.

Операции со случайными векторами

Со случайными векторами можно выполнять те же виды алгебраических операций , что и с неслучайными векторами: сложение, вычитание, умножение на скаляр и получение скалярных произведений .

Аффинные преобразования

Аналогично, новый случайный вектор $\mathbf {Y}$ можно определить, применив аффинное преобразование $g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$ к случайному вектору $\mathbf {X}$:

$\mathbf {Y} =\mathbf {A} \mathbf {X} +b$, где $\mathbf {A}$ это $n\times n$ матрица и $b$ это $n\times 1$ вектор-столбец.

Если $\mathbf {A}$ является обратимой матрицей и $\textstyle \mathbf {X}$ имеет функцию плотности вероятности $f_{\mathbf {X} }$, то плотность вероятности $\mathbf {Y}$ является

$f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }(\mathbf {A} ^{-1}(y-b))}{|\det \mathbf {A} |}}$.

Обратимые отображения

В более общем смысле мы можем изучать обратимые отображения случайных векторов.

Позволять $g$ быть взаимно однозначным отображением открытого подмножества ${\mathcal {D}}$ из $\mathbb {R} ^{n}$ на подмножество ${\mathcal {R}}$ из $\mathbb {R} ^{n}$, позволять $g$ иметь непрерывные частные производные по ${\mathcal {D}}$ и пусть определитель Якобиана $g$ быть нулевым ни в какой точке ${\mathcal {D}}$. Предположим, что реальный случайный вектор $\mathbf {X}$ имеет функцию плотности вероятности $f_{\mathbf {X} }(\mathbf {x} )$ и удовлетворяет $P(\mathbf {X} \in {\mathcal {D}})=1$. Тогда случайный вектор $\mathbf {Y} =g(\mathbf {X} )$ имеет плотность вероятности

$\left.f_{\mathbf {Y} }(\mathbf {y} )={\frac {f_{\mathbf {X} }(\mathbf {x} )}{\left|\det {\frac {\partial \mathbf {x} }{\partial \mathbf {y} }}\right|}}\right|_{\mathbf {x} =g^{-1}(\mathbf {y} )}\mathbf {1} (\mathbf {y} \in R_{\mathbf {Y} })$

где $\mathbf {1}$ обозначает индикаторную функцию и положим $R_{\mathbf {Y} }=\{\mathbf {y} =g(\mathbf {x} ):f_{\mathbf {X} }(\mathbf {x} )>0\}\subseteq {\mathcal {R}}$ означает поддержку $\mathbf {Y}$.

Ожидаемая стоимость

Ожидаемое значение или среднее значение случайного вектора $\mathbf {X}$ фиксированный вектор $\operatorname {E} [\mathbf {X} ]$ элементы которого являются ожидаемыми значениями соответствующих случайных величин.

$\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],...,\operatorname {E} [X_{n}])^{\mathrm {T} }$ ( Уравнение 2 )

Ковариация и перекрестная ковариация

Определения

Ковариационная матрица (также называемая вторым центральным моментом или дисперсионно-ковариационной матрицей) $n\times 1$ случайный вектор – это $n\times n$ матрица , чья ( i,j ) ^й элемент — это ковариация между i ^й и Дж ^й случайные переменные. Ковариационная матрица представляет собой ожидаемое значение поэлементно $n\times n$ матрица, вычисляемая как $[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}$, где верхний индекс T относится к транспонированию указанного вектора:

$\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {Var} [\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{T}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}$ ( Уравнение 3 )

В более широком смысле, матрица взаимной ковариации между двумя случайными векторами $\mathbf {X}$ и $\mathbf {Y}$ ( $\mathbf {X}$ имея $n$ элементы и $\mathbf {Y}$ имея $p$ элементы) – это $n\times p$ матрица

$\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{T}]=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}$ ( Уравнение 4 )

где снова матричное ожидание берется поэлементно в матрице. Здесь ( i,j ) ^й элемент — это ковариация между i ^й элемент $\mathbf {X}$ и Дж ^й элемент $\mathbf {Y}$.

Свойства

Ковариационная матрица является симметричной матрицей , т.е.

$\operatorname {K} _{\mathbf {X} \mathbf {X} }^{T}=\operatorname {K} _{\mathbf {X} \mathbf {X} }$.

Ковариационная матрица является положительной полуопределенной матрицей , т.е.

$\mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}$.

Матрица перекрестной ковариации $\operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]$ это просто транспонирование матрицы $\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]$, то есть

$\operatorname {K} _{\mathbf {Y} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }^{T}$.

Некоррелированность

Два случайных вектора $\mathbf {X} =(X_{1},...,X_{m})^{T}$ и $\mathbf {Y} =(Y_{1},...,Y_{n})^{T}$ называются некоррелированными, если

$\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}$.

Они некоррелированы тогда и только тогда, когда их матрица взаимной ковариации $\operatorname {K} _{\mathbf {X} \mathbf {Y} }$ равен нулю.

Корреляция и взаимная корреляция

Определения

Корреляционная матрица (также называемая вторым моментом ) $n\times 1$ случайный вектор – это $n\times n$ матрица, чья ( i,j ) ^й элементом является корреляция между i ^й и Дж ^й случайные переменные. Корреляционная матрица представляет собой ожидаемое значение поэлементно $n\times n$ матрица, вычисляемая как $\mathbf {X} \mathbf {X} ^{T}$, где верхний индекс T относится к транспонированию указанного вектора:

$\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathrm {T} }]$ ( Уравнение 5 )

В более широком смысле, матрица взаимной корреляции между двумя случайными векторами $\mathbf {X}$ и $\mathbf {Y}$ ( $\mathbf {X}$ имея $n$ элементы и $\mathbf {Y}$ имея $p$ элементы) – это $n\times p$ матрица

$\operatorname {R} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]$ ( Уравнение 6 )

Свойства

Корреляционная матрица связана с ковариационной матрицей соотношением

$\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {X} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}$.

Аналогично для матрицы взаимной корреляции и матрицы взаимной ковариации:

$\operatorname {R} _{\mathbf {X} \mathbf {Y} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}$

Ортогональность

Два случайных вектора одинакового размера $\mathbf {X} =(X_{1},...,X_{n})^{T}$ и $\mathbf {Y} =(Y_{1},...,Y_{n})^{T}$ называются ортогональными, если

$\operatorname {E} [\mathbf {X} ^{T}\mathbf {Y} ]=0$.

Независимость

Основная статья: Независимость (теория вероятностей)

Два случайных вектора $\mathbf {X}$ и $\mathbf {Y}$ называются независимыми, если для всех $\mathbf {x}$ и $\mathbf {y}$

$F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )$

где $F_{\mathbf {X} }(\mathbf {x} )$ и $F_{\mathbf {Y} }(\mathbf {y} )$ обозначают кумулятивные функции распределения $\mathbf {X}$ и $\mathbf {Y}$ и $F_{\mathbf {X,Y} }(\mathbf {x,y} )$ обозначает их совместную кумулятивную функцию распределения. Независимость $\mathbf {X}$ и $\mathbf {Y}$ часто обозначается $\mathbf {X} \perp \!\!\!\perp \mathbf {Y}$.Написано покомпонентно, $\mathbf {X}$ и $\mathbf {Y}$ называются независимыми, если для всех $x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}$

$F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})$.

Характеристическая функция

Характеристическая функция случайного вектора $\mathbf {X}$ с $n$ компоненты - это функция $\mathbb {R} ^{n}\to \mathbb {C}$ который отображает каждый вектор $\mathbf {\omega } =(\omega _{1},\ldots ,\omega _{n})^{T}$ к комплексному числу. Это определяется

$\varphi _{\mathbf {X} }(\mathbf {\omega } )=\operatorname {E} \left[e^{i(\mathbf {\omega } ^{T}\mathbf {X} )}\right]=\operatorname {E} \left[e^{i(\omega _{1}X_{1}+\ldots +\omega _{n}X_{n})}\right]$.

Дальнейшие свойства

Ожидание квадратичной формы

Можно принять математическое ожидание квадратичной формы случайного вектора $\mathbf {X}$ следующее:

$\operatorname {E} [\mathbf {X} ^{T}A\mathbf {X} ]=\operatorname {E} [\mathbf {X} ]^{T}A\operatorname {E} [\mathbf {X} ]+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }),$

где $K_{\mathbf {X} \mathbf {X} }$ это ковариационная матрица $\mathbf {X}$ и $\operatorname {tr}$ относится к следу матрицы, то есть к сумме элементов на ее главной диагонали (слева сверху вниз справа). Поскольку квадратичная форма является скаляром, то и ее математическое ожидание является скаляром.

Доказательство : Пусть $\mathbf {z}$ быть $m\times 1$ случайный вектор с $\operatorname {E} [\mathbf {z} ]=\mu$ и $\operatorname {Cov} [\mathbf {z} ]=V$ и пусть $A$ быть $m\times m$ нестохастическая матрица.

Тогда исходя из формулы ковариации, если обозначить $\mathbf {z} ^{T}=\mathbf {X}$ и $\mathbf {z} ^{T}A^{T}=\mathbf {Y}$, мы видим, что:

$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}$

Следовательно

${\begin{aligned}\operatorname {E} [XY^{T}]&=\operatorname {Cov} [X,Y]+\operatorname {E} [X]\operatorname {E} [Y]^{T}\\\operatorname {E} [z^{T}Az]&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\operatorname {E} [z^{T}]\operatorname {E} [z^{T}A^{T}]^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}(\mu ^{T}A^{T})^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}A\mu ,\end{aligned}}$

что позволяет нам показать, что

$\operatorname {Cov} [z^{T},z^{T}A^{T}]=\operatorname {tr} (AV).$

Это верно, поскольку можно циклически переставлять матрицы при получении трассировки, не меняя конечного результата (например: $\operatorname {tr} (AB)=\operatorname {tr} (BA)$).

Мы видим это

${\begin{aligned}\operatorname {Cov} [z^{T},z^{T}A^{T}]&=\operatorname {E} \left[\left(z^{T}-E(z^{T})\right)\left(z^{T}A^{T}-E\left(z^{T}A^{T}\right)\right)^{T}\right]\\&=\operatorname {E} \left[(z^{T}-\mu ^{T})(z^{T}A^{T}-\mu ^{T}A^{T})^{T}\right]\\&=\operatorname {E} \left[(z-\mu )^{T}(Az-A\mu )\right].\end{aligned}}$

И поскольку

$\left({z-\mu }\right)^{T}\left({Az-A\mu }\right)$

является скаляром , тогда

$(z-\mu )^{T}(Az-A\mu )=\operatorname {tr} \left({(z-\mu )^{T}(Az-A\mu )}\right)=\operatorname {tr} \left((z-\mu )^{T}A(z-\mu )\right)$

тривиально. Используя перестановку, получаем:

$\operatorname {tr} \left({(z-\mu )^{T}A(z-\mu )}\right)=\operatorname {tr} \left({A(z-\mu )(z-\mu )^{T}}\right),$

и подставив это в исходную формулу, получим:

${\begin{aligned}\operatorname {Cov} \left[{z^{T},z^{T}A^{T}}\right]&=E\left[{\left({z-\mu }\right)^{T}(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left(A(z-\mu )(z-\mu )^{T}\right)\right]\\&=\operatorname {tr} \left({A\cdot \operatorname {E} \left((z-\mu )(z-\mu )^{T}\right)}\right)\\&=\operatorname {tr} (AV).\end{aligned}}$

произведения двух разных

Можно взять математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе с нулевым средним. $\mathbf {X}$ следующее:

$\operatorname {E} \left[(\mathbf {X} ^{T}A\mathbf {X} )(\mathbf {X} ^{T}B\mathbf {X} )\right]=2\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }BK_{\mathbf {X} \mathbf {X} })+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} })\operatorname {tr} (BK_{\mathbf {X} \mathbf {X} })$

где снова $K_{\mathbf {X} \mathbf {X} }$ это ковариационная матрица $\mathbf {X}$. Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром.

Приложения

Теория портфеля

В теории портфеля в финансах целью часто является выбор портфеля рискованных активов таким образом, чтобы распределение случайной доходности портфеля имело желаемые свойства. Например, можно выбрать доходность портфеля, имеющую наименьшую дисперсию для данного ожидаемого значения. Здесь случайным вектором является вектор $\mathbf {r}$ случайной доходности отдельных активов, а доходность портфеля p (случайный скаляр) является внутренним произведением вектора случайной доходности с вектором весов портфеля w — долями портфеля, помещенными в соответствующие активы. Поскольку p = w ^Т $\mathbf {r}$, ожидаемое значение доходности портфеля равно w ^Т И( $\mathbf {r}$), и можно показать, что дисперсия доходности портфеля равна w ^Т C w , где C — ковариационная матрица $\mathbf {r}$.

Теория

В теории линейной регрессии нас есть данные о n наблюдениях над зависимой переменной y и n наблюдениях за каждой из k независимых переменных xj _у . Наблюдения над зависимой переменной складываются в вектор-столбец y ; наблюдения за каждой независимой переменной также складываются в векторы-столбцы, и эти последние векторы-столбцы объединяются в матрицу плана X (не обозначающую случайный вектор в этом контексте) наблюдений за независимыми переменными. Затем в качестве описания процесса, в результате которого были созданы данные, постулируется следующее уравнение регрессии:

$y=X\beta +e,$

где β — постулируемый фиксированный, но неизвестный вектор k коэффициентов отклика, а e — неизвестный случайный вектор, отражающий случайные влияния на зависимую переменную. С помощью какого-либо выбранного метода, такого как обычный метод наименьших квадратов , вектор ${\hat {\beta }}$ выбирается в качестве оценки β, а оценка вектора e обозначается ${\hat {e}}$, вычисляется как

${\hat {e}}=y-X{\hat {\beta }}.$

Затем статистик должен проанализировать свойства ${\hat {\beta }}$ и ${\hat {e}}$, которые рассматриваются как случайные векторы, поскольку случайный выбор n случаев для наблюдения привел бы к разным значениям для них.

Векторные временные ряды

Эволюция случайного вектора k × 1 $\mathbf {X}$ во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом:

$\mathbf {X} _{t}=c+A_{1}\mathbf {X} _{t-1}+A_{2}\mathbf {X} _{t-2}+\cdots +A_{p}\mathbf {X} _{t-p}+\mathbf {e} _{t},\,$

где векторное наблюдение i -периодов назад $\mathbf {X} _{t-i}$ называется i -м лагом $\mathbf {X}$, c — ) размера k вектор констант ( отрезков × 1 , A _i — инвариантная во времени размера k × k матрица и $\mathbf {e} _{t}$ представляет собой размером k × 1 случайный вектор ошибок .

Дальнейшее чтение

• Старк, Генри; Вудс, Джон В. (2012). «Случайные векторы». Вероятность, статистика и случайные процессы для инженеров (Четвертое изд.). Пирсон. стр. 295–339. ISBN  978-0-13-231123-6 .