Некоррелированность (теория вероятностей)

В теории вероятностей и статистике две действительные случайные величины , $X$ , $Y$ , называются некоррелированными , если их ковариация , $\operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]$ , равен нулю. Если две переменные некоррелированы, между ними нет линейной зависимости.

Некоррелированные случайные величины имеют коэффициент корреляции Пирсона , если он существует, равный нулю, за исключением тривиального случая, когда любая переменная имеет нулевую дисперсию (является константой). В этом случае корреляция не определена.

В общем, некоррелированность — это не то же самое, что ортогональность , за исключением особого случая, когда хотя бы одна из двух случайных величин имеет ожидаемое значение 0. В этом случае ковариация — это математическое ожидание произведения, а $X$ и $Y$ некоррелированы тогда и только тогда, когда $\operatorname {E} [XY]=0$ .

Если $X$ и $Y$ независимы вторыми , с конечными моментами , то они некоррелированы. Однако не все некоррелированные переменные являются независимыми. ^[1]^{: с. 155}

Определение

Определение двух действительных случайных величин

Две случайные величины $X,Y$ называются некоррелированными, если их ковариация $\operatorname {Cov} [X,Y]=\operatorname {E} [(X-\operatorname {E} [X])(Y-\operatorname {E} [Y])]$ равен нулю. ^[1]^{: с. 153}^[2]^{: с. 121} Формально:

$X,Y{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [XY]=\operatorname {E} [X]\cdot \operatorname {E} [Y]$

Определение двух комплексных случайных величин

Две сложные случайные величины $Z,W$ называются некоррелированными, если их ковариация $\operatorname {K} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z]){\overline {(W-\operatorname {E} [W])}}]$ и их псевдоковариация $\operatorname {J} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z])(W-\operatorname {E} [W])]$ равен нулю, т.е.

$Z,W{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [Z{\overline {W}}]=\operatorname {E} [Z]\cdot \operatorname {E} [{\overline {W}}]{\text{ and }}\operatorname {E} [ZW]=\operatorname {E} [Z]\cdot \operatorname {E} [W]$

Определение для более чем двух случайных величин

Набор из двух или более случайных величин $X_{1},\ldots ,X_{n}$ называется некоррелированным, если каждая пара из них некоррелирована. Это эквивалентно требованию, чтобы недиагональные элементы автоковариационной матрицы $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ случайного вектора $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }$ все равны нулю. Матрица автоковариации определяется как:

\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {cov} [\mathbf {X} ,\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}

Примеры зависимости без корреляции

Пример 1

Позволять $X$ — случайная величина, принимающая значение 0 с вероятностью 1/2 и принимающая значение 1 с вероятностью 1/2.
Позволять $Y$ быть случайной величиной, независимой от $X$ , который принимает значение −1 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2.
Позволять $U$ быть случайной величиной, построенной как $U=XY$ .

Претензия заключается в том, что $U$ и $X$ имеют нулевую ковариацию (и, следовательно, некоррелированы), но не являются независимыми.

Доказательство:

Принимая во внимание, что

\operatorname {E} [U]=\operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y]=\operatorname {E} [X]\cdot 0=0,

где выполнено второе равенство, поскольку $X$ и $Y$ независимы, можно получить

{\begin{aligned}\operatorname {cov} [U,X]&=\operatorname {E} [(U-\operatorname {E} [U])(X-\operatorname {E} [X])]=\operatorname {E} [U(X-{\tfrac {1}{2}})]\\&=\operatorname {E} [X^{2}Y-{\tfrac {1}{2}}XY]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)Y]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)]\operatorname {E} [Y]=0\end{aligned}}

Поэтому, $U$ и $X$ некоррелированы.

Независимость $U$ и $X$ означает, что для всех $a$ и $b$ , $\Pr(U=a\mid X=b)=\Pr(U=a)$ . Это неверно, в частности, для $a=1$ и $b=0$ .

$\Pr(U=1\mid X=0)=\Pr(XY=1\mid X=0)=0$
$\Pr(U=1)=\Pr(XY=1)=1/4$

Таким образом $\Pr(U=1\mid X=0)\neq \Pr(U=1)$ так $U$ и $X$ не являются независимыми.

КЭД

Пример 2

Если $X$ – непрерывная случайная величина, равномерно распределенная на $[-1,1]$ и $Y=X^{2}$ , затем $X$ и $Y$ некоррелированы, хотя $X$ определяет $Y$ и особая ценность $Y$ может быть произведено только одним или двумя значениями $X$ :

$f_{X}(t)={1 \over 2}I_{[-1,1]};f_{Y}(t)={1 \over {2{\sqrt {t}}}}I_{]0,1]}$

с другой стороны, $f_{X,Y}$ равен 0 в треугольнике, определяемом формулой $0<X<Y<1$ хотя $f_{X}\times f_{Y}$ не является нулевым в этом домене. Поэтому $f_{X,Y}(X,Y)\neq f_{X}(X)\times f_{Y}(Y)$ и переменные не являются независимыми.

$E[X]={{1-1} \over 4}=0;E[Y]={{1^{3}-(-1)^{3}} \over {3\times 2}}={1 \over 3}$

$Cov[X,Y]=E\left[(X-E[X])(Y-E[Y])\right]=E\left[X^{3}-{X \over 3}\right]={{1^{4}-(-1)^{4}} \over {4\times 2}}=0$

Следовательно, переменные некоррелированы.

Когда некоррелированность подразумевает независимость

Есть случаи, когда некоррелированность действительно подразумевает независимость. В одном из таких случаев обе случайные величины являются двузначными (поэтому каждую можно линейно преобразовать, чтобы получить распределение Бернулли ). ^[3] Кроме того, две совместно нормально распределенные случайные величины являются независимыми, если они некоррелированы: ^[4] хотя это не относится к переменным, чьи маргинальные распределения нормальны и некоррелированы, но чье совместное распределение не является общим нормальным (см. «Нормально распределенные и некоррелированные» не подразумевают независимость ).

Обобщения

Некоррелированные случайные векторы

Два случайных вектора $\mathbf {X} =(X_{1},\ldots ,X_{m})^{T}$ и $\mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{T}$ называются некоррелированными, если

\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}

.

Они некоррелированы тогда и только тогда, когда их матрица взаимной ковариации $\operatorname {K} _{\mathbf {X} \mathbf {Y} }$ равен нулю. ^[5]^{: стр.337}

Два комплексных случайных вектора $\mathbf {Z}$ и $\mathbf {W}$ называются некоррелированными , если их матрица кросс-ковариации и матрица псевдокросс-ковариации равны нулю, т. е. если

\operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {J} _{\mathbf {Z} \mathbf {W} }=0

где

\operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {H} }]

и

\operatorname {J} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {T} }]

.

Некоррелированные случайные процессы

Два случайных процесса $\left\{X_{t}\right\}$ и $\left\{Y_{t}\right\}$ называются некоррелированными, если их кросс-ковариация $\operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right)\left(Y(t_{2})-\mu _{Y}(t_{2})\right)\right]$ равен нулю во все времена. ^[2]^{: с. 142} Формально:

\left\{X_{t}\right\},\left\{Y_{t}\right\}{\text{ uncorrelated}}\quad :\iff \quad \forall t_{1},t_{2}\colon \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=0

.

См. также

Ссылки

^ Jump up to: ^а ^б Папулис, Афанасиос (1991). Вероятность, случайные величины и случайные процессы . МакГроу Хилл. ISBN 0-07-048477-5 .
^ Jump up to: ^а ^б Кун Иль Пак, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, 978-3-319-68074-3
^ Виртуальные лаборатории вероятности и статистики: ковариация и корреляция , пункт 17.
^ Бейн, Ли; Энгельхардт, Макс (1992). «Глава 5.5 Условное ожидание». Введение в вероятность и математическую статистику (2-е изд.). стр. 185–186. ISBN 0534929303 .
^ Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1 .

Дальнейшее чтение

Вероятность для статистиков , Гален Р. Шорак , Спрингер (c2000) ISBN 0-387-98953-6

[Papoulis-1] Jump up to: ^а ^б Папулис, Афанасиос (1991). Вероятность, случайные величины и случайные процессы . МакГроу Хилл. ISBN 0-07-048477-5 .

[KunIlPark-2] Jump up to: ^а ^б Кун Иль Пак, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, 978-3-319-68074-3

[3] Виртуальные лаборатории вероятности и статистики: ковариация и корреляция , пункт 17.

[4] Бейн, Ли; Энгельхардт, Макс (1992). «Глава 5.5 Условное ожидание». Введение в вероятность и математическую статистику (2-е изд.). стр. 185–186. ISBN 0534929303 .

[Gubner-5] Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1 .

[1]

[2]

[3]

[4]

[5]