Корреляция расстояний

В статистике и вероятностей теории дистанционная корреляция или дистанционная ковариация — это мера зависимости между двумя парными случайными векторами произвольной, не обязательно одинаковой размерности . Коэффициент корреляции расстояний населения равен нулю тогда и только тогда, когда случайные векторы независимы . Таким образом, дистанционная корреляция измеряет как линейную, так и нелинейную связь между двумя случайными величинами или случайными векторами. Это контрастирует с корреляцией Пирсона , которая может обнаружить только линейную связь между двумя случайными величинами .

Дистанционная корреляция может использоваться для проведения статистического теста зависимости с помощью теста перестановки . Сначала вычисляется корреляция расстояний (включая повторное центрирование евклидовых матриц расстояний) между двумя случайными векторами, а затем сравнивается это значение с корреляциями расстояний при многих перетасовках данных.

Несколько наборов точек ( x , y ) с коэффициентом корреляции расстояний x и y для каждого набора. Сравните с графиком корреляции

Предыстория

Классическая мера зависимости – коэффициент корреляции Пирсона , в основном чувствителен к линейной зависимости между двумя переменными. Дистанционная корреляция была введена в 2005 году Габором Дж. Секели Пирсона в нескольких лекциях для устранения этого недостатка корреляции , а именно того, что она может легко равняться нулю для зависимых переменных. Корреляция = 0 (некоррелированность) не подразумевает независимости, тогда как корреляция расстояний = 0 подразумевает независимость. Первые результаты по дистанционной корреляции были опубликованы в 2007 и 2009 годах. Было доказано, что ковариация расстояния аналогична броуновской ковариации. Эти меры являются примерами энергетических расстояний .

Корреляция расстояний выводится из ряда других величин, которые используются в ее спецификации, а именно: дисперсия расстояния , стандартное отклонение расстояния и ковариация расстояния . Эти величины играют ту же роль, что и обычные моменты с соответствующими названиями в спецификации коэффициента корреляции произведения-момента Пирсона .

Определения

Ковариация расстояний

Начнем с определения ковариации выборочного расстояния . Пусть ( X _k , Y _k ), k = 1, 2, ..., n будет статистической выборкой из пары случайных величин с действительным или векторным значением ( X , Y ). Сначала вычислите n размером на n матрицы расстояний ( a _{j , k} ) и ( b _{j , k} ), содержащие все попарные расстояния .

${\begin{aligned}a_{j,k}&=\|X_{j}-X_{k}\|,\qquad j,k=1,2,\ldots ,n,\\b_{j,k}&=\|Y_{j}-Y_{k}\|,\qquad j,k=1,2,\ldots ,n,\end{aligned}}$

где ||⋅ || обозначает евклидову норму . Затем возьмем все двуцентровые расстояния

$A_{j,k}:=a_{j,k}-{\overline {a}}_{j\cdot }-{\overline {a}}_{\cdot k}+{\overline {a}}_{\cdot \cdot },\qquad B_{j,k}:=b_{j,k}-{\overline {b}}_{j\cdot }-{\overline {b}}_{\cdot k}+{\overline {b}}_{\cdot \cdot },$

где $\textstyle {\overline {a}}_{j\cdot }$ среднее значение j -й строки, $\textstyle {\overline {a}}_{\cdot k}$ - среднее значение k -го столбца, а $\textstyle {\overline {a}}_{\cdot \cdot }$ — среднее значение матрицы расстояний X. выборки Обозначения аналогичны для значений b . (В матрицах центрированных расстояний ( A _{j , k} ) и ( B _{j , k} ) сумма всех строк и всех столбцов равна нулю.) Квадрат ковариации выборочного расстояния (скаляр) представляет собой просто среднее арифметическое произведений A _{j , к} Б _{j , к} :

$\operatorname {dCov} _{n}^{2}(X,Y):={\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k=1}^{n}A_{j,k}\,B_{j,k}.$

Статистика T _n = n dCov ² _n ( X , Y ) определяет последовательный многомерный тест независимости случайных векторов в произвольных измерениях. Информацию о реализации см. dcov.test функции в пакете Energy для R. в

Популяционное значение ковариации расстояния можно определить аналогичным образом. Пусть X — случайная величина, принимающая значения в p -мерном евклидовом пространстве с распределением вероятностей µ, и пусть Y — случайная величина, принимающая значения в q -мерном евклидовом пространстве с распределением вероятностей ν , и предположим, что X и Y имеют конечные значения. ожидания. Писать

$a_{\mu }(x):=\operatorname {E} [\|X-x\|],\quad D(\mu ):=\operatorname {E} [a_{\mu }(X)],\quad d_{\mu }(x,x'):=\|x-x'\|-a_{\mu }(x)-a_{\mu }(x')+D(\mu ).$

Наконец, определите генеральное значение ковариации квадрата расстояния X и Y как

$\operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y'){\big ]}.$

Можно показать, что это эквивалентно следующему определению:

${\begin{aligned}\operatorname {dCov} ^{2}(X,Y):={}&\operatorname {E} [\|X-X'\|\,\|Y-Y'\|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\\&\qquad {}-\operatorname {E} [\|X-X'\|\,\|Y-Y''\|]-\operatorname {E} [\|X-X''\|\,\|Y-Y'\|]\\={}&\operatorname {E} [\|X-X'\|\,\|Y-Y'\|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\\&\qquad {}-2\operatorname {E} [\|X-X'\|\,\|Y-Y''\|],\end{aligned}}$

где E обозначает ожидаемую стоимость, а $\textstyle (X,Y),$ $\textstyle (X',Y'),$ и $\textstyle (X'',Y'')$ независимы и одинаково распределены. Штрихованные случайные величины $\textstyle (X',Y')$ и $\textstyle (X'',Y'')$ обозначатьнезависимые и одинаково распределенные (iid) копии переменных $X$ и $Y$ и аналогично iid. Ковариация расстояния может быть выражена через классическую ковариацию Пирсона : cov следующим образом:

$\operatorname {dCov} ^{2}(X,Y)=\operatorname {cov} (\|X-X'\|,\|Y-Y'\|)-2\operatorname {cov} (\|X-X'\|,\|Y-Y''\|).$

Это тождество показывает, что ковариация расстояний не совпадает с ковариацией расстояний cov(‖ X − X' ‖, ‖ Y − Y' ‖ ). Это может быть ноль, даже если X и Y не являются независимыми.

Альтернативно, ковариация расстояния может быть определена как взвешенное L ² норма расстояния между совместной характеристической функцией случайных величин и произведением их маргинальных характеристических функций:

$\operatorname {dCov} ^{2}(X,Y)={\frac {1}{c_{p}c_{q}}}\int _{\mathbb {R} ^{p+q}}{\frac {\left|\varphi _{X,Y}(s,t)-\varphi _{X}(s)\varphi _{Y}(t)\right|^{2}}{|s|_{p}^{1+p}|t|_{q}^{1+q}}}\,dt\,ds$

где $\varphi _{X,Y}(s,t)$, $\varphi _{X}(s)$, и $\varphi _{Y}(t)$ являются функциями характеристическими ( X , Y ), X и Y соответственно, p , q обозначают евклидову размерность X и Y , и, таким образом, s и t , а c _p , c _q являются константами. Весовая функция $({c_{p}c_{q}}{|s|_{p}^{1+p}|t|_{q}^{1+q}})^{-1}$ выбирается для создания масштабно-эквивариантной и инвариантной меры вращения, которая не стремится к нулю для зависимых переменных. Одна из интерпретаций определения характеристической функции состоит в том, что переменные e ^isX и е ^ЭТО являются циклическими представлениями X и Y с разными периодами, заданными s и t , и выражением φ _{X , Y} ( s , t ) − φ _X ( s ) φ _Y ( t ) в числителе характеристической функции определения дистанционной ковариации это просто классическая ковариация e ^isX и е ^ЭТО . Определение характеристической функции ясно показывает, чтоdCov ² ( X , Y ) = 0 тогда и только тогда, когда X и Y независимы.

Отклонение расстояния и

Дисперсия расстояния — это частный случай ковариации расстояния, когда две переменные идентичны. Популяционное значение дисперсии расстояний представляет собой квадратный корень из

$\operatorname {dVar} ^{2}(X):=\operatorname {E} [\|X-X'\|^{2}]+\operatorname {E} ^{2}[\|X-X'\|]-2\operatorname {E} [\|X-X'\|\,\|X-X''\|],$

где $X$, $X'$, и $X''$ являются независимыми и одинаково распределенными случайными величинами , $\operatorname {E}$ обозначает ожидаемое значение и $f^{2}(\cdot )=(f(\cdot ))^{2}$ для функции $f(\cdot )$, например, $\operatorname {E} ^{2}[\cdot ]=(\operatorname {E} [\cdot ])^{2}$.

Дисперсия выборочного расстояния представляет собой квадратный корень из

$\operatorname {dVar} _{n}^{2}(X):=\operatorname {dCov} _{n}^{2}(X,X)={\tfrac {1}{n^{2}}}\sum _{k,\ell }A_{k,\ell }^{2},$

что является родственником Коррадо Джини , средней разницы введенной в 1912 году (но Джини не работал с центральными расстояниями).

Стандартное отклонение расстояния — это квадратный корень из дисперсии расстояния .

Корреляция расстояний

расстояний Корреляция двух случайных величин получается путем деления их ковариации расстояния на произведение их стандартных отклонений расстояний . Корреляция расстояний представляет собой квадратный корень из

$\operatorname {dCor} ^{2}(X,Y)={\frac {\operatorname {dCov} ^{2}(X,Y)}{\sqrt {\operatorname {dVar} ^{2}(X)\,\operatorname {dVar} ^{2}(Y)}}},$

а корреляция выборочного расстояния определяется путем замены ковариации выборочного расстояния и дисперсии расстояния на приведенные выше коэффициенты генеральной совокупности.

Для простого вычисления корреляции расстояний выборки см. функцию dcor в пакете Energy для R .

Свойства

Корреляция расстояний

1. $0\leq \operatorname {dCor} _{n}(X,Y)\leq 1$ и $0\leq \operatorname {dCor} (X,Y)\leq 1$;это контрастирует с корреляцией Пирсона, которая может быть отрицательной.
2. $\operatorname {dCor} (X,Y)=0$ тогда и только тогда, когда X и Y независимы.
3. $\operatorname {dCor} _{n}(X,Y)=1$ подразумевает, что размеры линейных подпространств, натянутых выборками X и Y соответственно, почти наверняка равны, и если предположить, что эти подпространства равны, то в этом подпространстве $Y=A+b\,\mathbf {C} X$ для некоторого вектора A , скаляра b и ортонормированной матрицы $\mathbf {C}$.

Ковариация расстояний

1. $\operatorname {dCov} (X,Y)\geq 0$ и $\operatorname {dCov} _{n}(X,Y)\geq 0$;
2. $\operatorname {dCov} ^{2}(a_{1}+b_{1}\,\mathbf {C} _{1}\,X,a_{2}+b_{2}\,\mathbf {C} _{2}\,Y)=|b_{1}\,b_{2}|\operatorname {dCov} ^{2}(X,Y)$для всех постоянных векторов $a_{1},a_{2}$, скаляры $b_{1},b_{2}$и ортонормированные матрицы $\mathbf {C} _{1},\mathbf {C} _{2}$.
3. Если случайные векторы $(X_{1},Y_{1})$ и $(X_{2},Y_{2})$ тогда независимы

   $\operatorname {dCov} (X_{1}+X_{2},Y_{1}+Y_{2})\leq \operatorname {dCov} (X_{1},Y_{1})+\operatorname {dCov} (X_{2},Y_{2}).$

   Равенство имеет место тогда и только тогда, когда $X_{1}$ и $Y_{1}$ обе константы, или $X_{2}$ и $Y_{2}$ обе константы, или $X_{1},X_{2},Y_{1},Y_{2}$ являются взаимно независимыми.
4. $\operatorname {dCov} (X,Y)=0$ тогда и только тогда, когда X и Y независимы.

Последнее свойство является наиболее важным эффектом при работе с центральными расстояниями.

Статистика $\operatorname {dCov} _{n}^{2}(X,Y)$ является смещенной оценкой $\operatorname {dCov} ^{2}(X,Y)$. При независимости X и Y

${\begin{aligned}\operatorname {E} [\operatorname {dCov} _{n}^{2}(X,Y)]&={\frac {n-1}{n^{2}}}\left\{(n-2)\operatorname {dCov} ^{2}(X,Y)+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\right\}\\[6pt]&={\frac {n-1}{n^{2}}}\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|].\end{aligned}}$

Непредвзятый оценщик $\operatorname {dCov} ^{2}(X,Y)$ дают Секели и Риццо.

Разница в расстоянии

1. $\operatorname {dVar} (X)=0$ тогда и только тогда, когда $X=\operatorname {E} [X]$ почти наверняка.
2. $\operatorname {dVar} _{n}(X)=0$ тогда и только тогда, когда все выборочные наблюдения идентичны.
3. $\operatorname {dVar} (A+b\,\mathbf {C} \,X)=|b|\operatorname {dVar} (X)$ для всех постоянных векторов A , скаляров b и ортонормированных матриц $\mathbf {C}$.
4. Если X и Y независимы, то $\operatorname {dVar} (X+Y)\leq \operatorname {dVar} (X)+\operatorname {dVar} (Y)$.

Равенство выполняется в (iv) тогда и только тогда, когда одна из случайных величин X или Y является константой.

Обобщение

Ковариацию расстояния можно обобщить, включив в нее степени евклидова расстояния. Определять

${\begin{aligned}\operatorname {dCov} ^{2}(X,Y;\alpha ):={}&\operatorname {E} [\|X-X'\|^{\alpha }\,\|Y-Y'\|^{\alpha }]+\operatorname {E} [\|X-X'\|^{\alpha }]\,\operatorname {E} [\|Y-Y'\|^{\alpha }]\\&\qquad {}-2\operatorname {E} [\|X-X'\|^{\alpha }\,\|Y-Y''\|^{\alpha }].\end{aligned}}$

Тогда для каждого $0<\alpha <2$, $X$ и $Y$ независимы тогда и только тогда, когда $\operatorname {dCov} ^{2}(X,Y;\alpha )=0$. Важно отметить, что эта характеристика не справедлива для показателя $\alpha =2$; в данном случае для двумерной $(X,Y)$, $\operatorname {dCor} (X,Y;\alpha =2)$ является детерминированной функцией корреляции Пирсона. Если $a_{k,\ell }$ и $b_{k,\ell }$ являются $\alpha$ степени соответствующих расстояний, $0<\alpha \leq 2$, затем $\alpha$ Ковариацию выборочного расстояния можно определить как неотрицательное число, для которого

$\operatorname {dCov} _{n}^{2}(X,Y;\alpha ):={\frac {1}{n^{2}}}\sum _{k,\ell }A_{k,\ell }\,B_{k,\ell }.$

Можно продлить $\operatorname {dCov}$ к метрическом пространстве со значениями в случайным величинам $X$ и $Y$: Если $X$ имеет закон $\mu$ в метрическом пространстве с метрикой $d$, затем определите $a_{\mu }(x):=\operatorname {E} [d(X,x)]$, $D(\mu ):=\operatorname {E} [a_{\mu }(X)]$, и (при условии $a_{\mu }$ конечно, т.е. $X$ имеет конечный первый момент), $d_{\mu }(x,x'):=d(x,x')-a_{\mu }(x)-a_{\mu }(x')+D(\mu )$. Тогда, если $Y$ имеет закон $\nu$ (возможно, в другом метрическом пространстве с конечным первым моментом), определим

$\operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y'){\big ]}.$

Это неотрицательно для всех таких $X,Y$ тогда и только тогда, когда оба метрических пространства имеют отрицательный тип. Здесь метрическое пространство $(M,d)$ имеет отрицательный тип, если $(M,d^{1/2})$ изометрично гильбертова подмножеству пространства . Если оба метрических пространства имеют сильный отрицательный тип, то $\operatorname {dCov} ^{2}(X,Y)=0$ если только $X,Y$ независимы.

определение

Исходная ковариация расстояния была определена как квадратный корень из $\operatorname {dCov} ^{2}(X,Y)$, а не сам квадрат коэффициента. $\operatorname {dCov} (X,Y)$ обладает тем свойством, что это энергетическое расстояние между совместным распределением $\operatorname {X} ,Y$ и продукт его предельных значений. Однако согласно этому определению дисперсия расстояния, а не стандартное отклонение расстояния, измеряется в тех же единицах, что и $\operatorname {X}$ расстояния.

В качестве альтернативы можно определить ковариацию расстояния как квадрат энергетического расстояния: $\operatorname {dCov} ^{2}(X,Y).$ В этом случае стандартное отклонение расстояния $X$ измеряется в тех же единицах, что и $X$ расстояние, и существует несмещенная оценка ковариации расстояния генеральной совокупности.

Согласно этим альтернативным определениям, корреляция расстояний также определяется как квадрат $\operatorname {dCor} ^{2}(X,Y)$, а не квадратный корень.

: броуновская

Броуновская ковариация мотивирована обобщением понятия ковариации на случайные процессы. Квадрат ковариации случайных величин X и Y можно записать в следующем виде:

$\operatorname {cov} (X,Y)^{2}=\operatorname {E} \left[{\big (}X-\operatorname {E} (X){\big )}{\big (}X^{\mathrm {'} }-\operatorname {E} (X^{\mathrm {'} }){\big )}{\big (}Y-\operatorname {E} (Y){\big )}{\big (}Y^{\mathrm {'} }-\operatorname {E} (Y^{\mathrm {'} }){\big )}\right]$

где E обозначает ожидаемое значение , а штрих обозначает независимые и одинаково распределенные копии. Нам понадобится следующее обобщение этой формулы. Если U(s), V(t) — произвольные случайные процессы, определенные для всех действительных s и t, то определите U-центрированную версию X по формуле

$X_{U}:=U(X)-\operatorname {E} _{X}\left[U(X)\mid \left\{U(t)\right\}\right]$

всякий раз, когда вычтенное условное ожидаемое значение существует, и обозначим Y _V V-центрированную версию Y. Ковариация (U,V) для (X,Y) определяется как неотрицательное число, квадрат которого равен

$\operatorname {cov} _{U,V}^{2}(X,Y):=\operatorname {E} \left[X_{U}X_{U}^{\mathrm {'} }Y_{V}Y_{V}^{\mathrm {'} }\right]$

всякий раз, когда правая часть неотрицательна и конечна. Самый важный пример - когда U и V являются двусторонними независимыми броуновскими движениями / винеровскими процессами с нулевым математическим ожиданием и ковариацией | s | + | т | − | с - т | = 2 min( s , t ) (только для неотрицательных s, t). (Это в два раза больше ковариации стандартного винеровского процесса; здесь фактор 2 упрощает вычисления.) В этом случае ковариация ( U , V ) называется броуновской ковариацией и обозначается

$\operatorname {cov} _{W}(X,Y).$

Есть удивительное совпадение: броуновская ковариация совпадает с ковариацией расстояния:

$\operatorname {cov} _{\mathrm {W} }(X,Y)=\operatorname {dCov} (X,Y),$

и, таким образом, броуновская корреляция аналогична корреляции расстояний.

С другой стороны, если мы заменим броуновское движение детерминированной тождественной функцией id, тогда Cov _id ( X , Y ) будет просто абсолютным значением классической ковариации Пирсона ,

$\operatorname {cov} _{\mathrm {id} }(X,Y)=\left\vert \operatorname {cov} (X,Y)\right\vert .$

Связанные показатели

Другие корреляционные метрики, включая корреляционные метрики на основе ядра (такие как критерий независимости Гильберта-Шмидта или HSIC), также могут обнаруживать линейные и нелинейные взаимодействия. Как дистанционная корреляция, так и метрики на основе ядра могут использоваться в таких методах, как канонический корреляционный анализ и анализ независимых компонентов, чтобы получить более высокую статистическую мощность .

См. также

• Коэффициент РВ
• Соответствующую статистику третьего порядка см. в разделе Асимметрия расстояний .

Ссылки

• Бикель, Питер Дж.; Сюй, Ин (2009). «Обсуждение: ковариация броуновского расстояния» . Анналы прикладной статистики . 3 (4): 1266–1269. arXiv : 0912.3295 . doi : 10.1214/09-AOAS312A .
• Джини, К. (1912). Изменчивость и мутабельность . Болонья: типография Паоло Куппини. Бибкод : 1912vamu.book.....G .
• Клебанов, Л.Б. (2005). N -расстояния и их приложения . Прага: Каролинум Пресс , Карлов университет. ISBN  9788024611525 .
• Косорок, Майкл Р. (2009). «Обсуждение: ковариация броуновского расстояния». Анналы прикладной статистики . 3 (4): 1270–1278. arXiv : 1010.0822 . doi : 10.1214/09-AOAS312B . S2CID   88518490 .
• Лайонс, Рассел (2014). «Ковариация расстояний в метрических пространствах». Анналы вероятности . 41 (5): 3284–3305. arXiv : 1106.5758 . дои : 10.1214/12-AOP803 . S2CID   73677891 .
• Пирсон, К. (1895a). «Заметка о регрессии и наследовании в случае двух родителей». Труды Королевского общества . 58 : 240–242. Бибкод : 1895RSPS...58..240P .
• Пирсон, К. (1895b). «Заметки по истории корреляции» . Биометрика . 13 : 25–45. дои : 10.1093/biomet/13.1.25 .
• Риццо, Мария; Секели, Габор (22 февраля 2021 г.). «Энергия: электронная статистика: многомерный вывод через энергию данных» . Версия: 1.7-8 . Проверено 31 октября 2021 г.
• Секели, Габор Дж.; Риццо, Мария Л.; Бакиров, Наиль К. (2007). «Измерение и проверка независимости путем корреляции расстояний». Анналы статистики . 35 (6): 2769–2794. arXiv : 0803.4101 . дои : 10.1214/009053607000000505 . S2CID   5661488 .
• Секели, Габор Дж.; Риццо, Мария Л. (2009a). «Ковариация броуновского расстояния» . Анналы прикладной статистики . 3 (4): 1236–1265. дои : 10.1214/09-AOAS312 . ПМЦ   2889501 . ПМИД   20574547 .
• Секели, Габор Дж.; Риццо, Мария Л. (2009b). «Ответ: ковариация броуновского расстояния» . Анналы прикладной статистики . 3 (4): 1303–1308. arXiv : 1010.0844 . doi : 10.1214/09-AOAS312REJ .
• Секели, Габор Дж.; Риццо, Мария Л. (2012). «О единственности дистанционной ковариации». Статистика и вероятностные буквы . 82 (12): 2278–2282. дои : 10.1016/j.spl.2012.08.007 .
• Секели, Габор Дж.; Риццо, Мария Л. (2014). «Частичная корреляция расстояний с методами определения несходств». Анналы статистики . 42 (6): 2382–2412. arXiv : 1310.2926 . Бибкод : 2014arXiv1310.2926S . дои : 10.1214/14-AOS1255 . S2CID   55801702 .

Внешние ссылки

• Электронная статистика (статистика энергетики). Архивировано 13 сентября 2019 г. на Wayback Machine.