Взаимная корреляция

Визуальное сравнение свертки , кросс-корреляции и автокорреляции . Для операций с функцией f и при условии, что высота f равна 1,0, значение результата в 5 разных точках обозначается заштрихованной областью под каждой точкой. Кроме того, вертикальная симметрия f является причиной $f*g$ и $f\star g$ в этом примере идентичны.

В сигналов обработке взаимная корреляция — это мера сходства двух рядов как функция смещения одного относительно другого. Это также известно как скользящее скалярное произведение или скользящее внутреннее произведение . Он обычно используется для поиска более короткого известного объекта в длинном сигнале. Он находит применение в распознавании образов , анализе одиночных частиц , электронной томографии , усреднении , криптоанализе и нейрофизиологии . Взаимная корреляция по своей природе аналогична свертке двух функций. При автокорреляции , которая представляет собой взаимную корреляцию сигнала с самим собой, всегда будет пик с нулевой задержкой, а его размер будет энергией сигнала.

В теории вероятности и статистике термин «взаимная корреляция» относится к корреляциям между элементами двух случайных векторов. $\mathbf {X}$ и $\mathbf {Y}$, а корреляции случайного вектора $\mathbf {X}$ являются корреляциями между записями $\mathbf {X}$ сами по себе те, которые формируют матрицу корреляционную $\mathbf {X}$. Если каждый из $\mathbf {X}$ и $\mathbf {Y}$ является скалярной случайной величиной, которая неоднократно реализуется во временном ряду , то корреляции различных временных моментов $\mathbf {X}$ известны автокорреляции как $\mathbf {X}$и взаимные корреляции $\mathbf {X}$ с $\mathbf {Y}$ во времени являются временными взаимными корреляциями. В теории вероятности и статистике определение корреляции всегда включает в себя стандартизирующий фактор, таким образом, корреляции имеют значения от -1 до +1.

Если $X$ и $Y$ две независимые случайные величины с функциями плотности вероятности $f$ и $g$соответственно, то плотность вероятности разности $Y-X$ формально задается взаимной корреляцией (в смысле обработки сигналов) $f\star g$; однако эта терминология не используется в теории вероятности и статистике. Напротив, свертка $f*g$ (эквивалент взаимной корреляции $f(t)$ и $g(-t)$) дает функцию плотности вероятности суммы $X+Y$.

Взаимная

Для непрерывных функций $f$ и $g$, взаимная корреляция определяется как:

$$(f\star g)(\tau )\ \triangleq \int _{-\infty }^{\infty }{\overline {f(t)}}g(t+\tau )\,dt$$

что эквивалентно

$$(f\star g)(\tau )\ \triangleq \int _{-\infty }^{\infty }{\overline {f(t-\tau )}}g(t)\,dt$$

где ${\overline {f(t)}}$ обозначает комплексно-сопряженное число $f(t)$, и $\tau$ называется смещением или задержкой. Для высококоррелированных $f$ и $g$ которые имеют максимальную взаимную корреляцию в конкретном $\tau$, особенность в $f$ в $t$ также происходит позже в $g$ в $t+\tau$, следовательно $g$ можно описать как отставание $f$ к $\tau$.

Если $f$ и $g$ обе являются непрерывными периодическими функциями периода $T$, интегрирование из $-\infty$ к $\infty$ заменяется интегрированием по любому интервалу $[t_{0},t_{0}+T]$ длины $T$:

$$(f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t)}}g(t+\tau )\,dt$$

что эквивалентно

$$(f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t-\tau )}}g(t)\,dt$$

Аналогично для дискретных функций взаимная корреляция определяется как:

$$(f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m]}}g[m+n]$$

что эквивалентно:

$$(f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m-n]}}g[m]$$

Для конечных дискретных функций $f,g\in \mathbb {C} ^{N}$, (круговая) взаимная корреляция определяется как:

$$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}g[(m+n)_{{\text{mod}}~N}]$$

что эквивалентно:

$$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[(m-n)_{{\text{mod}}~N}]}}g[m]$$

Для конечных дискретных функций $f\in \mathbb {C} ^{N}$, $g\in \mathbb {C} ^{M}$, взаимная корреляция ядра определяется как:

$$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}K_{g}[(m+n)_{{\text{mod}}~N}]$$

где $K_{g}=[k(g,T_{0}(g)),k(g,T_{1}(g)),\dots ,k(g,T_{N-1}(g))]$ вектор функций ядра $k(\cdot ,\cdot )\colon \mathbb {C} ^{M}\times \mathbb {C} ^{M}\to \mathbb {R}$ и $T_{i}(\cdot )\colon \mathbb {C} ^{M}\to \mathbb {C} ^{M}$ является аффинным преобразованием .

Конкретно, $T_{i}(\cdot )$ Это может быть преобразование кругового перемещения, преобразование вращения или масштабное преобразование и т. д. Взаимная корреляция ядра расширяет взаимную корреляцию из линейного пространства в пространство ядра. Взаимная корреляция эквивалентна переводу; кросс-корреляция ядра эквивалентна любым аффинным преобразованиям, включая перемещение, вращение, масштабирование и т. д.

Объяснение

В качестве примера рассмотрим две вещественнозначные функции. $f$ и $g$ отличающиеся лишь неизвестным сдвигом вдоль оси x. Можно использовать взаимную корреляцию, чтобы определить, насколько $g$ необходимо сместить по оси X, чтобы сделать его идентичным $f$. Формула, по существу, сдвигает $g$ функционируют вдоль оси X, вычисляя интеграл от их произведения в каждой позиции. Когда функции совпадают, значение $(f\star g)$ максимизируется. Это связано с тем, что когда пики (положительные области) совпадают, они вносят большой вклад в интеграл. Аналогичным образом, когда впадины (отрицательные области) совпадают, они также вносят положительный вклад в интеграл, поскольку произведение двух отрицательных чисел положительно.

Анимация расчета взаимной корреляции. На левом графике показана зеленая функция G, сдвинутая по фазе относительно функции F на временное смещение на 𝜏. Средний график показывает функцию F и сдвинутую по фазе G, представленную вместе в виде кривой Лиссажу . Интегрирование F, умноженное на сдвинутую по фазе G, дает правильный график — взаимную корреляцию между всеми значениями 𝜏.

С комплексными функциями $f$ и $g$, сопряженное взяв $f$ гарантирует, что совмещенные пики (или совмещенные впадины) с мнимыми компонентами будут вносить положительный вклад в интеграл.

В эконометрике лаговую кросс-корреляцию иногда называют кросс-автокорреляцией.

Свойства

• Взаимная корреляция функций $f(t)$ и $g(t)$ эквивалентна свертке (обозначаемой $*$) из ${\overline {f(-t)}}$ и $g(t)$. То есть:

  $[f(t)\star g(t)](t)=[{\overline {f(-t)}}*g(t)](t).$

• $[f(t)\star g(t)](t)=[{\overline {g(t)}}\star {\overline {f(t)}}](-t).$
• Если $f$ является эрмитовой функцией , то $f\star g=f*g.$
• Если оба $f$ и $g$ являются эрмитовыми, то $f\star g=g\star f$.
• $\left(f\star g\right)\star \left(f\star g\right)=\left(f\star f\right)\star \left(g\star g\right)$.
• По аналогии с теоремой о свертке взаимная корреляция удовлетворяет условию
  ${\mathcal {F}}\left\{f\star g\right\}={\overline {{\mathcal {F}}\left\{f\right\}}}\cdot {\mathcal {F}}\left\{g\right\},$
  где ${\mathcal {F}}$ обозначает преобразование Фурье , а ${\overline {f}}$ снова указывает на комплексно-сопряженное число $f$, с ${\mathcal {F}}\left\{{\overline {f(-t)}}\right\}={\overline {{\mathcal {F}}\left\{f(t)\right\}}}$. В сочетании с алгоритмами быстрого преобразования Фурье это свойство часто используется для эффективного численного расчета взаимных корреляций. (см. круговую взаимную корреляцию ).
• Взаимная корреляция связана со спектральной плотностью (см. теорему Винера – Хинчина ).
• Взаимная корреляция свертки $f$ и $h$ с функцией $g$ представляет собой свертку взаимной корреляции $g$ и $f$ с ядром $h$:

  $g\star \left(f*h\right)=\left(g\star f\right)*h$.

Взаимная корреляция случайных векторов

Основная статья: Матрица взаимной корреляции

Определение

Для случайных векторов $\mathbf {X} =(X_{1},\ldots ,X_{m})$ и $\mathbf {Y} =(Y_{1},\ldots ,Y_{n})$, каждый из которых содержит случайные элементы которых , ожидаемое значение и дисперсия существуют, матрицу взаимной корреляции $\mathbf {X}$ и $\mathbf {Y}$ определяется

$$\operatorname {R} _{\mathbf {X} \mathbf {Y} }\triangleq \ \operatorname {E} \left[\mathbf {X} \mathbf {Y} \right]$$

и имеет размеры $m\times n$. Написано покомпонентно:

$$\operatorname {R} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\operatorname {E} [X_{1}Y_{1}]&\operatorname {E} [X_{1}Y_{2}]&\cdots &\operatorname {E} [X_{1}Y_{n}]\\\\\operatorname {E} [X_{2}Y_{1}]&\operatorname {E} [X_{2}Y_{2}]&\cdots &\operatorname {E} [X_{2}Y_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{m}Y_{1}]&\operatorname {E} [X_{m}Y_{2}]&\cdots &\operatorname {E} [X_{m}Y_{n}]\end{bmatrix}}$$

Случайные векторы $\mathbf {X}$ и $\mathbf {Y}$ не обязательно должны иметь одинаковую размерность, и любое из них может быть скалярным значением.Где $\operatorname {E}$ это математическое ожидание .

Пример

Например, если $\mathbf {X} =\left(X_{1},X_{2},X_{3}\right)$ и $\mathbf {Y} =\left(Y_{1},Y_{2}\right)$ являются случайными векторами, то $\operatorname {R} _{\mathbf {X} \mathbf {Y} }$ это $3\times 2$ матрица, чья $(i,j)$-я запись $\operatorname {E} [X_{i}Y_{j}]$.

Определение сложных случайных векторов

Если $\mathbf {Z} =(Z_{1},\ldots ,Z_{m})$ и $\mathbf {W} =(W_{1},\ldots ,W_{n})$ представляют собой комплексные случайные векторы , каждый из которых содержит случайные переменные, ожидаемое значение и дисперсия которых существуют, матрицу взаимной корреляции $\mathbf {Z}$ и $\mathbf {W}$ определяется

$$\operatorname {R} _{\mathbf {Z} \mathbf {W} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {W} ^{\rm {H}}]$$

где ${}^{\rm {H}}$ обозначает эрмитово транспонирование .

Взаимная корреляция случайных процессов

В анализе временных рядов и статистике взаимная корреляция пары случайных процессов — это корреляция между значениями процессов в разное время как функция двух времен. Позволять $(X_{t},Y_{t})$ быть парой случайных процессов, и $t$ быть в любой момент времени ( $t$ может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Затем $X_{t}$ — это ценность (или реализация ), полученная в результате данного выполнения процесса в определенный момент времени. $t$.

Функция взаимной корреляции

Предположим, что процесс имеет средства $\mu _{X}(t)$ и $\mu _{Y}(t)$ и отклонения $\sigma _{X}^{2}(t)$ и $\sigma _{Y}^{2}(t)$ во время $t$, для каждого $t$. Тогда определение взаимной корреляции между временами $t_{1}$ и $t_{2}$ является

$$\operatorname {R} _{XY}(t_{1},t_{2})\triangleq \ \operatorname {E} \left[X_{t_{1}}{\overline {Y_{t_{2}}}}\right]$$

где $\operatorname {E}$ — оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено.

Функция перекрестной ковариации

Вычитание среднего значения перед умножением дает перекрестную ковариацию между временами. $t_{1}$ и $t_{2}$:

$$\operatorname {K} _{XY}(t_{1},t_{2})\triangleq \ \operatorname {E} \left[\left(X_{t_{1}}-\mu _{X}(t_{1})\right){\overline {(Y_{t_{2}}-\mu _{Y}(t_{2}))}}\right]$$

Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, поскольку среднее значение или дисперсия могут не существовать.

Определение стационарного случайного процесса

Позволять $(X_{t},Y_{t})$ представляют собой пару случайных процессов , которые совместно являются стационарными в широком смысле . Тогда функция взаимной ковариации и функция взаимной корреляции задаются следующим образом.

Функция взаимной корреляции

$$\operatorname {R} _{XY}(\tau )\triangleq \ \operatorname {E} \left[X_{t}{\overline {Y_{t+\tau }}}\right]$$

или эквивалентно

$$\operatorname {R} _{XY}(\tau )=\operatorname {E} \left[X_{t-\tau }{\overline {Y_{t}}}\right]$$

Функция перекрестной ковариации

$$\operatorname {K} _{XY}(\tau )\triangleq \ \operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]$$

или эквивалентно

$$\operatorname {K} _{XY}(\tau )=\operatorname {E} \left[\left(X_{t-\tau }-\mu _{X}\right){\overline {\left(Y_{t}-\mu _{Y}\right)}}\right]$$

где $\mu _{X}$ и $\sigma _{X}$ среднее и стандартное отклонение процесса $(X_{t})$, которые постоянны во времени из-за стационарности; и аналогично для $(Y_{t})$, соответственно. $\operatorname {E} [\ ]$ указывает ожидаемое значение . Что взаимная ковариация и взаимная корреляция не зависят от $t$ — это именно дополнительная информация (помимо индивидуальной стационарности в широком смысле), передаваемая требованием, чтобы $(X_{t},Y_{t})$ являются совместно стационарными в широком смысле.

Взаимную корреляцию пары совместных в широком смысле стационарных стохастических процессов можно оценить путем усреднения произведения выборок, измеренных в результате одного процесса, и выборок, измеренных в результате другого (и их временных сдвигов). Выборки, включенные в среднее значение, могут представлять собой произвольное подмножество всех выборок в сигнале (например, выборки в пределах конечного временного окна или подвыборку ). одного из сигналов). Для большого количества выборок среднее значение сходится к истинной взаимной корреляции.

Нормализация

) обычной практикой является В некоторых дисциплинах (например, в статистике и анализе временных рядов нормализация функции взаимной корреляции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, в инженерии) нормализация обычно опускается и термины «взаимная корреляция» и «взаимная ковариация» используются как синонимы.

Определение нормированной взаимной корреляции случайного процесса:

$$\rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}={\frac {\operatorname {E} \left[\left(X_{t_{1}}-\mu _{t_{1}}\right){\overline {\left(X_{t_{2}}-\mu _{t_{2}}\right)}}\right]}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}$$

Если функция $\rho _{XX}$ четко определен, его значение должно лежать в диапазоне $[-1,1]$, где 1 указывает на идеальную корреляцию, а −1 указывает на идеальную антикорреляцию .

Для совместных стационарных случайных процессов в широком смысле определение таково:

$$\rho _{XY}(\tau )={\frac {\operatorname {K} _{XY}(\tau )}{\sigma _{X}\sigma _{Y}}}={\frac {\operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]}{\sigma _{X}\sigma _{Y}}}$$

Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Свойства

Свойство симметрии

Для совместных стационарных случайных процессов в широком смысле функция взаимной корреляции обладает следующим свойством симметрии:

$$\operatorname {R} _{XY}(t_{1},t_{2})={\overline {\operatorname {R} _{YX}(t_{2},t_{1})}}$$

Соответственно для совместных процессов ВСС:

$$\operatorname {R} _{XY}(\tau )={\overline {\operatorname {R} _{YX}(-\tau )}}$$

Анализ временной задержки

Взаимная корреляция полезна для определения временной задержки между двумя сигналами, например, для определения временных задержек при распространении акустических сигналов по микрофонной решетке. После расчета взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы отрицательно коррелированы) функции взаимной корреляции указывает момент времени, когда сигналы лучше всего выровнены; т. е. временная задержка между двумя сигналами определяется аргументом максимума или arg max взаимной корреляции , как в

$$\tau _{\mathrm {delay} }={\underset {t\in \mathbb {R} }{\operatorname {arg\,max} }}((f\star g)(t))$$

Терминология в обработке изображений

Взаимная корреляция с нулевой нормализацией (ZNCC)

Для приложений обработки изображений , в которых яркость изображения и шаблона может меняться в зависимости от условий освещения и экспозиции, изображения можно сначала нормализовать. Обычно это делается на каждом этапе путем вычитания среднего значения и деления на стандартное отклонение . То есть взаимная корреляция шаблона $t(x,y)$ с фрагментом изображения $f(x,y)$ является

$${\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}\left(f(x,y)-\mu _{f}\right)\left(t(x,y)-\mu _{t}\right)$$

где $n$ это количество пикселей в $t(x,y)$ и $f(x,y)$, $\mu _{f}$ среднее значение $f$ и $\sigma _{f}$ стандартное отклонение ​ $f$.

В терминах функционального анализа это можно рассматривать как скалярное произведение двух нормализованных векторов . То есть, если

$$F(x,y)=f(x,y)-\mu _{f}$$

и

$$T(x,y)=t(x,y)-\mu _{t}$$

то указанная выше сумма равна

$$\left\langle {\frac {F}{\|F\|}},{\frac {T}{\|T\|}}\right\rangle$$

где $\langle \cdot ,\cdot \rangle$ является внутренним продуктом и $\|\cdot \|$ это L² норма . Затем Коши-Шварц подразумевает, что ZNCC имеет ряд $[-1,1]$.

Таким образом, если $f$ и $t$ являются действительными матрицами, их нормированная взаимная корреляция равна косинусу угла между единичными векторами $F$ и $T$, будучи таким образом $1$ тогда и только тогда, когда $F$ равно $T$ умноженное на положительную скалярную величину.

Нормализованная корреляция — это один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска экземпляров шаблона или объекта внутри изображения. Это также двумерная версия коэффициента корреляции момента произведения Пирсона .

Нормализованная взаимная корреляция (NCC)

NCC похож на ZNCC с той лишь разницей, что не вычитается локальное среднее значение интенсивности:

$${\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}f(x,y)t(x,y)$$

Нелинейные системы

Следует соблюдать осторожность при использовании взаимной корреляции для нелинейных систем. В определенных обстоятельствах, которые зависят от свойств входа, взаимная корреляция между входом и выходом системы с нелинейной динамикой может быть полностью невосприимчива к определенным нелинейным эффектам. Эта проблема возникает потому, что некоторые квадратичные моменты могут равняться нулю, и это может ошибочно предполагать, что между двумя сигналами существует небольшая «корреляция» (в смысле статистической зависимости), хотя на самом деле эти два сигнала сильно связаны нелинейной динамикой.

См. также

• Автокорреляция
• Автоковариация
• Согласованность
• Свертка
• Корреляция
• Корреляционная функция
• Матрица взаимной корреляции
• Перекрестная ковариация
• Перекрестный спектр
• Корреляция цифровых изображений
• Фазовая корреляция
• Масштабированная корреляция
• Спектральная плотность
• Теорема Винера – Хинчина

Дальнейшее чтение

• Тахмасеби, Пейман; Хезархани, Ардешир; Сахими, Мухаммед (2012). «Многоточечное геостатистическое моделирование на основе функций взаимной корреляции». Вычислительные науки о Земле . 16 (3): 779–797. Бибкод : 2012CmpGe..16..779T . дои : 10.1007/s10596-012-9287-1 . S2CID   62710397 .

Внешние ссылки

• Взаимная корреляция из Mathworld
• http://scribblethink.org/Work/nvisionInterface/nip.html
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf