Взаимная корреляция
Часть серии по статистике. |
Корреляция и ковариация |
---|
![]() |

В сигналов обработке взаимная корреляция — это мера сходства двух рядов как функция смещения одного относительно другого. Это также известно как скользящее скалярное произведение или скользящее внутреннее произведение . Он обычно используется для поиска более короткого известного объекта в длинном сигнале. Он находит применение в распознавании образов , анализе одиночных частиц , электронной томографии , усреднении , криптоанализе и нейрофизиологии . Взаимная корреляция по своей природе аналогична свертке двух функций. При автокорреляции , которая представляет собой взаимную корреляцию сигнала с самим собой, всегда будет пик с нулевой задержкой, а его размер будет энергией сигнала.
В теории вероятности и статистике термин «взаимная корреляция» относится к корреляциям между элементами двух случайных векторов. и , а корреляции случайного вектора являются корреляциями между записями сами по себе те, которые формируют матрицу корреляционную . Если каждый из и представляет собой скалярную случайную величину, которая неоднократно реализуется во временном ряду , то корреляции различных временных моментов известны автокорреляции как и взаимные корреляции с во времени являются временными взаимными корреляциями. В теории вероятности и статистике определение корреляции всегда включает стандартизирующий фактор, таким образом, корреляции имеют значения от -1 до +1.
Если и две независимые случайные величины с функциями плотности вероятности и соответственно, то плотность вероятности разности формально задается взаимной корреляцией (в смысле обработки сигналов) ; однако эта терминология не используется в теории вероятности и статистике. Напротив, свертка (эквивалент взаимной корреляции и ) дает функцию плотности вероятности суммы .
Взаимная корреляция детерминированных сигналов
[ редактировать ]Для непрерывных функций и , взаимная корреляция определяется как: [1] [2] [3] что эквивалентно где обозначает комплексно-сопряженное число , и называется смещением или задержкой. Для высококоррелированных и которые имеют максимальную взаимную корреляцию в конкретном , особенность в в также происходит позже в в , следовательно можно описать как отставание к .
Если и обе являются непрерывными периодическими функциями периода , интегрирование из к заменяется интегрированием по любому интервалу длины : что эквивалентно Аналогично для дискретных функций взаимная корреляция определяется как: [4] [5] что эквивалентно: Для конечных дискретных функций , (круговая) взаимная корреляция определяется как: [6] что эквивалентно: Для конечных дискретных функций , , взаимная корреляция ядра определяется как: [7] где вектор функций ядра и является аффинным преобразованием .
Конкретно, Это может быть преобразование кругового перемещения, преобразование вращения или масштабное преобразование и т. д. Взаимная корреляция ядра расширяет взаимную корреляцию из линейного пространства в пространство ядра. Взаимная корреляция эквивалентна переводу; кросс-корреляция ядра эквивалентна любым аффинным преобразованиям, включая перемещение, вращение, масштабирование и т. д.
Объяснение
[ редактировать ]В качестве примера рассмотрим две вещественнозначные функции. и отличающиеся лишь неизвестным сдвигом вдоль оси x. Можно использовать взаимную корреляцию, чтобы определить, насколько необходимо сместить по оси X, чтобы сделать его идентичным . Формула, по существу, сдвигает функционируют вдоль оси X, вычисляя интеграл от их произведения в каждой позиции. Когда функции совпадают, значение максимизируется. Это связано с тем, что когда пики (положительные области) совпадают, они вносят большой вклад в интеграл. Аналогичным образом, когда впадины (отрицательные области) совпадают, они также вносят положительный вклад в интеграл, поскольку произведение двух отрицательных чисел положительно.

С комплексными функциями и , сопряженное взяв гарантирует, что совмещенные пики (или совмещенные впадины) с мнимыми компонентами будут вносить положительный вклад в интеграл.
В эконометрике лаговую кросс-корреляцию иногда называют кросс-автокорреляцией. [8] : с. 74
Характеристики
[ редактировать ]- Взаимная корреляция функций и эквивалентна свертке (обозначаемой ) из и . То есть:
- Если является эрмитовой функцией , то
- Если оба и являются эрмитовыми, то .
- .
- По аналогии с теоремой о свертке взаимная корреляция удовлетворяет условию
- где обозначает преобразование Фурье , а снова указывает на комплексно-сопряженное число , с . В сочетании с алгоритмами быстрого преобразования Фурье это свойство часто используется для эффективного численного расчета взаимных корреляций. [9] (см. круговую взаимную корреляцию ).
- Взаимная корреляция связана со спектральной плотностью (см. теорему Винера – Хинчина ).
- Взаимная корреляция свертки и с функцией представляет собой свертку взаимной корреляции и с ядром :
- .
Взаимная корреляция случайных векторов
[ редактировать ]Определение
[ редактировать ]Для случайных векторов и , каждый из которых содержит случайные элементы которых , ожидаемое значение и дисперсия существуют, матрицу взаимной корреляции и определяется [10] : стр.337 и имеет размеры . Написано покомпонентно: Случайные векторы и не обязательно должны иметь одинаковую размерность, и любое из них может быть скалярным значением.Где это математическое ожидание .
Пример
[ редактировать ]Например, если и являются случайными векторами, то это матрица, чья -я запись .
Определение комплексных случайных векторов
[ редактировать ]Если и представляют собой комплексные случайные векторы , каждый из которых содержит случайные величины, ожидаемое значение и дисперсия которых существуют, матрицу взаимной корреляции и определяется где обозначает эрмитово транспонирование .
Взаимная корреляция случайных процессов
[ редактировать ]В анализе временных рядов и статистике взаимная корреляция пары случайных процессов — это корреляция между значениями процессов в разное время как функция двух времен. Позволять быть парой случайных процессов, и быть в любой момент времени ( может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Затем — это ценность (или реализация ), полученная в результате данного выполнения процесса в определенный момент времени. .
Функция взаимной корреляции
[ редактировать ]Предположим, что процесс имеет средства и и отклонения и во время , для каждого . Тогда определение взаимной корреляции между временами и является [10] : стр.392 где — оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено.
Функция перекрестной ковариации
[ редактировать ]Вычитание среднего значения перед умножением дает перекрестную ковариацию между временами. и : [10] : стр.392 Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, поскольку среднее значение или дисперсия могут не существовать.
Определение стационарного случайного процесса в широком смысле
[ редактировать ]Позволять представляют собой пару случайных процессов , которые совместно являются стационарными в широком смысле . Тогда функция взаимной ковариации и функция взаимной корреляции задаются следующим образом.
Функция взаимной корреляции
[ редактировать ]или эквивалентно
Функция перекрестной ковариации
[ редактировать ]или эквивалентно где и среднее и стандартное отклонение процесса , которые постоянны во времени из-за стационарности; и аналогично для , соответственно. указывает ожидаемое значение . Что взаимная ковариация и взаимная корреляция не зависят от — это именно дополнительная информация (помимо индивидуальной стационарности в широком смысле), передаваемая требованием, чтобы являются совместно в широком смысле стационарными.
Взаимную корреляцию пары совместных в широком смысле стационарных случайных процессов можно оценить путем усреднения произведения выборок, измеренных в результате одного процесса, и выборок, измеренных в результате другого (и их временных сдвигов). Выборки, включенные в среднее значение, могут представлять собой произвольное подмножество всех выборок в сигнале (например, выборки в пределах конечного временного окна или подвыборку ). [ который? ] одного из сигналов). Для большого количества выборок среднее значение сходится к истинной взаимной корреляции.
Нормализация
[ редактировать ]) обычной практикой является В некоторых дисциплинах (например, в статистике и анализе временных рядов нормализация функции взаимной корреляции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, инженерных) нормализация обычно опускается и термины «взаимная корреляция» и «взаимная ковариация» используются как синонимы.
Определение нормированной взаимной корреляции случайного процесса: Если функция четко определен, его значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а −1 указывает на идеальную антикорреляцию .
Для совместных стационарных случайных процессов в широком смысле определение таково: Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.
Характеристики
[ редактировать ]Свойство симметрии
[ редактировать ]Для совместных стационарных случайных процессов в широком смысле функция взаимной корреляции обладает следующим свойством симметрии: [11] : стр.173 Соответственно для совместных процессов ВСС:
Анализ временных задержек
[ редактировать ]Взаимная корреляция полезна для определения временной задержки между двумя сигналами, например, для определения временных задержек при распространении акустических сигналов по микрофонной решетке. [12] [13] [ нужны разъяснения ] После расчета взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы отрицательно коррелируют) функции взаимной корреляции указывает момент времени, когда сигналы лучше всего выровнены; т. е. временная задержка между двумя сигналами определяется аргументом максимума или arg max взаимной корреляции , как в Терминология в обработке изображений
Взаимная корреляция с нулевой нормализацией (ZNCC)
[ редактировать ]Для приложений обработки изображений , в которых яркость изображения и шаблона может меняться в зависимости от условий освещения и экспозиции, изображения можно сначала нормализовать. Обычно это делается на каждом этапе путем вычитания среднего значения и деления на стандартное отклонение . То есть взаимная корреляция шаблона с фрагментом изображения является
где это количество пикселей в и , среднее значение и стандартное отклонение .
В терминах функционального анализа это можно рассматривать как скалярное произведение двух нормализованных векторов . То есть, если и то указанная выше сумма равна где является внутренним продуктом и это L² норма . Затем Коши-Шварц подразумевает, что ZNCC имеет ряд .
Таким образом, если и являются действительными матрицами, их нормированная взаимная корреляция равна косинусу угла между единичными векторами и , будучи таким образом тогда и только тогда, когда равно умноженное на положительную скалярную величину.
Нормализованная корреляция — это один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска экземпляров шаблона или объекта внутри изображения. Это также двумерная версия коэффициента корреляции момента произведения Пирсона .
Нормализованная взаимная корреляция (NCC)
[ редактировать ]NCC похож на ZNCC с той лишь разницей, что не вычитается локальное среднее значение интенсивности:
Нелинейные системы
[ редактировать ]Следует соблюдать осторожность при использовании взаимной корреляции для нелинейных систем. В определенных обстоятельствах, которые зависят от свойств входа, взаимная корреляция между входом и выходом системы с нелинейной динамикой может быть полностью невосприимчива к определенным нелинейным эффектам. [14] Эта проблема возникает потому, что некоторые квадратичные моменты могут равняться нулю, и это может ошибочно предполагать, что между двумя сигналами существует небольшая «корреляция» (в смысле статистической зависимости), хотя на самом деле эти два сигнала сильно связаны нелинейной динамикой.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Брейсвелл, Р. «Пентаграммная запись для взаимной корреляции». Преобразование Фурье и его приложения. Нью-Йорк: МакГроу-Хилл, стр. 46 и 243, 1965.
- ^ Папулис, А. Интеграл Фурье и его приложения. Нью-Йорк: МакГроу-Хилл, стр. 244–245 и 252–253, 1962.
- ^ Вайсштейн, Эрик В. «Взаимная корреляция». Из MathWorld — веб-ресурса Wolfram. http://mathworld.wolfram.com/Cross-Correlation.html
- ^ Рабинер, ЛР; Шафер, RW (1978). Цифровая обработка речевых сигналов . Серия обработки сигналов. Река Аппер-Седл, Нью-Джерси: Прентис-Холл. стр. 147–148 . ISBN 0132136031 .
- ^ Рабинер, Лоуренс Р.; Голд, Бернард (1975). Теория и применение цифровой обработки сигналов . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. стр. 401 . ISBN 0139141014 .
- ^ Ван, Чен (2019). Обучение ядра зрительного восприятия, глава 2.2.1 (докторская диссертация). Наньянский технологический университет, Сингапур. стр. 17–18 . дои : 10.32657/10220/47835 . hdl : 10356/105527 .
- ^ Ван, Чен; Чжан, Ле; Юань, Джунсонг; Се, Лихуа (2018). «Кросс-коррелятор ядра» . Материалы конференции AAAI по искусственному интеллекту . Тридцать вторая конференция AAAI по искусственному интеллекту. 32 . Ассоциация по развитию искусственного интеллекта: 4179–4186. дои : 10.1609/aaai.v32i1.11710 . S2CID 3544911 .
- ^ Кэмпбелл; Ло; МакКинли (1996). Эконометрика финансовых рынков . Нью-Джерси: Издательство Принстонского университета. ISBN 0691043019 .
- ^ Капинчев Константин; Браду, Адриан; Барнс, Фредерик; Подолеану, Адриан (2015). «Реализация кросс-корреляции графическим процессором для генерации изображений в реальном времени». 2015 9-я Международная конференция по системам обработки сигналов и связи (ICSPCS) . стр. 1–6. дои : 10.1109/ICSPCS.2015.7391783 . ISBN 978-1-4673-8118-5 . S2CID 17108908 .
- ^ Jump up to: а б с Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительных машин . Издательство Кембриджского университета. ISBN 978-0-521-86470-1 .
- ^ Кун Иль Пак, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, 978-3-319-68074-3
- ^ Руди, Мэтью; Брайан Буччи; Джеффри Випперман; Джеффри Алланах; Брюс Абрахам (ноябрь 2009 г.). Методы анализа микрофонных решеток с использованием взаимной корреляции . Материалы Международного конгресса машиностроения ASME 2009 г., Лейк-Буэна-Виста, Флорида. стр. 281–288. дои : 10.1115/IMECE2009-10798 . ISBN 978-0-7918-4388-8 .
- ^ Руди, Мэтью (ноябрь 2009 г.). Реализация военного классификатора импульсов в реальном времени (дипломная работа MS). Университет Питтсбурга.
- ^ Биллингс, Ю.А. (2013). Идентификация нелинейных систем: методы NARMAX во временной, частотной и пространственно-временной областях . Уайли. ISBN 978-1-118-53556-1 .
Дальнейшее чтение
[ редактировать ]- Тахмасеби, Пейман; Хезархани, Ардешир; Сахими, Мухаммед (2012). «Многоточечное геостатистическое моделирование на основе функций взаимной корреляции». Вычислительные науки о Земле . 16 (3): 779–797. Бибкод : 2012CmpGe..16..779T . дои : 10.1007/s10596-012-9287-1 . S2CID 62710397 .