Коррелограмма

Не путать с диаграммой рассеяния .

График, показывающий 100 случайных чисел со «скрытой» синусоидальной функцией и автокорреляцией (коррелограммой) ряда внизу.

При анализе данных коррелограмма представляет собой корреляционной статистики диаграмму . Например, при анализе временных рядов график выборочных автокорреляций $r_{h}\,$ против $h\,$ (время задержки) является автокоррелограммой . Если отображается взаимная корреляция , результат называется кросс-коррелограммой .

Коррелограмма — широко используемый инструмент для проверки случайности в наборе данных . В случае случайности автокорреляции должны быть близки к нулю для любого и всех разделений по времени. Если они неслучайны, то одна или несколько автокорреляций будут значительно отличны от нуля.

Кроме того, коррелограммы используются на этапе идентификации модели для Бокса – Дженкинса авторегрессии скользящего среднего моделей временных рядов . Для обеспечения случайности автокорреляции должны быть близки к нулю; если аналитик не проверяет случайность, то достоверность многих статистических выводов становится сомнительной. Коррелограмма — отличный способ проверить такую ​​случайность.

В многомерном анализе , корреляционные матрицы представленные в виде изображений с цветовой картой, также могут называться «коррелограммами» или «коррограммами».

Приложения

Коррелограмма может помочь дать ответы на следующие вопросы:

• Являются ли данные случайными?
• Связано ли наблюдение с соседним наблюдением?
• Является ли наблюдение, связанное с наблюдением, удаленным дважды? (и т. д.)
• Является ли наблюдаемый временной ряд белым шумом ?
• Является ли наблюдаемый временной ряд синусоидальным?
• Является ли наблюдаемый временной ряд авторегрессией?
• Какая модель подходит для наблюдаемого временного ряда?
• Модель

$Y={\text{constant}}+{\text{error}}$

действительны и достаточны?

• Формула $s_{\bar {Y}}=s/{\sqrt {N}}$ действительный?

Важность

Случайность (наряду с фиксированной моделью, фиксированной вариацией и фиксированным распределением) — это одно из четырех предположений, которые обычно лежат в основе всех процессов измерения. Предположение о случайности критически важно по следующим трем причинам:

• Большинство стандартных статистических тестов зависят от случайности. Обоснованность выводов теста напрямую связана с обоснованностью предположения о случайности.
• Многие обычно используемые статистические формулы зависят от предположения о случайности, наиболее распространенной формулой является формула для определения стандартной ошибки выборочного среднего:

$s_{\bar {Y}}=s/{\sqrt {N}}$

где s — стандартное отклонение данных. Несмотря на широкое использование, результаты использования этой формулы не имеют никакой ценности, если не выполняется предположение о случайности.

• Для одномерных данных модель по умолчанию:

$Y={\text{constant}}+{\text{error}}$

Если данные не случайны, эта модель неверна и недействительна, а оценки параметров (таких как константа) становятся бессмысленными и недействительными.

Оценка автокорреляций

Коэффициент автокорреляции при задержке h определяется выражением

$r_{h}=c_{h}/c_{0}\,$

где c _h — автоковариационная функция

$c_{h}={\frac {1}{N}}\sum _{t=1}^{N-h}\left(Y_{t}-{\bar {Y}}\right)\left(Y_{t+h}-{\bar {Y}}\right)$

и c ₀ — функция дисперсии

$c_{0}={\frac {1}{N}}\sum _{t=1}^{N}\left(Y_{t}-{\bar {Y}}\right)^{2}$

Результирующее значение r _h будет находиться в диапазоне от −1 до +1.

Альтернативная оценка

В некоторых источниках может использоваться следующая формула для функции автоковариации:

$c_{h}={\frac {1}{N-h}}\sum _{t=1}^{N-h}\left(Y_{t}-{\bar {Y}}\right)\left(Y_{t+h}-{\bar {Y}}\right)$

Хотя это определение имеет меньшую предвзятость , формулировка (1/ N ) обладает некоторыми желательными статистическими свойствами и является формой, наиболее часто используемой в статистической литературе. Подробности смотрите на страницах 20 и 49–50 в Chatfield.

В отличие от определения выше, это определение позволяет нам вычислить $c_{h}$ немного более интуитивным способом. Рассмотрим образец $Y_{1},\dots ,Y_{N}$, где $Y_{i}\in \mathbb {R} ^{n}$ для $i=1,\dots ,N$. Тогда пусть

$X={\begin{bmatrix}Y_{1}-{\bar {Y}}&\cdots &Y_{N}-{\bar {Y}}\end{bmatrix}}\in \mathbb {R} ^{n\times N}$

Затем мы вычисляем матрицу Грама $Q=X^{\top }X$. Окончательно, $c_{h}$ рассчитывается как выборочное среднее $h$й диагонали $Q$. Например, $0$-я диагональ (основная диагональ) $Q$ имеет $N$ элементов, а его выборочное среднее соответствует $c_{0}$. $1$первая диагональ (справа от главной диагонали) $Q$ имеет $N-1$ элементов, а его выборочное среднее соответствует $c_{1}$, и так далее.

Статистический вывод с помощью коррелограмм

Пример коррелограммы выборки из 400 точек авторегрессионного процесса первого порядка с корреляцией соседних точек 0,75, а также 95% доверительных интервалов (построенных вокруг оценок корреляции черным цветом и около нуля красным), рассчитанных по уравнениям в этом документе. раздел. Пунктирная синяя линия показывает фактическую автокорреляционную функцию выбранного процесса.

20 коррелограмм из 400-точечных выборок того же случайного процесса, что и на предыдущем рисунке.

На том же графике можно нарисовать верхнюю и нижнюю границы автокорреляции с уровнем значимости. $\alpha \,$:

$B=\pm z_{1-\alpha /2}SE(r_{h})\,$ с $r_{h}\,$ как предполагаемая автокорреляция при задержке $h\,$.

Если автокорреляция выше (ниже), чем эта верхняя (нижняя) граница, нулевая гипотеза об отсутствии автокорреляции при заданном лаге и за его пределами отклоняется на уровне значимости $\alpha \,$. Этот тест является приблизительным и предполагает, что временной ряд является гауссовским .

В приведенном выше примере z _{1− α /2} является квантилем нормального распределения ; SE — это стандартная ошибка, которую можно вычислить по формуле Бартлетта для процессов MA( ℓ ):

$SE(r_{1})={\frac {1}{\sqrt {N}}}$

$SE(r_{h})={\sqrt {\frac {1+2\sum _{i=1}^{h-1}r_{i}^{2}}{N}}}$ для $h>1.\,$

В приведенном примере мы можем отвергнуть нулевую гипотезу об отсутствии автокорреляции между моментами времени, которые разделены задержками до 4. Для большинства более длительных периодов нельзя отвергнуть нулевую гипотезу об отсутствии автокорреляции.

Обратите внимание, что существует две разные формулы для создания доверительных интервалов:

1. Если коррелограмма используется для проверки случайности (т. е. отсутствия зависимости данных от времени), рекомендуется использовать следующую формулу:

$\pm {\frac {z_{1-\alpha /2}}{\sqrt {N}}}$

где N — размер выборки , z — функция квантиля стандартного нормального распределения , а α — уровень значимости . В этом случае доверительные интервалы имеют фиксированную ширину, которая зависит от размера выборки.

2. Коррелограммы также используются на этапе идентификации модели для подбора моделей ARIMA . В этом случае для данных предполагается модель скользящего среднего , и должны быть созданы следующие доверительные интервалы:

$\pm z_{1-\alpha /2}{\sqrt {{\frac {1}{N}}\left(1+2\sum _{i=1}^{k}r_{i}^{2}\right)}}$

где k – задержка. В этом случае доверительные интервалы увеличиваются по мере увеличения лага.

Программное обеспечение

Коррелограммы доступны в большинстве статистических библиотек общего назначения.

Коррелограммы:

• на питоне pandasпанды pandas.plotting.autocorrelation_plot
• Р : функции acf и pacf

Коррграммы:

• питон морской родной : heatmap, pairplot
• Р : corrgram

Связанные методы

• Частичная автокорреляционная функция
• Задержка сюжета
• Спектральный сюжет
• Сюжет сезонного подсериала
• Масштабированная корреляция
• Вариограмма

Дальнейшее чтение

• Ханке, Джон Э.; Райч, Артур Г.; Вичерн, Дин В. Бизнес-прогнозирование (7-е изд.). Река Аппер-Седл, Нью-Джерси: Прентис-Холл.
• Коробка, ГЭП; Дженкинс, Г. (1976). Анализ временных рядов: прогнозирование и контроль . Холден-Дэй.
• Чатфилд, К. (1989). Анализ временных рядов: Введение (Четвертое изд.). Нью-Йорк, штат Нью-Йорк: Чепмен и Холл.

Внешние ссылки

• График автокорреляции

Эта статья включает общедоступные материалы Национального института стандартов и технологий.