Авторегрессионная модель

Из Википедии, бесплатной энциклопедии

В статистике, эконометрике и обработке сигналов авторегрессионная ( AR ) модель представляет собой представление типа случайного процесса; как таковая, она используется для описания определенных изменяющихся во времени процессов в природе, экономике, поведении и т. д. Модель авторегрессии определяет, что выходная переменная линейно зависит от ее собственных предыдущих значений и от стохастического члена (несовершенно предсказуемого термина); таким образом, модель имеет форму стохастического разностного уравнения (или рекуррентного соотношения), которое не следует путать с дифференциальным уравнением . Вместе с моделью скользящего среднего (MA) это частный случай и ключевой компонент более общих моделей временных рядов авторегрессии – скользящего среднего (ARMA) и авторегрессионного интегрированного скользящего среднего (ARIMA), которые имеют более сложную стохастические модели. состав; это также частный случай векторной авторегрессионной модели (VAR), которая состоит из системы более чем одного взаимосвязанного стохастического разностного уравнения с более чем одной развивающейся случайной величиной.

В отличие от модели скользящего среднего (MA), авторегрессионная модель не всегда стационарна, поскольку может содержать единичный корень.

Хотя модели большого языка называются авторегрессионными, они не являются классической моделью авторегрессии в этом смысле, поскольку они не линейны.

Определение [ править ]

Обозначения указывает на авторегрессионную модель порядка p . Модель AR( p ) определяется как

где – параметры модели , а это белый шум . [1] [2] Это можно эквивалентно записать с использованием оператора обратного сдвига B как

так что, перемещая член суммирования в левую часть и используя полиномиальную запись , мы имеем

Таким образом, авторегрессионную модель можно рассматривать как выходной сигнал всеполюсного фильтра с бесконечной импульсной характеристикой , входным сигналом которого является белый шум.

Некоторые ограничения параметров необходимы для того, чтобы модель оставалась стационарной в слабом смысле . Например, процессы в модели AR(1) с не являются стационарными. В более общем смысле, чтобы модель AR( p ) была стационарной в слабом смысле, корни полинома должен лежать вне единичного круга , т. е. каждый (комплексный) корень должен удовлетворить (см. стр. 89,92 [3] ).

шоков эффект Межвременной

В процессе AR однократный шок влияет на значения развивающейся переменной бесконечно далеко в будущее. Например, рассмотрим модель AR(1) . Ненулевое значение для в момент времени t =1 влияет по сумме . Тогда по уравнению АР для с точки зрения , это влияет по сумме . Тогда по уравнению АР для с точки зрения , это влияет по сумме . Продолжение этого процесса показывает, что эффект никогда не заканчивается, хотя если процесс стационарен , то в пределе эффект уменьшается до нуля.

Поскольку каждый шок влияет на значения X бесконечно далеко в будущем от момента их возникновения, на любое заданное значение X t влияют потрясения, происходящие бесконечно далеко в прошлом. В этом также можно убедиться, переписав авторегрессию

(где постоянный член был исключен, предполагая, что переменная измерялась как отклонения от ее среднего значения) как

Когда полиномиальное деление в правой части, полином в операторе обратного сдвига применяется к выполняется имеет бесконечный порядок, то есть бесконечное число запаздывающих значений появляются в правой части уравнения.

Характеристический полином [ править ]

Автокорреляционную функцию процесса AR( p ) можно выразить как [ нужна цитата ]

где являются корнями многочлена

где B оператор обратного сдвига , где — функция, определяющая авторегрессию, и где – коэффициенты авторегрессии. Формула справедлива только в том случае, если все корни имеют кратность 1. [ нужна цитата ]

Автокорреляционная функция процесса AR( p ) представляет собой сумму затухающих экспонент.

  • Каждый действительный корень вносит в автокорреляционную функцию компонент, который затухает экспоненциально.
  • Точно так же каждая пара комплексно-сопряженных корней вносит экспоненциально затухающее колебание.

Графики процессов AR( p ) [ править ]

«На рисунке представлено 5 графиков процессов AR. AR(0) и AR(0,3) представляют собой белый шум или выглядят как белый шум. AR(0,9) имеет некую крупномасштабную колебательную структуру».
АР(0); AR(1) с параметром AR 0,3; AR(1) с параметром AR 0,9; AR(2) с параметрами AR 0,3 и 0,3; и AR(2) с параметрами AR 0,9 и -0,8.

Простейшим процессом AR является AR(0), который не имеет зависимости между членами. На результат процесса влияет только фактор ошибки/инновации/шума, поэтому на рисунке AR(0) соответствует белому шуму.

Для процесса AR(1) с положительным , только предыдущий член процесса и шумовой член вносят вклад в выходной сигнал. Если близко к 0, то процесс по-прежнему выглядит как белый шум, но поскольку приближается к 1, выход получает больший вклад от предыдущего члена относительно шума. Это приводит к «сглаживанию» или интеграции выходного сигнала, подобно фильтру нижних частот .

Для процесса AR(2) два предыдущих члена и шумовой член вносят вклад в выходные данные. Если оба и положительны, выходной сигнал будет напоминать фильтр нижних частот с уменьшением высокочастотной части шума. Если является положительным, пока отрицательно, то процесс благоприятствует изменению знака между членами процесса. Выходной сигнал колеблется. Это можно сравнить с обнаружением края или обнаружением изменения направления.

Пример: процесс AR(1) [ править ]

Процесс AR(1) определяется следующим образом:

где представляет собой процесс белого шума с нулевым средним значением и постоянной дисперсией . (Примечание: нижний индекс на был отброшен.) Процесс является стационарным в слабом смысле , если поскольку он получается как выходной сигнал стабильного фильтра, входным сигналом которого является белый шум. (Если тогда дисперсия зависит от временной задержки t, так что дисперсия ряда расходится к бесконечности при стремлении t к бесконечности и, следовательно, не является стационарной в слабом смысле.) , Значение одинаково для всех значений t по самому определению слабой смысловой стационарности. Если среднее значение обозначается , это следует из
что
и поэтому

Дисперсия

где стандартное отклонение . Это можно показать, заметив, что

а затем заметив, что указанная выше величина является стабильной фиксированной точкой этого отношения.

Автоковариация выражением определяется

Видно, что автоковариационная функция затухает со временем затухания (также называемым постоянной времени ) . [4]

преобразование Фурье Функция спектральной плотности представляет собой функции автоковариации. В дискретных терминах это будет преобразование Фурье с дискретным временем:

Это выражение является периодическим из-за дискретного характера , что проявляется в виде косинуса в знаменателе. Если предположить, что время выборки ( ) намного меньше времени затухания ( ), то мы можем использовать континуальное приближение для :

что дает лоренцев профиль спектральной плотности:

где - угловая частота, связанная со временем затухания .

Альтернативное выражение для можно получить, предварительно подставив для в определяющем уравнении. Продолжение этого процесса N раз дает

Для N, стремящегося к бесконечности, будет приближаться к нулю и:

Видно, что белый шум свернут с ядро плюс постоянное среднее значение. Если белый шум это гауссов процесс тогда также является гауссовским процессом. В других случаях центральная предельная теорема указывает, что будет примерно нормально распределено, когда близко к единице.

Для , процесс будет геометрическая прогрессия ( экспоненциальный рост или затухание). В этом случае решение можно найти аналитически: Посредством чего — неизвестная константа ( начальное условие ).

/разности процесса AR(1 Явная ) форма среднего

Модель AR(1) представляет собой аналог непрерывного процесса Орнштейна-Уленбека в дискретном времени . Поэтому иногда полезно понять свойства модели AR(1), представленной в эквивалентной форме. В этой форме модель AR(1) с параметром процесса , дан кем-то

, где , является средним значением модели, и представляет собой процесс белого шума с нулевым средним значением и постоянной дисперсией .

Переписав это как и затем выводим (по индукции) , можно показать, что

и
.

Выбор максимального лага [ править ]

Частичная автокорреляция процесса AR(p) равна нулю при задержках, превышающих p, поэтому подходящим максимальным лагом p является тот, после которого все частичные автокорреляции равны нулю.

Расчет параметров АР [ править ]

Существует много способов оценки коэффициентов, например, обычная процедура наименьших квадратов или метод моментов (с помощью уравнений Юла – Уокера).

Модель AR( p ) задается уравнением

Он основан на параметрах где я = 1, ..., п . Существует прямое соответствие между этими параметрами и ковариационной функцией процесса, и это соответствие можно инвертировать для определения параметров из автокорреляционной функции (которая сама получается из ковариаций). Это делается с помощью уравнений Юла – Уокера.

Уравнения Юла Уокера

Уравнения Юла-Уокера, названные в честь Удного Юла и Гилберта Уокера , [5] [6] представляют собой следующую систему уравнений. [7]

где m = 0,…, p , что дает p + 1 уравнений. Здесь — автоковариационная функция X t , - стандартное отклонение входного шумового процесса, а – дельта - функция Кронекера .

Поскольку последняя часть отдельного уравнения отлична от нуля только в том случае, если m = 0 , набор уравнений можно решить, представив уравнения для m > 0 в матричной форме, получив таким образом уравнение

который можно решить для всех Оставшееся уравнение для m = 0 имеет вид

который однажды известны, могут быть решены для

Альтернативная формулировка заключается в использовании автокорреляционной функции . Параметры АР определяются первыми p +1 элементами автокорреляционной функции. Полную автокорреляционную функцию затем можно получить путем рекурсивного вычисления [8]

низкого порядка Примеры некоторых процессов AR( p )

  • р =1
    • Следовательно
  • р =2
    • Уравнения Юла – Уокера для процесса AR (2) имеют вид
      • Помните, что
      • Использование первого уравнения дает
      • Использование формулы рекурсии дает

Оценка параметров AR [ править ]

Приведенные выше уравнения (уравнения Юла-Уокера) обеспечивают несколько способов оценки параметров модели AR( p ) путем замены теоретических ковариаций оценочными значениями. [9] Некоторые из этих вариантов можно описать следующим образом:

  • Оценка автоковариаций или автокорреляций. Здесь каждый из этих членов оценивается отдельно, используя традиционные оценки. Существуют разные способы сделать это, и выбор между ними влияет на свойства схемы оценки. Например, некоторые варианты выбора могут дать отрицательные оценки дисперсии.
  • Формулировка в виде задачи регрессии по методу наименьших квадратов, в которой строится обычная задача прогнозирования по методу наименьших квадратов, основанная на прогнозировании значений X t на основе p предыдущих значений той же серии. Это можно рассматривать как схему прогнозирования. Можно увидеть, что нормальные уравнения для этой задачи соответствуют аппроксимации матричной формы уравнений Юла – Уокера, в которой каждое появление автоковариации с одним и тем же запаздыванием заменяется несколько другой оценкой.
  • Формулировка как расширенная форма обычной задачи прогнозирования методом наименьших квадратов. Здесь два набора уравнений прогнозирования объединяются в одну схему оценки и один набор нормальных уравнений. Один набор представляет собой набор уравнений прямого прогнозирования, а другой — соответствующий набор уравнений обратного прогнозирования, относящихся к обратному представлению модели AR:
Здесь прогнозируемые значения X t будут основаны на будущих значениях p того же ряда. [ нужны разъяснения ] Этот способ оценки параметров AR принадлежит Джону Паркеру Бургу, [10] и называется методом Бурга: [11] Бург и более поздние авторы назвали эти конкретные оценки «оценками максимальной энтропии». [12] но причина этого применима к использованию любого набора оцененных параметров AR. По сравнению со схемой оценки, использующей только уравнения прямого прогнозирования, получаются разные оценки автоковариаций, и эти оценки имеют разные свойства устойчивости. Оценки Бурга особенно связаны с оценкой спектра максимальной энтропии . [13]

Другие возможные подходы к оценке включают оценку максимального правдоподобия . Доступны два различных варианта максимального правдоподобия: в одном (в широком смысле эквивалентном схеме наименьших квадратов прямого прогнозирования) рассматриваемая функция правдоподобия соответствует условному распределению более поздних значений в серии с учетом начальных значений p в серии; во втором случае рассматривается функция правдоподобия, соответствующая безусловному совместному распределению всех значений в наблюдаемом ряду. Существенные различия в результатах этих подходов могут возникнуть, если наблюдаемый ряд короткий или процесс близок к нестационарности.

Спектр [ править ]

( Спектральная плотность мощности PSD) процесса AR( p ) с дисперсией шума является [8]

АР(0) [ править ]

Для белого шума (AR(0))

АР(1) [ править ]

Для АР(1)

  • Если имеется единственный спектральный пик при f=0, часто называемый красным шумом . Как становится ближе к 1, мощность на низких частотах увеличивается, т. е. увеличиваются временные задержки. Это фильтр нижних частот: при применении к свету полного спектра все, кроме красного света, будет фильтроваться.
  • Если существует минимум при f=0, часто называемый синим шумом . Это аналогично действует как фильтр верхних частот: все, кроме синего света, будет фильтроваться.

АР(2) [ править ]

Поведение процесса AR(2) полностью определяется корнями его характеристического уравнения , которое выражается через оператор запаздывания как:

или, что эквивалентно, полюсами его передаточной функции , которая определяется в области Z следующим образом:

Отсюда следует, что полюса представляют собой значения z, удовлетворяющие:

,

который дает:

.

и являются обратными характеристическим корням, а также собственными значениями матрицы временного обновления:

Процессы AR(2) можно разделить на три группы в зависимости от характеристик их корней/полюсов:

  • Когда , процесс имеет пару комплексно-сопряженных полюсов, создающих среднечастотный пик на:

с шириной полосы около пика, обратно пропорциональной модулям полюсов:

Все члены, содержащие квадратные корни, действительны в случае комплексных полюсов, поскольку они существуют только тогда, когда .

В противном случае процесс имеет реальные корни, и:

  • Когда он действует как фильтр нижних частот белого шума со спектральным пиком на уровне
  • Когда он действует как фильтр верхних частот белого шума со спектральным пиком на уровне .

Процесс является нестационарным, когда полюса находятся на единичной окружности или за ее пределами, или, что то же самое, когда характеристические корни находятся на единичной окружности или внутри нее. Процесс устойчив, когда полюса находятся строго внутри единичного круга (корни строго вне единичного круга) или, что то же самое, когда коэффициенты находятся в треугольнике. .

Полную функцию PSD можно выразить в реальной форме как:

Реализации в пакетах статистики [ править ]

  • R , пакет статистики включает функцию ar . [14]
  • R, пакет astsa включает функцию sarima , подходящую для различных моделей, включая модели AR. [15]
  • MATLAB Набор инструментов эконометрики [16] и панель инструментов идентификации системы [17] включает авторегрессионные модели [18]
  • Matlab и Octave : набор инструментов TSA содержит несколько функций оценки для одномерных, многомерных и адаптивных авторегрессионных моделей. [19]
  • PyMC3 : среда байесовской статистики и вероятностного программирования поддерживает режимы авторегрессии с задержками .
  • bayesloop поддерживает вывод параметров и выбор модели для процесса AR-1 с изменяющимися во времени параметрами. [20]
  • Python : реализация в моделях состояний. [21]

Импульсный отклик [ править ]

Импульсная реакция системы — это изменение развивающейся переменной в ответ на изменение значения шокового члена k периодов ранее в зависимости от k . Поскольку модель AR является частным случаем векторной авторегрессионной модели, здесь применяется вычисление импульсного отклика в векторной авторегрессии#импульсный отклик .

n -прогнозирование на шаг вперед [ править ]

Как только параметры авторегрессии

были оценены, авторегрессию можно использовать для прогнозирования произвольного числа периодов в будущем. Сначала используйте t для обозначения первого периода, по которому данные еще недоступны; подставьте известные предыдущие значения X t-i для i = 1, ..., p в уравнение авторегрессии, установив при этом член ошибки равно нулю (поскольку мы прогнозируем, что X t будет равен его ожидаемому значению, а ожидаемое значение ненаблюдаемой ошибки равно нулю). Результатом уравнения авторегрессии является прогноз на первый ненаблюдаемый период. Затем используйте t для обозначения следующего периода, за который данные еще недоступны; снова для составления прогноза используется уравнение авторегрессии, с одним отличием: значение X за период до прогнозируемого сейчас неизвестно, поэтому вместо него используется его ожидаемое значение - прогнозируемое значение, возникающее на предыдущем этапе прогнозирования. . Затем для будущих периодов используется та же процедура, каждый раз с использованием еще одного прогнозного значения в правой части прогнозного уравнения до тех пор, пока после p прогнозов все p правых значений не станут прогнозными значениями из предыдущих шагов.

Существует четыре источника неопределенности в отношении прогнозов, полученных таким образом: (1) неопределенность относительно того, является ли модель авторегрессии правильной моделью; (2) неопределенность в отношении точности прогнозируемых значений, которые используются в качестве запаздывающих значений в правой части уравнения авторегрессии; (3) неопределенность относительно истинных значений коэффициентов авторегрессии; и (4) неопределенность относительно значения ошибки. на прогнозируемый период. Каждый из последних трех показателей можно оценить количественно и объединить, чтобы получить доверительный интервал для прогнозов на n шагов вперед; доверительный интервал станет шире по мере увеличения n из-за использования все большего числа оценочных значений для правых переменных.

См. также [ править ]

Примечания [ править ]

  1. ^ Бокс, Джордж EP (1994). Анализ временных рядов: прогнозирование и контроль . Гвилим М. Дженкинс, Грегори К. Рейнсель (3-е изд.). Энглвуд Клиффс, Нью-Джерси: Прентис Холл. п. 54. ИСБН  0-13-060774-6 . OCLC   28888762 .
  2. ^ Шамуэй, Роберт Х. (2000). Анализ временных рядов и его приложения . Дэвид С. Стоффер. Нью-Йорк: Спрингер. стр. 90–91. ISBN  0-387-98950-1 . OCLC   42392178 . Архивировано из оригинала 16 апреля 2023 г. Проверено 03 сентября 2022 г.
  3. ^ Шамуэй, Роберт Х.; Стоффер, Дэвид (2010). Анализ временных рядов и его приложения: на примерах R (3-е изд.). Спрингер. ISBN  978-1441978646 .
  4. ^ Лай, Дихуэй; и Лу, Бинфэн; «Понимание модели авторегрессии для временных рядов как детерминированной динамической системы». Архивировано 24 марта 2023 г. в Wayback Machine , в журнале Predictive Analytics and Futurism , июнь 2017 г., номер 15, июнь 2017 г., страницы 7–9.
  5. ^ Юл, Г. Удни (1927) «О методе исследования периодичности в возмущенных рядах с особым упором на число солнечных пятен Вулфера». Архивировано 14 мая 2011 г. в Wayback Machine , Philosophical Transactions of the Royal Society of London , Ser. А, Том. 226, 267–298.]
  6. ^ Уокер, Гилберт (1931) «О периодичности в ряде связанных терминов». Архивировано 7 июня 2011 г. в Wayback Machine , королевского общества Труды Лондонского , сер. А, Том. 131, 518–532.
  7. ^ Теодоридис, Сергиос (10 апреля 2015 г.). «Глава 1. Вероятность и случайные процессы». Машинное обучение: байесовский подход и перспектива оптимизации . Академик Пресс, 2015. С. 9–51. ISBN  978-0-12-801522-3 .
  8. ^ Перейти обратно: а б Фон Шторх, Ганс; Цвирс, Фрэнсис В. (2001). Статистический анализ в исследованиях климата . Издательство Кембриджского университета. дои : 10.1017/CBO9780511612336 . ISBN  0-521-01230-9 . [ нужна страница ]
  9. ^ Эшель, Гидон. «Уравнения Юла Уокера для коэффициентов AR» (PDF) . stat.wharton.upenn.edu . Архивировано (PDF) из оригинала 13 июля 2018 г. Проверено 27 января 2019 г.
  10. ^ Бург, Джон Паркер (1968); «Новая техника анализа данных временных рядов», в «Современном спектральном анализе» (под редакцией Д.Г. Чайлдерса), Институт перспективных исследований обработки сигналов НАТО с упором на подводную акустику. IEEE Press, Нью-Йорк.
  11. ^ Брокуэлл, Питер Дж.; Дальхаус, Райнер; Триндаде, А. Александр (2005). «Модифицированные алгоритмы Бурга для авторегрессии многомерного подмножества» (PDF) . Статистика Синица . 15 : 197–213. Архивировано из оригинала (PDF) 21 октября 2012 г.
  12. ^ Бург, Джон Паркер (1967) «Спектральный анализ максимальной энтропии», Труды 37-го собрания Общества геофизиков-разведчиков , Оклахома-Сити, Оклахома.
  13. ^ Бос, Роберт; Де Ваэле, Стейн; Броерсен, Пит М.Т. (2002). «Авторегрессионная спектральная оценка путем применения алгоритма Бурга к данным с нерегулярной выборкой» . Транзакции IEEE по приборостроению и измерениям . 51 (6): 1289. Бибкод : 2002ITIM...51.1289B . дои : 10.1109/TIM.2002.808031 . Архивировано из оригинала 16 апреля 2023 г. Проверено 11 декабря 2019 г.
  14. ^ «Подгонка моделей авторегрессии к временным рядам». Архивировано 28 января 2016 г. в Wayback Machine (в R).
  15. ^ Стоффер, Дэвид; Яд, Ники (09 января 2023 г.), astsa: Прикладной статистический анализ временных рядов , получено 20 августа 2023 г.
  16. ^ «Инструментарий эконометрики» . www.mathworks.com . Архивировано из оригинала 16 апреля 2023 г. Проверено 16 февраля 2022 г.
  17. ^ «Панель инструментов идентификации системы» . www.mathworks.com . Архивировано из оригинала 16 февраля 2022 г. Проверено 16 февраля 2022 г.
  18. ^ «Модель авторегрессии — MATLAB и Simulink» . www.mathworks.com . Архивировано из оригинала 16 февраля 2022 г. Проверено 16 февраля 2022 г.
  19. ^ «Набор инструментов анализа временных рядов (TSA) для Octave и Matlab®» . pub.ist.ac.at. Архивировано из оригинала 11 мая 2012 г. Проверено 3 апреля 2012 г.
  20. ^ "Кристофмарк/Бейслуп" . 7 декабря 2021 года. Архивировано из оригинала 28 сентября 2020 года . Получено 4 сентября 2018 г. - через GitHub.
  21. ^ "statsmodels.tsa.ar_model.AutoReg — документация по statsmodels 0.12.2" . www.statsmodels.org . Архивировано из оригинала 28 февраля 2021 г. Проверено 29 апреля 2021 г.

Ссылки [ править ]

  • Миллс, Теренс К. (1990). Методы временных рядов для экономистов . Издательство Кембриджского университета. ISBN  9780521343398 .
  • Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений . Издательство Кембриджского университета. Бибкод : 1993sapa.book.....P .
  • Пандит, Судхакар М.; Ву, Шиен-Мин (1983). Временные ряды и системный анализ с приложениями . Джон Уайли и сыновья.

Внешние ссылки [ править ]