Оценка линейного тренда

Оценка линейного тренда — это статистический метод, используемый для анализа закономерностей данных. Когда серия измерений процесса рассматривается как последовательность или временной ряд , оценка тренда может использоваться для обоснования утверждений о тенденциях в данных путем соотнесения измерений со временем, в которое они произошли. Эту модель затем можно использовать для описания поведения наблюдаемых данных. В частности, он используется для определения того, демонстрируют ли измерения тенденцию к увеличению или уменьшению , которая статистически отличается от случайного поведения .

Примеры линейного тренда включают определение тренда среднесуточных температур в данном месте от зимы к лету и определение тренда глобального температурного ряда за последние 100 лет. В последнем случае важны вопросы однородности (например, знание того, является ли ряд одинаково надежным на всем протяжении). ^[1]

Соответствие тренду: метод наименьших квадратов [ править ]

Учитывая набор данных и желание создать какую-то модель этих данных, существует множество функций , которые можно выбрать для подгонки. Если нет предварительного понимания данных, то самая простая функция представляет собой прямую линию со значениями данных на вертикальной оси и временем ( t = 1, 2, 3, ...) на горизонтальной оси.

Подбор методом наименьших квадратов — это распространенный метод, позволяющий провести прямую линию через данные. Этот метод минимизирует сумму квадратов ошибок в ряду данных y . Учитывая набор моментов времени $t$ и значения данных $y_{t}$ наблюдаемые для этих моментов времени значения ${\hat {a}}$ и ${\hat {b}}$ выбираются так, чтобы минимизировать сумму квадратов ошибок

\sum _{t}\left[y_{t}-\left({\hat {a}}t+{\hat {b}}\right)\right]^{2}

Значения ${\hat {a}}$ и ${\hat {b}}$ полученные на основе данных, параметризуйте простую линейную оценку ${\hat {y}}={\hat {a}}x+{\hat {b}}$ . Термин «тренд» относится к наклону ${\hat {a}}$ в оценке наименьших квадратов.

Тенденции случайных данных

Значения, заштрихованные красным, превышают 99% остальных; синий — 95%; зеленый, 90%. В этом случае значения V, обсуждаемые в тексте для (односторонней) достоверности 95%, составляют 0,2.

Если анализируется ряд, который, как известно, является случайным (выпадает справедливая игра в кости или сгенерированные компьютером псевдослучайные числа), и на основе данных строится линия тренда, шансы на то, что оцененный тренд будет точно нулевым, пренебрежимо малы. Однако ожидается, что эта тенденция будет небольшой. Если отдельная серия наблюдений генерируется на основе моделирования, в котором используется заданная дисперсия шума, равная наблюдаемой дисперсии интересующего нас ряда данных, и заданной длины (скажем, 100 точек), большое количество таких смоделированных серий (скажем, 100 000 серий). Затем эти 100 000 рядов можно проанализировать индивидуально для расчета предполагаемых тенденций в каждом ряду, и эти результаты устанавливают распределение предполагаемых тенденций, которые следует ожидать от таких случайных данных – см. диаграмму. Такое распределение будет нормальным согласно центральной предельной теореме, за исключением патологических случаев . Теперь можно выбрать уровень статистической достоверности S – типичная достоверность 95 %; 99% были бы более строгими, 90% более свободными – и можно задать следующий вопрос: каково значение пограничного тренда? V , что приведет к тому, что S % трендов будут находиться между − V и +V ?

Вышеописанную процедуру можно заменить проверкой перестановок . Чтобы сгенерировать значения пограничного тренда V и -V, набор из 100 000 сгенерированных серий можно заменить 100 000 сериями, построенными путем случайного перетасовки наблюдаемых рядов данных. Поскольку такой построенный ряд не будет иметь трендов, его можно использовать аналогично смоделированным данным.

Распределение тенденций было рассчитано с помощью моделирования, описанного выше. В простых случаях, таких как нормально распределенный случайный шум, распределение трендов можно точно рассчитать без моделирования.

Диапазон (-V, V) можно использовать, чтобы решить, маловероятно ли, что тенденция, оцененная на основе фактических данных, возникла из ряда данных, которые действительно имеют нулевую тенденцию. Если расчетное значение параметра регрессии лежит вне этого диапазона, то такой результат мог бы произойти при наличии истинного нулевого тренда только, например, в одном случае из двадцати, если бы использовалось значение достоверности S=95%. В этом случае можно сказать, что при степени уверенности S мы отвергаем нулевую гипотезу о том, что истинная основная тенденция равна нулю.

Однако обратите внимание, что какое бы значение S ни было выбрано, объявляется 1-S, и будет сделан вывод о том, что действительно случайный ряд (ложно, по построению) имеет значительную тенденцию. И наоборот, определенная часть рядов, имеющих ненулевой тренд, не будет объявлена имеющей тренд.

Данные как тренд и шум [ править ]

Чтобы проанализировать (временной) ряд данных, можно предположить, что он может быть представлен как тренд плюс шум:

y_{t}=at+b+e_{t}\,

где $a$ и $b$ неизвестные константы, а $e$ Это случайно распределенные ошибки . Если можно отвергнуть нулевую гипотезу о том, что ошибки нестационарны , то нестационарный ряд { y _t } называется тренд-стационарным . Метод наименьших квадратов предполагает, что ошибки независимо распределяются с помощью нормального распределения. Если это не так, проверка гипотез о неизвестных параметрах a и b может быть неточной. Проще всего, если $e$ все имеют одинаковое распределение, но если нет (если некоторые из них имеют более высокую дисперсию , что означает, что эти точки данных фактически менее надежны), то это можно принять во внимание во время аппроксимации методом наименьших квадратов, взвешивая каждую точку по обратному значению отклонение этой точки.

Обычно, когда для анализа существует только один временной ряд, дисперсия $e$ оценивается путем подгонки тренда для получения расчетных значений параметров ${\hat {a}}$ и ${\hat {b}},$ таким образом позволяя прогнозируемые значения

{\hat {y}}={\hat {a}}t+{\hat {b}}

вычесть из данных $y_{t}$ (таким образом, удаляя тренд данных) и оставляя остатки ${\hat {e}}_{t}$ в качестве данных без тренда и оценки дисперсии $e_{t}$ из остатков — часто это единственный способ оценить дисперсию $e_{t}$ х.

Как только «шум» ряда известен, значимость тренда можно оценить, выдвинув нулевую гипотезу о том, что тренд, $a$ , не отличается от 0. Из приведенного выше обсуждения тенденций случайных данных с известной дисперсией следует ожидать распределения рассчитанных тенденций на основе случайных (безтрендовых) данных. Если предполагаемая тенденция, ${\hat {a}}$ , больше критического значения для определенного уровня значимости , то предполагаемый тренд считается значительно отличающимся от нуля на этом уровне значимости, а нулевая гипотеза о нулевом основном тренде отклоняется.

Использование линейной линии тренда было предметом критики, что привело к поиску альтернативных подходов, позволяющих избежать ее использования при оценке модели. Один из альтернативных подходов включает тесты единичного корня и метод коинтеграции в эконометрических исследованиях.

Оценочный коэффициент, связанный с такой переменной линейного тренда, как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную за одну единицу времени. Строго говоря, эта интерпретация применима только для временного интервала оценки. За пределами этих временных рамок невозможно определить, как эти неизмеримые факторы ведут себя как качественно, так и количественно.

В ответ на эти вопросы были опубликованы результаты исследований математиков, статистиков, эконометриков и экономистов. Например, подробные примечания о значении линейных временных тенденций в регрессионной модели даны у Кэмерона (2005); ^[1] Грейнджер, Энгл и многие другие специалисты по эконометрике писали о стационарности, тестировании единичных корней, коинтеграции и связанных с ними вопросах (резюме некоторых работ в этой области можно найти в информационном документе). ^[2] Шведской королевской академией наук (2003 г.); и Хо-Триу и Такер (1990) написали о логарифмических временных тенденциях, и результаты показали, что линейные временные тенденции являются особыми случаями циклов .

Шумный временной ряд [ править ]

Труднее увидеть тенденцию в зашумленном временном ряду. Например, если истинный ряд равен 0, 1, 2, 3 плюс некоторый независимый нормально распределенный «шум» e стандартного отклонения E и задан выборочный ряд длиной 50, то если E = 0,1, тенденция будет очевидна. ; если E = 100, вероятно, тренд будет виден; но если E = 10000, тренд будет погребен в шуме.

Рассмотрим конкретный пример, такой как глобальный рекорд приземной температуры за последние 140 лет, представленный МГЭИК : ^[3] тогда межгодовое изменение составляет около 0,2 °C, а тренд около 0,6 °C за 140 лет с 95% доверительным интервалом 0,2 °C (по совпадению, примерно того же значения, что и межгодовое изменение). Следовательно, тренд статистически отличается от 0. Однако, как отмечалось в другом месте ^[4] этот временной ряд не соответствует предположениям, необходимым для справедливости метода наименьших квадратов.

Степень соответствия ( r -квадрат) и тенденция [ править ]

Иллюстрация влияния фильтрации на r ². Черный = нефильтрованные данные; красный = данные усреднены каждые 10 точек; синий = данные усреднены каждые 100 точек. У всех одна и та же тенденция, но усиление фильтрации приводит к более высокому r. ² подобранной линии тренда.

Процесс аппроксимации методом наименьших квадратов дает значение – r-квадрат ( r ²) – что равно 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Он говорит, какая доля дисперсии данных объясняется подобранной линией тренда. Это не имеет отношения к статистической значимости линии тренда (см. график); статистическая значимость тренда определяется его t-статистикой . Часто фильтрация серии увеличивает r ² при этом мало что меняя на подгонку тренда.

Продвинутые модели [ править ]

До сих пор предполагалось, что данные состоят из тренда и шума, причем шум в каждой точке данных является независимыми и одинаково распределенными случайными величинами и имеет нормальное распределение. Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, поскольку это имеет огромное значение для простоты анализа статистики с целью извлечения максимальной информации из рядов данных. Если существуют другие нелинейные эффекты, которые коррелируют с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недопустимо. Кроме того, если вариации значительно превышают результирующий прямолинейный тренд, выбор начальной и конечной точек может существенно изменить результат. То есть модель математически неверно определена . Статистические выводы (тесты на наличие тренда, доверительные интервалы тренда и т. д.) недействительны, если не будут должным образом учтены отклонения от стандартных предположений, например, следующим образом:

Зависимость: автокоррелированные временные ряды могут быть смоделированы с использованием моделей авторегрессионного скользящего среднего .
Непостоянная дисперсия: в простейших случаях взвешенные наименьшие квадраты . можно использовать
Ненормальное распределение ошибок: в простейших случаях обобщенная линейная модель . может быть применима
Единичный корень : получение первых (а иногда и вторых) различий данных, при этом уровень различий определяется с помощью различных тестов единичного корня. ^[4]

В R линейный тренд данных можно оценить с помощью функции «tslm» пакета «прогноз».

клинических данных Тенденции

Медицинские и биомедицинские исследования часто направлены на определение связи между наборами данных, например (как указано выше) по трем различным заболеваниям. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня до месяца 1, месяца 2) или внешним фактором, который может определяться или не определяться исследователем и/или его субъектом. (например, отсутствие боли, легкая боль, умеренная боль, сильная боль). В этих случаях можно было бы ожидать, что статистика теста на эффект (например, влияние статина на уровень холестерина , анальгетика на степень боли или увеличение дозы лекарства на измеримый показатель) будет меняться в прямом порядке по мере развития эффекта. Предположим, что средний уровень холестерина до и после назначения статина падает с 5,6 ммоль/л в начале исследования до 3,4 ммоль/л через один месяц и до 3,7 ммоль/л через два месяца. При достаточной мощности ANOVA (дисперсионный анализ), скорее всего, обнаружит значительное падение через один и два месяца, но это падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом могут быть повторные измерения (двусторонний) ANOVA или Критерий Фридмана в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный дисперсионный анализ не подходит. Если уровень холестерина упадет с 5,4 до 4,1 и до 3,7, то будет наблюдаться четкая линейная тенденция. Тот же принцип можно применить к эффектам частоты аллелей/генотипов , где можно утверждать, что SNP в нуклеотидах XX, XY, YY на самом деле представляют собой тенденцию отсутствия Y, одного Y, а затем двух Y. ^[3]

Математика оценки линейного тренда представляет собой вариант стандартного дисперсионного анализа, дающий различную информацию, и будет наиболее подходящим тестом, если исследователи выдвинут гипотезу о влиянии тренда в своей тестовой статистике. Одним из примеров являются уровни трипсина в сыворотке крови у шести групп субъектов, упорядоченных по десятилетиям возраста (от 10–19 лет до 60–69 лет). Уровни трипсина (нг/мл) повышаются по прямой линейной тенденции: 128, 152, 194, 207, 215, 218. Неудивительно, что «стандартный» дисперсионный анализ дает p < 0,0001, тогда как оценка линейной тенденции дает p = 0,00006. Между прочим, можно обоснованно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся показателем, его не следует разбивать на десятилетия, а влияние возраста и трипсина в сыворотке следует искать путем корреляции (при условии, что исходные данные доступны). Еще одним примером является вещество, измеренное в четырех временных точках в разных группах:


#	иметь в виду	СД
1	1.6	0.56
2	1.94	0.75
3	2.22	0.66
4	2.40	0.79

Это явная тенденция. ANOVA дает p = 0,091, поскольку общая дисперсия превышает средние значения, тогда как оценка линейного тренда дает p = 0,012. Однако, если данные были собраны в четыре момента времени у одних и тех же людей, оценка линейного тренда была бы неуместна, и применялся двусторонний (повторяющиеся измерения) ANOVA.

См. также [ править ]

Примечания [ править ]

^ Jump up to: ^а ^б «Как сделать регрессию более полезной II: чайники и тенденции» (PDF) . Проверено 17 июня 2012 г.
^ «Шведская королевская академия наук» (PDF) . 8 октября 2003 года . Проверено 17 июня 2012 г.
^ Jump up to: ^а ^б «Третий оценочный отчет МГЭИК – Изменение климата, 2001 г. – Полные онлайн-версии» . Архивировано из оригинала 20 ноября 2009 года . Проверено 17 июня 2012 г.
^ Jump up to: ^а ^б Прогнозирование: принципы и практика . 20 сентября 2014 года . Проверено 17 мая 2015 г.

Ссылки [ править ]

Бьянки, М.; Бойл, М.; Холлингсворт, Д. (1999). «Сравнение методов оценки тенденций». Письма по прикладной экономике . 6 (2): 103–109. дои : 10.1080/135048599353726 .
Кэмерон, С. (2005). «Как сделать регрессионный анализ более полезным, II». Эконометрика . Мейденхед: Высшее образование Макгроу Хилл. стр. 171–198. ISBN 0077104285 .
Чатфилд, К. (1993). «Расчет интервальных прогнозов». Журнал деловой и экономической статистики . 11 (2): 121–135. дои : 10.1080/07350015.1993.10509938 .
Хо-Триу, Нидерланды; Такер, Дж. (1990). «Еще одно замечание об использовании логарифмического временного тренда». Обзор маркетинга и экономики сельского хозяйства . 58 (1): 89–90. дои : 10.22004/ag.econ.12288 .
Кунгл. Ветенскапсакадемия (2003). «Эконометрика временных рядов: коинтеграция и авторегрессионная условная гетероскедастичность». Предварительная информация о премии Банка Швеции в области экономических наук памяти Альфреда Нобеля . Шведская королевская академия наук.
Арианос, С.; Карбоне, А.; Терк, К. (2011). «Самоподобие скользящих средних высокого порядка» . Физический обзор E . 84 (4): 046113. Бибкод : 2011PhRvE..84d6113A . дои : 10.1103/physreve.84.046113 . ПМИД 22181233 .

[:0-1] Jump up to: ^а ^б «Как сделать регрессию более полезной II: чайники и тенденции» (PDF) . Проверено 17 июня 2012 г.

[2] «Шведская королевская академия наук» (PDF) . 8 октября 2003 года . Проверено 17 июня 2012 г.

[:1-3] Jump up to: ^а ^б «Третий оценочный отчет МГЭИК – Изменение климата, 2001 г. – Полные онлайн-версии» . Архивировано из оригинала 20 ноября 2009 года . Проверено 17 июня 2012 г.

[:2-4] Jump up to: ^а ^б Прогнозирование: принципы и практика . 20 сентября 2014 года . Проверено 17 мая 2015 г.

[1]

[2]

[3]

[4]