Стандартные ошибки, согласованные с гетероскедастичностью

Тема согласованных с гетероскедастичностью ( HC ), стандартных ошибок, возникает в статистике и эконометрике в контексте линейной регрессии и анализа временных рядов . Они также известны как устойчивые к гетероскедастичности стандартные ошибки (или просто устойчивые стандартные ошибки ), стандартные ошибки Эйкера-Хубера-Уайта (также стандартные ошибки Хубера-Уайта или стандартные ошибки Уайта ), признать вклад Фридхельма Эйкера , Питер Дж. Хубер , и Халберт Уайт .

В регрессионном моделировании и моделировании временных рядов основные формы моделей используют предположение, что ошибки или возмущения u _i имеют одинаковую дисперсию во всех точках наблюдения. Когда это не так, говорят, что ошибки гетероскедастичны или имеют гетероскедастичность , и это поведение будет отражено в остатках. ${\widehat {u}}_{i}$ оценивается по подобранной модели. Стандартные ошибки, согласованные с гетероскедастичностью, используются для подбора модели, которая содержит гетероскедастические остатки. Первый такой подход был предложен Хубером (1967), и с тех пор были разработаны дальнейшие усовершенствованные процедуры для перекрестных данных, данных временных рядов и оценки GARCH .

Стандартные ошибки, согласующиеся с гетероскедастичностью и отличающиеся от классических стандартных ошибок, могут указывать на неправильную спецификацию модели. Замена стандартных ошибок, согласованных с гетероскедастичностью, не устраняет эту неправильную спецификацию, которая может привести к смещению коэффициентов. В большинстве ситуаций проблему следует найти и устранить. Другие типы корректировок стандартных ошибок, такие как кластерные стандартные ошибки или стандартные ошибки HAC , можно рассматривать как расширение стандартных ошибок HC.

История

Стандартные ошибки, согласованные с гетероскедастичностью, были введены Фридхельмом Эйкером . и популяризирован в эконометрике Халбертом Уайтом .

Проблема

Рассмотрим модель линейной регрессии для скаляра $y$.

$y=\mathbf {x} ^{\top }{\boldsymbol {\beta }}+\varepsilon ,\,$

где $\mathbf {x}$ представляет собой вектор-столбец k x 1 независимых переменных (признаков), ${\boldsymbol {\beta }}$ представляет собой вектор-столбец k × 1 параметров, подлежащих оценке, и $\varepsilon$ это остаточная ошибка .

Обычная оценка методом наименьших квадратов (OLS)

${\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} .\,$

где $\mathbf {y}$ вектор наблюдений $y_{i}$, и $\mathbf {X}$ обозначает матрицу сложенных $\mathbf {x} _{i}$ значения, наблюдаемые в данных.

Если ошибки выборки имеют одинаковую дисперсию $\sigma ^{2}$ и некоррелированы , то оценка методом наименьших квадратов ${\boldsymbol {\beta }}$ имеет СИНИЙ цвет (лучшая линейная несмещенная оценка), а его дисперсия оценивается с помощью

${\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=s^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {\varepsilon }}_{i}^{2}}{n-k}}$

где ${\widehat {\varepsilon }}_{i}=y_{i}-\mathbf {x} _{i}^{\top }{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }$ являются остатками регрессии.

Когда члены ошибки не имеют постоянной дисперсии (т. е. предположение о $\mathbb {E} [\mathbf {u} \mathbf {u} ^{\top }]=\sigma ^{2}\mathbf {I} _{n}$ неверно), оценка OLS теряет свои желательные свойства. Формулу дисперсии теперь невозможно упростить:

$\mathbb {V} \left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=\mathbb {V} {\big [}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} {\big ]}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Sigma } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}$

где $\mathbf {\Sigma } =\mathbb {V} [\mathbf {u} ].$

Хотя точечная оценка МНК остается несмещенной, она не является «лучшей» в смысле минимальной среднеквадратической ошибки, а оценка дисперсии МНК ${\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]$ не дает последовательной оценки дисперсии оценок МНК.

Однако для любой нелинейной модели (например, логит- и пробит -моделей) гетероскедастичность имеет более серьезные последствия: оценки максимального правдоподобия параметров будут смещены (в неизвестном направлении), а также противоречивы (если функция правдоподобия не равна модифицировано для правильного учета точной формы гетероскедастичности). Как отметил Грин , «простое вычисление устойчивой ковариационной матрицы для несогласованной в противном случае оценки не дает ее искупления».

Решение

Если ошибки регрессии $\varepsilon _{i}$ независимы, но имеют отчетливые отклонения $\sigma _{i}^{2}$, затем $\mathbf {\Sigma } =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})$ который можно оценить с помощью ${\widehat {\sigma }}_{i}^{2}={\widehat {\varepsilon }}_{i}^{2}$. Это дает оценку Уайта (1980), часто называемую HCE (оценка, согласованная с гетероскедастичностью):

${\begin{aligned}{\hat {\mathbb {V} }}_{\text{HCE}}{\big [}{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}{\big ]}&={\frac {1}{n}}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\end{aligned}}$

где как указано выше $\mathbf {X}$ обозначает матрицу сложенных $\mathbf {x} _{i}^{\top }$ значения из данных. Оценку можно получить с помощью обобщенного метода моментов (ОММ).

В литературе (включая статью Уайта) также часто обсуждается ковариационная матрица. ${\widehat {\mathbf {\Omega } }}_{n}$ принадлежащий ${\sqrt {n}}$-последовательное предельное распределение:

${\sqrt {n}}({\widehat {\boldsymbol {\beta }}}_{n}-{\boldsymbol {\beta }})\,\xrightarrow {d} \,{\mathcal {N}}(\mathbf {0} ,\mathbf {\Omega } ),$

где

$\mathbf {\Omega } =\mathbb {E} [\mathbf {X} \mathbf {X} ^{\top }]^{-1}\mathbb {V} [\mathbf {X} {\boldsymbol {\varepsilon }}]\operatorname {\mathbb {E} } [\mathbf {X} \mathbf {X} ^{\top }]^{-1},$

и

${\begin{aligned}{\widehat {\mathbf {\Omega } }}_{n}&={\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=n(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\end{aligned}}$

Таким образом,

${\widehat {\mathbf {\Omega } }}_{n}=n\cdot {\hat {\mathbb {V} }}_{\text{HCE}}[{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}]$

и

${\widehat {\mathbb {V} }}[\mathbf {X} {\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}={\frac {1}{n}}\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} .$

Какая именно ковариационная матрица вызывает беспокойство, зависит от контекста.

Альтернативные оценки были предложены Маккинноном и Уайтом (1985), которые корректируют неравные отклонения остатков регрессии из-за различного кредитного плеча . В отличие от асимптотической оценки Уайта, их оценки несмещены, когда данные гомоскедастичны.

Из четырех широко доступных различных вариантов, часто обозначаемых как HC0-HC3, спецификация HC3, по-видимому, работает лучше всего, при этом тесты основаны на оценщике HC3, обеспечивающем большую мощность и более близкое к целевому размеру , особенно на небольших выборках. Чем больше выборка, тем меньше разница между разными оценками.

Альтернативой явному моделированию гетероскедастичности является использование метода повторной выборки, такого как дикий бутстрап . Учитывая, что стьюдентизированный бутстрап , который стандартизирует повторную выборку статистики по ее стандартной ошибке, дает асимптотическое уточнение, Тем не менее устойчивые к гетероскедастичности стандартные ошибки остаются полезными.

Вместо учета гетероскедастических ошибок большинство линейных моделей можно преобразовать, чтобы включить в них гомоскедастические ошибки (если только ошибка не является гетероскедастической по своей конструкции, например, в линейной вероятностной модели ). Один из способов сделать это — использовать взвешенный метод наименьших квадратов , который также обладает улучшенными свойствами эффективности.

См. также

• Дельта-метод
• Обобщенные наименьшие квадраты
• Обобщенные оценочные уравнения
• Взвешенные наименьшие квадраты , альтернативная формулировка
• Тест Уайта — тест на наличие гетероскедастичности.
• Оценщик Ньюи – Уэста
• Оценка квазимаксимального правдоподобия

Программное обеспечение

• EViews : EViews версии 8 предлагает три различных метода для надежного метода наименьших квадратов: M-оценка (Huber, 1973), S-оценка (Rousseeuw и Yohai, 1984) и MM-оценка (Yohai 1987).
• Юля : CovarianceMatrices Пакет предлагает несколько методов для построения гетероскедастических робастных дисперсионных ковариационных матриц.
• МАТЛАБ : См. hac функция в наборе инструментов Эконометрика.
• Python : пакет Statsmodel предлагает различные надежные оценки стандартных ошибок, см. в statsmodels.reгрессия.linear_model.ReprofitResults. дополнительные описания
• Р : vcovHC() команда из пакет для сэндвичей .
• КРЫСЫ : Опция Robusterrors доступна во многих командах регрессии и оптимизации ( Линрег , нллс и др.).
• Был : robust вариант, применимый во многих процедурах, основанных на псевдоправдоподобии.
• Гретл : вариант --robust нескольким командам оценки (например, ols) в контексте набора поперечных данных дает устойчивые стандартные ошибки.

Дальнейшее чтение

• Фридман, Дэвид А. (2006). «О так называемой «сэндвич-оценке Хубера» и «устойчивых стандартных ошибках» ». Американский статистик . 60 (4): 299–302. дои : 10.1198/000313006X152207 . S2CID   6222876 .
• Хардин, Джеймс В. (2003). «Сэндвич-оценка дисперсии». В Фомби, Томас Б.; Хилл, Р. Картер (ред.). Оценка максимального правдоподобия неверно определенных моделей: двадцать лет спустя . Амстердам: Эльзевир. стр. 45–74. ISBN  0-7623-1075-8 .
• Хейс, Эндрю Ф.; Цай, Ли (2007). «Использование средств оценки стандартной ошибки, согласованных с гетероскедастичностью, в регрессии OLS: введение и программная реализация» . Методы исследования поведения . 39 (4): 709–722. дои : 10.3758/BF03192961 . ПМИД   18183883 .
• Кинг, Гэри ; Робертс, Маргарет Э. (2015). «Как устойчивые стандартные ошибки выявляют методологические проблемы, которые они не устраняют, и что с этим делать» . Политический анализ . 23 (2): 159–179. дои : 10.1093/pan/mpu015 .
• Вулдридж, Джеффри М. (2009). «Устойчивый к гетероскедастичности вывод после оценки МНК». Вводная эконометрика: современный подход (Четвертое изд.). Мейсон: Юго-западный. стр. 265–271. ISBN  978-0-324-66054-8 .
• Буя, Андреас и др. «Модели как аппроксимации — заговор случайных регрессоров и отклонений моделей против классического вывода в регрессии». Статистическая наука (2015): 1. pdf.