Обобщенный метод моментов

В эконометрике и статистике обобщенный метод моментов ( ОММ ) является универсальным методом оценки параметров статистических моделей . Обычно он применяется в контексте полупараметрических моделей , где интересующий параметр является конечномерным, тогда как полная форма функции распределения данных может быть неизвестна, и поэтому оценка максимального правдоподобия неприменима.

Метод требует, чтобы определенное количество моментных условий для модели было задано . Эти моментные условия являются функциями параметров модели и данных, так что их математическое ожидание равно нулю при истинных значениях параметров. Затем метод GMM минимизирует определенную норму выборочных средних моментных условий, и поэтому его можно рассматривать как особый случай оценки минимального расстояния .

GMM оценки Известно, что непротиворечивы , асимптотически нормальны и наиболее эффективны в классе всех оценок, которые не используют никакой дополнительной информации, кроме той, которая содержится в моментных условиях. GMM были предложены Ларсом Питером Хансеном в 1982 году как обобщение метода моментов . введен Карлом Пирсоном в 1894 году. Однако эти оценки математически эквивалентны оценкам, основанным на «условиях ортогональности» (Сарган, 1958, 1959) или «несмещенных уравнениях оценки» (Хубер, 1967; Ван и др., 1997).

Описание

Предположим, что доступные данные состоят из T наблюдений { Y _t } _{t = 1,..., T} , где каждое наблюдение Y _t представляет собой n -мерную многомерную случайную величину . Мы предполагаем, что данные поступают из некоторой статистической модели , определенной с точностью до неизвестного параметра θ ∈ Θ . Цель задачи оценки — найти «истинное» значение этого параметра θ ₀ или, по крайней мере, достаточно близкую оценку.

Общее предположение GMM состоит в том, что данные Y _t генерируются слабо стационарным эргодическим случайным процессом . (Случай независимых и одинаково распределенных (iid) переменных Y _t является частным случаем этого условия.)

Чтобы применить GMM, нам нужно иметь «моментные условия», то есть нам нужно знать вектор-функцию g ( Y , θ ) такую, что

$m(\theta _{0})\equiv \operatorname {E} [\,g(Y_{t},\theta _{0})\,]=0,$

где E обозначает ожидание , а Y _t — общее наблюдение. При этом функция m ( θ ) должна отличаться от нуля при θ ≠ θ ₀ , иначе параметр θ не будет точечно- идентифицированным .

Основная идея GMM заключается в замене теоретического ожидаемого значения E[⋅] его эмпирическим аналогом — выборочным средним:

${\hat {m}}(\theta )\equiv {\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta )$

а затем минимизировать норму этого выражения по θ . Минимизирующее значение θ — это наша оценка для θ ₀ .

По закону больших чисел , $\scriptstyle {\hat {m}}(\theta )\,\approx \;\operatorname {E} [g(Y_{t},\theta )]\,=\,m(\theta )$ для больших значений T , и поэтому мы ожидаем, что $\scriptstyle {\hat {m}}(\theta _{0})\;\approx \;m(\theta _{0})\;=\;0$. Обобщенный метод моментов ищет число $\scriptstyle {\hat {\theta }}$ что сделало бы $\scriptstyle {\hat {m}}(\;\!{\hat {\theta }}\;\!)$ как можно ближе к нулю. Математически это эквивалентно минимизации определенной нормы $\scriptstyle {\hat {m}}(\theta )$ (норма m , обозначаемая как || m ||, измеряет расстояние между m и нулем). Свойства полученной оценки будут зависеть от конкретного выбора функции нормы, и поэтому теория GMM рассматривает целое семейство норм, определяемое как

$\|{\hat {m}}(\theta )\|_{W}^{2}={\hat {m}}(\theta )^{\mathsf {T}}\,W{\hat {m}}(\theta ),$

где W — положительно определенная весовая матрица, а $m^{\mathsf {T}}$ обозначает транспозицию . На практике весовая матрица W вычисляется на основе доступного набора данных, который будет обозначаться как $\scriptstyle {\hat {W}}$. Таким образом, оценку GMM можно записать как

${\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}$

При подходящих условиях эта оценка непротиворечива , асимптотически нормальна и имеет правильный выбор весовой матрицы. $\scriptstyle {\hat {W}}$ также асимптотически эффективен .

Характеристики

Последовательность

Согласованность — это статистическое свойство оценки, утверждающее, что при наличии достаточного количества наблюдений оценка будет сходиться по вероятности к истинному значению параметра:

${\hat {\theta }}{\xrightarrow {p}}\theta _{0}\ {\text{as}}\ T\to \infty .$

Достаточные условия для того, чтобы оценщик GMM был непротиворечивым, заключаются в следующем:

1. ${\hat {W}}_{T}{\xrightarrow {p}}W,$ где W — положительная полуопределенная матрица ,
2. $\,W\operatorname {E} [\,g(Y_{t},\theta )\,]=0$ только для $\,\theta =\theta _{0},$
3. Пространство параметров возможных $\Theta \subset \mathbb {R} ^{k}$ компактен ​ ,
4. $\,g(Y,\theta )$ непрерывен при каждом θ с вероятностью единица,
5. $\operatorname {E} [\,\textstyle \sup _{\theta \in \Theta }\lVert g(Y,\theta )\rVert \,]<\infty .$

Второе условие здесь (так называемое условие глобальной идентификации ) часто особенно трудно проверить. Существуют более простые необходимые, но недостаточные условия, которые можно использовать для обнаружения проблемы неидентификации:

• Состояние заказа . Размерность моментной функции m(θ) должна быть не меньше размерности вектора параметров θ .
• Местная идентификация . Если g(Y,θ) непрерывно дифференцируема в окрестности точки $\theta _{0}$, то матрица $W\operatorname {E} [\nabla _{\theta }g(Y_{t},\theta _{0})]$ должен иметь полный ранг столбца .

На практике специалисты по прикладной эконометрике часто просто предполагают , что глобальная идентификация имеет место, фактически не доказывая этого.

Асимптотическая нормальность

Асимптотическая нормальность — полезное свойство, поскольку оно позволяет нам строить доверительные интервалы для средства оценки и проводить различные тесты. Прежде чем мы сможем сделать утверждение об асимптотическом распределении оценки GMM, нам необходимо определить две вспомогательные матрицы:

$G=\operatorname {E} [\,\nabla _{\!\theta }\,g(Y_{t},\theta _{0})\,],\qquad \Omega =\operatorname {E} [\,g(Y_{t},\theta _{0})g(Y_{t},\theta _{0})^{\mathsf {T}}\,]$

Тогда при условиях 1–6, перечисленных ниже, оценка GMM будет асимптотически нормальной с предельным распределением :

${\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega W^{\mathsf {T}}G(G^{\mathsf {T}}W^{\mathsf {T}}G)^{-1}{\big ]}.$

Условия:

1. ${\hat {\theta }}$ является последовательным (см. предыдущий раздел),
2. Набор возможных параметров $\Theta \subset \mathbb {R} ^{k}$ компактен ​ ,
3. $\,g(Y,\theta )$ непрерывно дифференцируема в некоторой N окрестности $\theta _{0}$ с вероятностью единица,
4. $\operatorname {E} [\,\lVert g(Y_{t},\theta )\rVert ^{2}\,]<\infty ,$
5. $\operatorname {E} [\,\textstyle \sup _{\theta \in N}\lVert \nabla _{\theta }g(Y_{t},\theta )\rVert \,]<\infty ,$
6. матрица $G'WG$ является неособым.

Относительная эффективность

До сих пор мы ничего не говорили о выборе матрицы W , кроме того, что она должна быть положительно полуопределенной. Фактически любая такая матрица даст непротиворечивую и асимптотически нормальную оценку GMM, единственная разница будет заключаться в асимптотической дисперсии этой оценки. Можно показать, что, приняв

$W\propto \ \Omega ^{-1}$

приведет к наиболее эффективной оценке в классе всех (обобщенных) методов оценок момента. Только бесконечное число ортогональных условий имеет наименьшую дисперсию, границу Крамера – Рао .

В этом случае формула асимптотического распределения оценки GMM упрощается до

${\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}\,\Omega ^{-1}G)^{-1}{\big ]}$

Доказательство того, что такой выбор весовой матрицы действительно является локально оптимальным, часто принимается с небольшими изменениями при установлении эффективности других оценок. Как правило, весовая матрица на несколько шагов ближе к оптимальности, когда она превращается в выражение, близкое к границе Крамера-Рао .

Доказательство . Мы рассмотрим разницу между асимптотической дисперсией с произвольным W и асимптотической дисперсией с $W=\Omega ^{-1}$. Если мы сможем разложить эту разницу в симметричное произведение вида CC' для некоторой матрицы C , то это будет гарантировать, что эта разница неотрицательно определена, и, таким образом, $W=\Omega ^{-1}$ будет оптимальным по определению.
$\,V(W)-V(\Omega ^{-1})$	$\,=(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega WG(G^{\mathsf {T}}WG)^{-1}-(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}$
	$\,=(G^{\mathsf {T}}WG)^{-1}{\Big (}G^{\mathsf {T}}W\Omega WG-G^{\mathsf {T}}WG(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}G^{\mathsf {T}}WG{\Big )}(G^{\mathsf {T}}WG)^{-1}$
	$\,=(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega ^{1/2}{\Big (}I-\Omega ^{-1/2}G(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}G^{\mathsf {T}}\Omega ^{-1/2}{\Big )}\Omega ^{1/2}WG(G^{\mathsf {T}}WG)^{-1}$
	$\,=A(I-B)A^{\mathsf {T}},$
где мы ввели матрицы A и B, чтобы немного упростить обозначения; I — единичная матрица . Мы видим, что матрица B здесь симметрична и идемпотентна : $B^{2}=B$. Это означает, что I−B также симметричен и идемпотент: $I-B=(I-B)(I-B)^{\mathsf {T}}$. Таким образом, мы можем продолжать факторизовать предыдущее выражение как
	$\,=A(I-B)(I-B)^{\mathsf {T}}A^{\mathsf {T}}={\Big (}A(I-B){\Big )}{\Big (}A(I-B){\Big )}^{\mathsf {T}}\geq 0$

Выполнение

Одна из трудностей реализации изложенного метода состоит в том, что мы не можем принять W = Ω ⁻¹ потому что по определению матрицы Ω нам нужно знать значение θ ₀ , чтобы вычислить эту матрицу, а θ ₀ — это именно та величина, которую мы не знаем и пытаемся оценить в первую очередь. В случае, когда Y _t является iid, мы можем оценить W как

${\hat {W}}_{T}({\hat {\theta }})={\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }})g(Y_{t},{\hat {\theta }})^{\mathsf {T}}{\bigg )}^{-1}.$

Существует несколько подходов к решению этой проблемы, первый из которых является наиболее популярным:

• Двухэтапный возможный GMM :
  • Шаг 1. Возьмите W = I ( единичную матрицу ) или какую-либо другую положительно определенную матрицу и вычислите предварительную оценку GMM. $\scriptstyle {\hat {\theta }}_{(1)}$. Эта оценка согласуется для θ ₀ , хотя и не эффективна.
  • Шаг 2 : ${\hat {W}}_{T}({\hat {\theta }}_{(1)})$ сходится по вероятности к Ω ⁻¹ и поэтому, если мы вычислим $\scriptstyle {\hat {\theta }}$ с этой весовой матрицей оценка будет асимптотически эффективной .
• Итерированный GMM . По сути та же процедура, что и двухэтапная GMM, за исключением того, что матрица ${\hat {W}}_{T}$ пересчитывается несколько раз. То есть оценка, полученная на шаге 2, используется для расчета весовой матрицы для шага 3 и так далее, пока не будет выполнен некоторый критерий сходимости.

  ${\hat {\theta }}_{(i+1)}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}({\hat {\theta }}_{(i)}){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}$

  Асимптотически никакое улучшение не может быть достигнуто с помощью таких итераций, хотя некоторые эксперименты Монте-Карло предполагают, что свойства этой оценки для конечной выборки немного лучше.
• Постоянное обновление GMM (CUGMM или CUE). Оценки $\scriptstyle {\hat {\theta }}$ одновременно с оценкой весовой матрицы W :

  ${\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}(\theta ){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}$

  В экспериментах Монте-Карло этот метод продемонстрировал лучшую производительность, чем традиционный двухэтапный GMM: оценщик имеет меньшую медианную погрешность (хотя и более толстые хвосты), а J-тест для чрезмерного выявления ограничений во многих случаях был более надежным.

(возможно, многомерном) Другая важная проблема при реализации процедуры минимизации заключается в том, что функция должна искать в пространстве параметров Θ и находить значение θ , которое минимизирует целевую функцию. Никаких общих рекомендаций по такой процедуре не существует, это предмет отдельной области — числовой оптимизации .

Саргана-Хансена J -тест

Основная статья: тест Саргана-Хансена

Когда количество моментных условий превышает размерность вектора параметров θ , модель называется переидентифицированной . Сарган (1958) предложил тесты на чрезмерную идентификацию ограничений, основанные на средствах оценки инструментальных переменных, которые распределяются в больших выборках как переменные хи-квадрат со степенями свободы, которые зависят от количества чрезмерно идентифицирующих ограничений. Впоследствии Хансен (1982) применил этот тест к математически эквивалентной формулировке оценок GMM. Однако обратите внимание, что такая статистика может быть отрицательной в эмпирических приложениях, где модели определены неправильно, а тесты отношения правдоподобия могут дать ценную информацию, поскольку модели оцениваются как по нулевой, так и по альтернативной гипотезе (Bhargava and Sargan, 1983).

Концептуально мы можем проверить, ${\hat {m}}({\hat {\theta }})$ достаточно близко к нулю, чтобы предположить, что модель хорошо соответствует данным. Метод GMM затем заменил проблему решения уравнения ${\hat {m}}(\theta )=0$, который выбирает $\theta$ чтобы точно соответствовать ограничениям, путем минимизационного расчета. Минимизацию всегда можно провести, даже если нет $\theta _{0}$ существует такое, что $m(\theta _{0})=0$. Это то, что делает J-test. J-тест также называют тестом на чрезмерное выявление ограничений .

Формально мы рассматриваем две гипотезы :

• $H_{0}:\ m(\theta _{0})=0$ ( нулевая гипотеза о том, что модель «действительна») и
• $H_{1}:\ m(\theta )\neq 0,\ \forall \theta \in \Theta$ ( альтернативная гипотеза о том, что модель «недействительна»; данные даже близко не соответствуют ограничениям)

По гипотезе $H_{0}$, следующая так называемая J-статистика имеет асимптотическое распределение хи-квадрат с k – l степенями свободы. Определите J как:

$J\equiv T\cdot {\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}\ {\xrightarrow {d}}\ \chi _{k-\ell }^{2}$ под $H_{0},$

где ${\hat {\theta }}$ - GMM-оценка параметра $\theta _{0}$, k — количество моментных условий (размерность вектора g ), а l — количество оцениваемых параметров (размерность вектора θ ). Матрица ${\hat {W}}_{T}$ должно сходиться по вероятности к $\Omega ^{-1}$, эффективная весовая матрица (обратите внимание, что ранее мы требовали только, чтобы W было пропорционально $\Omega ^{-1}$ чтобы оценщик был эффективным; однако для проведения J-теста W должно быть точно равно $\Omega ^{-1}$, а не просто пропорционально).

Согласно альтернативной гипотезе $H_{1}$, J-статистика асимптотически неограничена:

$J\ {\xrightarrow {p}}\ \infty$ под $H_{1}$

Для проведения теста мы вычисляем значение J на ​​основе данных. Это неотрицательное число. Мы сравниваем его (например) с квантилем 0,95 $\chi _{k-\ell }^{2}$ распределение:

• $H_{0}$ отклоняется при уровне достоверности 95%, если $J>q_{0.95}^{\chi _{k-\ell }^{2}}$
• $H_{0}$ не может быть отклонено при уровне достоверности 95%, если $J<q_{0.95}^{\chi _{k-\ell }^{2}}$

Объем

Многие другие популярные методы оценки можно описать с точки зрения GMM-оптимизации:

• Обычный метод наименьших квадратов (OLS) эквивалентен GMM с моментными условиями:

  $\operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0$

• Взвешенный метод наименьших квадратов (WLS)
  $\operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )/\sigma ^{2}(x_{t})\,]=0$
• Регрессия инструментальных переменных (IV)
  $\operatorname {E} [\,z_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0$
• Нелинейный метод наименьших квадратов (NLLS):
  $\operatorname {E} [\,\nabla _{\!\beta }\,g(x_{t},\beta )\cdot (y_{t}-g(x_{t},\beta ))\,]=0$
• Оценка максимального правдоподобия (MLE):
  $\operatorname {E} [\,\nabla _{\!\theta }\ln f(x_{t},\theta )\,]=0$

Альтернатива ГММ

В методе моментов описана альтернатива исходному (необобщенному) методу моментов (МоМ), приведены ссылки на некоторые приложения и список теоретических преимуществ и недостатков по сравнению с традиционным методом. Этот байесовский MoM (BL-MoM) отличается от всех описанных выше родственных методов, которые входят в состав GMM. В литературе нет прямого сравнения GMM и BL-MoM в конкретных приложениях.

Реализации

• Викикнига по программированию на R, Метод моментов
• Р
• Был
• Электронные просмотры
• САС
• Гретл

См. также

• Метод максимального правдоподобия
• Обобщенная эмпирическая вероятность
• Оценщик Арельяно – Бонда
• Приблизительное байесовское вычисление

Дальнейшее чтение

• Хубер, П. (1967). Поведение оценок максимального правдоподобия в нестандартных условиях. Труды Пятого симпозиума Беркли по математической статистике и вероятности 1, 221–233.

• Ньюи В., Макфадден Д. (1994). Оценка большой выборки и проверка гипотез , в Справочнике по эконометрике, глава 36. Эльзевир Наука.

• Имбенс, Гвидо В .; Спейди, Ричард Х.; Джонсон, Филипп (1998). «Теоретико-информационные подходы к выводу в моделях моментных состояний» (PDF) . Эконометрика . 66 (2): 333–357. дои : 10.2307/2998561 . JSTOR   2998561 .

• Сарган, доктор медицинских наук (1958). Оценка экономических связей с использованием инструментальных переменных. Эконометрика, 26, 393–415.

• Сарган, доктор медицинских наук (1959). Оценка взаимосвязей с автокоррелированными остатками путем использования инструментальных переменных. Журнал Королевского статистического общества B, 21, 91–105.

• Ван, Сай, Ван, С. и Кэрролл, Р. (1997). Оценка в выборке на основе выбора с ошибкой измерения и бутстреп-анализом. Журнал эконометрики, 77, 65-86.

• Бхаргава А. и Сарган Дж. Д. (1983). Оценка динамических случайных эффектов на основе панельных данных, охватывающих короткие периоды времени. Эконометрика, 51, 6, 1635–1659.

• Хаяси, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. ISBN  0-691-01018-8 .
• Хансен, Ларс Питер (2002). «Метод моментов». в Смелзере, Нью-Джерси ; Бейтс, П.Б. (ред.). Международная энциклопедия социальных и поведенческих наук . Оксфорд: Пергамон.
• Холл, Аластер Р. (2005). Обобщенный метод моментов . Расширенные тексты по эконометрике. Издательство Оксфордского университета. ISBN  0-19-877520-2 .
• Фасиан, Кирби Адам младший (2006). Статистика для эмпирических и количественных финансов . Статистика для эмпирических и количественных финансов. ХК Бэрд. ISBN  0-9788208-9-4 .
• Специальные выпуски журнала деловой и экономической статистики: вып. 14, нет. 3 и том. 20, нет. 4 .

• Краткое введение в обобщенный метод моментов