Полупараметрическая регрессия

В статистике полупараметрическая регрессия включает модели регрессии , сочетающие параметрические и непараметрические модели. Они часто используются в ситуациях, когда полностью непараметрическая модель может работать неэффективно или когда исследователь хочет использовать параметрическую модель, но функциональная форма по отношению к подмножеству регрессоров или плотность ошибок не известны. Модели полупараметрической регрессии представляют собой особый тип полупараметрического моделирования , и, поскольку полупараметрические модели содержат параметрический компонент, они полагаются на параметрические предположения и могут быть неправильно определены и непоследовательны , как и полностью параметрическая модель.

Методы

Было предложено и разработано множество различных методов полупараметрической регрессии. Наиболее популярными методами являются частично линейные, индексные модели и модели с переменными коэффициентами.

Частично линейные модели

имеет Частично линейная модель вид

$Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,$

где $Y_{i}$ является зависимой переменной, $X_{i}$ это $p\times 1$ вектор объясняющих переменных, $\beta$ это $p\times 1$ вектор неизвестных параметров и $Z_{i}\in \operatorname {R} ^{q}$. Параметрическая часть частично линейной модели задается вектором параметров $\beta$ а непараметрическая часть — это неизвестная функция $g\left(Z_{i}\right)$. Предполагается, что данные имеют идентификатор iid с $E\left(u_{i}|X_{i},Z_{i}\right)=0$ и модель допускает условно гетероскедастический процесс ошибок $E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)$неизвестной формы. Модель этого типа была предложена Робинсоном (1988) и расширена для обработки категориальных ковариат Расином и Ли (2007).

Этот метод реализуется путем получения ${\sqrt {n}}$ последовательный оценщик $\beta$ и затем получить оценку $g\left(Z_{i}\right)$ из регрессии непараметрической $Y_{i}-X'_{i}{\hat {\beta }}$ на $z$ используя соответствующий метод непараметрической регрессии.

Индексные модели

Модель с одним индексом принимает форму

$Y=g\left(X'\beta _{0}\right)+u,\,$

где $Y$, $X$ и $\beta _{0}$ определяются как ранее, а член ошибки $u$ удовлетворяет $E\left(u|X\right)=0$. Модель с одним индексом получила свое название от параметрической части модели. $x'\beta$который представляет собой скалярный одиночный индекс. Непараметрическая часть — это неизвестная функция $g\left(\cdot \right)$.

Метод Ичимуры

Метод модели единого индекса, разработанный Ичимурой (1993), заключается в следующем. Рассмотрим ситуацию, в которой $y$является непрерывным. Учитывая известный вид функции $g\left(\cdot \right)$, $\beta _{0}$ можно оценить с помощью нелинейного метода наименьших квадратов для минимизации функции

$\sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.$

Поскольку функциональная форма $g\left(\cdot \right)$неизвестно, нам нужно его оценить. Для заданного значения $\beta$ оценка функции

$G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]$

используя метод ядра . Ичимура (1993) предлагает оценивать $g\left(X'_{i}\beta \right)$ с

${\hat {G}}_{-i}\left(X'_{i}\beta \right),\,$

непараметрическая с исключением одного ядерная оценка $G\left(X'_{i}\beta \right)$.

Оценщик Кляйна и Спеди

Если зависимая переменная $y$ является двоичным и $X_{i}$ и $u_{i}$ предполагаются независимыми , Кляйн и Спади (1993) предлагают метод оценки $\beta$используя методы максимального правдоподобия . Функция логарифмического правдоподобия определяется выражением

$L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),$

где ${\hat {g}}_{-i}\left(X'_{i}\beta \right)$ является оценщиком с исключением одного .

Модели сглаженных

Хасти и Тибширани (1993) предлагают модель с гладкими коэффициентами, определяемую формулой

$Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},$

где $X_{i}$ это $k\times 1$ вектор и $\beta \left(z\right)$ представляет собой вектор неуказанных гладких функций от $z$.

$\gamma \left(\cdot \right)$ может быть выражено как

$\gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].$

См. также

• Непараметрическая регрессия
• Эффективная степень свободы

Ссылки

• Робинсон, премьер-министр (1988). «Корневая непротиворечивая полупараметрическая регрессия». Эконометрика . 56 (4). Эконометрическое общество: 931–954. дои : 10.2307/1912705 . JSTOR   1912705 .
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика . Издательство Принстонского университета. ISBN  978-0-691-12161-1 .
• Расин, Дж.С.; Куи, Л. (2007). «Частично линейный оценщик ядра для категориальных данных». Неопубликованная рукопись, Университет Макмастера .
• Ичимура, Х. (1993). «Полупараметрические методы наименьших квадратов (SLS) и взвешенная SLS-оценка моделей с одним индексом» . Журнал эконометрики . 58 (1–2): 71–120. дои : 10.1016/0304-4076(93)90114-К .
• Кляйн, RW; Р. Х. Спэди (1993). «Эффективный полупараметрический оценщик для моделей двоичного ответа». Эконометрика . 61 (2). Эконометрическое общество: 387–421. CiteSeerX   10.1.1.318.4925 . дои : 10.2307/2951556 . JSTOR   2951556 .
• Хасти, Т.; Р. Тибширани (1993). «Модели с переменными коэффициентами». Журнал Королевского статистического общества, серия B. 55 : 757–796.