Теорема Гаусса–Маркова

В статистике применяется теорема Гаусса –Маркова (или просто теорема Гаусса для некоторых авторов) ^[1] утверждает, что обычный метод наименьших квадратов (OLS) имеет самую низкую дисперсию выборки в классе линейных модели линейной несмещенных оценок , если ошибки в регрессии некоррелированы . , имеют равные дисперсии и математическое ожидание, равное нулю ^[2] ошибки не обязательно должны быть нормальными Для применения теоремы , а также независимыми и одинаково распределенными (только некоррелированными со средним нулевым значением и гомоскедастическими с конечной дисперсией).

Требование несмещенности нельзя отбросить, поскольку существуют смещенные оценки с меньшей дисперсией и среднеквадратической ошибкой. Например, оценщик Джеймса – Стейна (который также снижает линейность) и гребневая регрессия обычно превосходят обычные методы наименьших квадратов. Фактически, обычный метод наименьших квадратов редко является даже допустимой оценкой , как показывает феномен Штейна - при оценке более чем двух неизвестных переменных обычный метод наименьших квадратов всегда будет работать хуже (по среднеквадратической ошибке), чем оценщик Штейна.

Более того, теорема Гаусса-Маркова не применяется при рассмотрении более принципиальных функций потерь, таких как назначенное правдоподобие или расхождение Кульбака-Лейблера , за исключением ограниченного случая нормально распределенных ошибок.

В результате этих открытий статистики обычно мотивируют обычные наименьшие квадраты принципом максимального правдоподобия или рассматривают его как своего рода приблизительный байесовский вывод .

Теорема названа в честь Карла Фридриха Гаусса и Андрея Маркова . Гаусс предоставил оригинальное доказательство. ^[3] которое впоследствии было существенно обобщено Марковым. ^[4]

Скалярный оператор случая

Предположим, нам даны два вектора случайных величин: $X{\text{, }}Y\in \mathbb {R} ^{k}$ и что мы хотим найти лучшую линейную оценку $Y$ данный $X$ , используя лучший линейный оценщик ${\hat {Y}}=\alpha X+\mu$ Где параметры $\alpha$ и $\mu$ оба действительные числа.

Такой оценщик ${\hat {Y}}$ будет иметь то же среднее значение и стандартное отклонение, что и $Y$ , то есть, $\mu _{\hat {Y}}=\mu _{Y},\sigma _{\hat {Y}}=\sigma _{Y}$ .

Следовательно, если вектор $X$ имеет соответствующее среднее и стандартное отклонение $\mu _{x},\sigma _{x}$ , лучшим линейным оценщиком будет

${\hat {Y}}=\sigma _{y}{\frac {(X-\mu _{x})}{\sigma _{x}}}+\mu _{y}$

с ${\hat {Y}}$ имеет то же среднее значение и стандартное отклонение, что и $Y$ .

Заявление

Предположим, что мы имеем в матричной записи линейную зависимость

y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})

расширяется до,

y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n

где $\beta _{j}$ являются неслучайными, но ненаблюдаемыми параметрами, $X_{ij}$ неслучайны и наблюдаемы (так называемые «объяснительные переменные»), $\varepsilon _{i}$ случайны, и поэтому $y_{i}$ случайны. Случайные величины $\varepsilon _{i}$ называются «возмущением», «шумом» или просто «ошибкой» (будет противопоставлено «остатку» далее в статье; см. ошибки и остатки в статистике ). Обратите внимание: чтобы включить константу в приведенную выше модель, можно ввести константу как переменную. $\beta _{K+1}$ с недавно введенным последним столбцом X, равным единице, т.е. $X_{i(K+1)}=1$ для всех $i$ . Обратите внимание, что, хотя $y_{i},$ в качестве выборочных ответов, следующие утверждения и аргументы, включая предположения, доказательства и другие, предполагаются при единственном условии знания $X_{ij},$ но не $y_{i}.$

Предположения Гаусса – Маркова касаются набора ошибочных случайных величин: $\varepsilon _{i}$ :

Они имеют среднее ноль: $\operatorname {E} [\varepsilon _{i}]=0.$
Они гомоскедастичны , то есть все имеют одинаковую конечную дисперсию: $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ для всех $i$ и
Отдельные члены ошибки не коррелируют: ${\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.$

Линейная оценка $\beta _{j}$ представляет собой линейную комбинацию

{\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{kj}y_{k}

в котором коэффициенты $c_{ij}$ не могут зависеть от базовых коэффициентов $\beta _{j}$ , поскольку они не наблюдаемы, но могут зависеть от значений $X_{ij}$ , поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого $X_{ij}$ обычно нелинейно; оценка линейна в каждом $y_{i}$ и, следовательно, в каждом случайном $\varepsilon ,$ вот почему это «линейная» регрессия .) Говорят, что оценка несмещена тогда и только тогда, когда

\operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}

независимо от ценностей $X_{ij}$ . Теперь позвольте ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ — некоторая линейная комбинация коэффициентов. Тогда среднеквадратическая ошибка соответствующей оценки равна

\operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],

другими словами, это ожидание квадрата взвешенной суммы (по параметрам) различий между оценщиками и соответствующими параметрами, которые необходимо оценить. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратическая ошибка равна дисперсии линейной комбинации.) Наилучшая линейная несмещенная оценка (СИНИЙ) вектора $\beta$ параметров $\beta _{j}$ имеет наименьшую среднеквадратическую ошибку для каждого вектора $\lambda$ параметров линейной комбинации. Это эквивалентно условию, что

\operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)

является положительной полуопределенной матрицей для любой другой линейной несмещенной оценки ${\widetilde {\beta }}$ .

Обычная оценка методом наименьших квадратов (OLS) — это функция

{\widehat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y

из $y$ и $X$ (где $X^{\operatorname {T} }$ обозначает транспонирование $X$ ), который минимизирует сумму квадратов остатков (суммы неверного прогноза):

\sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.

Теорема теперь утверждает, что оценка OLS является лучшей линейной несмещенной оценкой (СИНИЙ).

Основная идея доказательства состоит в том, что оценка методом наименьших квадратов некоррелирует с любой линейной несмещенной оценкой нуля, т. е. с каждой линейной комбинацией $a_{1}y_{1}+\cdots +a_{n}y_{n}$ коэффициенты которого не зависят от ненаблюдаемой $\beta$ но чье ожидаемое значение всегда равно нулю.

Примечание

Доказательство того, что МНК действительно минимизирует сумму квадратов остатков, можно провести следующим образом: вычислить матрицу Гессе и показать, что она положительно определена.

Функция MSE, которую мы хотим минимизировать, равна $f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}$ для модели множественной регрессии с p переменными. Первая производная ${\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\operatorname {T} }\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}$ где $X^{\operatorname {T} }$ это матрица дизайна $X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1$

Матрица Гессе вторых производных равна ${\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{\operatorname {T} }X$

Предполагая, что столбцы $X$ линейно независимы, так что $X^{\operatorname {T} }X$ обратимо, пусть $X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}$ , затем $k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0$

Теперь позвольте $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ быть собственным вектором ${\mathcal {H}}$ .

$\mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0$

С точки зрения векторного умножения это означает ${\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\operatorname {T} }{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\operatorname {T} }\mathbf {k} >0$ где $\lambda$ собственное значение, соответствующее $\mathbf {k}$ . Более того, $\mathbf {k} ^{\operatorname {T} }\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0$

Наконец, как собственный вектор $\mathbf {k}$ было произвольным, это означает, что все собственные значения ${\mathcal {H}}$ положительны, поэтому ${\mathcal {H}}$ является положительно определенным. Таким образом, ${\boldsymbol {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }Y$ действительно является глобальным минимумом.

Или просто посмотрите это для всех векторов $\mathbf {v} ,\mathbf {v} ^{\operatorname {T} }X^{\operatorname {T} }X\mathbf {v} =\|\mathbf {X} \mathbf {v} \|^{2}\geq 0$ . Таким образом, гессиан является положительно определенным, если имеет полный ранг.

Доказательство

Позволять ${\tilde {\beta }}=Cy$ быть еще одной линейной оценкой $\beta$ с $C=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D$ где $D$ это $K\times n$ ненулевая матрица. Поскольку мы ограничиваемся несмещенными оценками, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Поэтому цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньшую, чем дисперсия ${\widehat {\beta }},$ оценщик OLS. Мы рассчитываем:

{\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)(X\beta +\varepsilon )\right]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta +\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}

Следовательно, поскольку $\beta$ является ненаблюдаемым , ${\tilde {\beta }}$ является несмещенным тогда и только тогда, когда $DX=0$ . Затем:

{\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C^{\operatorname {T} }\\&=\sigma ^{2}CC^{\operatorname {T} }\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\left(X(X^{\operatorname {T} }X)^{-1}+D^{\operatorname {T} }\right)\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}+(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }D^{\operatorname {T} }+DX(X^{\operatorname {T} }X)^{-1}+DD^{\operatorname {T} }\right)\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}(X^{\operatorname {T} }X)^{-1}(DX)^{\operatorname {T} }+\sigma ^{2}DX(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{\operatorname {T} }&&\sigma ^{2}(X^{\operatorname {T} }X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}

С $DD^{\operatorname {T} }$ является положительной полуопределенной матрицей, $\operatorname {Var} \left({\tilde {\beta }}\right)$ превышает $\operatorname {Var} \left({\widehat {\beta }}\right)$ положительной полуопределенной матрицей.

Замечания по доказательству

Как было сказано ранее, состояние $\operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)$ является положительной полуопределенной матрицей, что эквивалентно тому свойству, что лучшая линейная несмещенная оценка $\ell ^{\operatorname {T} }\beta$ является $\ell ^{\operatorname {T} }{\widehat {\beta }}$ (лучший в том смысле, что он имеет минимальную дисперсию). Чтобы увидеть это, позвольте $\ell ^{\operatorname {T} }{\tilde {\beta }}$ еще одна линейная несмещенная оценка $\ell ^{\operatorname {T} }\beta$ .

{\begin{aligned}\operatorname {Var} \left(\ell ^{\operatorname {T} }{\tilde {\beta }}\right)&=\ell ^{\operatorname {T} }\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell +\ell ^{\operatorname {T} }DD^{\operatorname {T} }\ell \\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+(D^{\operatorname {T} }\ell )^{\operatorname {T} }(D^{\operatorname {T} }\ell )&&\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell =\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+\|D^{\operatorname {T} }\ell \|\\&\geq \operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\end{aligned}}

Более того, равенство имеет место тогда и только тогда, когда $D^{\operatorname {T} }\ell =0$ . Мы рассчитываем

{\begin{aligned}\ell ^{\operatorname {T} }{\tilde {\beta }}&=\ell ^{\operatorname {T} }\left(((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D)Y\right)&&{\text{ from above}}\\&=\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }Y+\ell ^{\operatorname {T} }DY\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}+(D^{\operatorname {T} }\ell )^{\operatorname {T} }Y\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}&&D^{\operatorname {T} }\ell =0\end{aligned}}

Это доказывает, что равенство имеет место тогда и только тогда, когда $\ell ^{\operatorname {T} }{\tilde {\beta }}=\ell ^{\operatorname {T} }{\widehat {\beta }}$ что придает уникальность оценщику МНК как СИНИЙ.

Обобщенная оценка методом наименьших квадратов

Обобщенный метод наименьших квадратов (GLS), разработанный Эйткеном , ^[5] расширяет теорему Гаусса-Маркова на случай, когда вектор ошибок имеет нескалярную ковариационную матрицу. ^[6] Оценщик Эйткена также СИНИЙ.

Теорема Гаусса – Маркова, сформулированная в эконометрике

В большинстве методов МНК регрессоры (интересующие параметры) в матрице плана $\mathbf {X}$ предполагаются фиксированными в повторяющихся выборках. Это предположение считается неприемлемым для такой преимущественно неэкспериментальной науки, как эконометрика . ^[7] Вместо этого предположения теоремы Гаусса – Маркова формулируются при условии, что $\mathbf {X}$ .

Линейность

Предполагается, что зависимая переменная является линейной функцией переменных, указанных в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна существовать линейная связь. Независимые переменные могут принимать нелинейные формы, если параметры линейны. Уравнение $y=\beta _{0}+\beta _{1}x^{2},$ квалифицируется как линейный, в то время как $y=\beta _{0}+\beta _{1}^{2}x$ можно преобразовать в линейную, заменив $\beta _{1}^{2}$ по другому параметру, скажем $\gamma$ . Уравнение с параметром, зависящим от независимой переменной, не считается линейным, например $y=\beta _{0}+\beta _{1}(x)\cdot x$ , где $\beta _{1}(x)$ является функцией $x$ .

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, функция Кобба-Дугласа , часто используемая в экономике, является нелинейной:

Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }

Но его можно выразить в линейной форме, взяв натуральный логарифм обеих частей: ^[8]

\ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon

Это предположение также охватывает вопросы спецификации: предполагается, что выбрана правильная функциональная форма и нет пропущенных переменных .

Однако следует помнить, что параметры, которые минимизируют остатки преобразованного уравнения, не обязательно минимизируют остатки исходного уравнения.

Строгая экзогенность

Для всех $n$ наблюдений, ожидание (условное от регрессоров) члена ошибки равно нулю: ^[9]

\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.

где $\mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\operatorname {T} }$ — вектор данных регрессоров для i -го наблюдения и, следовательно, $\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\operatorname {T} }&\mathbf {x} _{2}^{\operatorname {T} }&\cdots &\mathbf {x} _{n}^{\operatorname {T} }\end{bmatrix}}^{\operatorname {T} }$ — это матрица данных или матрица проектирования.

Геометрически это предположение означает, что $\mathbf {x} _{i}$ и $\varepsilon _{i}$ ортогональны (т. е. их друг другу, так что их внутренний продукт перекрестный момент) равен нулю.

\operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n

Это предположение нарушается, если объясняющие переменные измеряются с ошибкой или являются эндогенными . ^[10] Эндогенность может быть результатом одновременности , когда причинно-следственная связь течет вперед и назад между зависимой и независимой переменной. инструментальных переменных Для решения этой проблемы обычно используются методы .

Полный ранг

Пример матрицы данных $\mathbf {X}$ должен иметь полный ранг столбца .

\operatorname {rank} (\mathbf {X} )=k

В противном случае $\mathbf {X} ^{\operatorname {T} }\mathbf {X}$ не является обратимым, и оценщик МНК не может быть вычислен.

Нарушением этого предположения является совершенная мультиколлинеарность , т.е. некоторые объясняющие переменные линейно зависимы. Один из сценариев, в котором это произойдет, называется «ловушкой фиктивной переменной», когда базовая фиктивная переменная не опускается, что приводит к идеальной корреляции между фиктивными переменными и постоянным термином. ^[11]

Мультиколлинеарность (пока она не «идеальна») может присутствовать, что приводит к менее эффективной, но все же несмещенной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных. ^[12] Мультиколлинеарность можно обнаружить, по числу обусловленности или коэффициенту инфляции дисперсии среди прочего, .

Сферические ошибки

Внешний продукт вектора ошибок должен быть сферическим.

\operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\operatorname {T} }\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0

Это означает, что термин ошибки имеет равномерную дисперсию ( гомоскедастичность ) и не имеет серийной корреляции . ^[13] Если это предположение нарушается, МНК все равно будет объективным, но неэффективным . Термин «сферические ошибки» будет описывать многомерное нормальное распределение : если $\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I}$ в многомерной нормальной плотности, то уравнение $f(\varepsilon )=c$ - это формула для шара с центром в точке µ и радиусом σ в n-мерном пространстве. ^[14]

Гетероскедастичность возникает, когда величина ошибки коррелирует с независимой переменной. Например, в регрессии расходов на питание и доходов ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на еду одинаковую сумму, в то время как люди с высоким доходом могут тратить очень большую сумму или столько же, сколько тратят люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в практике измерений. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому величина ошибки со временем уменьшается.

Это предположение нарушается при наличии автокорреляции . Автокорреляцию можно визуализировать на графике данных, когда данное наблюдение с большей вероятностью будет лежать выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция часто встречается в данных временных рядов, где ряд данных может испытывать «инерцию». Если зависимой переменной требуется некоторое время, чтобы полностью поглотить шок. Также может возникнуть пространственная автокорреляция. Географические области могут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например, выбора неправильной функциональной формы. В этих случаях исправление спецификации является одним из возможных способов борьбы с автокорреляцией.

Когда предположение о сферических ошибках может быть нарушено, можно показать, что обобщенная оценка наименьших квадратов имеет СИНИЙ цвет. ^[6]

См. также

Другая объективная статистика

Ссылки

^ См. главу 7 Джонсон, РА; Вичерн, Д.В. (2002). Прикладной многомерный статистический анализ . Том. 5. Прентис-холл.
^ Тейл, Анри (1971). «Лучшая линейная несмещенная оценка и прогноз». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 119–124 . ISBN 0-471-85845-5 .
^ Плакетт, Р.Л. (1949). «Историческая справка о методе наименьших квадратов». Биометрика . 36 (3/4): 458–460. дои : 10.2307/2332682 .
^ Дэвид, ФН; Нейман, Дж. (1938). «Распространение теоремы Маркова о наименьших квадратах». Статистические исследования Мемуары . 2 : 105–116. OCLC 4025782 .
^ Эйткен, AC (1935). «О наименьших квадратах и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48. дои : 10.1017/S0370164600014346 .
^ Jump up to: ^а ^б Хуанг, Дэвид С. (1970). Регрессия и эконометрические методы . Нью-Йорк: Джон Уайли и сыновья. стр. 127–147 . ISBN 0-471-41754-8 .
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 13. ISBN 0-691-01018-8 .
^ Уолтерс, А.А. (1970). Введение в эконометрику . Нью-Йорк: WW Нортон. п. 275. ИСБН 0-393-09931-8 .
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 7. ISBN 0-691-01018-8 .
^ Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 267–291 . ISBN 0-07-032679-7 .
^ Вулдридж, Джеффри (2012). Вводная эконометрика (Пятое международное изд.). Юго-Западный. п. 220 . ISBN 978-1-111-53439-4 .
^ Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 159–168 . ISBN 0-07-032679-7 .
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 10. ISBN 0-691-01018-8 .
^ Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике . Академическая пресса. стр. 330–351 . ISBN 0-12-576830-3 .

Дальнейшее чтение

Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория . Оксфорд: Блэквелл. стр. 17–36. ISBN 0-631-17837-6 .
Гольдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики . Кембридж: Издательство Гарвардского университета. стр. 160–169 . ISBN 0-674-17544-1 .
Тейл, Анри (1971). «Меньшие квадраты и стандартная линейная модель». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 101–162 . ISBN 0-471-85845-5 .

Внешние ссылки

Самые ранние известные варианты использования некоторых математических слов: G (краткая история и объяснение названия).
Доказательство теоремы Гаусса Маркова для множественной линейной регрессии (с использованием матричной алгебры)
Доказательство теоремы Гаусса о Маркове с использованием геометрии

[1] См. главу 7 Джонсон, РА; Вичерн, Д.В. (2002). Прикладной многомерный статистический анализ . Том. 5. Прентис-холл.

[2] Тейл, Анри (1971). «Лучшая линейная несмещенная оценка и прогноз». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 119–124 . ISBN 0-471-85845-5 .

[3] Плакетт, Р.Л. (1949). «Историческая справка о методе наименьших квадратов». Биометрика . 36 (3/4): 458–460. дои : 10.2307/2332682 .

[4] Дэвид, ФН; Нейман, Дж. (1938). «Распространение теоремы Маркова о наименьших квадратах». Статистические исследования Мемуары . 2 : 105–116. OCLC 4025782 .

[Aitken1935-5] Эйткен, AC (1935). «О наименьших квадратах и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48. дои : 10.1017/S0370164600014346 .

[Huang1970-6] Jump up to: ^а ^б Хуанг, Дэвид С. (1970). Регрессия и эконометрические методы . Нью-Йорк: Джон Уайли и сыновья. стр. 127–147 . ISBN 0-471-41754-8 .

[7] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 13. ISBN 0-691-01018-8 .

[8] Уолтерс, А.А. (1970). Введение в эконометрику . Нью-Йорк: WW Нортон. п. 275. ИСБН 0-393-09931-8 .

[9] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 7. ISBN 0-691-01018-8 .

[10] Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 267–291 . ISBN 0-07-032679-7 .

[11] Вулдридж, Джеффри (2012). Вводная эконометрика (Пятое международное изд.). Юго-Западный. п. 220 . ISBN 978-1-111-53439-4 .

[12] Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 159–168 . ISBN 0-07-032679-7 .

[13] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 10. ISBN 0-691-01018-8 .

[14] Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике . Академическая пресса. стр. 330–351 . ISBN 0-12-576830-3 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]