Взвешенные наименьшие квадраты

Взвешенный метод наименьших квадратов ( WLS ), также известный как взвешенная линейная регрессия , ^[1]^[2] представляет собой обобщение обычного метода наименьших квадратов и линейной регрессии , в котором знание о неравной дисперсии наблюдений ( гетероскедастичности ) включено в регрессию.WLS также является специализацией метода обобщенных наименьших квадратов , когда все недиагональные элементы ковариационной матрицы ошибок равны нулю.

Формулировка

Соответствие модели точке данных измеряется ее остатком , $r_{i}$ , определяемый как разница между измеренным значением зависимой переменной, $y_{i}$ и значение, предсказанное моделью, $f(x_{i},{\boldsymbol {\beta }})$ : $r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$

Если ошибки некоррелированы и имеют одинаковую дисперсию, то функция $S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},$ минимизируется при ${\boldsymbol {\hat {\beta }}}$ , такой, что ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ .

Теорема Гаусса –Маркова показывает, что в этом случае ${\hat {\boldsymbol {\beta }}}$ — лучший линейный несмещенный оценщик ( СИНИЙ ). Однако если измерения некоррелированы, но имеют разные неопределенности, можно применить модифицированный подход. Эйткен показал, что когда взвешенная сумма квадратов остатков минимизирована, ${\hat {\boldsymbol {\beta }}}$ СИНИЙ, если каждый вес равен обратной величине дисперсии измерения ${\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}$

Уравнения градиента для этой суммы квадратов: $-2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m$

которые в линейной системе наименьших квадратов дают модифицированные нормальные уравнения: $\sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.$ Матрица $X$ выше соответствует определению в соответствующем обсуждении линейного метода наименьших квадратов .

Когда ошибки наблюдений некоррелированы и матрица весовая W = Ω ⁻¹, является диагональю, их можно записать как $\mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .$

Если ошибки коррелированы, результирующая оценка имеет СИНИЙ цвет , если весовая матрица равна обратной матрице дисперсии-ковариации наблюдений.

Когда ошибки некоррелированы, удобно упростить вычисления, факторизовав весовую матрицу как $w_{ii}={\sqrt {W_{ii}}}$ . Тогда нормальные уравнения можно записать в той же форме, что и обычные уравнения наименьших квадратов: $\mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,$

где мы определяем следующую масштабированную матрицу и вектор: ${\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}$

Это разновидность отбеливающей трансформации ; последнее выражение предполагает поэлементное деление .

Для нелинейных систем наименьших квадратов аналогичный аргумент показывает, что нормальные уравнения следует изменить следующим образом. $\mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,$

Обратите внимание, что для эмпирических тестов соответствующая W неизвестна наверняка и ее необходимо оценить. Для этого обобщенных наименьших квадратов можно использовать методы (FGLS); в этом случае он специализирован для диагональной ковариационной матрицы, что дает допустимое взвешенное решение методом наименьших квадратов.

Если неопределенность наблюдений неизвестна из внешних источников, то веса можно оценить на основе данных наблюдений. Это может быть полезно, например, для выявления выбросов. После удаления выбросов из набора данных веса следует сбросить до единицы. ^[3]

Мотивация

В некоторых случаях наблюдения могут быть взвешенными — например, они могут быть не одинаково надежными. В этом случае можно минимизировать взвешенную сумму квадратов: ${\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.$ где w _i > 0 — вес i- го наблюдения, а W — диагональная матрица таких весов.

идеале веса должны быть равны обратной величине дисперсии В измерения. (Это означает, что наблюдения некоррелированы. Если наблюдения коррелированы , выражение ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ применяется. В этом случае весовая матрица в идеале должна быть равна обратной дисперсионно-ковариационной матрице наблюдений). ^[3]Тогда нормальные уравнения таковы: $\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .$

Этот метод используется в методе наименьших квадратов с итеративным перевзвешиванием .

Решение

Ошибки параметров и корреляция

Оценочные значения параметров представляют собой линейные комбинации наблюдаемых значений. ${\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .$

Следовательно, выражение для предполагаемой дисперсионно-ковариационной матрицы оценок параметров можно получить путем распространения ошибок из ошибок наблюдений. Обозначим дисперсионно-ковариационную матрицу наблюдений через M , а матрицу оцениваемых параметров через M ^б. Затем $M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.$

Когда $W = М -1$ , это упрощается до $M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.$

Когда используются единичные веса ( $W = I$ , единичная матрица ), подразумевается, что экспериментальные ошибки некоррелированы и все равны: $M = σ 2 I$ , где $σ 2$ – это априорная дисперсия наблюдения. В любом случае σ ² аппроксимируется приведенным хи-квадратом $\chi _{\nu }^{2}$ : ${\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}$

где S — минимальное значение взвешенной целевой функции : $S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.$

Знаменатель, $\nu =n-m$ , – число степеней свободы ; см. эффективные степени свободы для обобщений на случай коррелированных наблюдений.

Во всех случаях дисперсия оценки параметра ${\hat {\beta }}_{i}$ дается $M_{ii}^{\beta }$ и ковариация между оценками параметров ${\hat {\beta }}_{i}$ и ${\hat {\beta }}_{j}$ дается $M_{ij}^{\beta }$ . Стандартное отклонение — это квадратный корень из дисперсии, $\sigma _{i}={\sqrt {M_{ii}^{\beta }}}$ , а коэффициент корреляции определяется выражением $\rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})$ . Эти оценки погрешностей отражают только случайные ошибки измерений. Истинная неопределенность параметров больше из-за наличия систематических ошибок , которые по определению не поддаются количественной оценке.Обратите внимание, что хотя наблюдения могут быть некоррелированными, параметры обычно коррелируют .

Доверительные пределы параметров

), часто предполагается Из- за отсутствия каких-либо конкретных доказательств, но часто ссылаясь на центральную предельную теорему (см. Нормальное распределение#Возникновение и приложения , что ошибка каждого наблюдения принадлежит нормальному распределению со средним значением, равным нулю, и стандартным отклонением. $\sigma$ . При этом предположении следующие вероятности могут быть получены для оценки одного скалярного параметра с точки зрения его предполагаемой стандартной ошибки: $se_{\beta }$ (приведено здесь ):

68%, что интервал ${\hat {\beta }}\pm se_{\beta }$ включает истинное значение коэффициента
95%, что интервал ${\hat {\beta }}\pm 2se_{\beta }$ включает истинное значение коэффициента
99%, что интервал ${\hat {\beta }}\pm 2.5se_{\beta }$ включает истинное значение коэффициента

Предположение не является необоснованным, если n >> m . Если экспериментальные ошибки распределены нормально, параметры будут принадлежать t-распределению Стьюдента с n - m степенями свободы . Когда n ≫ m t-распределение Стьюдента приближается к нормальному распределению. Однако обратите внимание, что эти доверительные пределы не могут учитывать систематическую ошибку. Кроме того, ошибки параметров следует указывать только с одной значащей цифрой, поскольку они подвержены ошибке выборки . ^[4]

Когда количество наблюдений относительно невелико, неравенство Чебычева можно использовать для верхней границы вероятностей, независимо от каких-либо предположений о распределении экспериментальных ошибок: максимальные вероятности того, что параметр будет превышать 1, 2 или 3 стандартных отклонения. от его ожидаемого значения составляют 100%, 25% и 11% соответственно.

Остаточная стоимость и корреляция

Остатки соотношением связаны с наблюдениями $\mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,$

где H — идемпотентная матрица, известная как матрица шляпы : $H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,$

и I — единичная матрица . Ковариационная матрица остатков M ^р дается $M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.$

Таким образом, остатки коррелируют, даже если наблюдения — нет.

Когда $W=M^{-1}$ , $M^{\mathbf {r} }=(I-H)M.$

Сумма взвешенных остаточных значений равна нулю, если модельная функция содержит постоянный член. Умножьте слева выражение для остатков на X ^Т В ^Т: $X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .$

Скажем, например, что первый член модели является константой, так что $X_{i1}=1$ для всех я . В таком случае следует, что $\sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.$

Таким образом, в мотивационном примере, приведенном выше, тот факт, что сумма остаточных значений равна нулю, не случаен, а является следствием присутствия постоянного члена α в модели.

Если ошибка эксперимента подчиняется нормальному распределению , то из-за линейной зависимости между остатками и наблюдениями то же самое должно быть и с остатками: ^[5] но поскольку наблюдения представляют собой лишь выборку из совокупности всех возможных наблюдений, остатки должны принадлежать t-распределению Стьюдента . Стьюдентизированные остатки полезны при проведении статистической проверки выброса, когда конкретный остаток кажется чрезмерно большим.

См. также

Ссылки

^ «Взвешенная регрессия» .
^ «Визуализация взвешенной регрессии» .
^ Перейти обратно: ^а ^б Струц, Т. (2016). «3». Подгонка данных и неопределенность (Практическое введение в метод взвешенных наименьших квадратов и не только) . Спрингер Вьюег. ISBN 978-3-658-11455-8 .
^ Мандель, Джон (1964). Статистический анализ экспериментальных данных . Нью-Йорк: Межнаучный.
^ Мардия, КВ; Кент, Джей Ти; Бибби, Дж. М. (1979). Многомерный анализ . Нью-Йорк: Академическая пресса. ISBN 0-12-471250-9 .

[1] «Взвешенная регрессия» .

[2] «Визуализация взвешенной регрессии» .

[strutz-3] Перейти обратно: ^а ^б Струц, Т. (2016). «3». Подгонка данных и неопределенность (Практическое введение в метод взвешенных наименьших квадратов и не только) . Спрингер Вьюег. ISBN 978-3-658-11455-8 .

[4] Мандель, Джон (1964). Статистический анализ экспериментальных данных . Нью-Йорк: Межнаучный.

[5] Мардия, КВ; Кент, Джей Ти; Бибби, Дж. М. (1979). Многомерный анализ . Нью-Йорк: Академическая пресса. ISBN 0-12-471250-9 .

[1]

[2]

[3]

[4]

[5]