Объясненная сумма квадратов

В статистике — объяснимая сумма квадратов ( ESS ), также известная как модельная сумма квадратов или сумма квадратов вследствие регрессии ( SSR — не путать с остаточной суммой квадратов (RSS) или суммой квадратов ошибок). , — это величина, используемая для описания того, насколько хорошо модель, часто регрессионная модель , представляет моделируемые данные. В частности, объясненная сумма квадратов измеряет, насколько сильно варьируются смоделированные значения, и ее сравнивают с общей суммой квадратов (TSS), которая измеряет, насколько сильно варьируются наблюдаемые данные, и с остаточной суммой Squares , который измеряет разницу в ошибке между наблюдаемыми данными и смоделированными значениями.

Определение

Объясненная сумма квадратов (ESS) — это сумма квадратов отклонений прогнозируемых значений от среднего значения переменной отклика в стандартной регрессионной модели — например, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , где y _i — это i ^й наблюдение переменной отклика , x _ji - это i ^й наблюдение за j ^й Независимая переменная , a и b _j — коэффициенты , i индексирует наблюдения от 1 до n , а ε _i — это i ^й значение термина ошибки . В общем, чем больше ESS, тем лучше работает предполагаемая модель.

Если ${\hat {a}}$ и ${\hat {b}}_{i}$ – расчетные коэффициенты , то

{\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,

это я ^й прогнозируемое значение переменной ответа. Тогда ESS:

{\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.

где

{\hat {y}}_{i}

— значение, оцененное по линии регрессии. ^[1]

В некоторых случаях (см. ниже): общая сумма квадратов (TSS) = объясненная сумма квадратов (ESS) + остаточная сумма квадратов (RSS).

Разделение в простой линейной регрессии

Следующее равенство, утверждающее, что общая сумма квадратов (TSS) равна остаточной сумме квадратов (=SSE: сумма квадратов ошибок прогнозирования) плюс объясненная сумма квадратов (SSR: сумма квадратов, обусловленная регрессией или объясненной сумма квадратов), как правило, верно для простой линейной регрессии:

\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.

Простой вывод

{\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}

Возведите в квадрат обе стороны и просуммируйте по всем i :

\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).

Вот как последний член выше равен нулю из простой линейной регрессии ^[2]

{\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}

{\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}

{\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}

Так,

{\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})

y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})

Поэтому,

{\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}

Разбиение в общей модели наименьших квадратов

Общая модель регрессии с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является точкой пересечения регрессии:

y=X\beta +e

где y — вектор наблюдений зависимой переменной размером n × 1, каждый столбец размера n × k матрицы X представляет собой вектор наблюдений на одном из k объяснителей, $\beta$ — это k вектор истинных коэффициентов размера × 1, а e — n вектор истинных основных ошибок размера × 1. Обычная оценка методом наименьших квадратов для $\beta$ является

{\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.

Остаточный вектор ${\hat {e}}$ является $y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y$ , поэтому остаточная сумма квадратов ${\hat {e}}^{T}{\hat {e}}$ это после упрощения

RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.

Обозначим как ${\bar {y}}$ постоянный вектор, все элементы которого являются выборочным средним $y_{m}$ значений зависимой переменной в векторе y . Тогда общая сумма квадратов равна

TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.

Объясненная сумма квадратов, определяемая как сумма квадратов отклонений прогнозируемых значений от наблюдаемого среднего значения y , равна

ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.

С использованием ${\hat {y}}=X{\hat {\beta }}$ в этом и упрощая получение ${\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y$ , дает результат, что TSS = ESS + RSS тогда и только тогда, когда $y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}$ . Левая часть этого $y_{m}$ умножить на сумму элементов y , а правая часть равна $y_{m}$ раз сумму элементов ${\hat {y}}$ , поэтому условие состоит в том, что сумма элементов y равна сумме элементов ${\hat {y}}$ или, что то же самое, сумма ошибок прогнозирования (остатков) $y_{i}-{\hat {y}}_{i}$ равен нулю. В этом можно убедиться, отметив хорошо известное свойство МНК, заключающееся в том, что вектор k × 1 $X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0$ : поскольку первый столбец X представляет собой вектор единиц, первый элемент этого вектора $X^{T}{\hat {e}}$ представляет собой сумму остатков и равна нулю. выполняется Это доказывает, что условие TSS = ESS + RSS .

В терминах линейной алгебры мы имеем $RSS=\|y-{\hat {y}}\|^{2}$ , $TSS=\|y-{\bar {y}}\|^{2}$ , $ESS=\|{\hat {y}}-{\bar {y}}\|^{2}$ .Доказательство можно упростить, заметив, что ${\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y$ . Доказательство следующее:

{\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,

Таким образом,

{\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}

что снова дает результат: TSS = ESS + RSS , поскольку $(y-{\hat {y}})^{T}{\bar {y}}=0$ .

См. также

Примечания

^ «Сумма квадратов – определение, формулы, регрессионный анализ» . Институт корпоративных финансов . Проверено 11 июня 2020 г.
^ Менденхолл, Уильям (2009). Введение в вероятность и статистику (13-е изд.). Бельмонт, Калифорния: Брукс/Коул. п. 507. ИСБН 9780495389538 .

Ссылки

С.Э. Максвелл и HD Делани (1990), «Проектирование экспериментов и анализ данных: перспектива сравнения моделей». Уодсворт. стр. 289–290.
Г. А. Милликен и Д. Е. Джонсон (1984), «Анализ беспорядочных данных», Vol. Я: Спланированные эксперименты. Ван Ностранд Рейнхольд. стр. 146–151.
Б.Г. Табачник и Л.С. Фиделл (2007), «Экспериментальный дизайн с использованием ANOVA». Даксбери. п. 220.
Б.Г. Табачник и Л.С. Фиделл (2007), «Использование многомерной статистики», 5-е изд. Пирсон Образование. стр. 217–218.

[1] «Сумма квадратов – определение, формулы, регрессионный анализ» . Институт корпоративных финансов . Проверено 11 июня 2020 г.

[Mendenhall-2] Менденхолл, Уильям (2009). Введение в вероятность и статистику (13-е изд.). Бельмонт, Калифорния: Брукс/Коул. п. 507. ИСБН 9780495389538 .

[1]

[2]