Остаточная сумма квадратов

В статистике остаточная сумма квадратов ( RSS ), также известная как сумма квадратов остатков ( SSR ) или сумма квадратов оценок ошибок ( SSE ), представляет собой сумму квадратов . остатков (отклонений , прогнозируемых от фактических эмпирических значений) данных). Это мера несоответствия между данными и оценочной моделью, такой как линейная регрессия . Небольшой RSS указывает на точное соответствие модели данным. Он используется как критерий оптимальности при выборе параметров и модели .

В общем, общая сумма квадратов = объясненная сумма квадратов + остаточная сумма квадратов. Доказательство этого в многомерном случае обычных наименьших квадратов (МНК) см. в разделе «Разбиение в общей модели МНК» .

Одна объясняющая переменная

В модели с одной объясняющей переменной RSS определяется как:

$\operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}$

где у _я это я ^й значение прогнозируемой переменной, x _i - это i ^й значение объясняющей переменной и $f(x_{i})$ — прогнозируемое значение y _i (также называемое ${\hat {y_{i}}}$).В стандартной модели линейной регрессии простой $y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$, где $\alpha$ и $\beta$ — коэффициенты , y и x — регрессия и регрессор соответственно, а ε — член ошибки . Сумма квадратов остатков равна сумме квадратов ${\widehat {\varepsilon \,}}_{i}$; то есть

$\operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}$

где ${\widehat {\alpha \,}}$ - расчетное значение постоянного члена $\alpha$ и ${\widehat {\beta \,}}$ - расчетное значение коэффициента наклона $\beta$.

Матричное выражение для остаточной суммы квадратов МНК

Общая модель регрессии с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является точкой пересечения регрессии:

$y=X\beta +e$

где y — вектор наблюдений зависимой переменной размером n × 1, каждый столбец размера n × k матрицы X представляет собой вектор наблюдений на одном из k объяснителей, $\beta$ — это k вектор истинных коэффициентов размера × 1, а e — n вектор истинных основных ошибок размера × 1. Обычная оценка методом наименьших квадратов для $\beta$ является

$X{\hat {\beta }}=y\iff$

$X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff$

${\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.$

Остаточный вектор ${\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y$; поэтому остаточная сумма квадратов равна:

$\operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}$,

(эквивалент квадрата нормы остатков ). Полностью:

$\operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y$,

где H — матрица шляпы или матрица проекции в линейной регрессии.

Связь с корреляцией момента продукта Пирсона

Линия регрессии по методу наименьших квадратов определяется выражением

$y=ax+b$,

где $b={\bar {y}}-a{\bar {x}}$ и $a={\frac {S_{xy}}{S_{xx}}}$, где $S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})$ и $S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.$

Поэтому,

${\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}$

где $S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.$

определяется Корреляция момента произведения Пирсона выражением $r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};$ поэтому, $\operatorname {RSS} =S_{yy}(1-r^{2}).$

См. также

• Информационный критерий Акаике # Сравнение по методу наименьших квадратов
• Распределение хи-квадрат#Приложения
• Степени свободы (статистика)#Сумма квадратов и степеней свободы
• Ошибки и остатки в статистике
• Несоответствующая сумма квадратов
• Среднеквадратическая ошибка
• Приведенная статистика хи-квадрат , RSS на степень свободы
• Квадратные отклонения
• Сумма квадратов (статистика)

Ссылки

• Дрейпер, Северная Каролина; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Уайли. ISBN  0-471-17082-8 .