Разница средних и прогнозируемых ответов

В регрессии рассчитанные средний ответ (или ожидаемый ответ ) и прогнозируемый ответ , также известный как средний результат (или ожидаемый результат ) и прогнозируемый результат , представляют собой значения зависимой переменной, на основе параметров регрессии и заданного значения независимой переменной. Значения этих двух ответов одинаковы, но их рассчитанные дисперсии различны.Эта концепция представляет собой обобщение различия между стандартной ошибкой среднего и выборочным стандартным отклонением .

Предыстория: простая линейная регрессия

В простой линейной регрессии (т. е. аппроксимации прямой линией с ошибками только по координате y) модель имеет вид

$y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$

где $y_{i}$ — переменная ответа , $x_{i}$ – объясняющая переменная , ε _i – случайная ошибка, и $\alpha$ и $\beta$ являются параметрами. Среднее и прогнозируемое значение ответа для данного объясняющего значения x _d определяется выражением

${\hat {y}}_{d}={\hat {\alpha }}+{\hat {\beta }}x_{d},$

в то время как фактический ответ будет

$y_{d}=\alpha +\beta x_{d}+\varepsilon _{d}\,$

Выражения для значений и дисперсий ${\hat {\alpha }}$ и ${\hat {\beta }}$ даны в виде линейной регрессии .

Дисперсия

Дисперсия среднего ответа

Поскольку данные в этом контексте определяются как пары ( x , y ) для каждого наблюдения, средний ответ при заданном значении x , скажем, x _d , является оценкой среднего значения y в популяции в точке x. значение x _d , то есть ${\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!$. Дисперсия среднего ответа определяется выражением

$\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).$

Это выражение можно упростить до

$\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),$

где m — количество точек данных.

Чтобы продемонстрировать это упрощение, можно использовать тождество

$\sum (x_{i}-{\bar {x}})^{2}=\sum x_{i}^{2}-{\frac {1}{m}}\left(\sum x_{i}\right)^{2}.$

Отклонение прогнозируемого ответа

Прогнозируемое распределение ответа является прогнозируемым распределением остатков в данной точке x _d . Таким образом, дисперсия определяется выражением

${\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right).\end{aligned}}$

Вторая строка следует из того, что $\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)$ равно нулю, поскольку новая точка прогнозирования не зависит от данных, используемых для соответствия модели. Кроме того, термин $\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)$ был рассчитан ранее для среднего ответа.

С $\operatorname {Var} (y_{d})=\sigma ^{2}$ (фиксированный, но неизвестный параметр, который можно оценить), дисперсия прогнозируемого ответа определяется выражением

${\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\sigma ^{2}+\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)\\[4pt]&=\sigma ^{2}\left(1+{\frac {1}{m}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right).\end{aligned}}$

Доверительные интервалы

Основная статья: Доверительный интервал

Дополнительная информация: Интервал прогнозирования.

The $100(1-\alpha )\%$ доверительные интервалы рассчитываются как $y_{d}\pm t_{{\frac {\alpha }{2}},m-n-1}{\sqrt {\operatorname {Var} }}$. Таким образом, доверительный интервал для прогнозируемого ответа шире, чем интервал для среднего ответа. Это ожидаемо интуитивно – дисперсия совокупности $y$ значения не уменьшаются при выборке из них, потому что случайная величина ε _i не уменьшается, а дисперсия среднего значения $y$ сокращается с увеличением выборки, потому что дисперсия в ${\hat {\alpha }}$ и ${\hat {\beta }}$ уменьшаются, поэтому средний ответ (прогнозируемое значение ответа) становится ближе к $\alpha +\beta x_{d}$.

Это аналогично разнице между дисперсией выборки и дисперсией выборочного среднего значения совокупности: дисперсия совокупности является параметром и не меняется, но дисперсия выборочного среднего уменьшается с увеличением размера выборки.

Общий случай

Общий случай линейной регрессии можно записать как

$y_{i}=\sum _{j=1}^{n}X_{ij}\beta _{j}+\varepsilon _{i}\,$

Следовательно, поскольку $y_{d}=\sum _{j=1}^{n}X_{dj}{\hat {\beta }}_{j}$ общее выражение для дисперсии среднего ответа:

$\operatorname {Var} \left(\sum _{j=1}^{n}X_{dj}{\hat {\beta }}_{j}\right)=\sum _{i=1}^{n}\sum _{j=1}^{n}X_{di}S_{ij}X_{dj},$

где S — ковариационная матрица параметров, определяемая формулой

$\mathbf {S} =\sigma ^{2}\left(\mathbf {X^{\mathsf {T}}X} \right)^{-1}.$

См. также

• Ожидаемая стоимость
• Ошибка прогноза
• Прогнозирование регрессии

Ссылки

• Дрейпер, Северная Каролина; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Уайли. ISBN  0-471-17082-8 .