Матрица проекции

Информацию о линейном преобразовании см. в разделе «Проекция (линейная алгебра)» .

В статистике матрица проекции $(\mathbf {P} )$, иногда также называется матрицей влияния или шляпная матрица $(\mathbf {H} )$, сопоставляет вектор значений ответа (значений зависимой переменной) с вектором подогнанных значений (или прогнозируемых значений). Он описывает влияние каждого значения ответа на каждое подобранное значение. Диагональными элементами матрицы проекции являются рычаги , которые описывают влияние каждого значения ответа на подобранное значение для того же наблюдения.

Определение

Если вектор значений ответа обозначить через $\mathbf {y}$ и вектор подобранных значений на $\mathbf {\hat {y}}$,

$\mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .$

Как $\mathbf {\hat {y}}$ обычно произносится как «y-hat», матрица проекции $\mathbf {P}$ также называется шляпной матрицей, поскольку она «надевает шляпу на $\mathbf {y}$".

Заявление на остаток

Формула для вектора остатков $\mathbf {r}$ также можно компактно выразить с помощью матрицы проекции:

$\mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .$

где $\mathbf {I}$ является единичной матрицей . Матрица $\mathbf {M} :=\mathbf {I} -\mathbf {P}$ иногда называют матрицей создателя остатков или матрицей аннигилятора .

Ковариационная матрица остатков $\mathbf {r}$, по распространению ошибки , равно

$\mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)$,

где $\mathbf {\Sigma }$ — это ковариационная матрица вектора ошибки (и, соответственно, вектора ответа). Для случая линейных моделей с независимыми и одинаково распределенными ошибками, в которых $\mathbf {\Sigma } =\sigma ^{2}\mathbf {I}$, это сводится к:

$\mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}$.

Интуиция

Матрица, $\mathbf {A}$ пространство столбцов обозначено зеленой линией. Проекция некоторого вектора $\mathbf {b}$ на пространство столбца $\mathbf {A}$ вектор $\mathbf {x}$

Из рисунка видно, что ближайшая точка вектора $\mathbf {b}$ на пространство столбца $\mathbf {A}$, является $\mathbf {Ax}$, и это тот, где мы можем нарисовать линию, ортогональную пространству столбцов $\mathbf {A}$. Вектор, ортогональный пространству столбцов матрицы, находится в пустом пространстве транспонирования матрицы, поэтому

$\mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0$.

Оттуда переставляется, так

${\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}$.

Следовательно, поскольку $\mathbf {Ax}$ находится в пространстве столбцов $\mathbf {A}$, матрица проекции, которая отображает $\mathbf {b}$ на $\mathbf {x}$ это просто $\mathbf {A}$, или $\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}$.

Линейная модель

Предположим, что мы хотим оценить линейную модель, используя линейный метод наименьших квадратов. Модель можно записать как

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},$

где $\mathbf {X}$ — матрица объясняющих переменных ( матрица плана ), β — вектор неизвестных параметров, подлежащих оценке, а ε — вектор ошибок.

Многие типы моделей и методов подпадают под эту формулировку. Несколько примеров: линейный метод наименьших квадратов , сглаживающие сплайны , сплайны регрессии , локальная регрессия , ядерная регрессия и линейная фильтрация .

Обычные наименьшие квадраты

Дополнительная информация: Обычные наименьшие квадраты.

Когда веса для каждого наблюдения идентичны и ошибки некоррелированы, оцениваемые параметры равны

${\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,$

поэтому подобранные значения

${\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .$

Следовательно, матрица проекции (и матрица шляпы) определяется выражением

$\mathbf {P} :=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.$

Взвешенные и обобщенные методы наименьших квадратов

Дополнительная информация: Взвешенные методы наименьших квадратов и обобщенные методы наименьших квадратов.

Вышеизложенное можно обобщить на случаи, когда веса не идентичны и/или ошибки коррелируют. Предположим, что ковариационная матрица ошибок равна Σ . Тогда с тех пор

${\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y}$.

матрица шляпы, таким образом,

$\mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}$

и снова можно увидеть, что $H^{2}=H\cdot H=H$, хотя теперь он уже не симметричен.

Характеристики

Матрица проекции обладает рядом полезных алгебраических свойств. На языке линейной алгебры матрица проекции — это ортогональная проекция на пространство столбцов матрицы плана. $\mathbf {X}$. (Обратите внимание, что $\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}$ является псевдообратной X .) Некоторые факты о матрице проекции в этом случае суммируются следующим образом:

• $\mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,$ и $\mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .$
• $\mathbf {P}$ симметричен, и поэтому $\mathbf {M} :=\mathbf {I} -\mathbf {P}$.
• $\mathbf {P}$ является идемпотентным: $\mathbf {P} ^{2}=\mathbf {P}$и так есть $\mathbf {M}$.
• Если $\mathbf {X}$ представляет собой матрицу размера n × r с $\operatorname {rank} (\mathbf {X} )=r$, затем $\operatorname {rank} (\mathbf {P} )=r$
• Собственные значения ​ $\mathbf {P}$ состоят из r единиц и n − r нулей, а собственные значения $\mathbf {M}$ состоят из n − r единиц и r нулей.
• $\mathbf {X}$ инвариантен относительно $\mathbf {P}$ : $\mathbf {PX} =\mathbf {X} ,$ следовательно $\left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0}$.
• $\left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .$
• $\mathbf {P}$ уникально для некоторых подпространств.

Матрица проекции, соответствующая линейной модели , симметрична и идемпотентна , то есть $\mathbf {P} ^{2}=\mathbf {P}$. Однако это не всегда так; Например, при локально взвешенном сглаживании диаграмм рассеяния (LOESS) матрица шляпки, как правило, не является ни симметричной, ни идемпотентной.

Для линейных моделей след матрицы равен рангу проекции $\mathbf {X}$, что представляет собой количество независимых параметров линейной модели. Для других моделей, таких как LOESS, которые по-прежнему линейны в наблюдениях $\mathbf {y}$, матрица проекции может использоваться для определения эффективных степеней свободы модели.

Практическое применение матрицы проекции в регрессионном анализе включает рычаг и расстояние Кука , которые связаны с выявлением влиятельных наблюдений , то есть наблюдений, которые оказывают большое влияние на результаты регрессии.

Блочная формула

Предположим, что матрица плана $\mathbf {X}$ можно разложить по столбцам как $\mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}$.Определите шляпу или оператор проекции как $\mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}$. Аналогично определите оператор невязки как $\mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]$.Тогда матрицу проекции можно разложить следующим образом:

$\mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},$

где, например, $\mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}$ и $\mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]$.Существует ряд приложений такого разложения. В классическом приложении $\mathbf {A}$ представляет собой столбец всех единиц, который позволяет анализировать эффекты добавления члена-члена в регрессию. Другое применение — в модели с фиксированными эффектами , где $\mathbf {A}$ представляет собой большую разреженную матрицу фиктивных переменных для членов с фиксированным эффектом. Это разделение можно использовать для вычисления шляпной матрицы $\mathbf {X}$ без явного формирования матрицы $\mathbf {X}$, который может быть слишком большим, чтобы поместиться в память компьютера.

История

Матрица шляпы была представлена ​​Джоном Уайлдером в 1972 году. В статье Хоглина, округ Колумбия, и Уэлша, Р.Э. (1978) приводятся свойства матрицы, а также множество примеров ее применения.

См. также

• Проекция (линейная алгебра)
• Стьюдентизированные остатки
• Эффективные степени свободы
• Средний и прогнозируемый ответ