Расстояние Кука

В статистике методом расстояние Кука или Кука D — это часто используемая оценка влияния точки данных при выполнении регрессионного анализа наименьших квадратов . В практическом анализе методом обычных наименьших квадратов расстояние Кука можно использовать несколькими способами: для указания влиятельных точек данных, достоверность которых особенно стоит проверить; или указать области проектного пространства, где было бы полезно получить больше точек данных. Он назван в честь американского статистика Р. Денниса Кука , который ввел эту концепцию в 1977 году.

Определение

Точки данных с большими остатками ( выбросами ) и/или высоким уровнем кредитного плеча могут исказить результат и точность регрессии. Расстояние Кука измеряет эффект удаления данного наблюдения. Считается, что точки с большим расстоянием Кука заслуживают более тщательного изучения при анализе.

Для алгебраического выражения сначала определите

${\underset {n\times 1}{\mathbf {y} }}={\underset {n\times p}{\mathbf {X} }}\quad {\underset {p\times 1}{\boldsymbol {\beta }}}\quad +\quad {\underset {n\times 1}{\boldsymbol {\varepsilon }}}$

где ${\boldsymbol {\varepsilon }}\sim {\mathcal {N}}\left(0,\sigma ^{2}\mathbf {I} \right)$ это термин ошибки , ${\boldsymbol {\beta }}=\left[\beta _{0}\,\beta _{1}\dots \beta _{p-1}\right]^{\mathsf {T}}$ – матрица коэффициентов, $p$ количество ковариат или предикторов для каждого наблюдения, и $\mathbf {X}$ — это матрица проекта, включающая константу. наименьших квадратов равна Тогда оценка $\mathbf {b} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$и, следовательно, подобранные (прогнозированные) значения среднего значения $\mathbf {y}$ являются

$\mathbf {\widehat {y}} =\mathbf {X} \mathbf {b} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} =\mathbf {H} \mathbf {y}$

где $\mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}$ — матрица проекции (или матрица шляпы). $i$-й диагональный элемент $\mathbf {H} \,$, заданный $h_{ii}\equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _{i}$, известен рычаг как $i$-е наблюдение. Аналогичным образом, $i$-й элемент вектора невязок $\mathbf {e} =\mathbf {y} -\mathbf {\widehat {y\,}} =\left(\mathbf {I} -\mathbf {H} \right)\mathbf {y}$ обозначается $e_{i}$.

Расстояние Кука $D_{i}$ наблюдения $i\;({\text{for }}i=1,\dots ,n)$ определяется как сумма всех изменений в регрессионной модели при наблюдении $i$ удаляется из него

$D_{i}={\frac {\sum _{j=1}^{n}\left({\widehat {y\,}}_{j}-{\widehat {y\,}}_{j(i)}\right)^{2}}{ps^{2}}}$

где p — ранг модели (т. е. количество независимых переменных в матрице плана) и ${\widehat {y\,}}_{j(i)}$ — это подобранное значение ответа, полученное при исключении $i$, и $s^{2}={\frac {\mathbf {e} ^{\top }\mathbf {e} }{n-p}}$ — среднеквадратическая ошибка регрессионной модели.

Эквивалентно это можно выразить с помощью рычага ( $h_{ii}$):

$D_{i}={\frac {e_{i}^{2}}{ps^{2}}}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right].$

Обнаружение весьма влиятельных наблюдений

Существуют разные мнения относительно того, какие пороговые значения следует использовать для выявления наиболее влиятельных точек . Поскольку расстояние Кука находится в метрике F- распределения с $p$ и $n-p$ (как определено для матрицы проектирования $\mathbf {X}$ выше) степени свободы, срединная точка (т.е. $F_{0.5}(p,n-p)$) можно использовать в качестве отсечки. Поскольку это значение близко к 1 для больших $n$, простое оперативное руководство по $D_{i}>1$ было предложено.

The $p$-мерный случайный вектор $\mathbf {b} -\mathbf {b\,} _{(i)}$, что представляет собой изменение $\mathbf {b}$ из-за удаления $i$-е наблюдение имеет ковариационную матрицу первого ранга и, следовательно, полностью распределено по одномерному подпространству (линия, скажем $L$) принадлежащий $p$-мерное пространство. Распределительное свойство $\mathbf {b} -\mathbf {b\,} _{(i)}$ упомянутое выше подразумевает, что информация о влиянии $i$-е наблюдение предоставлено $\mathbf {b} -\mathbf {b\,} _{(i)}$ должно быть получено не снаружи линии $L$ но из линии $L$ сам. Однако при введении расстояния Кука масштабирующая матрица полного ранга $p$ выбран и в результате $\mathbf {b} -\mathbf {b\,} _{(i)}$ рассматривается как случайный вектор, распределенный по всему пространству $p$ размеры. Это означает, что информация о влиянии $i$-е наблюдение предоставлено $\mathbf {b} -\mathbf {b\,} _{(i)}$ через расстояние Кука исходит из всего пространства $p$ размеры. Следовательно, мера расстояния Кука, вероятно, исказит реальное влияние наблюдений, вводя в заблуждение правильную идентификацию влиятельных наблюдений.

Связь с другими мерами влияния (и интерпретация)

$D_{i}$ можно выразить с помощью рычага ( $0\leq h_{ii}\leq 1$) и квадрат внутренне стьюдентизированного остатка ( $0\leq t_{i}^{2}$), следующее:

${\begin{aligned}D_{i}&={\frac {e_{i}^{2}}{ps^{2}}}\cdot {\frac {h_{ii}}{(1-h_{ii})^{2}}}={\frac {1}{p}}\cdot {\frac {e_{i}^{2}}{{1 \over n-p}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}(1-h_{ii})}}\cdot {\frac {h_{ii}}{1-h_{ii}}}\\[5pt]&={\frac {1}{p}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}.\end{aligned}}$

Преимущество последней формулировки состоит в том, что она ясно показывает взаимосвязь между $t_{i}^{2}$ и $h_{ii}$ к $D_{i}$ (при этом p и n одинаковы для всех наблюдений). Если $t_{i}^{2}$ велико, то оно (для неэкстремальных значений $h_{ii}$) увеличится $D_{i}$. Если $h_{ii}$ близко к 0, тогда $D_{i}$ будет небольшим, а если $h_{ii}$ близко к 1, тогда $D_{i}$ станет очень большим (пока $t_{i}^{2}>0$, то есть: что наблюдение $i$ не находится точно на линии регрессии, установленной без наблюдения $i$).

$D_{i}$ связан с DFFITS следующим соотношением (обратите внимание, что ${{\widehat {\sigma }} \over {\widehat {\sigma }}_{(i)}}t_{i}=t_{i(i)}$ - внешне стьюдентизированный остаток, и ${\widehat {\sigma }},{\widehat {\sigma }}_{(i)}$ определены здесь ):

${\begin{aligned}D_{i}&={\frac {1}{p}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}\\&={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot {\frac {{\widehat {\sigma }}^{2}}{{\widehat {\sigma }}_{(i)}^{2}}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot \left(t_{i(i)}{\sqrt {\frac {h_{ii}}{1-h_{ii}}}}\right)^{2}\\&={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot {\text{DFFITS}}^{2}\end{aligned}}$

$D_{i}$ можно интерпретировать как расстояние, на которое перемещаются оценки внутри доверительного эллипсоида, который представляет собой область вероятных значений параметров. Об этом свидетельствует альтернативное, но эквивалентное представление расстояния Кука через изменения оценок параметров регрессии между случаями, когда конкретное наблюдение либо включается, либо исключается из регрессионного анализа.

Альтернатива $D_{i}$ было предложено. Вместо того, чтобы учитывать влияние отдельного наблюдения на общую модель, статистика $S_{i}$ служит мерой того, насколько чувствителен прогноз $i$-е наблюдение означает удаление каждого наблюдения в исходном наборе данных. Его можно сформулировать как взвешенную линейную комбинацию $D_{j}$всех точек данных. Опять же, матрица проекции в расчете участвует для получения необходимых весов:

$S_{i}={\frac {\sum _{j=1}^{n}\left({\widehat {y}}_{i}-{{\widehat {y}}_{i}}_{(j)}\right)^{2}}{ps^{2}h_{ii}}}=\sum _{j=1}^{n}{\frac {h_{ij}^{2}\cdot D_{j}}{h_{ii}\cdot h_{jj}}}=\sum _{j=1}^{n}\rho _{ij}^{2}\cdot D_{j}$

В этом контексте $\rho _{ij}$ ( $\leq 1$) напоминает корреляцию между предсказаниями ${\widehat {y\,}}_{i}$ и ${\widehat {y\,}}_{j}$.
В отличие от $D_{i}$, распределение $S_{i}$ асимптотически нормально для больших размеров выборки и моделей со многими предикторами. При отсутствии выбросов ожидаемое значение $S_{i}$ примерно $p^{-1}$. Влиятельное наблюдение можно определить, если

$\left|S_{i}-\operatorname {med} (S)\right|\geq 4.5\cdot \operatorname {MAD} (S)$

с $\operatorname {med} (S)$ как медиана и $\operatorname {MAD} (S)$ как медианное абсолютное отклонение всех $S$-значения в исходном наборе данных, т.е. надежная мера местоположения и надежная мера масштаба распределения $S_{i}$. Коэффициент 4,5 охватывает ок. 3 стандартных отклонения $S$ вокруг его центра.
По сравнению с расстоянием Кука, $S_{i}$ было обнаружено, что он хорошо работает для выбросов с высоким и средним уровнем левереджа, даже при наличии маскирующих эффектов, для которых $D_{i}$ неуспешный.
Интересно, $D_{i}$ и $S_{i}$ тесно связаны, поскольку оба могут быть выражены через матрицу $\mathbf {T}$ который сохраняет последствия удаления $j$-я точка данных на $i$-е предсказание:

${\begin{aligned}&\mathbf {T} =\left[{\begin{matrix}{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(1\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(2\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(3\right)}&\cdots &{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(n-1\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(n\right)}\\{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(1\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(2\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(3\right)}&\cdots &{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(n-1\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(n\right)}\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(1\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(2\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(3\right)}&\cdots &{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(n-1\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(n\right)}\\{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(2\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(3\right)}&\cdots &{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(n-1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(n\right)}\end{matrix}}\right]\\\\&\ \ =\mathbf {H} \mathbf {E} \mathbf {G} =\mathbf {H} \left[{\begin{matrix}e_{1}&0&0&\cdots &0&0\\0&e_{2}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &e_{n-1}&0\\0&0&0&\cdots &0&e_{n}\end{matrix}}\right]\left[{\begin{matrix}{\frac {1}{1-h_{11}}}&0&0&\cdots &0&0\\0&{\frac {1}{1-h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1}{1-h_{n-1,n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{1-h_{nn}}}\end{matrix}}\right]\end{aligned}}$

С $\mathbf {T}$ под рукой, $\mathbf {D}$ дается:

$\mathbf {D} =\left[{\begin{matrix}D_{1}\\D_{2}\\\vdots \\D_{n-1}\\D_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}\operatorname {diag} \left(\mathbf {T} ^{\mathsf {T}}\mathbf {T} \right)={\frac {1}{ps^{2}}}\operatorname {diag} \left(\mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\mathbf {H} \mathbf {E} \mathbf {G} \right)=\operatorname {diag} (\mathbf {M} )$

где $\mathbf {H} ^{\mathsf {T}}\mathbf {H} =\mathbf {H}$ если $\mathbf {H}$ симметричен , и идемпотентен . так что не обязательно В отличие, $\mathbf {S}$ можно рассчитать как:

${\begin{aligned}&\mathbf {S} =\left[{\begin{matrix}S_{1}\\S_{2}\\\vdots \\S_{n-1}\\S_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}\mathbf {F} \operatorname {diag} \left(\mathbf {T} \mathbf {T} ^{\mathsf {T}}\right)={\frac {1}{ps^{2}}}\left[{\begin{matrix}{\frac {1}{h_{11}}}&0&0&\cdots &0&0\\0&{\frac {1}{h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1}{h_{n-1n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{h_{nn}}}\end{matrix}}\right]\operatorname {diag} \left(\mathbf {T} \mathbf {T} ^{\mathsf {T}}\right)\\\\&\ \ ={\frac {1}{ps^{2}}}\mathbf {F} \operatorname {diag} \left(\mathbf {H} \mathbf {E} \mathbf {G} \mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\right)=\mathbf {F} \operatorname {diag} (\mathbf {P} )\end{aligned}}$

где $\operatorname {diag} (\mathbf {A} )$ извлекает главную диагональ квадратной матрицы $\mathbf {A}$. В этом контексте $\mathbf {M} =p^{-1}s^{-2}\mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\mathbf {H} \mathbf {E} \mathbf {G}$ называется матрицей влияния, тогда как $\mathbf {P} =p^{-1}s^{-2}\mathbf {H} \mathbf {E} \mathbf {G} \mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}$ напоминает так называемую матрицу чувствительности. Анализ собственных векторов $\mathbf {M}$ и $\mathbf {P}$ - которые имеют одни и те же собственные значения - служит инструментом обнаружения выбросов, хотя собственные векторы матрицы чувствительности более эффективны.

Реализации программного обеспечения

Многие программы и пакеты статистики, такие как R , Python , Julia и т. д., включают реализации расстояния Кука.

Язык/Программа	Функция	Примечания
Был	predict, cooksd	См . [1]
Р	cooks.distance(model, ...)	См . [2]
Питон	CooksDistance().fit(X, y)	См . [3]
Юлия	cooksdistance(model, ...)	См . [4]

Расширения

Многомерная мера влияния (HIM) является альтернативой расстоянию Кука, когда $p>n$ (т. е. когда предикторов больше, чем наблюдений). В то время как расстояние Кука количественно определяет влияние отдельного наблюдения на оценку коэффициента регрессии по методу наименьших квадратов, HIM измеряет влияние наблюдения на маргинальные корреляции.

См. также

• Выброс
• Кредитное плечо (статистика)
• Частичное кредитное плечо
• ДФФИТС
• Стьюдентизированный остаток

Дальнейшее чтение

• Аткинсон, Энтони; Риани, Марко (2000). «Диагностика удаления» . Робастная диагностика и регрессионный анализ . Нью-Йорк: Спрингер. стр. 22–25. ISBN  0-387-95017-6 .
• Хейбергер, Ричард М.; Холланд, Берт (2013). «Статистика дел» . Статистический анализ и отображение данных . Springer Science & Business Media. стр. 312–27. ISBN  9781475742848 .
• Краскер, Уильям С.; Кух, Эдвин ; Уэлш, Рой Э. (1983). «Оценка грязных данных и ошибочных моделей». Справочник по эконометрике . Том. 1. Эльзевир. стр. 651–698. дои : 10.1016/S1573-4412(83)01015-6 . ISBN  9780444861856 .
• Агинис, Герман; Готфредсон, Райан К.; Джу, Гарри (2013). «Рекомендации по передовой практике для определения и обработки выбросов» . Организационные методы исследования . 16 (2). Мудрец: 270–301. дои : 10.1177/1094428112470848 . S2CID   54916947 . Проверено 4 декабря 2015 г.