Кредитное плечо (статистика)

В статистике и, в частности, в регрессионном анализе , рычаг — это мера того, насколько далеки независимых переменных значения наблюдения от значений других наблюдений. Точки высокого рычага , если таковые имеются, являются выбросами по отношению к независимым переменным . То есть точки с высоким кредитным плечом не имеют соседних точек в $\mathbb {R} ^{p}$ пространство, где ${p}$ — количество независимых переменных в регрессионной модели. Это делает подобранную модель, скорее всего, близкой к наблюдению с высоким рычагом. ^[1] Следовательно, точки с высоким уровнем рычагов могут вызвать большие изменения в оценках параметров при их удалении, т. е. стать влиятельными точками . Хотя точка влияния обычно имеет высокий рычаг воздействия, точка высокого рычага не обязательно является влиятельной точкой. Кредитное плечо обычно определяется как диагональные элементы матрицы шляпы .

Определение и интерпретации

Рассмотрим линейной регрессии модель ${y}_{i}={\boldsymbol {x}}_{i}^{\top }{\boldsymbol {\beta }}+{\varepsilon }_{i}$ , $i=1,\,2,\ldots ,\,n$ . То есть, ${\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$ , где, $\mathbf {X}$ это $n\times p$ матрица планирования , строки которой соответствуют наблюдениям, а столбцы — независимым или независимым переменным. Оценка кредитного плеча для ${i}^{th}$ независимое наблюдение ${\boldsymbol {x}}_{i}$ дается как:

h_{ii}=\left[\mathbf {H} \right]_{ii}={\boldsymbol {x}}_{i}^{\top }\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}{\boldsymbol {x}}_{i}

,

{i}^{th}

диагональный элемент матрицы орто-проекции ( также известной как шляпная матрица)

\mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }

.

Таким образом, ${i}^{th}$ Показатель кредитного плеча можно рассматривать как «взвешенное» расстояние между ${\boldsymbol {x}}_{i}$ в смысле ${\boldsymbol {x}}_{i}$ (см. его связь с расстоянием Махаланобиса ). Его также можно интерпретировать как степень, в которой ${i}^{th}$ измеренное (зависимое) значение (т.е. $y_{i}$ ) влияет на ${i}^{th}$ подобранное (прогнозированное) значение (т.е. ${\widehat {y\,}}_{i}$ ): математически,

h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}}

.

Следовательно, показатель рычага также известен как самочувствительность наблюдения или самовлияние. ^[2] Используя тот факт, что ${\boldsymbol {\widehat {y}}}={\mathbf {H} }{\boldsymbol {y}}$ (т.е. предсказание ${\boldsymbol {\widehat {y}}}$ является орто-проекцией ${\boldsymbol {y}}$ на пространство дальности $\mathbf {X}$ ) в приведенном выше выражении мы получаем $h_{ii}=\left[\mathbf {H} \right]_{ii}$ . Обратите внимание, что этот рычаг зависит от значений независимых переменных. $(\mathbf {X} )$ всех наблюдений, но не ни по одному из значений зависимых переменных $(y_{i})$ .

Характеристики

Кредитное плечо $h_{ii}$ это число от 0 до 1, $0\leq h_{ii}\leq 1.$ Доказательство: Обратите внимание, что $\mathbf {H}$ – идемпотентная матрица ( $\mathbf {H} ^{2}=\mathbf {H}$ ) и симметричные ( $h_{ij}=h_{ji}$ ). Таким образом, используя тот факт, что $\left[\mathbf {H} ^{2}\right]_{ii}=\left[\mathbf {H} \right]_{ii}$ , у нас есть $h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}$ . Поскольку мы знаем, что $\sum _{j\neq i}h_{ij}^{2}\geq 0$ , у нас есть $h_{ii}\geq h_{ii}^{2}\implies 0\leq h_{ii}\leq 1$ .
Сумма кредитных плеч равна количеству параметров. $(p)$ в ${\boldsymbol {\beta }}$ (включая перехват). Доказательство: $\sum _{i=1}^{n}h_{ii}=\operatorname {Tr} (\mathbf {H} )=\operatorname {Tr} \left(\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\right)=\operatorname {Tr} \left(\mathbf {X} ^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\right)=\operatorname {Tr} (\mathbf {I} _{p})=p$ .

Определение выбросов в X с использованием рычагов

Большое кредитное плечо ${h_{ii}}$ соответствует ${{\boldsymbol {x}}_{i}}$ это крайность. Общее правило – идентифицировать ${{\boldsymbol {x}}_{i}}$ чье кредитное плечо ${h}_{ii}$ более чем в 2 раза превышает среднее кредитное плечо ${\bar {h}}={\dfrac {1}{n}}\sum _{i=1}^{n}h_{ii}={\dfrac {p}{n}}$ (см. свойство 2 выше). То есть, если $h_{ii}>2{\dfrac {p}{n}}$ , ${{\boldsymbol {x}}_{i}}$ следует считать выбросом. Некоторые статистики предпочитают порог $3p/{n}$ вместо $2p/{n}$ .

Связь с расстоянием Махаланобиса

Кредитное плечо тесно связано с расстоянием Махаланобиса (доказательство ^[3]). В частности, для некоторых $n\times p$ матрица $\mathbf {X}$ , квадрат расстояния Махаланобиса ${{\boldsymbol {x}}_{i}}$ (где ${\boldsymbol {x}}_{i}^{\top }$ является ${i}^{th}$ ряд $\mathbf {X}$ ) от вектора среднего ${\widehat {\boldsymbol {\mu }}}=\sum _{i=1}^{n}{\boldsymbol {x}}_{i}$ длины $p$ , является $D^{2}({\boldsymbol {x}}_{i})=({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})^{\top }\mathbf {S} ^{-1}({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})$ , где $\mathbf {S} =\mathbf {X} ^{\top }\mathbf {X}$ - предполагаемая матрица ковариационная ${{\boldsymbol {x}}_{i}}$ х. Это связано с рычагом воздействия $h_{ii}$ шляпной матрицы $\mathbf {X}$ после добавления к нему вектор-столбца из 1. Отношения между ними таковы:

D^{2}({\boldsymbol {x}}_{i})=(n-1)(h_{ii}-{\tfrac {1}{n}})

Эта взаимосвязь позволяет нам разложить кредитное плечо на значимые компоненты, чтобы можно было аналитически исследовать некоторые источники высокого кредитного плеча. ^[4]

Связь с функциями влияния

В контексте регрессии мы объединяем функции рычага и влияния , чтобы вычислить степень, в которой оценочные коэффициенты изменятся, если мы удалим одну точку данных. Обозначая остатки регрессии как ${\widehat {e}}_{i}=y_{i}-{\boldsymbol {x}}_{i}^{\top }{\widehat {\boldsymbol {\beta }}}$ , можно сравнить расчетный коэффициент ${\widehat {\boldsymbol {\beta }}}$ к расчетному коэффициенту исключения ${\widehat {\boldsymbol {\beta }}}^{(-i)}$ используя формулу ^[5]^[6]

{\widehat {\boldsymbol {\beta }}}-{\widehat {\boldsymbol {\beta }}}^{(-i)}={\frac {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}{1-h_{ii}}}

Янг (2019) использует версию этой формулы после остаточного контроля. ^[7] Чтобы получить представление об этой формуле, обратите внимание, что ${\frac {\partial {\hat {\beta }}}{\partial y_{i}}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}$ отражает возможность влияния наблюдения на параметры регрессии и, следовательно, $(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}$ отражает фактическое влияние отклонений этих наблюдений от установленного значения на параметры регрессии. Затем формула делится на $(1-h_{ii})$ чтобы учесть тот факт, что мы удаляем наблюдение, а не корректируем его значение, отражая тот факт, что удаление больше меняет распределение ковариат, когда оно применяется к наблюдениям с высоким уровнем рычага (т. е. с выбросами значений ковариат). Подобные формулы возникают при применении общих формул для функций статистического влияния в контексте регрессии. ^[8]^[9]

Влияние на остаточную дисперсию

Если мы находимся в обычном методе наименьших квадратов с фиксированным $\mathbf {X}$ и гомоскедастической регрессии ошибки $\varepsilon _{i},$ ${\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }};\ \ \operatorname {Var} ({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I}$ , тогда ${i}^{th}$ остаток регрессии , $e_{i}=y_{i}-{\widehat {y}}_{i}$ имеет дисперсию

\operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}

.

Другими словами, показатель рычага наблюдения определяет степень шума в неправильном прогнозе модели этого наблюдения, при этом более высокий уровень рычага приводит к меньшему шуму. Это следует из того, что $\mathbf {I} -\mathbf {H}$ идемпотентен, симметричен и ${\widehat {\boldsymbol {y}}}=\mathbf {H} {\boldsymbol {y}}$ , следовательно, $\operatorname {Var} ({\boldsymbol {e}})=\operatorname {Var} ((\mathbf {I} -\mathbf {H} ){\boldsymbol {y}})=(\mathbf {I} -\mathbf {H} )\operatorname {Var} ({\boldsymbol {y}})(\mathbf {I} -\mathbf {H} )^{\top }=\sigma ^{2}(\mathbf {I} -\mathbf {H} )^{2}=\sigma ^{2}(\mathbf {I} -\mathbf {H} )$ .

Соответствующий стьюдентизированный остаток — остаток, скорректированный с учетом расчетной дисперсии остатка, специфичной для наблюдения, — затем равен

t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}

где ${\widehat {\sigma }}$ является подходящей оценкой $\sigma$ .

Частичное кредитное плечо

Частичный рычаг ( PL ) — это мера вклада отдельных независимых переменных в общий рычаг каждого наблюдения. То есть PL является мерой того, насколько $h_{ii}$ изменяется по мере добавления переменной в регрессионную модель. Он рассчитывается как:

\left(\mathrm {PL} _{j}\right)_{i}={\frac {\left(\mathbf {X} _{j\bullet [j]}\right)_{i}^{2}}{\sum _{k=1}^{n}\left(\mathbf {X} _{j\bullet [j]}\right)_{k}^{2}}}

где $j$ – индекс независимой переменной, $i$ - индекс наблюдения и $\mathbf {X} _{j\bullet [j]}$ остатки от регрессии $\mathbf {X} _{j}$ относительно остальных независимых переменных. Обратите внимание, что частичное кредитное плечо – это кредитное плечо ${i}^{th}$ точка на графике частичной регрессии для ${j}^{th}$ переменная. Точки данных с большим частичным рычагом воздействия на независимую переменную могут оказывать чрезмерное влияние на выбор этой переменной в процедурах автоматического построения регрессионной модели.

Реализации программного обеспечения

Многие программы и пакеты статистики, такие как R , Python и т. д., включают реализации Leverage.

Язык/Программа	Функция	Примечания
Р	`hat(x, intercept = TRUE)` или `hatvalues(model, ...)`	См . [1]
Питон	`(x * np.linalg.pinv(x).T).sum(-1)`	См . [2]

См. также

Матрица проекции , основные диагональные элементы которой являются рычагами наблюдений.
Расстояние Махаланобиса - ( масштабированная ) мера влияния исходных данных.
Частичное кредитное плечо
Расстояние Кука - мера изменений коэффициентов регрессии при удалении наблюдения.
ДФФИТС
Выброс – наблюдения с экстремальными Y. значениями
Степени свободы (статистика) , сумма показателей кредитного плеча

Ссылки

^ Эверитт, бакалавр наук (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN 0-521-81099-Х .
^ Кардинали, К. (июнь 2013 г.). «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) .
^ Докажите связь между расстоянием Махаланобиса и кредитным плечом?
^ Ким, М.Г. (2004). «Источники высокого рычага в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv : 2006.04024 [ math.ST ].
^ Миллер, Руперт Г. (сентябрь 1974 г.). «Несбалансированный складной нож» . Анналы статистики . 2 (5): 880–891. дои : 10.1214/aos/1176342811 . ISSN 0090-5364 .
^ Хияши, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 21.
^ Янг, Олвин (2019). «Ченнелинг Фишера: тесты рандомизации и статистическая незначительность кажущихся значимыми экспериментальных результатов» . Ежеквартальный экономический журнал . 134 (2): 567. doi : 10.1093/qje/qjy029 .
^ Чаттерджи, Самприт; Хади, Али С. (август 1986 г.). «Влиятельные наблюдения, точки высокого рычага и выбросы в линейной регрессии» . Статистическая наука . 1 (3): 379–393. дои : 10.1214/ss/1177013622 . ISSN 0883-4237 .
^ «Регрессия - Функции влияния и МНК» . Крест проверен . Проверено 6 декабря 2020 г.

[1] Эверитт, бакалавр наук (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN 0-521-81099-Х .

[2] Кардинали, К. (июнь 2013 г.). «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) .

[3] Докажите связь между расстоянием Махаланобиса и кредитным плечом?

[4] Ким, М.Г. (2004). «Источники высокого рычага в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv : 2006.04024 [ math.ST ].

[5] Миллер, Руперт Г. (сентябрь 1974 г.). «Несбалансированный складной нож» . Анналы статистики . 2 (5): 880–891. дои : 10.1214/aos/1176342811 . ISSN 0090-5364 .

[6] Хияши, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 21.

[7] Янг, Олвин (2019). «Ченнелинг Фишера: тесты рандомизации и статистическая незначительность кажущихся значимыми экспериментальных результатов» . Ежеквартальный экономический журнал . 134 (2): 567. doi : 10.1093/qje/qjy029 .

[8] Чаттерджи, Самприт; Хади, Али С. (август 1986 г.). «Влиятельные наблюдения, точки высокого рычага и выбросы в линейной регрессии» . Статистическая наука . 1 (3): 379–393. дои : 10.1214/ss/1177013622 . ISSN 0883-4237 .

[9] «Регрессия - Функции влияния и МНК» . Крест проверен . Проверено 6 декабря 2020 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]