Коэффициент инфляции дисперсии

В статистике коэффициент инфляции дисперсии ( VIF ) — это отношение ( частное ) дисперсии оценки параметра при подборе полной модели, включающей другие параметры, к дисперсии оценки параметра, если модель подходит только с параметром на ее основе. собственный. VIF предоставляет индекс, который измеряет, насколько дисперсия (квадрат стандартного отклонения оценки ) предполагаемого коэффициента регрессии увеличивается из-за коллинеарности.

Катберт Дэниэл утверждает, что изобрел концепцию коэффициента инфляции дисперсии, но не придумал названия.

Определение

Рассмотрим следующую линейную модель с k независимыми переменными:

Y знак равно β ₀ + β ₁ Икс ₁ + β ₂ Икс ₂ + ... + β _k Икс _k + ε .

Стандартная ошибка оценки β _j равна квадратному корню из j + 1 диагонального элемента s ² ( Икс ′ Икс ) ⁻¹ , где s — среднеквадратическая ошибка (RMSE) (обратите внимание, что RMSE ² является последовательной оценкой истинной дисперсии ошибки, $\sigma ^{2}$); X регрессии — матрица плана — матрица, такая, что X _{i , j +1} — значение j ^й независимая переменная для i ^й случай или наблюдение, и такой, что X _{i ,1} , вектор-предиктор, связанный с термином пересечения, равен 1 для всех i . Оказывается, квадрат этой стандартной ошибки, предполагаемой дисперсии оценки β _j , может быть эквивалентно выражен как:

${\widehat {\operatorname {var} }}({\hat {\beta }}_{j})={\frac {s^{2}}{(n-1){\widehat {\operatorname {var} }}(X_{j})}}\cdot {\frac {1}{1-R_{j}^{2}}},$

где R _j ² кратное ​ R ² для регрессии X _j по другим ковариатам (регрессия, которая не включает переменную ответа Y ) и ${\hat {\beta }}_{j}$ – оценки коэффициентов, то есть оценки ${\beta }_{j}$. Это тождество разделяет влияние нескольких различных факторов на дисперсию оценки коэффициента:

• с ² : больший разброс данных вокруг поверхности регрессии приводит к пропорционально большей дисперсии в оценках коэффициентов.
• n : больший размер выборки приводит к пропорционально меньшей дисперсии в оценках коэффициентов.
• ${\widehat {\operatorname {var} }}(X_{j})$: большая изменчивость в конкретной ковариате приводит к пропорционально меньшей дисперсии в соответствующей оценке коэффициента.

Оставшийся член, 1 / (1 − R _j ² ) — это ВИФ. Он отражает все остальные факторы, влияющие на неопределенность оценок коэффициентов. когда вектор X _j ортогонален j каждому столбцу матрицы плана для регрессии X _{VIF равен 1 ,} по другим ковариатам. Напротив, VIF больше 1, когда вектор X _j не ортогонален всем столбцам матрицы плана для регрессии X _j по другим ковариатам. Наконец, обратите внимание, что VIF инвариантен к масштабированию переменных (то есть мы можем масштабировать каждую переменную X _j на константу c _j, не изменяя VIF).

${\widehat {\operatorname {var} }}({\hat {\beta }}_{j})=s^{2}[(X^{T}X)^{-1}]_{jj}$

Теперь позвольте $r=X^{T}X$и, не теряя общности, мы переупорядочиваем столбцы X , чтобы первый столбец был $X_{j}$

$r^{-1}={\begin{bmatrix}r_{j,j}&r_{j,-j}\\r_{-j,j}&r_{-j,-j}\end{bmatrix}}^{-1}$

$r_{j,j}=X_{j}^{T}X_{j},r_{j,-j}=X_{j}^{T}X_{-j},r_{-j,j}=X_{-j}^{T}X_{j},r_{-j,-j}=X_{-j}^{T}X_{-j}$.

Используя дополнение Шура , элемент в первой строке и первом столбце $r^{-1}$ является,

$r_{1,1}^{-1}=[r_{j,j}-r_{j,-j}r_{-j,-j}^{-1}r_{-j,j}]^{-1}$

Тогда у нас есть,

${\begin{aligned}&{\widehat {\operatorname {var} }}({\hat {\beta }}_{j})=s^{2}[(X^{T}X)^{-1}]_{jj}=s^{2}r_{1,1}^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-X_{j}^{T}X_{-j}(X_{-j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-X_{j}^{T}X_{-j}(X_{-j}^{T}X_{-j})^{-1}(X_{-j}^{T}X_{-j})(X_{-j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-{\hat {\beta }}_{*j}^{T}(X_{-j}^{T}X_{-j}){\hat {\beta }}_{*j}]^{-1}\\={}&s^{2}{\frac {1}{\mathrm {RSS} _{j}}}\\={}&{\frac {s^{2}}{(n-1){\widehat {\operatorname {var} }}(X_{j})}}\cdot {\frac {1}{1-R_{j}^{2}}}\end{aligned}}$

Здесь ${\hat {\beta }}_{*j}$ коэффициент регрессии зависимой переменной $X_{j}$ более ковариата $X_{-j}$. $\mathrm {RSS} _{j}$ — соответствующая остаточная сумма квадратов .

Расчет и анализ

Мы можем вычислить k различных VIF (по одному для каждого X _i ) в три этапа:

Шаг первый

Сначала мы запускаем обычную регрессию наименьших квадратов, в которой X _i является функцией всех других объясняющих переменных в первом уравнении.
если i Например, = 1, уравнение будет таким:

$X_{1}=\alpha _{0}+\alpha _{2}X_{2}+\alpha _{3}X_{3}+\cdots +\alpha _{k}X_{k}+\varepsilon$

где $\alpha _{0}$ является константой и $\varepsilon$ это термин ошибки .

Шаг второй

Затем рассчитайте коэффициент VIF для ${\hat {\alpha }}_{i}$ по следующей формуле:

$\mathrm {VIF} _{i}={\frac {1}{1-R_{i}^{2}}}$

где Р ² _i - коэффициент детерминации уравнения регрессии на первом этапе, при этом $X_{i}$ с левой стороны, а все остальные переменные-предикторы (все остальные переменные X) — с правой стороны.

Шаг третий

Проанализируйте величину мультиколлинеарности , учитывая размер $\operatorname {VIF} ({\hat {\alpha }}_{i})$. Эмпирическое правило заключается в том, что если $\operatorname {VIF} ({\hat {\alpha }}_{i})>10$ тогда мультиколлинеарность высока (также часто используется пороговое значение 5) ). Однако не существует значения VIF больше 1, при котором дисперсия наклонов предикторов не была бы завышена. В результате включение двух или более переменных в множественную регрессию, которые не являются ортогональными (т. е. имеют корреляцию = 0), приведет к изменению наклона друг друга, SE наклона и значения P, поскольку существует общая дисперсия между предикторами, которые нельзя однозначно отнести ни к одному из них.

Некоторые программы вместо этого рассчитывают допуск, который является обратной величиной VIF. Выбор того, что использовать, зависит от личных предпочтений.

Интерпретация

Квадратный корень из коэффициента инфляции дисперсии показывает, насколько больше увеличивается стандартная ошибка по сравнению с тем, если бы эта переменная имела нулевую корреляцию с другими переменными-предикторами в модели.

Пример
Если коэффициент инфляции дисперсии переменной-предиктора составлял 5,27 (√5,27 = 2,3), это означает, что стандартная ошибка для коэффициента этой переменной-предиктора в 2,3 раза больше, чем если бы эта переменная-предиктор имела нулевую корреляцию с другими переменными-предикторами.

Выполнение

• vif функция в автомобиля R пакете
• ols_vif_tol функция в olsrr R пакете
• PROC REG САС в системе
• variance_inflation_factor функция в statsmodels Python пакете
• estat vif в Стате
• Аддон r.vif для GRASS GIS
• vif (некатегоричный) и gvif (категориальные данные) на StatsModels Julia языке программирования

Дальнейшее чтение

• Эллисон, PD (1999). Множественная регрессия: учебник для начинающих . Таузенд-Оукс, Калифорния: Pine Forge Press. п. 142.
• Волосы, JF; Андерсон, Р.; Татем, РЛ; Блэк, туалет (2006). Многомерный анализ данных . Река Аппер-Седл, Нью-Джерси: Прентис-Холл.
• Катнер, Миннесота; Нахтсхайм, CJ; Нетер, Дж. (2004). Прикладные модели линейной регрессии (4-е изд.). МакГроу-Хилл Ирвин.
• Лонгнекер, Монтана; Отт, Р.Л. (2004). Первый курс статистических методов . Томсон Брукс/Коул. п. 615.
• Марквардт, Д.В. (1970). «Обобщенные обратные операции, гребневая регрессия, смещенная линейная оценка и нелинейная оценка». Технометрика . 12 (3): 591–612 [стр. 605–7]. дои : 10.1080/00401706.1970.10488699 .
• Студенмунд, АХ (2006). Использование эконометрики: Практическое руководство (5-е изд.). Пирсон Интернешнл. стр. 258–259.
• Зуур, АФ; Иено, EN; Элфик, CS (2010). «Протокол исследования данных, позволяющий избежать распространенных статистических проблем» . Методы экологии и эволюции . 1 :3–14. дои : 10.1111/j.2041-210X.2009.00001.x . S2CID   18814132 .

См. также

• Эффект дизайна