Мультиколлинеарность

«Коллинеарность (статистика)» перенаправляется сюда. Не путать с коллинеарностью (геометрией) .

В статистике мультиколлинеарность предикторы или коллинеарность — это ситуация, когда в регрессионной модели зависимы линейно .

Совершенная мультиколлинеарность относится к ситуации, когда прогнозные переменные имеют точную линейную зависимость. При полной коллинеарности матрица расчета $X$ меньше полного имеет ранг , и, следовательно, матрица моментов $X^{\mathsf {T}}X$ нельзя инвертировать . В этой ситуации оценки параметров регрессии не являются четко определенными, поскольку система уравнений имеет бесконечно много решений .

Несовершенная мультиколлинеарность относится к ситуации, когда прогностические переменные имеют почти точную линейную зависимость.

Вопреки распространенному мнению, ни теорема Гаусса-Маркова , ни более распространенное обоснование максимального правдоподобия для обычных наименьших квадратов не опирается на какую-либо корреляционную структуру между зависимыми предикторами. (хотя идеальная коллинеарность может вызвать проблемы с некоторыми программами).

Нет оправдания практике удаления коллинеарных переменных в рамках регрессионного анализа. и это может представлять собой научное нарушение . Включение коллинеарных переменных не снижает прогностическую силу или надежность модели в целом. и не снижает точность оценок коэффициентов.

Высокая коллинеарность указывает на то, что исключительно важно включать все коллинеарные переменные, поскольку исключение любой из них приведет к ухудшению оценок коэффициентов, сильному искажению и смещению оценок стандартных ошибок в сторону понижения .

Совершенная мультиколлинеарность

Изображение мультиколлинеарности.

В линейной регрессии истинные параметры: $a_{1}=2,a_{2}=4$ которые достоверно оцениваются в случае некоррелированных $X_{1}$ и $X_{2}$ (черный случай), но оцениваются недостоверно, когда $X_{1}$ и $X_{2}$ коррелируют (красный регистр).

Совершенная мультиколлинеарность относится к ситуации, когда предикторы линейно зависимы (один можно записать как точную линейную функцию других). Обычный метод наименьших квадратов требует обращения матрицы $X^{\mathsf {T}}X$, где

$X={\begin{bmatrix}1&X_{11}&\cdots &X_{k1}\\\vdots &\vdots &&\vdots \\1&X_{1N}&\cdots &X_{kN}\end{bmatrix}}$

это $N\times (k+1)$ матрица, где $N$ количество наблюдений, $k$ - количество объясняющих переменных, а $N\geq k+1$. Если между независимыми переменными существует точная линейная связь, то хотя бы один из столбцов $X$ является линейной комбинацией остальных, ранг поэтому $X$ (и, следовательно, из $X^{\mathsf {T}}X$) меньше, чем $k+1$, и матрица $X^{\mathsf {T}}X$ не будет обратимым.

Разрешение

Идеальная коллинеарность обычно возникает за счет включения в регрессию избыточных переменных. Например, набор данных может включать переменные для доходов, расходов и сбережений. Однако, поскольку доходы по определению равны расходам плюс сбережения, неправильно включать в регрессию все три переменные одновременно. Аналогично, включение фиктивной переменной для каждой категории (например, лето, осень, зима и весна), а также члена-члена приведет к идеальной коллинеарности. Это известно как ловушка фиктивной переменной.

Другая распространенная причина идеальной коллинеарности — попытка использовать обычные методы наименьших квадратов при работе с очень широкими наборами данных (с большим количеством переменных, чем наблюдений). Для получения значимых результатов требуются более продвинутые методы анализа данных, такие как байесовское иерархическое моделирование .

Численные проблемы

Иногда переменные $X_{j}$ почти коллинеарны. В этом случае матрица $X^{\mathsf {T}}X$ имеет обратное, но оно плохо обусловлено . Компьютерный алгоритм может или не может вычислить приближенное обратное; даже если это возможно, полученное обратное значение может иметь большие ошибки округления .

Стандартной мерой плохого физического состояния в матрице является индекс состояния. Это определяет, является ли инверсия матрицы численно нестабильной с числами конечной точности, что указывает на потенциальную чувствительность вычисленного обратного преобразования к небольшим изменениям в исходной матрице. Число обусловленности вычисляется путем нахождения максимального сингулярного значения, деленного на минимальное сингулярное значение матрицы плана . В контексте коллинеарных переменных коэффициент инфляции дисперсии представляет собой число обусловленности для конкретного коэффициента.

Решения

Численные проблемы оценки можно решить, применив стандартные методы линейной алгебры для более точной оценки уравнений:

1. Стандартизация переменных-предикторов. Работа с полиномиальными членами (например, $x_{1}$, $x_{1}^{2}$), включая условия взаимодействия (т. е. $x_{1}\times x_{2}$) может вызвать мультиколлинеарность. Это особенно верно, когда рассматриваемая переменная имеет ограниченный диапазон. Стандартизация переменных-предикторов устранит этот особый вид мультиколлинеарности для полиномов до 3-го порядка.
   • Для полиномов более высокого порядка ортогональное полиномиальное представление обычно решает любые проблемы коллинеарности. Однако полиномиальные регрессии, как правило, нестабильны , что делает их непригодными для непараметрической регрессии и уступают более новым методам, основанным на сглаживающих сплайнах , LOESS или регрессии гауссовского процесса .
2. Используйте ортогональное представление данных . Плохо написанное статистическое программное обеспечение иногда не может привести к правильному представлению, когда переменные сильно коррелируют. Однако все еще можно переписать регрессию, чтобы использовать только некоррелированные переменные, выполнив замену базиса .
   • В частности, для полиномиальных членов можно переписать регрессию как функцию некоррелированных переменных, используя ортогональные полиномы .

Влияние на оценки коэффициентов

Несовершенная коллинеарность не только вызывает численные проблемы, но и затрудняет точную оценку переменных. Другими словами, сильно коррелированные переменные приводят к плохим оценкам и большим стандартным ошибкам.

В качестве примера предположим, что мы замечаем, что Алиса носит ботинки всякий раз, когда идет дождь, а во время дождя остаются только лужи. Тогда мы не можем сказать, носит ли она ботинки, чтобы дождь не падал ей на ноги, или чтобы ноги оставались сухими, если она наступит в лужу.

Проблема с попыткой определить, насколько важна каждая из двух переменных, заключается в том, что они путаются друг с другом: наши наблюдения одинаково хорошо объясняются любой переменной, поэтому мы не знаем, какая из них вызывает наблюдаемые корреляции.

Есть два способа узнать эту информацию:

1. Использование предварительной информации или теории. Например, если мы заметим, что Алиса никогда не ступает по лужам, мы можем обоснованно утверждать, что лужи не являются причиной того, что она носит ботинки, поскольку ей не нужны ботинки, чтобы избегать луж.
2. Сбор большего количества данных. Если мы понаблюдаем за Алисой достаточное количество раз, мы в конечном итоге увидим ее в те дни, когда есть лужи, но нет дождя (например, потому что дождь прекращается еще до того, как она уходит из дома).

Это замешательство становится значительно хуже, когда исследователи пытаются игнорировать или подавлять его , исключая эти переменные из регрессии (см. #Misuse ). Исключение мультиколлинеарных переменных из регрессий сделает недействительными причинно-следственные выводы и даст худшие оценки за счет удаления важных искажающих факторов.

Средства правовой защиты

Существует много способов предотвратить влияние мультиколлинеарности на результаты путем предварительного планирования. Однако эти методы требуют от исследователей принятия решения о процедуре и анализе до сбора данных (см. постфактум-анализ и #Misuse ).

Регуляризованные оценки

Многие методы регрессии естественным образом «устойчивы» к мультиколлинеарности и обычно работают лучше, чем обычная регрессия наименьших квадратов , даже если переменные независимы. Методы регуляризованной регрессии , такие как гребневая регрессия , LASSO , эластичная сетчатая регрессия или регрессия шипов и плит, менее чувствительны к включению «бесполезных» предикторов, что является распространенной причиной коллинеарности. Эти методы могут автоматически обнаруживать и удалять эти предикторы, чтобы избежать проблем. Байесовские иерархические модели (обеспечиваемые таким программным обеспечением, как BRMS ) могут выполнять такую ​​регуляризацию автоматически, изучая информативные априорные данные на основе данных.

Часто проблемы, вызванные использованием частотной оценки, неправильно понимаются или ошибочно диагностируются как связанные с мультиколлинеарностью. Исследователи часто разочаровываются не в мультиколлинеарности, а в своей неспособности включить соответствующую предварительную информацию в регрессии. Например, жалобы на то, что коэффициенты имеют «неправильные знаки» или доверительные интервалы, которые «включают нереалистичные значения», указывают на наличие важной предварительной информации, которая не включена в модель. Когда эта информация доступна, ее следует включить в предыдущую работу с использованием методов байесовской регрессии .

Пошаговая регрессия (процедура исключения «коллинеарных» или «незначительных» переменных) особенно уязвима к мультиколлинеарности и является одной из немногих процедур, полностью ею признанных недействительными (при этом любая коллинеарность приводит к сильно смещенным оценкам и недействительным значениям p).

Улучшенный экспериментальный дизайн

При проведении экспериментов, в которых исследователи контролируют прогнозируемые переменные, исследователи часто могут избежать коллинеарности, выбрав оптимальную схему эксперимента после консультации со статистиком.

Принятие

Хотя вышеуказанные стратегии работают в некоторых ситуациях, они обычно не дают существенного эффекта. Более продвинутые методы по-прежнему могут приводить к большим стандартным ошибкам. Таким образом, наиболее распространенной реакцией на мультиколлинеарность должно быть «ничего не делать». Научный процесс часто предполагает нулевые или неубедительные результаты; не каждый эксперимент будет «успешным» в том смысле, что он обеспечит решающее подтверждение исходной гипотезы исследователя.

Эдвард Лимер отмечает: «Решением проблемы слабых доказательств является увеличение количества и качества данных. В пределах данного набора данных со слабыми доказательствами ничего нельзя поделать»; Исследователи, которые считают, что существует проблема с результатами регрессии, должны смотреть на априорную вероятность , а не на функцию правдоподобия .

Дамодар Гуджарати пишет, что «мы должны справедливо признать, что [наши данные] иногда не очень информативны относительно интересующих параметров». Оливье Бланшар шутит, что «мультиколлинеарность — это воля Божья, а не проблема МНК »; другими словами, работая с данными наблюдений , исследователи не могут «зафиксировать» мультиколлинеарность, а лишь принять ее.

Неправильное использование

Факторы увеличения дисперсии часто неправильно используются в качестве критериев в пошаговой регрессии (т. е. для включения/исключения переменных), такое использование «не имеет какой-либо логической основы, но также в корне вводит в заблуждение как практическое правило».

Исключение коллинеарных переменных приводит к искусственно заниженным оценкам стандартных ошибок, но не уменьшает истинные (не оцененные) стандартные ошибки для коэффициентов регрессии. Исключение переменных с высоким коэффициентом инфляции дисперсии также делает недействительными рассчитанные стандартные ошибки и значения p, превращая результаты регрессии в апостериорный анализ .

Поскольку коллинеарность приводит к большим стандартным ошибкам и значениям p, что может затруднить публикацию статей, некоторые исследователи пытаются скрыть неудобные данные , удаляя сильно коррелированные переменные из своей регрессии. Эта процедура подпадает под более широкую категорию р-хакинга , извлечения данных и апостериорного анализа . Удаление (полезных) коллинеарных предикторов обычно ухудшает точность оценок модели и коэффициентов.

Аналогичным образом, попытка использования множества различных моделей или процедур оценки (например, обычного метода наименьших квадратов , гребневой регрессии и т. д.) до тех пор, пока не будет найдена та, которая сможет «справиться» с коллинеарностью, создает проблему разветвления путей . P-значения и доверительные интервалы, полученные в результате апостериорного анализа, становятся недействительными из-за игнорирования неопределенности в процедуре выбора модели.

Разумно исключить неважные предикторы, если заранее известно, что они мало или вообще не влияют на результат; например, местное производство сыра не следует использовать для прогнозирования высоты небоскребов. Однако это необходимо сделать при первом определении модели, до наблюдения каких-либо данных, и всегда следует включать потенциально информативные переменные.

См. также

• Плохо обусловленная матрица
• Линейная зависимость

Дальнейшее чтение

• Белсли, Дэвид А.; Кух, Эдвин ; Уэлш, Рой Э. (1980). Регрессионная диагностика: выявление влиятельных данных и источников коллинеарности . Нью-Йорк: Уайли. ISBN  978-0-471-05856-4 .
• Голдбергер, Артур С. (1991). «Мультиколлинеарность» . Курс эконометрики . Кембридж: Издательство Гарвардского университета. стр. 245–53. ISBN  9780674175440 .
• Хилл, Р. Картер; Адкинс, Ли К. (2001). «Коллинеарность». В Балтаги, Бади Х. (ред.). Спутник теоретической эконометрики . Блэквелл. стр. 256–278. дои : 10.1002/9780470996249.ch13 . ISBN  978-0-631-21254-6 .
• Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 159–168 . ISBN  9780070326798 .
• Калниньш, Артурс (2022). «Когда коэффициенты смещения мультиколлинеарности и вызывают ошибки типа 1? Согласование Линднера, Пака и Вербеке (2020) с Калниньшем (2018)». Журнал международных бизнес-исследований . 53 (7): 1536–1548. дои : 10.1057/s41267-022-00531-9 . S2CID   249323519 .
• Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 430–442 . ISBN  978-0-02-365070-3 .
• Маддала, GS ; Лахири, Каджал (2009). Введение в эконометрику (Четвертое изд.). Чичестер: Уайли. стр. 279–312. ISBN  978-0-470-01512-4 .
• Томашек, Фабиан; Хендрикс, Питер; Баайен, Р. Харальд (2018). «Стратегии решения проблемы коллинеарности в многомерных лингвистических данных» . Журнал фонетики . 71 : 249–267. дои : 10.1016/j.wocn.2018.09.004 .

Внешние ссылки

• Тома, Марк (2 марта 2011 г.). «Лекция по эконометрике (тема: мультиколлинеарность)» . Университет Орегона . Архивировано из оригинала 12 декабря 2021 года — на YouTube .
• Самое раннее использование: статья о мультиколлинеарности содержит некоторую историческую информацию.