Общая линейная модель
Часть серии о |
Регрессионный анализ |
---|
Модели |
Оценка |
Фон |
Общая линейная модель или общая модель многомерной регрессии — это компактный способ одновременного написания нескольких множественной линейной регрессии моделей . В этом смысле это не отдельная статистическая линейная модель . Различные модели множественной линейной регрессии можно компактно записать как [1]
где Y — матрица с серией многомерных измерений (каждый столбец представляет собой набор измерений одной из зависимых переменных ), X — матрица наблюдений за независимыми переменными , которая может быть матрицей планирования (каждый столбец представляет собой набор наблюдений за одна из независимых переменных), B — матрица, содержащая параметры, которые обычно подлежат оценке, и U — матрица, содержащая ошибки (шум).Обычно предполагается, что ошибки не коррелируют между измерениями и подчиняются многомерному нормальному распределению . Если ошибки не подчиняются многомерному нормальному распределению, обобщенные линейные модели использовать для смягчения предположений относительно Y и U. можно
Общая линейная модель включает в себя ряд различных статистических моделей: ANOVA , ANCOVA , MANOVA , MANCOVA , обычную линейную регрессию , t -критерий и F -тест . Общая линейная модель представляет собой обобщение множественной линейной регрессии на случай более чем одной зависимой переменной. Если бы Y , B и U были векторами-столбцами , приведенное выше матричное уравнение представляло бы множественную линейную регрессию.
Проверка гипотез с использованием общей линейной модели может осуществляться двумя способами: многомерной или в виде нескольких независимых одномерных проверок. В многомерных тестах столбцы Y проверяются вместе, тогда как в одномерных тестах столбцы Y проверяются независимо, т. е. как несколько одномерных тестов с одной и той же матрицей плана.
Сравнение с множественной линейной регрессией
[ редактировать ]Множественная линейная регрессия — это обобщение простой линейной регрессии на случай более чем одной независимой переменной и частный случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:
- или более компактно
для каждого наблюдения i = 1, ..., n .
В приведенной выше формуле мы рассматриваем n наблюдений одной зависимой переменной и p независимых переменных. Таким образом, Y i - это i й наблюдение зависимой переменной, X ik равно k й наблюдение за k й независимая переменная, j = 1, 2, ..., p . Значения β j представляют параметры, подлежащие оценке, а ε i — это i й независимая одинаково распределенная нормальная ошибка.
В более общей многомерной линейной регрессии существует одно уравнение приведенной выше формы для каждой из m > 1 зависимых переменных, которые имеют один и тот же набор объясняющих переменных и, следовательно, оцениваются одновременно друг с другом:
- или более компактно
для всех наблюдений, индексированных как i = 1,..., n , и для всех зависимых переменных, индексированных как j = 1,..., m .
Обратите внимание: поскольку каждая зависимая переменная имеет свой собственный набор параметров регрессии, которые необходимо подобрать, с вычислительной точки зрения общая многомерная регрессия представляет собой просто последовательность стандартных множественных линейных регрессий с использованием одних и тех же независимых переменных.
Сравнение с обобщенной линейной моделью
[ редактировать ]Общая линейная модель и обобщенная линейная модель (GLM) [2] [3] — это два широко используемых семейства статистических методов, позволяющих связать некоторое количество непрерывных и/или категориальных предикторов с одной конечной переменной .
Основное различие между двумя подходами заключается в том, что общая линейная модель строго предполагает, что остатки будут следовать условно нормальному распределению . [4] в то время как GLM ослабляет это предположение и допускает множество других распределений из экспоненциального семейства . остатков [2] Следует отметить, что общая линейная модель представляет собой частный случай GLM, в котором распределение остатков подчиняется условно нормальному распределению.
Распределение остатков во многом зависит от типа и распределения выходной переменной; Различные типы конечных переменных приводят к разнообразию моделей внутри семейства GLM. Обычно используемые модели семейства GLM включают бинарную логистическую регрессию. [5] для бинарных или дихотомических результатов регрессия Пуассона [6] для результатов подсчета и линейная регрессия для непрерывных, нормально распределенных результатов. Это означает, что о GLM можно говорить как об общем семействе статистических моделей или как о конкретных моделях для конкретных типов результатов.
Общая линейная модель | Обобщенная линейная модель | |
---|---|---|
Типичный метод оценки | Наименьшие квадраты , лучший линейный несмещенный прогноз | Максимальное правдоподобие или байесианство |
Примеры | ANOVA , ANCOVA , линейная регрессия | линейная регрессия , логистическая регрессия , регрессия Пуассона , гамма-регрессия, [7] общая линейная модель |
Расширения и связанные методы | MANOVA , MANCOVA , линейная смешанная модель | обобщенная линейная смешанная модель (GLMM), обобщенные уравнения оценки (GEE) |
R Пакет и функции | lm() в пакете статистики (база R) | glm() в пакете статистики (база R) |
Матлаба Функция | мврегресс() | глмфит() |
SAS процедуры | ПРОЦ ГЛМ , ПРОЦ РЕГ | PROC GENMOD , PROC LOGISTIC (для двоичных и упорядоченных или неупорядоченных категориальных результатов) |
Государственное командование | регресс | глм |
SPSS команда | регресс , глм | Генлин, логистика |
Wolfram Language и Mathematica Функция | ЛинейнаяМодельФит[] [8] | ОбобщеннаяЛинейнаяМодельФит[] [9] |
EViews Команда | лс [10] | глм [11] |
Пакет Python для статистики моделей | регрессионные и линейные модели | ГЛМ |
Приложения
[ редактировать ]Применение общей линейной модели появляется при анализе множественных сканирований мозга в научных экспериментах, где Y содержит данные от сканеров мозга, X содержит переменные плана эксперимента и сбивающие с толку переменные. Обычно оно проверяется одномерным способом (в данном случае его обычно называют одномерным по массе ) и часто называется статистическим параметрическим отображением . [12]
См. также
[ редактировать ]Примечания
[ редактировать ]- ^ К. В. Мардия , Дж. Т. Кент и Дж. М. Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5 .
- ^ Перейти обратно: а б МакКаллах, П.; Нелдер, Дж. А. (1989), «Описание обобщенных линейных моделей», Generalized Linear Models , Springer US, стр. 21–47, doi : 10.1007/978-1-4899-3242-6_2 , ISBN 9780412317606
- ^ Фокс, Дж. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Сейджа.
- ^ Коэн Дж., Коэн П., Уэст С.Г. и Эйкен Л.С. (2003). Применил множественный регрессионный/корреляционный анализ для поведенческих наук.
- ^ Хосмер-младший, Д.В., Лемешоу, С., и Стердивант, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Уайли и сыновья.
- ^ Гарднер, В.; Малви, EP; Шоу, ЕС (1995). «Регрессионный анализ подсчетов и ставок: Пуассон, сверхдисперсионный Пуассон и отрицательные биномиальные модели». Психологический вестник . 118 (3): 392–404. дои : 10.1037/0033-2909.118.3.392 . ПМИД 7501743 .
- ^ МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл/CRC. ISBN 978-0-412-31760-6 .
- ^ LinearModelFit , Центр языковой документации Wolfram.
- ^ GeneralizedLinearModelFit , Центр документации языка Wolfram.
- ^ ls , Справка EViews.
- ^ glm , Помощь EViews.
- ^ Кей Джей Фристон; А. П. Холмс; К. Дж. Уорсли; Ж.-Б. Полина; компакт-диск Фрит; RSJ Фраковяк (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. дои : 10.1002/hbm.460020402 . S2CID 9898609 .
Ссылки
[ редактировать ]- Кристенсен, Рональд (2020). Плоские ответы на сложные вопросы: теория линейных моделей (Пятое изд.). Нью-Йорк: Спрингер. ISBN 978-3-030-32096-6 .
- Вичура, Майкл Дж. (2006). Бескоординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. стр. xiv+199. ISBN 978-0-521-86842-6 . МР 2283455 .
- Роулингс, Джон О.; Пантула, Састри Г.; Дики, Дэвид А., ред. (1998). Прикладной регрессионный анализ . Тексты Спрингера в статистике. дои : 10.1007/b98890 . ISBN 0-387-98454-2 .