Общая линейная модель

Общая линейная модель или общая модель многомерной регрессии — это компактный способ одновременного написания нескольких множественной линейной регрессии моделей . В этом смысле это не отдельная статистическая линейная модель . Различные модели множественной линейной регрессии можно компактно записать как ^[1]

\mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U} ,

где Y — матрица с серией многомерных измерений (каждый столбец представляет собой набор измерений одной из зависимых переменных ), X — матрица наблюдений за независимыми переменными , которая может быть матрицей планирования (каждый столбец представляет собой набор наблюдений за одна из независимых переменных), B — матрица, содержащая параметры, которые обычно подлежат оценке, и U — матрица, содержащая ошибки (шум).Обычно предполагается, что ошибки не коррелируют между измерениями и подчиняются многомерному нормальному распределению . Если ошибки не подчиняются многомерному нормальному распределению, обобщенные линейные модели использовать для смягчения предположений относительно Y и U. можно

Общая линейная модель включает в себя ряд различных статистических моделей: ANOVA , ANCOVA , MANOVA , MANCOVA , обычную линейную регрессию , t -критерий и F -тест . Общая линейная модель представляет собой обобщение множественной линейной регрессии на случай более чем одной зависимой переменной. Если бы Y , B и U были векторами-столбцами , приведенное выше матричное уравнение представляло бы множественную линейную регрессию.

Проверка гипотез с использованием общей линейной модели может осуществляться двумя способами: многомерной или в виде нескольких независимых одномерных проверок. В многомерных тестах столбцы Y проверяются вместе, тогда как в одномерных тестах столбцы Y проверяются независимо, т. е. как несколько одномерных тестов с одной и той же матрицей плана.

Сравнение с множественной линейной регрессией

Множественная линейная регрессия — это обобщение простой линейной регрессии на случай более чем одной независимой переменной и частный случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:

Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}

или более компактно

Y_{i}=\beta _{0}+\sum \limits _{k=1}^{p}{\beta _{k}X_{ik}}+\epsilon _{i}

для каждого наблюдения i = 1, ..., n .

В приведенной выше формуле мы рассматриваем n наблюдений одной зависимой переменной и p независимых переменных. Таким образом, Y _i - это i ^й наблюдение зависимой переменной, X _ik равно k ^й наблюдение за k ^й независимая переменная, j = 1, 2, ..., p . Значения β _j представляют параметры, подлежащие оценке, а ε _i — это i ^й независимая одинаково распределенная нормальная ошибка.

В более общей многомерной линейной регрессии существует одно уравнение приведенной выше формы для каждой из m > 1 зависимых переменных, которые имеют один и тот же набор объясняющих переменных и, следовательно, оцениваются одновременно друг с другом:

Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}

или более компактно

Y_{ij}=\beta _{0j}+\sum \limits _{k=1}^{p}{\beta _{kj}X_{ik}}+\epsilon _{ij}

для всех наблюдений, индексированных как i = 1,..., n , и для всех зависимых переменных, индексированных как j = 1,..., m .

Обратите внимание: поскольку каждая зависимая переменная имеет свой собственный набор параметров регрессии, которые необходимо подобрать, с вычислительной точки зрения общая многомерная регрессия представляет собой просто последовательность стандартных множественных линейных регрессий с использованием одних и тех же независимых переменных.

Сравнение с обобщенной линейной моделью

Общая линейная модель и обобщенная линейная модель (GLM) ^[2]^[3] — это два широко используемых семейства статистических методов, позволяющих связать некоторое количество непрерывных и/или категориальных предикторов с одной конечной переменной .

Основное различие между двумя подходами заключается в том, что общая линейная модель строго предполагает, что остатки будут следовать условно нормальному распределению . ^[4] в то время как GLM ослабляет это предположение и допускает множество других распределений из экспоненциального семейства . остатков ^[2] Следует отметить, что общая линейная модель представляет собой частный случай GLM, в котором распределение остатков подчиняется условно нормальному распределению.

Распределение остатков во многом зависит от типа и распределения выходной переменной; Различные типы конечных переменных приводят к разнообразию моделей внутри семейства GLM. Обычно используемые модели семейства GLM включают бинарную логистическую регрессию. ^[5] для бинарных или дихотомических результатов — регрессия Пуассона ^[6] для результатов подсчета и линейная регрессия для непрерывных, нормально распределенных результатов. Это означает, что о GLM можно говорить как об общем семействе статистических моделей или как о конкретных моделях для конкретных типов результатов.

	Общая линейная модель	Обобщенная линейная модель
Типичный метод оценки	Наименьшие квадраты , лучший линейный несмещенный прогноз	Максимальное правдоподобие или байесианство
Примеры	ANOVA , ANCOVA , линейная регрессия	линейная регрессия , логистическая регрессия , регрессия Пуассона , гамма-регрессия, ^[7] общая линейная модель
Расширения и связанные методы	MANOVA , MANCOVA , линейная смешанная модель	обобщенная линейная смешанная модель (GLMM), обобщенные уравнения оценки (GEE)
R Пакет и функции	lm() в пакете статистики (база R)	glm() в пакете статистики (база R)
Матлаба Функция	мврегресс()	глмфит()
SAS процедуры	ПРОЦ ГЛМ , ПРОЦ РЕГ	PROC GENMOD , PROC LOGISTIC (для двоичных и упорядоченных или неупорядоченных категориальных результатов)
Государственное командование	регресс	глм
SPSS команда	регресс , глм	Генлин, логистика
Wolfram Language и Mathematica Функция	ЛинейнаяМодельФит[] ^[8]	ОбобщеннаяЛинейнаяМодельФит[] ^[9]
EViews Команда	лс ^[10]	глм ^[11]
Пакет Python для моделей состояний	регрессионные и линейные модели	ГЛМ

Приложения

Применение общей линейной модели появляется при анализе множественных сканирований мозга в научных экспериментах, где Y содержит данные от сканеров мозга, X содержит переменные плана эксперимента и сбивающие с толку переменные. Обычно оно проверяется одномерным способом (в данном случае его обычно называют одномерным по массе ) и часто называется статистическим параметрическим отображением . ^[12]

См. также

Примечания

^ К. В. Мардия , Дж. Т. Кент и Дж. М. Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5 .
^ Перейти обратно: ^а ^б МакКаллах, П.; Нелдер, Дж. А. (1989), «Очерк обобщенных линейных моделей», Generalized Linear Models , Springer US, стр. 21–47, doi : 10.1007/978-1-4899-3242-6_2 , ISBN 9780412317606
^ Фокс, Дж. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Сейджа.
^ Коэн Дж., Коэн П., Уэст С.Г. и Эйкен Л.С. (2003). Применил множественный регрессионный/корреляционный анализ для поведенческих наук.
^ Хосмер-младший, Д.В., Лемешоу, С., и Стердивант, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Уайли и сыновья.
^ Гарднер, В.; Малви, EP; Шоу, ЕС (1995). «Регрессионный анализ подсчетов и ставок: Пуассон, сверхдисперсионный Пуассон и отрицательные биномиальные модели». Психологический вестник . 118 (3): 392–404. дои : 10.1037/0033-2909.118.3.392 . ПМИД 7501743 .
^ МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл/CRC. ISBN 978-0-412-31760-6 .
^ LinearModelFit , Центр языковой документации Wolfram.
^ GeneralizedLinearModelFit , Центр документации языка Wolfram.
^ ls , Справка EViews.
^ glm , Помощь EViews.
^ К. Джей Фристон; А. П. Холмс; К. Дж. Уорсли; Ж.-Б. Полина; компакт-диск Фрит; RSJ Фраковяк (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. дои : 10.1002/hbm.460020402 . S2CID 9898609 .

Ссылки

Кристенсен, Рональд (2020). Плоские ответы на сложные вопросы: теория линейных моделей (Пятое изд.). Нью-Йорк: Спрингер. ISBN 978-3-030-32096-6 .
Вичура, Майкл Дж. (2006). Бескоординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. стр. xiv+199. ISBN 978-0-521-86842-6 . МР 2283455 .
Роулингс, Джон О.; Пантула, Састри Г.; Дики, Дэвид А., ред. (1998). Прикладной регрессионный анализ . Тексты Спрингера в статистике. дои : 10.1007/b98890 . ISBN 0-387-98454-2 .

[MardiaK1979Multivariate-1] К. В. Мардия , Дж. Т. Кент и Дж. М. Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5 .

[:0-2] Перейти обратно: ^а ^б МакКаллах, П.; Нелдер, Дж. А. (1989), «Очерк обобщенных линейных моделей», Generalized Linear Models , Springer US, стр. 21–47, doi : 10.1007/978-1-4899-3242-6_2 , ISBN 9780412317606

[3] Фокс, Дж. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Сейджа.

[:1-4] Коэн Дж., Коэн П., Уэст С.Г. и Эйкен Л.С. (2003). Применил множественный регрессионный/корреляционный анализ для поведенческих наук.

[5] Хосмер-младший, Д.В., Лемешоу, С., и Стердивант, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Уайли и сыновья.

[6] Гарднер, В.; Малви, EP; Шоу, ЕС (1995). «Регрессионный анализ подсчетов и ставок: Пуассон, сверхдисперсионный Пуассон и отрицательные биномиальные модели». Психологический вестник . 118 (3): 392–404. дои : 10.1037/0033-2909.118.3.392 . ПМИД 7501743 .

[:02-7] МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл/CRC. ISBN 978-0-412-31760-6 .

[8] LinearModelFit , Центр языковой документации Wolfram.

[9] GeneralizedLinearModelFit , Центр документации языка Wolfram.

[10] s , Справка EViews.

[11] , Помощь EViews.

[12] К. Джей Фристон; А. П. Холмс; К. Дж. Уорсли; Ж.-Б. Полина; компакт-диск Фрит; RSJ Фраковяк (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. дои : 10.1002/hbm.460020402 . S2CID 9898609 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]