Линейная модель

Не путать с линейной моделью инноваций .

В статистике термин «линейная модель» относится к любой модели, которая предполагает линейность системы. Наиболее распространенное явление связано с моделями регрессии, и этот термин часто воспринимается как синоним модели линейной регрессии . Однако этот термин также используется в анализе временных рядов в другом значении. существенное снижение сложности соответствующей статистической теории В каждом случае обозначение «линейные» используется для обозначения подкласса моделей, для которых возможно .

Модели линейной регрессии

Основная статья: Линейная регрессия

Для случая регрессии статистическая модель выглядит следующим образом. Учитывая (случайную) выборку $(Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n$ связь между наблюдениями $Y_{i}$ и независимые переменные $X_{ij}$ формулируется как

$Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n$

где $\phi _{1},\ldots ,\phi _{p}$ могут быть нелинейными функциями. В приведенном выше количестве $\varepsilon _{i}$ являются случайными величинами, представляющими ошибки во взаимоотношениях. «Линейная» часть обозначения относится к появлению коэффициентов регрессии , $\beta _{j}$ линейным образом в приведенном выше отношении. Альтернативно можно сказать, что прогнозируемые значения, соответствующие приведенной выше модели, а именно

${\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),$

являются линейными функциями $\beta _{j}$.

Учитывая, что оценка проводится на основе анализа наименьших квадратов , оценки неизвестных параметров $\beta _{j}$ определяются путем минимизации функции суммы квадратов

$S=\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.$

Отсюда легко видеть, что «линейный» аспект модели означает следующее:

• функция, которую необходимо минимизировать, является квадратичной функцией $\beta _{j}$ для которых минимизация является относительно простой задачей;
• производные функции являются линейными функциями $\beta _{j}$ упрощение поиска минимизирующих значений;
• минимизирующие значения $\beta _{j}$ являются линейными функциями наблюдений $Y_{i}$;
• минимизирующие значения $\beta _{j}$ являются линейными функциями случайных ошибок $\varepsilon _{i}$ что позволяет относительно легко определить статистические свойства расчетных значений $\beta _{j}$.

Модели временных рядов

Примером модели линейного временного ряда является модель авторегрессионного скользящего среднего . Здесь модель значений { $X_{t}$} во временном ряду можно записать в виде

$X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,$

где опять же количества $\varepsilon _{i}$ — это случайные переменные, представляющие инновации , которые представляют собой новые случайные эффекты, которые появляются в определенное время, но также влияют на значения $X$ в более поздние времена. В этом случае использование термина «линейная модель» относится к структуре вышеуказанных отношений при представлении $X_{t}$ как линейная функция прошлых значений одного и того же временного ряда, а также текущих и прошлых значений инноваций. Этот конкретный аспект структуры означает, что вывести соотношения для среднего значения и ковариационных свойств временного ряда относительно просто. Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам $\phi _{i}$ и $\theta _{i}$, как это было бы в случае с регрессионной моделью, которая структурно похожа.

Другое использование в статистике

Есть и другие случаи, когда «нелинейная модель» используется в отличие от модели с линейной структурой, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является нелинейное уменьшение размерности .

См. также

• Общая линейная модель
• Обобщенная линейная модель
• Функция линейного прогнозирования
• Линейная система
• Линейная регрессия
• Статистическая модель