Матрица проектирования

В статистике и, в частности, в регрессионном анализе , матрица плана , также известная как матрица модели или матрица регрессора и часто обозначаемая X , представляет собой матрицу значений независимых переменных набора объектов. Каждая строка представляет отдельный объект, а последующие столбцы соответствуют переменным и их конкретным значениям для этого объекта. Матрица плана используется в некоторых статистических моделях , например, в общей линейной модели . Он может содержать индикаторные переменные (единицы и нули), которые указывают на членство в группе в ANOVA , или может содержать значения непрерывных переменных .

Матрица плана содержит данные о независимых переменных (также называемых объясняющими переменными) в статистической модели, которая предназначена для объяснения наблюдаемых данных о переменной отклика (часто называемой зависимой переменной ). Теория, относящаяся к таким моделям, использует матрицу планирования в качестве входных данных для некоторой линейной алгебры : см., например, линейную регрессию . Примечательной особенностью концепции матрицы плана является то, что она способна представлять ряд различных экспериментальных планов и статистических моделей, например, ANOVA , ANCOVA и линейную регрессию.

Определение

Матрица проектирования определяется как матрица $X$ такой, что $X_{ij}$ ( Дж ^й столбец i ^й ряд $X$) представляет значение j ^й переменная, связанная с i ^й объект.

Модель регрессии может быть представлена ​​посредством умножения матриц как

$y=X\beta +e,$

где X — матрица проектирования, $\beta$ — вектор коэффициентов модели (по одному на каждую переменную), $e$ — вектор случайных ошибок со средним нулевым значением, а y — вектор прогнозируемых выходных данных для каждого объекта.

Размер

Матрица плана имеет размерность n - p , где n — количество наблюдаемых выборок, а p — количество переменных ( признаков ), измеренных во всех выборках.

В этом представлении разные строки обычно представляют разные повторения эксперимента, а столбцы представляют разные типы данных (скажем, результаты определенных зондов). Например, предположим, что проводится эксперимент: 10 человек вытаскивают с улицы и задают 4 вопроса. Матрица данных M будет матрицей 10×4 (то есть 10 строк и 4 столбца). Данные в строке i и столбце j этой матрицы будут ответом i ^й человек в j ^й вопрос.

Примеры

Среднее арифметическое

Матрица расчета для среднего арифметического представляет собой вектор- столбец из единиц .

Простая линейная регрессия

В этом разделе приведен пример простой линейной регрессии , то есть регрессии только с одной объясняющей переменной, с семью наблюдениями.Семь точек данных: { y _i , x _i } для i = 1, 2, …, 7. Простая модель линейной регрессии:

$y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\,$

где $\beta _{0}$ это y -перехват и $\beta _{1}$ – наклон линии регрессии. Эту модель можно представить в матричной форме как

${\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&x_{1}\\1&x_{2}\\1&x_{3}\\1&x_{4}\\1&x_{5}\\1&x_{6}\\1&x_{7}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}$

где первый столбец из единиц в матрице плана позволяет оценить y -пересечение, а второй столбец содержит значения x , связанные с соответствующими значениями y . Матрица, столбцы которой в этом примере имеют значения 1 и x, является матрицей проекта.

Множественная регрессия

Этот раздел содержит пример множественной регрессии с двумя ковариатами (независимыми переменными): w и x .Снова предположим, что данные состоят из семи наблюдений и что для каждого наблюдаемого значения необходимо спрогнозировать ( $y_{i}$), значения w _i и xi _двух также наблюдаются ковариат. Модель, которую следует рассмотреть,

$y_{i}=\beta _{0}+\beta _{1}w_{i}+\beta _{2}x_{i}+\varepsilon _{i}$

Эту модель можно записать в матричных терминах как

${\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&w_{1}&x_{1}\\1&w_{2}&x_{2}\\1&w_{3}&x_{3}\\1&w_{4}&x_{4}\\1&w_{5}&x_{5}\\1&w_{6}&x_{6}\\1&w_{7}&x_{7}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}$

Здесь матрица 7×3 справа — это матрица проекта.

Односторонний дисперсионный анализ (ячейка означает модель)

В этом разделе содержится пример однофакторного дисперсионного анализа ( ANOVA ) с тремя группами и семью наблюдениями. В данный набор данных входят первые три наблюдения, принадлежащие первой группе, следующие два наблюдения, принадлежащие второй группе, и последние два наблюдения, принадлежащие третьей группе.Если подходящая модель представляет собой просто среднее значение каждой группы, то модель

$y_{ij}=\mu _{i}+\varepsilon _{ij}$

который можно написать

${\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&0&0\\1&0&0\\1&0&0\\0&1&0\\0&1&0\\0&0&1\\0&0&1\end{bmatrix}}{\begin{bmatrix}\mu _{1}\\\mu _{2}\\\mu _{3}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}$

В этой модели $\mu _{i}$ представляет собой среднее значение $i$ая группа.

Односторонний дисперсионный анализ (смещение от контрольной группы)

Модель ANOVA может быть эквивалентно записана как каждый параметр группы. $\tau _{i}$ являющееся смещением от некоторой общей ссылки. Обычно за эту точку отсчета принимается одна из рассматриваемых групп. Это имеет смысл в контексте сравнения нескольких групп лечения с контрольной группой, причем контрольная группа считается «эталонной». В этом примере группа 1 была выбрана в качестве контрольной группы. Таким образом, подходящей моделью является

$y_{ij}=\mu +\tau _{i}+\varepsilon _{ij}$

с тем ограничением, что $\tau _{1}$ равен нулю.

${\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&0&0\\1&0&0\\1&0&0\\1&1&0\\1&1&0\\1&0&1\\1&0&1\end{bmatrix}}{\begin{bmatrix}\mu \\\tau _{2}\\\tau _{3}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}$

В этой модели $\mu$ является средним значением референтной группы и $\tau _{i}$ отличие от группы $i$ в референтную группу. $\tau _{1}$ не включается в матрицу, поскольку его отличие от референтной группы (самой себя) обязательно равно нулю.

См. также

• Матрица моментов
• Матрица проекции
• Матрица Якобиана и определитель
• Матрица рассеяния
• Матрица Грамма
• Матрица Вандермонда

Дальнейшее чтение

• Вербек, Альберт (1984). «Геометрия выбора модели в регрессии». В Дейкстре, Тео К. (ред.). Анализ неточностей . Нью-Йорк: Спрингер. стр. 20–36. ISBN  0-387-13893-5 .