Квадратичная форма (статистика)

В многомерной статистике , если $\varepsilon$ представляет вектор собой $n$ случайные величины и $\Lambda$ это $n$ -мерная симметричная матрица , то скалярная величина $\varepsilon ^{T}\Lambda \varepsilon$ известна как квадратичная форма в $\varepsilon$ .

Ожидание

Можно показать, что ^[1]

\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \mu

где $\mu$ и $\Sigma$ — ожидаемое значение и матрица дисперсии- ковариации $\varepsilon$ соответственно, а tr обозначает след матрицы. Этот результат зависит только от существования $\mu$ и $\Sigma$ ; , нормальность в частности $\varepsilon$ не требуется .

Книжная трактовка темы квадратичных форм случайных величин принадлежит Матаи и Провосту. ^[2]

Доказательство

Поскольку квадратичная форма является скалярной величиной, $\varepsilon ^{T}\Lambda \varepsilon =\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )$ .

Далее, по циклическому свойству оператора трассировки ,

\operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].

Поскольку оператор следа представляет собой линейную комбинацию компонентов матрицы, из линейности оператора ожидания следует, что

\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).

Стандартное свойство дисперсий говорит нам, что это

\operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T})).

Снова применяя циклическое свойство оператора трассировки, получаем

\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\operatorname {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \mu .

Дисперсия в гауссовском случае

В общем, дисперсия квадратичной формы сильно зависит от распределения $\varepsilon$ . Однако, если $\varepsilon$ подчиняется многомерному нормальному распределению, дисперсия квадратичной формы становится особенно управляемой. Предположим на мгновение, что $\Lambda$ является симметричной матрицей. Затем,

\operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^{T}\Lambda \Sigma \Lambda \mu

. ^[3]

Фактически, это можно обобщить, чтобы найти ковариацию между двумя квадратичными формами на одном и том же уровне. $\varepsilon$ (снова, $\Lambda _{1}$ и $\Lambda _{2}$ оба должны быть симметричны):

\operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu

. ^[4]

Кроме того, такая квадратичная форма соответствует обобщенному распределению хи-квадрат .

Вычисление дисперсии в несимметричном случае

Дело в общем $\Lambda$ можно получить, заметив, что

\varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon

так

\varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2

является квадратичной формой симметричной матрицы ${\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2$ , поэтому выражения среднего и дисперсии одинаковы при условии, что $\Lambda$ заменяется на ${\tilde {\Lambda }}$ в этом.

Примеры квадратичных форм

В обстановке, когда у человека есть набор наблюдений $y$ и операторная матрица $H$ , то остаточную сумму квадратов можно записать в виде квадратичной формы в виде $y$ :

{\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.

Для процедур, где матрица $H$ является симметричным и идемпотентным , а ошибки являются гауссовскими с ковариационной матрицей $\sigma ^{2}I$ , ${\textrm {RSS}}/\sigma ^{2}$ имеет распределение хи-квадрат с $k$ степени свободы и параметр нецентральности $\lambda$ , где

k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]

\lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2

может быть найден путем сопоставления первых двух центральных моментов нецентральной случайной величины хи-квадрат с выражениями, приведенными в первых двух разделах. Если $Hy$ оценки $\mu$ без смещения , то нецентральность $\lambda$ равен нулю и ${\textrm {RSS}}/\sigma ^{2}$ следует центральному распределению хи-квадрат.

См. также

Ссылки

^ Бейтс, Дуглас. «Квадратичные формы случайных величин» (PDF) . СТАТ 849 лекций . Проверено 21 августа 2011 г.
^ Матай, А.М. и проректор, Серж Б. (1992). Квадратичные формы со случайными величинами . ЦРК Пресс. п. 424. ИСБН 978-0824786915 .
^ Ренчер, Элвин К.; Шаалье, Г. Брюс. (2008). Линейные модели в статистике (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780471754985 . ОСЛК 212120778 .
^ Грейбилл, Франклин А. Матрицы с приложениями в статистике (2-е изд.). Уодсворт: Белмонт, Калифорния, с. 367. ИСБН 0534980384 .

[1] Бейтс, Дуглас. «Квадратичные формы случайных величин» (PDF) . СТАТ 849 лекций . Проверено 21 августа 2011 г.

[Mathai-2] Матай, А.М. и проректор, Серж Б. (1992). Квадратичные формы со случайными величинами . ЦРК Пресс. п. 424. ИСБН 978-0824786915 .

[3] Ренчер, Элвин К.; Шаалье, Г. Брюс. (2008). Линейные модели в статистике (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780471754985 . ОСЛК 212120778 .

[4] Грейбилл, Франклин А. Матрицы с приложениями в статистике (2-е изд.). Уодсворт: Белмонт, Калифорния, с. 367. ИСБН 0534980384 .

[1]

[2]

[3]

[4]