Теорема Кокрена

В статистике , теорема Кокрена разработанная Уильямом Г. Кокраном , — это теорема, используемая для обоснования результатов, касающихся вероятностных распределений статистики, которые используются в дисперсионном анализе .

Примеры

Выборочное среднее и выборочная дисперсия

Если X ₁ , ..., X _n — независимые нормально распределенные случайные величины со средним значением µ и стандартным отклонением σ , то

$U_{i}={\frac {X_{i}-\mu }{\sigma }}$

является стандартным нормальным для каждого i . Обратите внимание, что общее количество Q равно сумме квадратов U , как показано здесь:

$\sum _{i}Q_{i}=\sum _{jik}U_{j}B_{jk}^{(i)}U_{k}=\sum _{jk}U_{j}U_{k}\sum _{i}B_{jk}^{(i)}=\sum _{jk}U_{j}U_{k}\delta _{jk}=\sum _{j}U_{j}^{2}$

что вытекает из первоначального предположения, что $B_{1}+B_{2}\ldots =I$. Поэтому вместо этого мы рассчитаем эту величину, а затем разделим ее на Q _i . Можно написать

$\sum _{i=1}^{n}U_{i}^{2}=\sum _{i=1}^{n}\left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}$

(здесь ${\overline {X}}$ – выборочное среднее ). Чтобы увидеть это тождество, умножьте все на $\sigma ^{2}$ и обратите внимание, что

$\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}}+{\overline {X}}-\mu )^{2}$

и расширить, чтобы дать

$\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+\sum ({\overline {X}}-\mu )^{2}+2\sum (X_{i}-{\overline {X}})({\overline {X}}-\mu ).$

Третий член равен нулю, поскольку он равен константе, умноженной на

$\sum ({\overline {X}}-X_{i})=0,$

а второй член состоит из n одинаковых членов, сложенных вместе. Таким образом

$\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+n({\overline {X}}-\mu )^{2},$

и, следовательно,

$\sum \left({\frac {X_{i}-\mu }{\sigma }}\right)^{2}=\sum \left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}=\overbrace {\sum _{i}\left(U_{i}-{\frac {1}{n}}\sum _{j}{U_{j}}\right)^{2}} ^{Q_{1}}+\overbrace {{\frac {1}{n}}\left(\sum _{j}{U_{j}}\right)^{2}} ^{Q_{2}}=Q_{1}+Q_{2}.$

Сейчас $B^{(2)}={\frac {J_{n}}{n}}$ с $J_{n}$ матрица единиц, имеющая ранг 1. В свою очередь $B^{(1)}=I_{n}-{\frac {J_{n}}{n}}$ при условии $I_{n}=B^{(1)}+B^{(2)}$. Это выражение также можно получить, разложив $Q_{1}$ в матричной записи. Можно показать, что ранг $B^{(1)}$ является $n-1$ так как сумма всех его строк равна нулю. Таким образом, условия теоремы Кокрена выполнены.

Теорема Кокрена тогда утверждает, что Q ₁ и Q ₂ независимы, с распределениями хи-квадрат с n - 1 и 1 степенью свободы соответственно. Это показывает, что выборочное среднее и выборочная дисперсия независимы. Это также можно показать с помощью теоремы Басу , и фактически это свойство характеризует нормальное распределение – поскольку никакое другое распределение не является независимым от выборочного среднего и выборочной дисперсии.

Распределения

Результат для распределений символически записывается как

$\sum \left(X_{i}-{\overline {X}}\right)^{2}\sim \sigma ^{2}\chi _{n-1}^{2}.$

$n({\overline {X}}-\mu )^{2}\sim \sigma ^{2}\chi _{1}^{2},$

Обе эти случайные величины пропорциональны истинной, но неизвестной дисперсии σ. ² . Таким образом, их соотношение не зависит от σ ² и потому, что они статистически независимы. Распределение их отношения определяется выражением

${\frac {n\left({\overline {X}}-\mu \right)^{2}}{{\frac {1}{n-1}}\sum \left(X_{i}-{\overline {X}}\right)^{2}}}\sim {\frac {\chi _{1}^{2}}{{\frac {1}{n-1}}\chi _{n-1}^{2}}}\sim F_{1,n-1}$

где F _{1, n − 1} — F-распределение с 1 и n − 1 степенями свободы (см. также t-распределение Стьюдента ). Последним шагом здесь является определение случайной величины, имеющей F-распределение.

Оценка дисперсии

Чтобы оценить дисперсию σ ² , одна из оценок, которая иногда используется, - это оценка максимального правдоподобия дисперсии нормального распределения.

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum \left(X_{i}-{\overline {X}}\right)^{2}.$

Теорема Кокрена показывает, что

${\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}$

а свойства распределения хи-квадрат показывают, что

${\begin{aligned}E\left({\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\right)&=E\left(\chi _{n-1}^{2}\right)\\{\frac {n}{\sigma ^{2}}}E\left({\widehat {\sigma }}^{2}\right)&=(n-1)\\E\left({\widehat {\sigma }}^{2}\right)&={\frac {\sigma ^{2}(n-1)}{n}}\end{aligned}}$

Альтернативная формулировка

Следующая версия часто встречается при рассмотрении линейной регрессии. Предположим, что $Y\sim N_{n}(0,\sigma ^{2}I_{n})$ – стандартный многомерный нормальный случайный вектор (здесь $I_{n}$ обозначает размером n × n единичную матрицу ), и если $A_{1},\ldots ,A_{k}$ все n - n симметричные матрицы с $\sum _{i=1}^{k}A_{i}=I_{n}$. Тогда, определив $r_{i}=\operatorname {Rank} (A_{i})$, любое из следующих условий влечет за собой два других:

• $\sum _{i=1}^{k}r_{i}=n,$
• $Y^{T}A_{i}Y\sim \sigma ^{2}\chi _{r_{i}}^{2}$ (таким образом $A_{i}$ положительно полуопределены )
• $Y^{T}A_{i}Y$ не зависит от $Y^{T}A_{j}Y$ для $i\neq j.$

Заявление

Пусть U ₁ , ..., UN _— стандартные нормально распределенные случайные величины , и $U=[U_{1},...,U_{N}]^{T}$. Позволять $B^{(1)},B^{(2)},\ldots ,B^{(k)}$быть симметричными матрицами . Определим r _i как ранг ​ $B^{(i)}$. Определять $Q_{i}=U^{T}B^{(i)}U$, так что Q _i являются квадратичными формами . Далее предположим $\sum _{i}Q_{i}=U^{T}U$.

Теорема Кокрана утверждает, что следующие утверждения эквивалентны:

• $r_{1}+\cdots +r_{k}=N$,
• Q i _​ независимы ​
• каждый Q _i имеет распределение хи-квадрат с r _i степенями свободы .

Часто это указывается как $\sum _{i}A_{i}=A$, где $A$ является идемпотентным, и $\sum _{i}r_{i}=N$ заменяется на $\sum _{i}r_{i}=rank(A)$. Но после ортогонального преобразования $A=diag(I_{M},0)$, и таким образом мы сводимся к приведенной выше теореме.

Доказательство

Претензия : Пусть $X$ быть стандартным гауссианом в $\mathbb {R} ^{n}$, то для любых симметричных матриц $Q,Q'$, если $X^{T}QX$ и $X^{T}Q'X$ имеют одинаковое распределение, то $Q,Q'$ имеют одинаковые собственные значения (с точностью до кратности).

Доказательство

Пусть собственные значения $Q$ быть $\lambda _{1},...,\lambda _{n}$, затем вычислите характеристическую функцию $X^{T}QX$. Оказывается,

$\phi (t)=\left(\prod _{j}(1-2i\lambda _{j}t)\right)^{-1/2}$

(Чтобы его вычислить, сначала проведите диагонализацию $Q$, перейдите в этот кадр, а затем используйте тот факт, что характеристическая функция суммы независимых переменных является произведением их характеристических функций.)

Для $X^{T}QX$ и $X^{T}Q'X$ чтобы быть равными, их характеристические функции должны быть равны, поэтому $Q,Q'$ имеют одинаковые собственные значения (с точностью до кратности).

Требовать : $I=\sum _{i}B_{i}$.

Доказательство

$U^{T}(I-\sum _{i}B_{i})U=0$. С $(I-\sum _{i}B_{i})$ симметричен, и $U^{T}(I-\sum _{i}B_{i})U=^{d}U^{T}0U$, по предыдущему утверждению, $(I-\sum _{i}B_{i})$ имеет те же собственные значения, что и 0.

Лемма : Если $\sum _{i}M_{i}=I$, все $M_{i}$ симметричны и имеют собственные значения 0, 1, то они одновременно диагонализуемы.

Доказательство

Зафиксируйте i и рассмотрим собственные векторы v $M_{i}$ такой, что $M_{i}v=v$. Тогда у нас есть $v^{T}v=v^{T}Iv=v^{T}v+\sum _{j\neq i}v^{T}M_{j}v$, так что все $v^{T}M_{j}v=0$. Таким образом, мы получаем разделение $\mathbb {R} ^{N}$ в $V\oplus V^{\perp }$, такой, что V является 1-собственным пространством $M_{i}$, и в 0-собственных пространствах всех остальных $M_{j}$. Теперь введите, перейдя в $V^{\perp }$.

Теперь докажем исходную теорему. Мы доказываем, что эти три случая эквивалентны, доказывая, что каждый случай влечет за собой следующий в цикле ( $1\to 2\to 3\to 1$).

Доказательство

Корпус : Все $Q_{i}$ независимы

Исправьте некоторые $i$, определять $C_{i}=I-B_{i}=\sum _{j\neq i}B_{j}$, и диагонализировать $B_{i}$ ортогональным преобразованием $O$. Тогда рассмотрим $OC_{i}O^{T}=I-OB_{i}O^{T}$. Он также диагонализирован.

Позволять $W=OU$, то оно также является стандартным гауссовским. Тогда у нас есть

$Q_{i}=W^{T}(OB_{i}O^{T})W;\quad \sum _{j\neq i}Q_{j}=W^{T}(I-OB_{i}O^{T})W$

Проверьте их диагональные записи, чтобы увидеть, что $Q_{i}\perp \sum _{j\neq i}Q_{j}$ подразумевает, что их ненулевые диагональные элементы не пересекаются.

Таким образом, все собственные значения $B_{i}$ 0, 1, поэтому $Q_{i}$ это $\chi ^{2}$ на расстоянии от $r_{i}$ степени свободы.

Корпус : Каждый $Q_{i}$ это $\chi ^{2}(r_{i})$ распределение.

Исправьте любой $i$, диагонализуем его ортогональным преобразованием $O$, и переиндексировать, так что $OB_{i}O^{T}=diag(\lambda _{1},...,\lambda _{r_{i}},0,...,0)$. Затем $Q_{i}=\sum _{j}\lambda _{j}{U'}_{j}^{2}$ для некоторых $U'_{j}$, сферическое вращение $U_{i}$.

С $Q_{i}\sim \chi ^{2}(r_{i})$, мы получим все $\lambda _{j}=1$. Итак, все $B_{i}\succeq 0$, и имеют собственные значения $0,1$.

Так что диагонали их одновременно, сложите их, чтобы найти $\sum _{i}r_{i}=N$.

Случай : $r_{1}+\cdots +r_{k}=N$.

Сначала покажем, что матрицы B ^{( я )} могут быть одновременно диагонализированы ортогональной матрицей и что все их ненулевые собственные значения равны +1. Как только это будет показано, примените это ортогональное преобразование к этому одновременному собственному базису , в котором случайный вектор $[U_{1},...,U_{N}]^{T}$ становится $[U'_{1},...,U'_{N}]^{T}$, но все $U_{i}'$ по-прежнему независимы и стандартно гауссовы. Затем следует результат.

Каждая из матриц B ^{( я )} имеет ранг r _i и, следовательно, r _i ненулевые собственные значения . Для каждого i сумма $C^{(i)}\equiv \sum _{j\neq i}B^{(j)}$ имеет не более ранга $\sum _{j\neq i}r_{j}=N-r_{i}$. С $B^{(i)}+C^{(i)}=I_{N\times N}$, то C ^{( я )} имеет ровно ранг N - r _i .

Поэтому Б ^{( я )} и С ^{( я )} могут быть одновременно диагонализированы . Это можно показать, сначала диагонализовав B ^{( я )} , по спектральной теореме . В этом базисе он имеет вид:

${\begin{bmatrix}\lambda _{1}&0&0&\cdots &\cdots &&0\\0&\lambda _{2}&0&\cdots &\cdots &&0\\0&0&\ddots &&&&\vdots \\\vdots &\vdots &&\lambda _{r_{i}}&&\\\vdots &\vdots &&&0&\\0&\vdots &&&&\ddots \\0&0&\ldots &&&&0\end{bmatrix}}.$

Таким образом, чем ниже $(N-r_{i})$ строки равны нулю. С $C^{(i)}=I-B^{(i)}$, то эти строки в C ^{( я )} в этом базисе содержится правый блок, который представляет собой $(N-r_{i})\times (N-r_{i})$ единичная матрица с нулями в остальных строках. Но поскольку С ^{( я )} имеет ранг N − r _i , в другом месте он должен быть равен нулю. Следовательно, и в этом базисе он диагональен. Отсюда следует, что все ненулевые собственные значения обоих B ^{( я )} и С ^{( я )} +1. Этот аргумент применим для всех i , поэтому все B ^{( я )} являются положительно полуопределенными.

Более того, приведенный выше анализ можно повторить в диагональном базисе для $C^{(1)}=B^{(2)}+\sum _{j>2}B^{(j)}$. В этой основе $C^{(1)}$ является личностью $(N-r_{1})\times (N-r_{1})$ векторное пространство, поэтому отсюда следует, что оба B ⁽²⁾ и $\sum _{j>2}B^{(j)}$ одновременно диагонализуемы в этом векторном пространстве (а значит, и вместе с B ⁽¹⁾ ). Путем итерации следует, что все B -s одновременно диагонализуемы.

Таким образом, существует ортогональная матрица $S$ такой, что для всех $i$, $S^{\mathrm {T} }B^{(i)}S\equiv B^{(i)\prime }$ диагональная, где любая запись $B_{x,y}^{(i)\prime }$ с индексами $x=y$, $\sum _{j=1}^{i-1}r_{j}<x=y\leq \sum _{j=1}^{i}r_{j}$, равен 1, а любая запись с другими индексами равна 0.

См. также

• Теорема Крамера о разложении нормальных распределений
• Бесконечная делимость (вероятность)