МИНКЕ

В статистике используется теория квадратичной несмещенной оценки минимальной нормы (MINQUE). был разработан CR Rao . MINQUE — это теория наряду с другими методами оценки в теории оценивания , такими как метод моментов или оценка максимального правдоподобия . Подобно теории наилучшей линейной несмещенной оценки , MINQUE конкретно занимается моделями линейной регрессии . Первоначально метод был задуман для оценки дисперсии гетероскедастической ошибки в множественной линейной регрессии. Оценщики MINQUE также представляют собой альтернативу оценкам максимального правдоподобия или ограниченным оценкам максимального правдоподобия для компонентов дисперсии в моделях со смешанными эффектами . Оценщики MINQUE представляют собой квадратичные формы переменной отклика и используются для оценки линейной функции дисперсий.

Принципы

Нас интересует модель смешанных эффектов для случайного вектора $\mathbf {Y} \in \mathbb {R} ^{n}$ со следующей линейной структурой.

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} _{1}{\boldsymbol {\xi }}_{1}+\cdots +\mathbf {U} _{k}{\boldsymbol {\xi }}_{k}$

Здесь, $\mathbf {X} \in \mathbb {R} ^{n\times m}$ представляет собой матрицу расчета фиксированных эффектов, ${\boldsymbol {\beta }}\in \mathbb {R} ^{m}$ представляет неизвестные параметры с фиксированным эффектом, $\mathbf {U} _{i}\in \mathbb {R} ^{n\times c_{i}}$ представляет собой матрицу проектирования для $i$-th компонент случайного эффекта, и ${\boldsymbol {\xi }}_{i}\in \mathbb {R} ^{c_{i}}$является случайным вектором для $i$-ая компонента случайного эффекта. Предполагается, что случайные эффекты имеют нулевое среднее ( $\mathbb {E} [{\boldsymbol {\xi }}_{i}]=\mathbf {0}$) и быть некоррелированными ( $\mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}$). Более того, любые два вектора случайных эффектов также некоррелированы ( $\mathbb {V} [{\boldsymbol {\xi }}_{i},{\boldsymbol {\xi }}_{j}]=\mathbf {0} \,\forall i\neq j$). Неизвестные отклонения $\sigma _{1}^{2},\cdots ,\sigma _{k}^{2}$ представляют компоненты отклонения модели.

Это общая модель, отражающая часто используемые модели линейной регрессии.

1. Модель Гаусса-Маркова : Если рассматривать однокомпонентную модель, где $\mathbf {U} _{1}=\mathbf {I} _{n}$, то модель эквивалентна модели Гаусса-Маркова $\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\epsilon }}$ с $\mathbb {E} [{\boldsymbol {\epsilon }}]=\mathbf {0}$ и $\mathbb {V} [{\boldsymbol {\epsilon }}]=\sigma _{1}^{2}\mathbf {I} _{n}$.
2. Гетероскедастическая модель : Каждый набор случайных величин в $\mathbf {Y}$ которые имеют общую дисперсию, могут быть смоделированы как отдельный компонент дисперсии с соответствующим $\mathbf {U} _{i}$.

Компактное представление модели следующее: $\mathbf {U} =\left[{\begin{array}{c|c|c}\mathbf {U} _{1}&\cdots &\mathbf {U} _{k}\end{array}}\right]$ и ${\boldsymbol {\xi }}^{\top }=\left[{\begin{array}{c|c|c}{\boldsymbol {\xi }}_{1}^{\top }&\cdots &{\boldsymbol {\xi }}_{k}^{\top }\end{array}}\right]$.

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }}$

Обратите внимание, что эта модель не делает никаких предположений о распределении $\mathbf {Y}$ кроме первого и второго моментов.

$\mathbb {E} [\mathbf {Y} ]=\mathbf {X} {\boldsymbol {\beta }}$

$\mathbb {V} [\mathbf {Y} ]=\sigma _{1}^{2}\mathbf {U} _{1}\mathbf {U} _{1}^{\top }+\cdots +\sigma _{k}^{2}\mathbf {U} _{k}\mathbf {U} _{k}^{\top }\equiv \sigma _{1}^{2}\mathbf {V} _{1}+\cdots +\sigma _{k}^{2}\mathbf {V} _{k}$

Цель MINQUE — оценить $\theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}$ используя квадратичную форму ${\hat {\theta }}=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y}$. Оценщики MINQUE получаются путем определения матрицы $\mathbf {A}$ такой, что оценщик обладает некоторыми желательными свойствами, описано ниже.

Оптимальные свойства средства оценки для ограничения MINQUE

Инвариантность к переводу фиксированных эффектов

Рассмотрим новый параметр с фиксированным эффектом ${\boldsymbol {\gamma }}={\boldsymbol {\beta }}-{\boldsymbol {\beta }}_{0}$, который представляет собой перевод исходного фиксированного эффекта. Новая эквивалентная модель теперь выглядит следующим образом.

$\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0}=\mathbf {X} {\boldsymbol {\gamma }}+\mathbf {U} {\boldsymbol {\xi }}$

В этой эквивалентной модели оценщик MINQUE теперь $(\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})^{\top }\mathbf {A} (\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})$. Рао утверждал, что, поскольку базовые модели эквивалентны, эта оценка должна быть равна $\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y}$. Этого можно добиться, ограничив $\mathbf {A}$ такой, что $\mathbf {A} \mathbf {X} =\mathbf {0}$, что гарантирует, что все термины, кроме $\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y}$ в разложении квадратичной формы равны нулю.

Непредвзятая оценка

Предположим, что мы ограничиваем $\mathbf {A} \mathbf {X} =\mathbf {0}$, как указано в разделе выше. Тогда оценка MINQUE имеет следующий вид

${\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} \\&=(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})^{\top }\mathbf {A} (\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})\\&={\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}\end{aligned}}$

Чтобы гарантировать, что эта оценка несмещена , ожидание оценки $\mathbb {E} [{\hat {\theta }}]$ должен быть равен интересующему параметру, $\theta$. Ниже математическое ожидание оценщика можно разложить для каждого компонента, поскольку компоненты не коррелируют друг с другом. Кроме того, циклическое свойство трассы используется для оценки ожидания относительно ${\boldsymbol {\xi }}_{i}$.

${\begin{aligned}\mathbb {E} [{\hat {\theta }}]&=\mathbb {E} [{\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}]\\&=\sum _{i=1}^{k}\mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}{\boldsymbol {\xi }}_{i}]\\&=\sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]\end{aligned}}$

Чтобы гарантировать несмещенность этой оценки, Рао предложил установить $\sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}$, чего можно добиться, ограничив $\mathbf {A}$ такой, что $\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}$ для всех компонентов.

Минимальная норма

Рао утверждает, что если ${\boldsymbol {\xi }}$ наблюдались, «естественная» оценка для $\theta$ будет следующее с $\mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }{\boldsymbol {\xi }}_{i}]=c_{i}\sigma _{i}^{2}$. Здесь, ${\boldsymbol {\Delta }}$ определяется как диагональная матрица .

${\frac {p_{1}}{c_{1}}}{\boldsymbol {\xi }}_{1}^{\top }{\boldsymbol {\xi }}_{1}+\cdots +{\frac {p_{k}}{c_{k}}}{\boldsymbol {\xi }}_{k}^{\top }{\boldsymbol {\xi }}_{k}={\boldsymbol {\xi }}^{\top }\left[\mathrm {diag} \left({\frac {p_{1}}{c_{i}}},\cdots ,{\frac {p_{k}}{c_{k}}}\right)\right]{\boldsymbol {\xi }}\equiv {\boldsymbol {\xi }}^{\top }{\boldsymbol {\Delta }}{\boldsymbol {\xi }}$

Разница между предложенной оценкой и естественной оценкой равна ${\boldsymbol {\xi }}^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}){\boldsymbol {\xi }}$. Эту разницу можно минимизировать, минимизировав норму матрицы $\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert$.

Процедура

Учитывая ограничения и стратегию оптимизации, выведенные из оптимальных свойств, описанных выше, оценщик MINQUE ${\hat {\theta }}$ для $\theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}$ получается путем выбора матрицы $\mathbf {A}$ что сводит к минимуму $\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert$, с учетом ограничений

1. $\mathbf {A} \mathbf {X} =\mathbf {0}$, и
2. $\mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}$.

Примеры оценщиков

Стандартная программа оценки гомоскедастической ошибки

В модели Гаусса-Маркова дисперсия ошибки $\sigma ^{2}$ оценивается с использованием следующего.

$s^{2}={\frac {1}{n-m}}(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})$

Эта оценка несмещена, и можно показать, что она минимизирует евклидову норму формы $\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert$. Таким образом, стандартным средством оценки дисперсии ошибок в модели Гаусса-Маркова является средство оценки MINQUE.

Случайные переменные с общим средним и гетероскедастической ошибкой

Для случайных величин $Y_{1},\cdots ,Y_{n}$ с общим средним значением и разными дисперсиями $\sigma _{1}^{2},\cdots ,\sigma _{n}^{2}$оценщик MINQUE для $\sigma _{i}^{2}$ является ${\frac {n}{n-2}}(Y_{i}-{\overline {Y}})^{2}-{\frac {s^{2}}{n-2}}$, где ${\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}$ и $s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}$.

Средство оценки компонентов дисперсии

Рао предложил оценщик MINQUE для модели компонентов дисперсии, основанный на минимизации евклидовой нормы . Евклидова норма $\lVert \cdot \rVert _{2}$ — квадратный корень из суммы квадратов всех элементов матрицы. При оценке этой нормы ниже, $\mathbf {V} =\mathbf {V} _{1}+\cdots +\mathbf {V} _{k}=\mathbf {U} \mathbf {U} ^{\top }$. Кроме того, используя циклическое свойство трасс , $\mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]=\mathrm {Tr} [\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}\mathbf {U} ^{\top }]=\mathrm {Tr} \left[\sum _{i=1}^{k}{\frac {p_{i}}{c_{i}}}\mathbf {A} \mathbf {V} _{i}\right]=\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]$.

${\begin{aligned}\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert _{2}^{2}&=(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})\\&=\mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} \mathbf {U} \mathbf {A} \mathbf {U} ^{\top }]-\mathrm {Tr} [2\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]+\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\\&=\mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]-\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\end{aligned}}$

Обратите внимание, что поскольку $\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]$ не зависит от $\mathbf {A}$MINQUE с евклидовой нормой получается путем идентификации матрицы $\mathbf {A}$ что сводит к минимуму $\mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]$, с учетом ограничений MINQUE, обсуждавшихся выше.

Рао показал, что матрица $\mathbf {A}$ который удовлетворяет этой задаче оптимизации,

$\mathbf {A} _{\star }=\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R}$,

где $\mathbf {R} =\mathbf {V} ^{-1}(\mathbf {I} -\mathbf {P} )$, $\mathbf {P} =\mathbf {X} (\mathbf {X} ^{\top }\mathbf {V} ^{-1}\mathbf {X} )^{-}\mathbf {X} ^{\top }\mathbf {V} ^{-1}$ - матрица проекции в пространство столбцов $\mathbf {X}$, и $(\cdot )^{-}$ представляет собой обобщенную обратную матрицу.

Следовательно, оценка MINQUE имеет следующий вид, где векторы ${\boldsymbol {\lambda }}$ и $\mathbf {Q}$ определяются на основе суммы.

${\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} _{\star }\mathbf {Y} \\&=\sum _{i=1}^{k}\lambda _{i}\mathbf {Y} ^{\top }\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {Y} \\&\equiv \sum _{i=1}^{k}\lambda _{i}Q_{i}\\&\equiv {\boldsymbol {\lambda }}^{\top }\mathbf {Q} \end{aligned}}$

Вектор ${\boldsymbol {\lambda }}$ получается с использованием ограничения $\mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{i}]=p_{i}$. То есть вектор представляет собой решение следующей системы уравнений $\forall j\in \{1,\cdots ,k\}$.

${\begin{aligned}\mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{j}]&=p_{j}\\\mathrm {Tr} \left[\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}\right]&=p_{j}\\\sum _{i=1}^{k}\lambda _{i}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}]&=p_{j}\end{aligned}}$

Это можно записать как матричное произведение $\mathbf {S} {\boldsymbol {\lambda }}=\mathbf {p}$, где $\mathbf {p} =[p_{1}\,\cdots \,p_{k}]^{\top }$ и $\mathbf {S}$ заключается в следующем.

$\mathbf {S} ={\begin{bmatrix}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{1}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{1}]\\\vdots &\ddots &\vdots \\\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{k}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{k}]\end{bmatrix}}$

Затем, ${\boldsymbol {\lambda }}=\mathbf {S} ^{-}\mathbf {p}$. Это означает, что MINQUE ${\hat {\theta }}={\boldsymbol {\lambda }}^{\top }\mathbf {Q} =\mathbf {p} ^{\top }(\mathbf {S} ^{-})^{\top }\mathbf {Q} =\mathbf {p} ^{\top }\mathbf {S} ^{-}\mathbf {Q}$. Обратите внимание, что $\theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}=\mathbf {p} ^{\top }{\boldsymbol {\sigma }}$, где ${\boldsymbol {\sigma }}=[\sigma _{1}^{2}\,\cdots \,\sigma _{k}^{2}]^{\top }$. Следовательно, оценка компонентов дисперсии равна ${\hat {\boldsymbol {\sigma }}}=\mathbf {S} ^{-}\mathbf {Q}$.

Расширения

Оценки MINQUE можно получить без критериев инвариантности, и в этом случае оценка будет только несмещенной и минимизирует норму. Такие оценки имеют несколько иные ограничения на задачу минимизации.

Модель может быть расширена для оценки компонентов ковариации. В такой модели предполагается, что случайные эффекты компонента имеют общую ковариационную структуру. $\mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}$. Также была предложена система оценки MINQUE для смеси компонентов дисперсии и ковариации. В этой модели $\mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}$ для $i\in \{1,\cdots ,s\}$ и $\mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}$ для $i\in \{s+1,\cdots ,k\}$.