Несмещенная оценка с минимальной дисперсией

В статистике несмещенная оценка с минимальной дисперсией (MVUE) или несмещенная оценка с равномерно минимальной дисперсией (UMVUE) - это несмещенная оценка , имеющая меньшую дисперсию, чем любая другая несмещенная оценка для всех возможных значений параметра.

Для практических статистических задач важно определить MVUE, если он существует, поскольку при прочих равных условиях, естественно, следует избегать неоптимальных процедур. Это привело к существенному развитию статистической теории, связанной с проблемой оптимальной оценки.

Хотя сочетание ограничения несмещенности с показателем желательности наименьшей дисперсии приводит к хорошим результатам в большинстве практических ситуаций, что делает MVUE естественной отправной точкой для широкого спектра анализов, целевая спецификация может работать лучше для данной проблемы; таким образом, MVUE не всегда является лучшей точкой остановки.

Определение

Рассмотрим оценку $g(\theta )$ на основе данных $X_{1},X_{2},\ldots ,X_{n}$ iid от какого-либо члена семейства плотностей $p_{\theta },\theta \in \Omega$, где $\Omega$это пространство параметров. Непредвзятая оценка $\delta (X_{1},X_{2},\ldots ,X_{n})$ из $g(\theta )$ является UMVUE , если $\forall \theta \in \Omega$,

$\operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))$

для любой другой несмещенной оценки ${\tilde {\delta }}.$

Если несмещенная оценка $g(\theta )$ существует, то можно доказать существование существенно уникального MVUE. Используя теорему Рао-Блэквелла, можно также доказать, что определение MVUE - это просто вопрос поиска полной достаточной статистики для семейства. $p_{\theta },\theta \in \Omega$ и обусловливаем на нем любую несмещенную оценку.

Кроме того, согласно теореме Лемана-Шеффе , несмещенная оценка, которая является функцией полной, достаточной статистики, является оценкой UMVUE.

Формально предположим, $\delta (X_{1},X_{2},\ldots ,X_{n})$ является беспристрастным для $g(\theta )$, и это $T$является полной достаточной статистикой для семейства плотностей. Затем

$\eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,$

это MVUE для $g(\theta ).$

аналог Байесовский — это оценщик Байеса , особенно с минимальной среднеквадратической ошибкой (MMSE).

Выбор оценщика

Эффективная оценка не обязательно должна существовать, но если она существует и если она несмещена, это МВУЭ. Поскольку среднеквадратическая ошибка (MSE) оценки δ равна

$\operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\$

MVUE минимизирует MSE среди несмещенных оценок . В некоторых случаях смещенные оценки имеют более низкую СКО, поскольку они имеют меньшую дисперсию, чем любая несмещенная оценка; см . смещение оценки .

Пример

Считайте, что данные представляют собой одно наблюдение из абсолютно непрерывного распределения на $\mathbb {R}$ с плотностью

$p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}$

и мы хотим найти оценку UMVU

$g(\theta )={\frac {1}{\theta ^{2}}}$

Сначала мы признаем, что плотность можно записать как

${\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))$

Это экспоненциальное семейство с достаточной статистикой $T=\log(1+e^{-x})$. Фактически это экспоненциальное семейство полного ранга, и поэтому $T$вполне достаточно. См. экспоненциальное семейство для вывода, который показывает

$\operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}$

Поэтому,

$\operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}$

Здесь мы используем теорему Лемана – Шеффе, чтобы получить MVUE

Четко $\delta (X)={\frac {T^{2}}{2}}$ является беспристрастным и $T=\log(1+e^{-x})$ является достаточно полным, поэтому оценка UMVU равна

$\eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}$

Этот пример показывает, что несмещенной функцией полной достаточной статистики будет UMVU, как утверждает теорема Лемана – Шеффе .

Другие примеры

• Для нормального распределения с неизвестными средним значением и дисперсией выборочное среднее и (несмещенная) выборочная дисперсия представляют собой MVUE для среднего значения генеральной совокупности и дисперсии генеральной совокупности.

  Однако стандартное отклонение выборки не является несмещенным для стандартного отклонения генеральной совокупности – см. несмещенную оценку стандартного отклонения .

  Кроме того, для других распределений выборочное среднее и выборочная дисперсия в целом не являются MVUE – для равномерного распределения с неизвестными верхними и нижними границами средний диапазон является MVUE для среднего генерального значения.

• Если k экземпляров выбираются (без замены) из дискретного равномерного распределения по множеству {1, 2, ..., N } с неизвестной верхней границей N , MVUE для N равно

${\frac {k+1}{k}}m-1,$

где m – выборочный максимум . Это масштабированное и сдвинутое (настолько несмещенное) преобразование выборочного максимума, которое является достаточной и полной статистикой. см . в разделе «Проблема с немецкими танками» . Подробности

См. также

• Граница Крамера-Рао
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Компромисс смещения и дисперсии
• Теорема Лемана – Шеффе
• U-статистика

Байесовские аналоги

• Байесовский оценщик
• Минимальная среднеквадратическая ошибка (MMSE)

Ссылки

• Кинер, Роберт В. (2006). Статистическая теория: заметки к курсу теоретической статистики . Спрингер. стр. 47–48, 57–58.
• Кинер, Роберт В. (2010). Теоретическая статистика: Темы профильного курса . Нью-Йорк: Спрингер. DOI 10.1007/978-0-387-93839-4
• Воинов В.Г., Никулин М.С. (1993). Несмещенные оценки и их приложения, Том 1: Одномерный случай . Академическое издательство Клювер. стр. 521 стр.