Теорема Рао – Блэквелла

В статистике теорема Рао-Блэквелла , иногда называемая теоремой Рао-Блэквелла-Колмогорова , представляет собой результат, характеризующий преобразование сколь угодно грубой оценки в оценку, оптимальную по критерию среднеквадратической ошибки или любому из множество схожих критериев.

Теорема Рао–Блэквелла утверждает, что если g ( X ) является какой-либо оценкой параметра θ, то условное ожидание g ( X ) при условии T ( X ), где T — достаточная статистика , обычно является лучшей оценкой параметра θ. θ, и никогда не бывает хуже. Иногда можно очень легко построить очень грубую оценку g ( X ), а затем вычислить это условное ожидаемое значение, чтобы получить оценку, которая является в различных смыслах оптимальной.

Теорема названа в честь Ч.Р. Рао и Дэвида Блэквелла . Процесс преобразования средства оценки с использованием теоремы Рао–Блэквелла можно назвать « рао–Блэквеллизацией» . Преобразованная оценка называется оценкой Рао – Блэквелла .

Определения

• Оценка ( δ( X ) — это наблюдаемая случайная величина т.е. статистика ), используемая для оценки некоторой ненаблюдаемой величины. Например, невозможно наблюдать средний рост всех студентов мужского пола в Университете X, но можно наблюдать рост случайной выборки из 40 из них. Средний рост этих 40 человек — «средний выборочный показатель» — может использоваться в качестве оценки ненаблюдаемого «среднего показателя населения».
• Достаточной статистикой T ( X ) является статистика, рассчитанная на основе данных X для оценки некоторого параметра θ, для которого никакая другая статистика, которая может быть рассчитана на основе данных X, не предоставляет никакой дополнительной информации о θ. Она определяется как наблюдаемая случайная величина, такая, что условное распределение вероятностей всех наблюдаемых данных X при заданном T ( X ) не зависит от ненаблюдаемого параметра θ, такого как среднее или стандартное отклонение всей совокупности, из которой данные X. были получены взятый. В наиболее часто приводимых примерах «ненаблюдаемые» величины представляют собой параметры, которые параметризуют известное семейство вероятностных распределений, согласно которым распределяются данные.

Другими словами, достаточная статистика T(X) для параметра θ — это статистика , такая, что условная вероятность данных X при заданном T ( X ) не зависит от параметра θ.

• Оценка Рао –Блэквелла δ ₁ ( X ) ненаблюдаемой величины θ — это условное математическое ожидание E(δ( X ) | T ( X )) некоторой оценки δ( X ) при достаточной статистике T ( X ). Назовем δ( X ) «исходной оценкой» , а δ1 ₍ X ) « улучшенной оценкой» . Важно, чтобы улучшенная оценка была наблюдаемой , т. е. не зависела от θ. Обычно условное математическое ожидание одной функции этих данных при другой функции этих данных действительно зависит от θ, но из самого определения достаточности, данного выше, следует, что эта функция не зависит.
• Среднеквадратическая ошибка оценщика — это ожидаемое значение квадрата его отклонения от оцениваемой ненаблюдаемой величины θ.

Теорема

Версия со среднеквадратической ошибкой

Один из случаев теоремы Рао – Блэквелла гласит:

Среднеквадратическая ошибка оценки Рао–Блэквелла не превышает ошибку исходной оценки.

Другими словами,

$\operatorname {E} ((\delta _{1}(X)-\theta )^{2})\leq \operatorname {E} ((\delta (X)-\theta )^{2}).$

Важными инструментами доказательства, помимо приведенного выше определения, являются закон полного ожидания и тот факт, что для любой случайной величины Y E( Y ² ) не может быть меньше [E( Y )] ² . Это неравенство представляет собой случай неравенства Йенсена , хотя можно также показать, что оно сразу же следует из часто упоминаемого факта, что

$0\leq \operatorname {Var} (Y)=\operatorname {E} ((Y-\operatorname {E} (Y))^{2})=\operatorname {E} (Y^{2})-(\operatorname {E} (Y))^{2}.$

Точнее, среднеквадратическая ошибка оценки Рао-Блэквелла имеет следующее разложение:

$\operatorname {E} [(\delta _{1}(X)-\theta )^{2}]=\operatorname {E} [(\delta (X)-\theta )^{2}]-\operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]$

С $\operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]\geq 0$, немедленно следует теорема Рао-Блэквелла.

потерь

Более общая версия теоремы Рао-Блэквелла говорит об «ожидаемых потерях» или функции риска :

$\operatorname {E} (L(\delta _{1}(X)))\leq \operatorname {E} (L(\delta (X)))$

где «функция потерь» L может быть любой выпуклой функцией . Если функция потерь дважды дифференцируема, как в случае среднеквадратической ошибки, то мы имеем более точное неравенство

$\operatorname {E} (L(\delta (X)))-\operatorname {E} (L(\delta _{1}(X)))\geq {\frac {1}{2}}\operatorname {E} _{T}\left[\inf _{x}L''(x)\operatorname {Var} (\delta (X)\mid T)\right].$

Свойства

Улучшенная оценка является несмещенной тогда и только тогда, когда исходная оценка несмещена, в чем можно сразу убедиться, используя закон полного ожидания . Теорема справедлива независимо от того, используются ли смещенные или несмещенные оценки.

Теорема кажется очень слабой: она говорит лишь о том, что оценка Рао–Блэквелла не хуже исходной. Однако на практике улучшение зачастую бывает огромным.

Пример

Телефонные звонки поступают на коммутатор в соответствии с процессом Пуассона со средней скоростью λ в минуту. Эта скорость не наблюдаема, но наблюдаются числа X ₁ , ..., X _n телефонных звонков, поступивших в течение n последовательных одноминутных периодов. Требуется оценить вероятность e ^-л что следующая минута проходит без телефонных звонков.

Чрезвычайно грубая оценка желаемой вероятности:

$\delta _{0}=\left\{{\begin{matrix}1&{\text{if}}\ X_{1}=0,\\0&{\text{otherwise,}}\end{matrix}}\right.$

т. е. он оценивает эту вероятность как 1, если в первую минуту не поступило ни одного телефонного звонка, и как нулевую в противном случае. Несмотря на очевидные ограничения этой оценки, результат, полученный с помощью ее Рао-Блэквеллизации, является очень хорошей оценкой.

Сумма

$S_{n}=\sum _{i=1}^{n}X_{i}=X_{1}+\cdots +X_{n}$

можно легко показать, что это достаточная статистика для λ, т. е. условное распределение данных X ₁ , ..., X _n зависит от λ только через эту сумму. Таким образом, мы находим оценку Рао–Блэквелла

$\delta _{1}=\operatorname {E} (\delta _{0}\mid S_{n}=s_{n}).$

После некоторых алгебраических действий мы имеем

${\begin{aligned}\delta _{1}&=\operatorname {E} \left(\mathbf {1} _{\{X_{1}=0\}}{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0,\sum _{i=2}^{n}X_{i}=s_{n}\right)\times P\left(\sum _{i=1}^{n}X_{i}=s_{n}\right)^{-1}\\&=e^{-\lambda }{\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-(n-1)\lambda }}{s_{n}!}}\times \left({\frac {(n\lambda )^{s_{n}}e^{-n\lambda }}{s_{n}!}}\right)^{-1}\\&={\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-n\lambda }}{s_{n}!}}\times {\frac {s_{n}!}{(n\lambda )^{s_{n}}e^{-n\lambda }}}\\&=\left(1-{\frac {1}{n}}\right)^{s_{n}}\end{aligned}}$

Поскольку среднее количество вызовов, поступающих в течение первых n минут, равно n λ, можно не удивляться, если эта оценка имеет довольно высокую вероятность (если n велико) быть близкой к

$\left(1-{1 \over n}\right)^{n\lambda }\approx e^{-\lambda }.$

Таким образом, δ _1, очевидно, является значительно улучшенной оценкой этой последней величины. Фактически, поскольку Sn _Шеффе является полным и δ ₀ является несмещенным, δ ₁ является единственной несмещенной оценкой минимальной дисперсии по теореме Лемана– .

Идемпотентность

Рао-Блэквеллизация — идемпотентная операция. Использование его для улучшения уже улучшенной оценки не приводит к дальнейшему улучшению, а просто возвращает на выходе ту же улучшенную оценку.

Полнота и минимальная дисперсия

Если обуславливающая статистика является полной и достаточной , а начальная оценка несмещена, то оценка Рао-Блэквелла является уникальной « лучшей несмещенной оценкой »: см. теорему Лемана-Шеффе .

Пример улучшаемого улучшения Рао-Блэквелла при использовании минимальной достаточной статистики, которая не является полной , был предоставлен Галили и Мейлиджсоном в 2016 году. Позволять $X_{1},\ldots ,X_{n}$ быть случайной выборкой из равномерного по масштабу распределения $X\sim U\left((1-k)\theta ,(1+k)\theta \right),$ с неизвестным средним значением $E[X]=\theta$ и известный расчетный параметр $k\in (0,1)$. В поисках «наилучших» возможных несмещенных оценок для $\theta ,$ естественно рассмотреть $X_{1}$ в качестве первоначальной (грубой) несмещенной оценки для $\theta$ а затем попытаться улучшить его. С $X_{1}$ не является функцией $T=\left(X_{(1)},X_{(n)}\right)$, минимальная достаточная статистика для $\theta$ (где $X_{(1)}=\min(X_{i})$ и $X_{(n)}=\max(X_{i})$), его можно улучшить с помощью теоремы Рао–Блэквелла следующим образом:

${\hat {\theta }}_{RB}=E_{\theta }\left[X_{1}|X_{(1)},X_{(n)}\right]={\frac {X_{(1)}+X_{(n)}}{2}}.$

Однако можно показать, что следующая несмещенная оценка имеет меньшую дисперсию:

${\hat {\theta }}_{LV}={\frac {1}{2\left(k^{2}{\frac {n-1}{n+1}}+1\right)}}\left[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}\right].$

Фактически, его можно было бы еще улучшить, если бы использовать следующую оценку:

${\hat {\theta }}_{BAYES}={\frac {n+1}{n}}\left[1-{\frac {{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}-1}{{{\left[{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}\right]}^{n+1}}-1}}\right]{\frac {X_{(n)}}{1+k}}$

Модель представляет собой масштабную модель . оптимальные эквивариантные оценки получить функций потерь для инвариантных . Затем можно

См. также

• Теорема Басу - еще один результат о полной достаточной и вспомогательной статистике.

Внешние ссылки

• Никулин, М.С. (2001) [1994], «Теорема Рао–Блэквелла–Колмогорова» , Энциклопедия математики , EMS Press