Чепмен-Роббинс связан

В статистике граница Чепмена -Роббинса или граница Хаммерсли-Чепмена-Роббинса нижней границей дисперсии оценок детерминированного является параметра. Это обобщение границы Крамера – Рао ; по сравнению с границей Крамера–Рао она более точна и применима к более широкому кругу задач. Однако обычно это сложнее вычислить.

Граница была независимо обнаружена Джоном Хаммерсли в 1950 году. и Дугласа Чепмена и Герберта Роббинса в 1951 году.

Заявление

Позволять $\Theta$ быть набором параметров для семейства вероятностных распределений $\{\mu _{\theta }:\theta \in \Theta \}$ на $\Omega$.

Для любых двух $\theta ,\theta '\in \Theta$, позволять $\chi ^{2}(\mu _{\theta '};\mu _{\theta })$ быть $\chi ^{2}$-расхождение от $\mu _{\theta }$ к $\mu _{\theta '}$. Затем:

Теорема . Для любой скалярной случайной величины ${\hat {g}}:\Omega \to \mathbb {R}$и любые два $\theta ,\theta '\in \Theta$, у нас есть $\operatorname {Var} _{\theta }[{\hat {g}}]\geq \sup _{\theta '\neq \theta \in \Theta }{\frac {(E_{\theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}])^{2}}{\chi ^{2}(\mu _{\theta '};\mu _{\theta })}}$.

Обобщение на случай с несколькими переменными:

Теорема . Для любой многомерной случайной величины ${\hat {g}}:\Omega \to \mathbb {R} ^{m}$и любой $\theta ,\theta '\in \Theta$, $\chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq (E_{\theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}])^{T}\operatorname {Cov} _{\theta }[{\hat {g}}]^{-1}(E_{\theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}])$

Доказательство

Вариационным представлением дивергенции хи-квадрат : $$\chi ^{2}(P;Q)=\sup _{g}{\frac {(E_{P}[g]-E_{Q}[g])^{2}}{\operatorname {Var} _{Q}[g]}}$$ Подключите $g={\hat {g}},P=\mu _{\theta '},Q=\mu _{\theta }$, чтобы получить: $$\chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}])^{2}}{\operatorname {Var} _{\theta }[{\hat {g}}]}}$$Поменяйте знаменатель и левую часть и возьмите верхнюю границу $\theta '$ для получения одномерного случая. Для многомерного случая определим ${\textstyle h=\sum _{i=1}^{m}v_{i}{\hat {g}}_{i}}$ для любого $v\neq 0\in \mathbb {R} ^{m}$. Затем подключите $g=h$ в вариационном представлении, чтобы получить: $$\chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}[h]-E_{\theta }[h])^{2}}{\operatorname {Var} _{\theta }[h]}}={\frac {\langle v,E_{\theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}]\rangle ^{2}}{v^{T}\operatorname {Cov} _{\theta }[{\hat {g}}]v}}$$Возьмите превосходство над $v\neq 0\in \mathbb {R} ^{m}$, используя тот факт линейной алгебры, что $\sup _{v\neq 0}{\frac {v^{T}ww^{T}v}{v^{T}Mv}}=w^{T}M^{-1}w$, мы получаем многомерный случай.

Связь с границей Крамера – Рао

Обычно, $\Omega ={\mathcal {X}}^{n}$ это выборочное пространство $n$ независимые розыгрыши ${\mathcal {X}}$-значная случайная величина $X$ с раздачей $\lambda _{\theta }$ от автора $\theta \in \Theta \subseteq \mathbb {R} ^{m}$ параметризованное семейство вероятностных распределений, $\mu _{\theta }=\lambda _{\theta }^{\otimes n}$ это его $n$-умножить меру продукта и ${\hat {g}}:{\mathcal {X}}^{n}\to \Theta$ является оценщиком $\theta$. Тогда для $m=1$выражение внутри супремума в границе Чепмена–Роббинса сходится к Крамера–Рао границе ${\hat {g}}$ когда $\theta '\to \theta$, предполагая, что выполнены условия регулярности границы Крамера–Рао. Это означает, что, когда существуют обе границы, версия Чепмена–Роббинса всегда по крайней мере столь же точна, как граница Крамера–Рао; во многих случаях он существенно ужесточен.

Граница Чепмена–Роббинса справедлива и при гораздо более слабых условиях регулярности. Например, не делается никаких предположений относительно дифференцируемости функции плотности вероятности p ( x ; θ ) $\lambda _{\theta }$. Когда p ( x ; θ ) недифференцируемо, информация Фишера не определена, и, следовательно, граница Крамера – Рао не существует.

См. также

• Крамер-Рао на границе
• Теория оценки

Дальнейшее чтение

• Леманн, Эль; Казелла, Г. (1998), Теория точечной оценки (2-е изд.), Springer, стр. 113–114, ISBN  0-387-98502-6