Крамер-Рао на границе

Иллюстрация границы Крамера-Рао: не существует несмещенной системы оценки, которая могла бы оценить (2-мерный) параметр с меньшей дисперсией, чем граница Крамера-Рао, иллюстрируемая как эллипс стандартного отклонения .

В теории оценивания и статистике граница Крамера -Рао ( CRB ) относится к оценке детерминированного (фиксированного, хотя и неизвестного) параметра. Результат назван в честь Харальда Крамера и Ч.Р. Рао . но также был получен независимо Морисом Фреше , Жорж Дармуа , и Александр Эйткен и Гарольд Сильверстоун . Она также известна как нижняя граница Фреше-Крамера-Рао или Фреше-Дармуа-Крамера-Рао. Он утверждает, что точность любой несмещенной оценки не превышает информации Фишера ; или (что эквивалентно) обратная величина информации Фишера является нижней границей ее дисперсии .

Несмещенная оценка, достигающая этой границы, называется (полностью) эффективной . Такое решение обеспечивает наименьшую возможную среднеквадратическую ошибку среди всех несмещенных методов и, следовательно, представляет собой несмещенную оценку минимальной дисперсии (MVU). Однако в некоторых случаях не существует объективного метода, позволяющего достичь границы. Это может произойти либо в том случае, если для любой несмещенной оценки существует другая со строго меньшей дисперсией, либо если существует оценка MVU, но ее дисперсия строго больше, чем инверсия информации Фишера.

Границу Крамера-Рао также можно использовать для оценки дисперсии смещенных оценок заданного смещения. В некоторых случаях предвзятый подход может привести к тому, что как дисперсия, так и среднеквадратическая ошибка окажутся ниже несмещенной нижней границы Крамера – Рао; см . смещение оценки .

Значительный прогресс по сравнению с нижней границей Крамера – Рао был предложен А. Бхаттачарьей в серии работ, названных «Граница Бхаттачарья».

Заявление

Граница Крамера-Рао формулируется в этом разделе для нескольких все более общих случаев, начиная со случая, когда параметр является скаляром , а его оценка несмещена . Все версии оценки требуют определенных условий регулярности, которые выполняются для большинства распределений с хорошим поведением. Эти условия перечислены далее в этом разделе .

Скалярный несмещенный случай

Предполагать $\theta$ — неизвестный детерминированный параметр, который необходимо оценить по формуле $n$ независимые наблюдения (измерения) $x$, каждый из распределения согласно некоторой функции плотности вероятности $f(x;\theta )$. Дисперсия ​ любой несмещенной оценки ${\hat {\theta }}$ из $\theta$ тогда ограничен обратной ​ Фишера информации $I(\theta )$:

$\operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}$

где информация о Фишере $I(\theta )$ определяется

$I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]$

и $\ell (x;\theta )=\log(f(x;\theta ))$ это натуральный логарифм для функции правдоподобия одной выборки. $x$ и $\operatorname {E} _{x;\theta }$ обозначает ожидаемое значение относительно плотности $f(x;\theta )$ из $X$. Если не указано иное, то в дальнейшем математическое ожидание берется по отношению к $X$.

Если $\ell (x;\theta )$ дважды дифференцируема и выполняются определенные условия регулярности, то информацию Фишера также можно определить следующим образом:

$I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]$

Эффективность несмещенной оценки ${\hat {\theta }}$ измеряет, насколько близка дисперсия этой оценки к этой нижней границе; Эффективность оценки определяется как

$e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}$

или минимально возможную дисперсию для несмещенной оценки, деленную на ее фактическую дисперсию. Таким образом, нижняя оценка Крамера – Рао дает

$e({\hat {\theta }})\leq 1$.

Общий скалярный случай

Более общую форму оценки можно получить, рассматривая смещенную оценку $T(X)$, чье ожидание не $\theta$ но функция этого параметра, скажем, $\psi (\theta )$. Следовательно $E\{T(X)\}-\theta =\psi (\theta )-\theta$ обычно не равно 0. В этом случае оценка определяется выражением

$\operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}$

где $\psi '(\theta )$ является производной от $\psi (\theta )$ (к $\theta$), и $I(\theta )$ – это информация Фишера, определенная выше.

Ограничено дисперсией смещенных оценок

Помимо ограничения оценок функций параметра, этот подход можно использовать для получения оценки дисперсии смещенных оценок с заданным смещением следующим образом. Рассмотрим оценщик ${\hat {\theta }}$ с предвзятостью $b(\theta )=E\{{\hat {\theta }}\}-\theta$, и пусть $\psi (\theta )=b(\theta )+\theta$. Согласно приведенному выше результату, любая несмещенная оценка, математическое ожидание которой равно $\psi (\theta )$ имеет дисперсию, большую или равную $(\psi '(\theta ))^{2}/I(\theta )$. Таким образом, любая оценка ${\hat {\theta }}$ смещение которого задается функцией $b(\theta )$ удовлетворяет

$\operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.$

Несмещенная версия оценки является частным случаем этого результата: $b(\theta )=0$.

Иметь небольшую дисперсию тривиально: постоянная «оценка» имеет нулевую дисперсию. Но из приведенного выше уравнения мы обнаруживаем, что среднеквадратическая ошибка смещенной оценки ограничена величиной

$\operatorname {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2},$

используя стандартную декомпозицию MSE. Однако обратите внимание, что если $1+b'(\theta )<1$ эта граница может быть меньше, чем несмещенная граница Крамера – Рао $1/I(\theta )$. Например, в примере оценки дисперсии ниже : $1+b'(\theta )={\frac {n}{n+2}}<1$.

Многомерный случай

Расширяя привязку Крамера-Рао к нескольким параметрам, определите вектор- столбец параметров.

${\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}$

с функцией плотности вероятности $f(x;{\boldsymbol {\theta }})$ которое удовлетворяет двум приведенным ниже условиям регулярности .

Информационная матрица Фишера представляет собой $d\times d$ матрица с элементом $I_{m,k}$ определяется как

$I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].$

Позволять ${\boldsymbol {T}}(X)$ быть оценщиком любой векторной функции параметров, ${\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}$и обозначим его вектор ожидания $\operatorname {E} [{\boldsymbol {T}}(X)]$ к ${\boldsymbol {\psi }}({\boldsymbol {\theta }})$. Граница Крамера-Рао тогда утверждает, что матрица ковариационная ${\boldsymbol {T}}(X)$ удовлетворяет

$I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )$,

$\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}$

где

• Матричное неравенство $A\geq B$ Подразумевается, что матрица $A-B$ является положительно полуопределенным и
• $\phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}$ – матрица Якобиана , $ij$ элемент задается $\partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}$.

Если ${\boldsymbol {T}}(X)$ является несмещенной оценкой ${\boldsymbol {\theta }}$ (т.е. ${\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}$), то граница Крамера–Рао сводится к

$\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.$

Если неудобно вычислять обратную информационную матрицу Фишера , тогда можно просто взять величину, обратную соответствующему диагональному элементу чтобы найти (возможно, неопределенную) нижнюю границу.

$\operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\right]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\right]_{mm}\geq \left(\left[I\left({\boldsymbol {\theta }}\right)\right]_{mm}\right)^{-1}.$

Условия регулярности

Оценка опирается на два слабых условия регулярности функции плотности вероятности : $f(x;\theta )$, и оценщик $T(X)$:

• Информация Фишера всегда определена; равнозначно, для всех $x$ такой, что $f(x;\theta )>0$, $${\frac {\partial }{\partial \theta }}\log f(x;\theta )$$ существует и конечен.
• Операции интегрирования по $x$ и дифференциация по $\theta$ можно поменять местами в ожидании $T$; то есть, $${\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx$$ всякий раз, когда правая часть конечна.
  Это условие часто можно подтвердить, используя тот факт, что интегрирование и дифференцирование можно поменять местами, когда выполняется любой из следующих случаев:
  1. Функция $f(x;\theta )$ имеет ограниченную поддержку в $x$, и границы не зависят от $\theta$;
  2. Функция $f(x;\theta )$ имеет бесконечный носитель, непрерывно дифференцируем и интеграл сходится равномерно для всех $\theta$.

Доказательство

Доказательство для общего случая на основе границы Чепмена–Роббинса.

Доказательство основано на.

Доказательство

Первое уравнение:

Позволять $\delta$ быть бесконечно малым, то для любого $v\in \mathbb {R} ^{n}$, подключение $\theta '=\theta +\delta v$ в, у нас есть $(E_{\theta '}[T]-E_{\theta }[T])=v^{T}\phi (\theta )\delta ;\quad \chi ^{2}(\mu _{\theta '};\mu _{\theta })=v^{T}I(\theta )v\delta ^{2}$

Подключение этого к многомерной границе Чепмена-Роббинса дает $I(\theta )\geq \phi (\theta )\operatorname {Cov} _{\theta }[T]^{-1}\phi (\theta )^{T}$.

Второе уравнение:

Достаточно доказать это для скалярного случая, когда $h(X)$ принимая значения в $\mathbb {R}$ . Потому что для общего $T(X)$ , мы можем взять любой $v\in \mathbb {R} ^{m}$, затем определяя ${\textstyle h:=\sum _{j}v_{j}T_{j}}$, скалярный случай дает $$\operatorname {Var} _{\theta }[h]=v^{T}\operatorname {Cov} _{\theta }[T]v\geq v^{T}\phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}v$$Это справедливо для всех $v\in \mathbb {R} ^{m}$, поэтому мы можем сделать вывод $$\operatorname {Cov} _{\theta }[T]\geq \phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}$$Скалярный случай утверждает, что $\operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta )$ с $\phi (\theta ):=\nabla _{\theta }E_{\theta }[h]$.

Позволять $\delta$ быть бесконечно малым, то для любого $v\in \mathbb {R} ^{n}$, принимая $\theta '=\theta +\delta v$ в одномерной оценке Чепмена – Роббинса дает $\operatorname {Var} _{\theta }[h]\geq {\frac {\langle v,\phi (\theta )\rangle ^{2}}{v^{T}I(\theta )v}}$.

По линейной алгебре $\sup _{v\neq 0}{\frac {\langle w,v\rangle ^{2}}{v^{T}Mv}}=w^{T}M^{-1}w$ для любой положительно определенной матрицы $M$, таким образом, мы получаем $$\operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta ).$$

Отдельное доказательство для общего скалярного случая

Для общего скалярного случая :

Предположим, что $T=t(X)$ является оценщиком с ожиданием $\psi (\theta )$ (по наблюдениям $X$), то есть что $\operatorname {E} (T)=\psi (\theta )$. Цель состоит в том, чтобы доказать, что для всех $\theta$,

$\operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.$

Позволять $X$ быть случайной величиной с функцией плотности вероятности $f(x;\theta )$. Здесь $T=t(X)$ это статистика , которая используется в качестве оценки для $\psi (\theta )$. Определять $V$ как оценка :

$V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )$

где правило цепочки используется в окончательном равенстве выше. Тогда ожидание ​ $V$, написано $\operatorname {E} (V)$, равен нулю. Это потому, что:

$\operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0$

где интеграл и частная производная поменялись местами (что оправдано вторым условием регулярности).

Если мы рассмотрим ковариацию $\operatorname {cov} (V,T)$ из $V$ и $T$, у нас есть $\operatorname {cov} (V,T)=\operatorname {E} (VT)$, потому что $\operatorname {E} (V)=0$. Раскрыв это выражение, мы имеем

${\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}$

опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).

показывает Неравенство Коши – Шварца , что

${\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|$

поэтому

$\operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}$

что доказывает предложение.

Примеры

Многомерное нормальное распределение

Для случая с d -мерной величиной нормального распределения

${\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)$

информационная матрица Фишера имеет элементы

$I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)$

где «tr» — это след .

Например, пусть $w[j]$ быть образцом $n$ независимые наблюдения с неизвестным средним значением $\theta$ и известная дисперсия $\sigma ^{2}$ .

$w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).$

Тогда информация Фишера представляет собой скаляр, определяемый формулой

$I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},$

и поэтому граница Крамера – Рао равна

$\operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{n}}.$

Нормальная дисперсия с известным средним значением

Предположим, X — нормально распределенная случайная величина с известным средним значением. $\mu$ и неизвестная дисперсия $\sigma ^{2}$. Рассмотрим следующую статистику:

$T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.$

Тогда T несмещено для $\sigma ^{2}$, как $E(T)=\sigma ^{2}$. Какова дисперсия Т ?

$\operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]$

(второе равенство следует непосредственно из определения дисперсии). Первый член является четвертым моментом относительно среднего значения и имеет значение $3(\sigma ^{2})^{2}$; второй - квадрат дисперсии, или $(\sigma ^{2})^{2}$. Таким образом

$\operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.$

Итак, какова информация Фишера в образце? Напомним, что оценка $V$ определяется как

$V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]$

где $L$ это функция правдоподобия . Таким образом, в данном случае

$\log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}$

$V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}$

где второе равенство взято из элементарного исчисления. Таким образом, информация в одном наблюдении равна просто минус математическому ожиданию производной $V$, или

$I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.$

Таким образом, информация в выборке $n$ независимые наблюдения - это просто $n$ раз это, или ${\frac {n}{2(\sigma ^{2})^{2}}}.$

Граница Крамера – Рао утверждает, что

$\operatorname {var} (T)\geq {\frac {1}{I}}.$

В этом случае неравенство является насыщенным (достигается равенство), что указывает оценки эффективность на .

Однако мы можем добиться более низкой среднеквадратической ошибки, используя смещенную оценку. Оценщик

$T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.$

очевидно, имеет меньшую дисперсию, которая на самом деле равна

$\operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.$

Его предвзятость

$\left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}$

поэтому его среднеквадратическая ошибка равна

$\operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}$

что меньше того, чего могут достичь несмещенные оценки согласно границе Крамера – Рао.

Когда среднее значение неизвестно, минимальная оценка среднеквадратической ошибки отклонения выборки от распределения Гаусса достигается путем деления на $n+1$, скорее, чем $n-1$ или $n+2$.

См. также

• Чепмен-Роббинс связан
• Неравенство Кульбака
• Неравенство Браскапа – Либа
• Теорема Лемана – Шеффе

Дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. стр. 14–17 . ISBN  0-674-00560-0 .
• Бос, Адриан ван ден (2007). Оценка параметров для ученых и инженеров . Хобокен: Джон Уайли и сыновья. стр. 45–98. ISBN  978-0-470-14781-8 .
• Кей, Стивен М. (1993). Основы статистической обработки сигналов, Том I: Теория оценивания . Прентис Холл. ISBN  0-13-345711-7 . . Глава 3.
• Шао, Цзюнь (1998). Математическая статистика . Нью-Йорк: Спрингер. ISBN  0-387-98674-Х . . Раздел 3.1.3.
• Апостериорная неопределенность, асимптотический закон и граница Крамера-Рао, Structural Control and Health Monitoring 25(1851):e2113 DOI: 10.1002/stc.2113

Внешние ссылки

• FandPLimitTool - программное обеспечение на основе графического пользовательского интерфейса для расчета информации Фишера и нижней границы Крамера-Рао с применением к микроскопии одиночных молекул.