Лемма Штейна

Лемма Стейна , названная в честь Чарльза Стейна , представляет собой теорему теории вероятностей , которая представляет интерес прежде всего из-за ее приложений к статистическому выводу — в частности, к оценке Джеймса-Стейна и эмпирическим методам Байеса — и ее приложений к теории выбора портфеля . Теорема дает формулу для ковариации одной случайной величины со значением функции другой, когда две случайные величины совместно нормально распределены .

Обратите внимание, что также часто используется название «лемма Штейна». для ссылки на другой результат в области статистической проверки гипотез , который связывает показатели ошибок при проверке гипотез с расхождением Кульбака – Лейблера . Этот результат также известен как лемма Чернова – Штейна. и не имеет отношения к лемме, обсуждаемой в этой статье.

Утверждение леммы

Предположим, X — нормально распределенная случайная величина с математическим ожиданием µ и дисперсией σ. ² . Далее предположим, что g — дифференцируемая функция, для которой существуют два ожидания E( g ( X )( X − µ)) и E( g ′( X )) оба. (Существование ожидания любой случайной величины эквивалентно конечности ожидания ее абсолютного значения .) Затем

$E{\bigl (}g(X)(X-\mu ){\bigr )}=\sigma ^{2}E{\bigl (}g'(X){\bigr )}.$

В общем, предположим, что X и Y совместно нормально распределены. Затем

$\operatorname {Cov} (g(X),Y)=\operatorname {Cov} (X,Y)E(g'(X)).$

Для общего многомерного гауссовского случайного вектора $(X_{1},...,X_{n})\sim N(\mu ,\Sigma )$ отсюда следует, что

$E{\bigl (}g(X)(X-\mu ){\bigr )}=\Sigma \cdot E{\bigl (}\nabla g(X){\bigr )}.$

Доказательство

Одномерная функция плотности вероятности для одномерного нормального распределения с ожиданием 0 и дисперсией 1:

$\varphi (x)={1 \over {\sqrt {2\pi }}}e^{-x^{2}/2}$

С $\int x\exp(-x^{2}/2)\,dx=-\exp(-x^{2}/2)$ получим в результате интегрирования по частям :

$E[g(X)X]={\frac {1}{\sqrt {2\pi }}}\int g(x)x\exp(-x^{2}/2)\,dx={\frac {1}{\sqrt {2\pi }}}\int g'(x)\exp(-x^{2}/2)\,dx=E[g'(X)]$.

Случай общей дисперсии $\sigma ^{2}$ следует заменой .

Более общее заявление

Теорема Иссерлиса эквивалентно формулируется как $$\operatorname {E} (X_{1}f(X_{1},\ldots ,X_{n}))=\sum _{i=1}^{n}\operatorname {Cov} (X_{1},X_{i})\operatorname {E} (\partial _{X_{i}}f(X_{1},\ldots ,X_{n})).$$где $(X_{1},\dots X_{n})$ с нулевым средним представляет собой многомерный нормальный случайный вектор .

Предположим, X принадлежит экспоненциальному семейству , то есть X имеет плотность

$f_{\eta }(x)=\exp(\eta 'T(x)-\Psi (\eta ))h(x).$

Предположим, что эта плотность имеет носитель $(a,b)$ где $a,b$ может быть $-\infty ,\infty$ и как $x\rightarrow a{\text{ or }}b$, $\exp(\eta 'T(x))h(x)g(x)\rightarrow 0$ где $g$ — любая дифференцируемая функция такая, что $E|g'(X)|<\infty$ или $\exp(\eta 'T(x))h(x)\rightarrow 0$ если $a,b$ конечно. Затем

$E\left[\left({\frac {h'(X)}{h(X)}}+\sum \eta _{i}T_{i}'(X)\right)\cdot g(X)\right]=-E[g'(X)].$

Вывод такой же, как и в частном случае, а именно интегрирование по частям.

Если бы мы только знали $X$ имеет поддержку $\mathbb {R}$, тогда может быть так, что $E|g(X)|<\infty {\text{ and }}E|g'(X)|<\infty$ но $\lim _{x\rightarrow \infty }f_{\eta }(x)g(x)\not =0$. Чтобы увидеть это, просто поставьте $g(x)=1$ и $f_{\eta }(x)$ с бесконечно стремящимися к бесконечности пиками, но все же интегрируемыми. Один из таких примеров можно было бы адаптировать из $f(x)={\begin{cases}1&x\in [n,n+2^{-n})\\0&{\text{otherwise}}\end{cases}}$ так что $f$ гладкий.

Также существуют расширения эллиптических распределений.

См. также

• метод Штейна
• Разложения Тейлора для моментов функций случайных величин
• Расхождение Штейна