Неравенство Кульбака

В теории информации статистике неравенство и Кульбака представляет собой нижнюю границу расхождения Кульбака-Лейблера, выраженную через больших уклонений функцию скорости . ^{[ 1 ]} Если P и Q — распределения вероятностей на действительной прямой, такие, что P относительно абсолютно непрерывен Q , т. е. P << Q , и чьи первые моменты существуют, то $D_{KL}(P\parallel Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P)),$ где $\Psi _{Q}^{*}$ – функция скорости, т.е. выпуклая сопряженная к кумулянту производящая функция, $Q$ , и $\mu '_{1}(P)$ первый момент это $P.$

Оценка Крамера –Рао является следствием этого результата.

Доказательство

Пусть P и Q — распределения вероятностей (меры) на вещественной прямой, первые моменты которых существуют и такие, что P << Q . Рассмотрим естественное экспоненциальное семейство Q , заданное формулой $Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)$ для каждого измеримого множества A , где $M_{Q}$ является производящей момент Q функцией . (Обратите внимание, что Q ₀ = Q .) Тогда $D_{KL}(P\parallel Q)=D_{KL}(P\parallel Q_{\theta })+\int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.$ По неравенству Гиббса имеем $D_{KL}(P\parallel Q_{\theta })\geq 0$ так что $D_{KL}(P\parallel Q)\geq \int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\operatorname {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)$ Упрощая правую часть, мы имеем для каждого действительного θ где $M_{Q}(\theta )<\infty :$ $D_{KL}(P\parallel Q)\geq \mu '_{1}(P)\theta -\Psi _{Q}(\theta ),$ где $\mu '_{1}(P)$ - это первый момент или среднее значение P , и $\Psi _{Q}=\log M_{Q}$ называется производящей кумулянтной функцией . Взятие супремума завершает процесс выпуклого сопряжения и дает функцию скорости : $D_{KL}(P\parallel Q)\geq \sup _{\theta }\left\{\mu '_{1}(P)\theta -\Psi _{Q}(\theta )\right\}=\Psi _{Q}^{*}(\mu '_{1}(P)).$

Следствие: граница Крамера – Рао.

Начнем с неравенства Кульбака.

Пусть X _θ — семейство вероятностных распределений на действительной прямой, индексированное вещественным параметром θ и удовлетворяющее определённым условиям регулярности . Затем $\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}\geq \lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},$

где $\Psi _{\theta }^{*}$ является выпуклой сопряженной кумулянтной производящей функцией $X_{\theta }$ и $\mu _{\theta +h}$ это первый момент $X_{\theta +h}.$

Левая сторона

Левую часть этого неравенства можно упростить следующим образом: ${\begin{aligned}\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left(1-\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\right)\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)+{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}+o\left(\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right)\right]\mathrm {d} X_{\theta +h}&&{\text{Taylor series for }}\log(1-t)\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left({\frac {\mathrm {d} X_{\theta +h}-\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&={\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\end{aligned}}$ что составляет половину информации Фишера параметра θ .

Правая сторона

Правую часть неравенства можно разложить следующим образом: $\lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\to 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.$ Эта верхняя грань достигается при значении t =τ, где первая производная кумулянтной производящей функции равна $\Psi '_{\theta }(\tau )=\mu _{\theta +h},$ но у нас есть $\Psi '_{\theta }(0)=\mu _{\theta },$ так что $\Psi ''_{\theta }(0)={\frac {d\mu _{\theta }}{d\theta }}\lim _{h\to 0}{\frac {h}{\tau }}.$ Более того, $\lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.$

Собираем обе стороны обратно

У нас есть: ${\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\geq {\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2},$ который можно переставить так: $\operatorname {Var} (X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\mathcal {I}}_{X}(\theta )}}.$

См. также

Примечания и ссылки

^ Фукс, Эме; Летта, Джорджио (1970). «Неравенство Кульбака. Приложение к теории оценивания» . Страсбургский семинар по теории вероятностей . Вероятностный семинар. 4 . Страсбург: 108–131.

[1] Фукс, Эме; Летта, Джорджио (1970). «Неравенство Кульбака. Приложение к теории оценивания» . Страсбургский семинар по теории вероятностей . Вероятностный семинар. 4 . Страсбург: 108–131.

[ 1 ]