Информационная проекция

В теории информации информационная проекция или I-проекция распределения вероятностей q на набор распределений P равна

p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(p||q)

.

где $D_{\mathrm {KL} }$ — это расхождение Кульбака–Лейблера от q до p . Рассматривая расхождение Кульбака – Лейблера как меру расстояния, I-проекция $p^{*}$ является «ближайшим» распределением к q из всех распределений в P .

I-проекция полезна при настройке информационной геометрии , особенно из-за следующего неравенства, справедливого, когда P выпукло: ^[1]

$\operatorname {D} _{\mathrm {KL} }(p||q)\geq \operatorname {D} _{\mathrm {KL} }(p||p^{*})+\operatorname {D} _{\mathrm {KL} }(p^{*}||q)$ .

Это неравенство можно интерпретировать как информационно-геометрическую версию теоремы Пифагора о неравенстве треугольников, где дивергенция KL рассматривается как квадрат расстояния в евклидовом пространстве.

Стоит отметить, что поскольку $\operatorname {D} _{\mathrm {KL} }(p||q)\geq 0$ и непрерывен по p, если P замкнут и непуст, то существует хотя бы один минимизатор задачи оптимизации, сформулированной выше. Более того, если P выпукло, то оптимальное распределение единственное.

Обратная I-проекция, также известная как проекция момента или М-проекция, представляет собой

p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(q||p)

.

Поскольку КЛ-дивергенция не симметрична по своим аргументам, I-проекция и М-проекция будут вести себя по-разному. Для Я-проекции $p(x)$ обычно будетнедооценивать поддержку $q(x)$ и зафиксируется на одном из своих режимов. Это связано с $p(x)=0$ , в любое время $q(x)=0$ чтобы убедиться, что расхождение KL остается конечным. Для М-проекции $p(x)$ обычно переоценивают поддержку $q(x)$ . Это связано с $p(x)>0$ в любое время $q(x)>0$ чтобы убедиться, что расхождение KL остается конечным.

Обратная I-проекция играет фундаментальную роль в построении оптимальных e-переменных .

Понятие информационной проекции можно распространить на произвольные f -дивергенции и другие дивергенции . ^[2]

См. также

Теорема Санова

Ссылки

^ Обложка, Томас М.; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley Interscience. п. 367 (теорема 11.6.1).
^ Нильсен, Франк (2018). «Что такое… информационная проекция?» (PDF) . Уведомления Американского математического общества . 65 (3): 321–324. дои : 10.1090/noti1647 .

К. Мерфи, «Машинное обучение: вероятностная перспектива», MIT Press, 2012.

Эта вероятности статья о незавершена . Вы можете помочь Википедии, расширив ее .

[1] Обложка, Томас М.; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley Interscience. п. 367 (теорема 11.6.1).

[2] Нильсен, Франк (2018). «Что такое… информационная проекция?» (PDF) . Уведомления Американского математического общества . 65 (3): 321–324. дои : 10.1090/noti1647 .

[1]

[2]