Распространение ожиданий

Распространение ожиданий (EP) — это метод байесовского машинного обучения . ^[1]

EP находит приближения к распределению вероятностей . ^[1] Он использует итеративный подход, который использует структуру факторизации целевого распределения. ^[1] Он отличается от других подходов байесовской аппроксимации, таких как вариационные байесовские методы . ^[1]

Более конкретно, предположим, что мы хотим аппроксимировать трудноразрешимое распределение вероятностей. $p(\mathbf {x} )$ с гибким распределением $q(\mathbf {x} )$ . Распространение ожиданий достигает этого приближения за счет минимизации расхождения Кульбака-Лейблера. $\mathrm {KL} (p||q)$ . ^[1] Вариационные байесовские методы минимизируют $\mathrm {KL} (q||p)$ вместо. ^[1]

Если $q(\mathbf {x} )$ является гауссовым ${\mathcal {N}}(\mathbf {x} |\mu ,\Sigma )$ , затем $\mathrm {KL} (p||q)$ минимизируется с помощью $\mu$ и $\Sigma$ быть равным среднему значению $p(\mathbf {x} )$ и ковариация $p(\mathbf {x} )$ , соответственно; это называется согласованием моментов . ^[1]

Приложения

Распространение ожиданий посредством сопоставления моментов играет жизненно важную роль в аппроксимации индикаторных функций , которые появляются при выводе уравнений передачи сообщений для TrueSkill .

Ссылки

^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г Бишоп, Кристофер (2007). Распознавание образов и машинное обучение . Нью-Йорк: Springer-Verlag New York Inc. ISBN 978-0387310732 .

Томас Минка (2–5 августа 2001 г.). «Распространение ожиданий для приблизительного байесовского вывода». В Джеке С. Бризе, Дафне Коллер (ред.). UAI '01: Материалы 17-й конференции по неопределенности в искусственном интеллекте (PDF) . Вашингтонский университет, Сиэтл, Вашингтон, США. стр. 362–369. {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )

Внешние ссылки

Эта по информатике статья незавершена . Вы можете помочь Википедии, расширив ее .

[bishop-1] Jump up to: ^а ^б ^с ^д ^и ^ж ^г Бишоп, Кристофер (2007). Распознавание образов и машинное обучение . Нью-Йорк: Springer-Verlag New York Inc. ISBN 978-0387310732 .

[1]