Вариационная передача сообщений

Вариационная передача сообщений ( VMP ) — это метод приближенного вывода с непрерывными или дискретными значениями для байесовских сетей , с сопряженно-экспоненциальными родителями, разработанный Джоном Винном. VMP был разработан как средство обобщения приближенных вариационных методов, используемых такими методами, как скрытое распределение Дирихле узла , и работает путем обновления приблизительного распределения в каждом узле посредством сообщений в марковском бланкете .

Нижняя граница вероятности

Учитывая некоторый набор скрытых переменных $H$ и наблюдаемые переменные $V$ , цель приближенного вывода — максимизировать нижнюю границу вероятности того, что графическая модель находится в конфигурации $V$ . Над некоторым распределением вероятностей $Q$ (будет определено позже),

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

.

Итак, если мы определим нашу нижнюю границу как

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

,

тогда вероятность равна просто этой границе плюс относительная энтропия между $P$ и $Q$ . Поскольку относительная энтропия неотрицательна, функция $L$ определенное выше, действительно является нижней границей логарифмической вероятности нашего наблюдения $V$ . Распределение $Q$ будет иметь более простой характер, чем у $P$ потому что маргинализация сверх $P$ неразрешима для всех, кроме самых простых графических моделей . В частности, VMP использует факторизованное распределение.

Q(H)=\prod _{i}Q_{i}(H_{i}),

где $H_{i}$ является непересекающейся частью графической модели.

Определение правила обновления

Оценка правдоподобия должна быть как можно большей; потому что это нижняя граница, приближающаяся $\log P$ улучшает аппроксимацию логарифма правдоподобия. Подставив в факторизованную версию $Q$ , $L(Q)$ , параметризованный по скрытым узлам $H_{i}$ как указано выше, это просто отрицательная относительная энтропия между $Q_{j}$ и $Q_{j}^{*}$ плюс другие условия, независимые от $Q_{j}$ если $Q_{j}^{*}$ определяется как

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

,

где $\mathbb {E} _{-j}\{\ln P(H,V)\}$ это математическое ожидание по всем распределениям $Q_{i}$ кроме $Q_{j}$ . Таким образом, если мы установим $Q_{j}$ быть $Q_{j}^{*}$ , граница $L$ максимизируется.

Сообщения при вариационной передаче сообщений

Родители отправляют своим детям ожидание достаточной статистики, в то время как дети отправляют родителям свой естественный параметр , который также требует отправки сообщений от родителей узла.

Связь с экспоненциальными семействами

Поскольку все узлы в VMP происходят из экспоненциальных семейств , а все родительские узлы сопряжены со своими дочерними узлами, ожидание достаточной статистики можно вычислить с помощью коэффициента нормализации .

Алгоритм ВМП

Алгоритм начинается с вычисления ожидаемого значения достаточной статистики для этого вектора. Затем, пока вероятность не достигнет стабильного значения (обычно это достигается путем установки небольшого порогового значения и запуска алгоритма до тех пор, пока оно не увеличится меньше этого порогового значения), выполните следующие действия на каждом узле:

Получите все сообщения от родителей.
Получить все сообщения от детей (для этого может потребоваться, чтобы дети получали сообщения от других родителей).
Вычислите ожидаемое значение узлов достаточной статистики.

Ограничения

Поскольку каждый дочерний элемент должен быть сопряжен со своим родителем, это ограничивает типы распределений, которые можно использовать в модели. Например, родительскими элементами распределения Гаусса должны быть распределение Гаусса (соответствующее среднему значению ) и гамма-распределение (соответствующее точности или $\sigma$ в более распространенных параметризациях). Дискретные переменные могут иметь Дирихле родителей , а узлы Пуассона и экспоненциальные узлы должны иметь родительских гамм . Совсем недавно VMP был расширен для работы с моделями, нарушающими это ограничение условной сопряженности. ^[1]

Ссылки

^ Ноулз, Дэвид А.; Минка, Томас П. (2011). «Несопряженная вариационная передача сообщений для полиномиальной и бинарной регрессии» (PDF) . НейрИПС .

Винн, Дж. М.; Бишоп, К. (2005). «Вариационная передача сообщений» (PDF) . Журнал исследований машинного обучения . 6 : 661–694.
Бил, MJ (2003). Вариационные алгоритмы для приближенного байесовского вывода (PDF) (доктор философии). Отделение вычислительной нейронауки «Гэтсби», Университетский колледж Лондона. Архивировано из оригинала (PDF) 28 апреля 2005 г. Проверено 15 февраля 2007 г.

Внешние ссылки

Infer.NET : среда вывода, включающая реализацию VMP с примерами.
dimple : система вывода с открытым исходным кодом, поддерживающая VMP.
Старая реализация VMP с примерами использования.

[1] Ноулз, Дэвид А.; Минка, Томас П. (2011). «Несопряженная вариационная передача сообщений для полиномиальной и бинарной регрессии» (PDF) . НейрИПС .

[1]