Приближение Лапласа

Не путать с методом Лапласа , который основан на по сути идентичной конструкции. В то время как метод Лапласа фокусируется на предельном поведении интеграла, приближение Лапласа не используется в пределе и рассматривает как интеграл, так и подынтегральную функцию. Это различие в именах не может быть универсальным.

Аппроксимация Лапласа обеспечивает аналитическое выражение апостериорного распределения вероятностей путем аппроксимации распределения Гаусса со средним значением, равным решению MAP , и точностью, равной наблюдаемой информации Фишера . Аппроксимация оправдывается теоремой Бернштейна-фон Мизеса , которая утверждает, что в условиях регулярности ошибка аппроксимации стремится к 0, поскольку количество точек данных стремится к бесконечности.

Например, рассмотрим модель регрессии или классификации с набором данных. $\{x_{n},y_{n}\}_{n=1,\ldots ,N}$ включающий входные данные $x$ и результаты $y$ с (неизвестным) вектором параметров $\theta$ длины $D$. Вероятность ​ обозначается $p({\bf {y}}|{\bf {x}},\theta )$ и параметр до $p(\theta )$. Предположим, кто-то хочет аппроксимировать совместную плотность результатов и параметров. $p({\bf {y}},\theta |{\bf {x}})$. Формула Байеса гласит:

$p({\bf {y}},\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}},\theta )p(\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}})p(\theta |{\bf {y}},{\bf {x}})\;\simeq \;{\tilde {q}}(\theta )\;=\;Zq(\theta ).$

Совместное значение равно произведению правдоподобия и априорного значения и по правилу Байеса равно произведению предельного правдоподобия . $p({\bf {y}}|{\bf {x}})$ и задний $p(\theta |{\bf {y}},{\bf {x}})$. Рассматривается как функция $\theta$ сустав имеет ненормализованную плотность.

В приближении Лапласа мы аппроксимируем сустав ненормированной гауссовой ${\tilde {q}}(\theta )=Zq(\theta )$, где мы используем $q$ для обозначения приблизительной плотности, ${\tilde {q}}$ для ненормализованной плотности и $Z$ константа нормализации ${\tilde {q}}$ (независимо от $\theta$). Поскольку предельная вероятность $p({\bf {y}}|{\bf {x}})$ не зависит от параметра $\theta$ и задняя часть $p(\theta |{\bf {y}},{\bf {x}})$ нормализуется $\theta$ мы можем сразу идентифицировать их по $Z$ и $q(\theta )$ нашего приближения соответственно.

Приближение Лапласа

$p({\bf {y}},\theta |{\bf {x}})\;\simeq \;p({\bf {y}},{\hat {\theta }}|{\bf {x}})\exp {\big (}-{\tfrac {1}{2}}(\theta -{\hat {\theta }})^{\top }S^{-1}(\theta -{\hat {\theta }}){\big )}\;=\;{\tilde {q}}(\theta ),$

где мы определили

${\begin{aligned}{\hat {\theta }}&\;=\;\operatorname {argmax} _{\theta }\log p({\bf {y}},\theta |{\bf {x}}),\\S^{-1}&\;=\;-\left.\nabla _{\theta }\nabla _{\theta }\log p({\bf {y}},\theta |{\bf {x}})\right|_{\theta ={\hat {\theta }}},\end{aligned}}$

где ${\hat {\theta }}$ это местоположение моды совместной целевой плотности, также известной как максимальная апостериорная точка или точка MAP, и $S^{-1}$ это $D\times D$ положительно определенная матрица вторых производных целевой плотности отрицательного логарифмического соединения в режиме $\theta ={\hat {\theta }}$. Таким образом, гауссово приближение соответствует значению и логарифмической кривизне ненормализованной целевой плотности в режиме. Стоимость ${\hat {\theta }}$ обычно находится с использованием метода, основанного на градиенте .

Подводя итог, мы имеем

${\begin{aligned}q(\theta )&\;=\;{\cal {N}}(\theta |\mu ={\hat {\theta }},\Sigma =S),\\\log Z&\;=\;\log p({\bf {y}},{\hat {\theta }}|{\bf {x}})+{\tfrac {1}{2}}\log |S|+{\tfrac {D}{2}}\log(2\pi ),\end{aligned}}$

для приблизительного заднего конца $\theta$ и приблизительное логарифмическое предельное правдоподобие соответственно.

Основные недостатки приближения Лапласа заключаются в том, что оно симметрично относительно моды и очень локально: все приближение выводится из свойств в одной точке целевой плотности. Метод Лапласа широко используется и был впервые использован в контексте нейронных сетей Дэвидом Маккеем. и для гауссовских процессов Уильямса и Барбера.