Интегрированные вложенные аппроксимации Лапласа

Интегрированные вложенные аппроксимации Лапласа ( INLA ) — это метод приближенного байесовского вывода, основанный на методе Лапласа . Он предназначен для класса моделей, называемых латентными моделями Гаусса (LGM), для которых он может быть быстрой и точной альтернативой методам Монте-Карло для цепей Маркова для вычисления апостериорных маргинальных распределений. Благодаря своей относительной скорости даже при работе с большими наборами данных для определенных проблем и моделей, INLA стал популярным методом вывода в прикладной статистике, в частности в пространственной статистике , экологии и эпидемиологии . Также возможно объединить INLA с частных производных методом конечных элементов в решением стохастического уравнения для изучения, например, пространственных точечных процессов и моделей распределения видов . Метод INLA реализован в R-INLA R. пакете

Скрытые гауссовы модели

Позволять ${\boldsymbol {y}}=(y_{1},\dots ,y_{n})$ обозначают переменную ответа (то есть наблюдения), которая принадлежит экспоненциальному семейству со средним значением $\mu _{i}$ (из $y_{i}$) будучи связанным с линейным предиктором $\eta _{i}$ через соответствующую функцию ссылки . Линейный предиктор может принимать форму (байесовской) аддитивной модели. Все скрытые эффекты (линейный предиктор, точка пересечения, коэффициенты возможных ковариат и т. д.) коллективно обозначаются вектором ${\boldsymbol {x}}$. Гиперпараметры модели обозначаются ${\boldsymbol {\theta }}$. Согласно байесовской статистике, ${\boldsymbol {x}}$ и ${\boldsymbol {\theta }}$ являются случайными величинами с априорными распределениями.

Наблюдения считаются условно независимыми, если ${\boldsymbol {x}}$ и ${\boldsymbol {\theta }}$: $$\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})=\prod _{i\in {\mathcal {I}}}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }}),$$где ${\mathcal {I}}$ – набор индексов наблюдаемых элементов ${\boldsymbol {y}}$ (некоторые элементы могут быть ненаблюдаемыми, и для них INLA вычисляет апостериорное прогнозируемое распределение). Обратите внимание, что линейный предиктор ${\boldsymbol {\eta }}$ является частью ${\boldsymbol {x}}$.

Чтобы модель была скрытой гауссовой моделью, предполагается, что ${\boldsymbol {x}}|{\boldsymbol {\theta }}$ представляет собой гауссово марковское случайное поле (GMRF). (то есть многомерная гауссиана с дополнительными свойствами условной независимости) с плотностью вероятности $$\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\propto \left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}\right),$$где ${\boldsymbol {Q_{\theta }}}$ это ${\boldsymbol {\theta }}$-зависимая матрица разреженной точности и $\left|{\boldsymbol {Q_{\theta }}}\right|$ является его определяющим фактором. Матрица точности разрежена из-за предположения GMRF. Предыдущее распределение $\pi ({\boldsymbol {\theta }})$ поскольку гиперпараметры не обязательно должны быть гауссовскими. Однако количество гиперпараметров, $m=\mathrm {dim} ({\boldsymbol {\theta }})$, предполагается небольшим (скажем, менее 15).

Приблизительный байесовский вывод с помощью INLA

В байесовском выводе нужно найти апостериорное распределение скрытых переменных. ${\boldsymbol {x}}$ и ${\boldsymbol {\theta }}$. Применение теоремы Байеса $$\pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\pi ({\boldsymbol {\theta }})}{\pi ({\boldsymbol {y}})}},$$совместное заднее распределение ${\boldsymbol {x}}$ и ${\boldsymbol {\theta }}$ дается $${\begin{aligned}\pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})&\propto \pi ({\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\prod _{i}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\\&\propto \pi ({\boldsymbol {\theta }})\left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}+\sum _{i}\log \left[\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\right]\right).\end{aligned}}$$Получение точного заднего изображения, как правило, является очень сложной задачей. В INLA основная цель – сблизить задние края. $${\begin{array}{rcl}\pi (x_{i}|{\boldsymbol {y}})&=&\int \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})\pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\\pi (\theta _{j}|{\boldsymbol {y}})&=&\int \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}$$где ${\boldsymbol {\theta }}_{-j}=\left(\theta _{1},\dots ,\theta _{j-1},\theta _{j+1},\dots ,\theta _{m}\right)$.

Ключевая идея INLA заключается в построении вложенных аппроксимаций, заданных формулой $${\begin{array}{rcl}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}(x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}}){\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\{\widetilde {\pi }}(\theta _{j}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}$$где ${\widetilde {\pi }}(\cdot |\cdot )$ представляет собой приблизительную апостериорную плотность. Приближение к предельной плотности $\pi (x_{i}|{\boldsymbol {y}})$ получается вложенным способом путем первой аппроксимации $\pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})$ и $\pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})$, а затем численно интегрируя ${\boldsymbol {\theta }}$ как $${\begin{aligned}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})=\sum _{k}{\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)\times {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})\times \Delta _{k},\end{aligned}}$$где суммирование ведется по значениям ${\boldsymbol {\theta }}$, с весами интегрирования, заданными выражением $\Delta _{k}$. Приближение $\pi (\theta _{j}|{\boldsymbol {y}})$ вычисляется путем численного интегрирования ${\boldsymbol {\theta }}_{-j}$ из ${\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})$.

Чтобы получить приблизительное распределение ${\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})$, можно использовать соотношение $${\begin{aligned}{\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }},{\boldsymbol {y}}\right)}{\pi \left({\boldsymbol {x}}|{\boldsymbol {\theta }},{\boldsymbol {y}}\right)\pi ({\boldsymbol {y}})}},\end{aligned}}$$как отправная точка. Затем ${\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})$ получается при определенном значении гиперпараметров ${\boldsymbol {\theta }}={\boldsymbol {\theta }}_{k}$ с приближением Лапласа $${\begin{aligned}{\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})&\propto \left.{\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\\&\propto \left.{\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {\theta }}_{k})}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\end{aligned}}$$где ${\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)$ представляет собой гауссово приближение к ${\pi }\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)$ чей режим в данный момент ${\boldsymbol {\theta }}_{k}$ является ${\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})$. Режим можно найти численно, например, с помощью метода Ньютона-Рафсона .

Хитрость приведенного выше приближения Лапласа заключается в том, что приближение Гаусса применяется к полному условию ${\boldsymbol {x}}$ в знаменателе, поскольку он обычно близок к гауссову из-за свойства GMRF ${\boldsymbol {x}}$. Применение здесь аппроксимации повышает точность метода, поскольку апостериорный ${\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})$ само по себе не обязательно должно быть близко к гауссову, поэтому приближение Гаусса не применяется напрямую к ${\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})$. Второе важное свойство GMRF — разреженность прецизионной матрицы. ${\boldsymbol {Q}}_{{\boldsymbol {\theta }}_{k}}$, требуется для эффективного вычисления ${\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})$ для каждого значения ${{\boldsymbol {\theta }}_{k}}$.

Получение приблизительного распределения ${\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)$ является более сложным, и метод INLA предоставляет для этого три варианта: аппроксимация Гаусса, аппроксимация Лапласа или упрощенная аппроксимация Лапласа. Для численного интегрирования, чтобы получить ${\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})$, также доступны три варианта: поиск по сетке, центральный составной дизайн или эмпирический Байес.

Дальнейшее чтение

• Гомес-Рубио, Виргилио (2021). Байесовский вывод с INLA . Чепмен и Холл/CRC. ISBN  978-1-03-217453-2 .