Псевдомаргинальный алгоритм Метрополиса – Гастингса

В вычислительной статистике псевдомаржинальный алгоритм Метрополиса – Гастингса — это метод Монте-Карло для выборки из распределения вероятностей. Это пример популярного алгоритма Метрополиса – Гастингса , который расширяет его использование на случаи, когда целевая плотность недоступна аналитически. Он основан на том факте, что алгоритм Метрополиса – Гастингса все еще может производить выборку из правильного целевого распределения, если целевая плотность в коэффициенте принятия заменяется оценкой. Он особенно популярен в байесовской статистике , где применяется, если функция правдоподобия не поддается контролю (см. пример ниже).

Описание алгоритма

Цель состоит в том, чтобы смоделировать некоторую функцию плотности вероятности. $\pi (\theta )$. Алгоритм выполняет те же шаги, что и стандартный алгоритм Метрополиса – Гастингса, за исключением того, что оценка целевой плотности заменяется неотрицательной и несмещенной оценкой. Для сравнения ниже приведены основные этапы алгоритма Метрополиса – Гастингса.

Алгоритм Метрополиса – Гастингса

См. Также: алгоритм Метрополиса – Гастингса.

Учитывая текущее состояние $\theta _{n}$ алгоритм Метрополиса – Гастингса предлагает новое состояние в соответствии с некоторой плотностью $\theta '\sim Q(\cdot \mid \theta _{n})$. Затем алгоритм устанавливает $\theta _{n+1}=\theta '$ с вероятностью

$a(\theta _{n},\theta ')=\min \left(1,{\frac {\pi (\theta ')}{\pi (\theta _{n})}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)$

в противном случае сохраняется старое состояние, т.е. $\theta _{n+1}=\theta _{n}$.

Псевдомаргинальный алгоритм Метрополиса – Гастингса

Если плотность $\pi$ аналитически недоступен, описанный выше алгоритм не может быть использован. Псевдомаргинальный алгоритм Метрополиса – Гастингса, напротив, предполагает только существование несмещенной оценки. ${\hat {\pi }}_{\theta }$, т. е. средство оценки должно удовлетворять уравнению $\mathbb {E} [{\hat {\pi }}_{\theta }]=\pi (\theta ).$ Теперь, учитывая $\theta _{n}$ и соответствующая оценка ${\hat {\pi }}_{\theta _{n}}$ алгоритм предлагает новое состояние в соответствии с некоторой плотностью $\theta '\sim Q(\cdot \mid \theta _{n})$. Далее вычислите оценку ${\hat {\pi }}_{\theta '}$ и установить $\theta _{n+1}=\theta '$ с вероятностью

$a(\theta _{n},\theta ')=\min \left(1,{\frac {{\hat {\pi }}_{\theta '}}{{\hat {\pi }}_{\theta _{n}}}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)$

в противном случае сохраняется старое состояние, т.е. $\theta _{n+1}=\theta _{n}$.

Приложение к байесовской статистике

В байесовской статистике целью вывода является апостериорное распределение.

$p(\theta \mid y)={\frac {p_{\theta }(y)p(\theta )}{p(y)}},$

где $p_{\theta }$ обозначает функцию правдоподобия, $p$ является предшествующим и $p(y)$ это априорное прогнозируемое распределение . Поскольку аналитического выражения этой величины часто не существует, вместо этого для выборки из распределения часто полагаются на методы Монте-Карло. Методы Монте-Карло часто требуют правдоподобия. $p_{\theta }(y)$ быть доступным для каждого значения параметра $\theta$. Однако в некоторых случаях вероятность не имеет аналитического выражения. Пример такого случая описан ниже.

Пример: модель скрытых переменных

Рассмотрим модель, состоящую из iid скрытых действительных случайных величин. $Z_{1},\ldots ,Z_{n}$ с $Z_{i}\sim f_{\theta }(\cdot )$ и предположим, что эти переменные можно наблюдать только через некоторый дополнительный шум $Y_{i}\mid Z_{i}=z\sim g_{\theta }(\cdot \mid z)$ для некоторой условной плотности $g$. (Например, это может быть связано с ошибкой измерения .) Нас интересует байесовский анализ этой модели, основанный на некоторых наблюдаемых данных. $y_{1},\ldots ,y_{n}$. Поэтому мы вводим некоторое априорное распределение $p(\theta )$ по параметру. Чтобы вычислить апостериорное распределение

$p(\theta \mid y_{1},\ldots ,y_{n})\propto p_{\theta }(y_{1},\ldots ,y_{n})p(\theta )$

нам нужно найти правдоподобия функцию $p_{\theta }(y_{1},\ldots ,y_{n})$. Вероятностный вклад любой наблюдаемой точки данных $y$ тогда

$p_{\theta }(y)=\int g_{\theta }(y\mid z)f_{\theta }(z)\,dz$

и совместная вероятность наблюдаемых данных $y_{1},\ldots ,y_{n}$ является

$p_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}p_{\theta }(y_{i})=\prod _{i=1}^{n}\int g_{\theta }(y_{i}\mid z_{i})f_{\theta }(z_{i})\,dz_{i}.$

Если интеграл в правой части аналитически недоступен, для оценки вероятности можно использовать выборку по важности. Внедрить вспомогательный дистрибутив $q$ такой, что $g_{\theta }(y\mid z)f_{\theta }(z)>0\Rightarrow q(z)>0$ для всех $z$ затем

${\hat {p}}_{\theta }(y_{i})={\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{k})f_{\theta }(Z_{k})}{q(Z_{k})}},\qquad Z_{k}{\overset {i.i.d.}{\sim }}q(\cdot )$

является несмещенной оценкой $p_{\theta }(y_{i})$ и совместная вероятность может быть оценена беспристрастно с помощью

${\hat {p}}_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}{\hat {p}}_{\theta }(y_{i})=\prod _{i=1}^{n}{\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{i,k})f_{\theta }(Z_{i,k})}{q(Z_{i,k})}},\qquad Z_{i,k}{\overset {i.i.d.}{\sim }}q(\cdot ).$

Расширения

Псевдомаргинальные алгоритмы Метрополиса-Гастингса можно рассматривать как частный случай так называемых маргинальных алгоритмов Метрополиса-Гастингса. В последнем случае несмещенные оценки плотностей, относящиеся к статическим параметрам в моделях в пространстве состояний, могут быть получены с использованием фильтра частиц . Хотя алгоритм позволяет делать выводы как по совместному пространству статических параметров, так и по скрытым переменным, когда интерес представляют только статические параметры, алгоритм эквивалентен псевдомаржинальному алгоритму.