Дополнительный сажевый фильтр

Вспомогательный фильтр частиц — это алгоритм фильтрации частиц , представленный Питтом и Шепардом в 1999 году для устранения некоторых недостатков алгоритма повторной выборки последовательной важности (SIR) при работе с хвостатыми плотностями наблюдений.

Мотивация

Фильтры частиц аппроксимируют непрерывную случайную величину $M$ частицы с дискретной вероятностной массой $\pi _{t}$, сказать $1/M$ для равномерного распределения. Частицы, выбранные случайным образом, можно использовать для аппроксимации функции плотности вероятности непрерывной случайной величины, если значение $M\rightarrow \infty$.

Плотность эмпирического предсказания получается как взвешенная сумма этих частиц:

${\widehat {f}}(\alpha _{t+1}|Y_{t})=\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}$, и мы можем рассматривать ее как «априорную» плотность. Обратите внимание, что предполагается, что частицы имеют одинаковый вес. $\pi _{t}^{j}={\frac {1}{M}}$.

Объединение предварительной плотности ${\widehat {f}}(\alpha _{t+1}|Y_{t})$ и вероятность $f(y_{t+1}|\alpha _{t+1})$, эмпирическую плотность фильтрации можно определить как:

${\widehat {f}}(\alpha _{t+1}|Y_{t+1})={\frac {f(y_{t+1}|\alpha _{t+1}){\widehat {f}}(\alpha _{t+1}|Y_{t})}{f(y_{t+1}|Y_{t})}}\propto f(y_{t+1}|\alpha _{t+1})\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}$, где $f(y_{t+1}|Y_{t})=\int f(y_{t+1}|\alpha _{t+1})dF(\alpha _{t+1}|Y_{t})$.

С другой стороны, истинная плотность фильтрации, которую мы хотим оценить, равна

$f(\alpha _{t+1}|Y_{t+1})={\frac {f(y_{t+1}|\alpha _{t+1})f(\alpha _{t+1}|Y_{t})}{f(y_{t+1}|Y_{t})}}$.

Предварительная плотность ${\widehat {f}}(\alpha _{t+1}|Y_{t})$ может использоваться для аппроксимации истинной плотности фильтрации $f(\alpha _{t+1}|Y_{t+1})$:

• Фильтры твердых частиц вытягивают $R$ образцы из предыдущей плотности ${\widehat {f}}(\alpha _{t+1}|Y_{t})$. Каждая выборка отбирается с равной вероятностью.
• Присвойте каждому образцу веса $\pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}},\omega _{j}=f(y|\alpha ^{j})$. Веса представляют функцию правдоподобия $f(y_{t+1}|\alpha _{t+1})$.
• Если число $R\rightarrow \infty$, чем выборки сходятся к желаемой истинной плотности фильтрации.
• The $R$ частицы пересчитываются в $M$ частицы с весом $\pi _{j}$.

К недостаткам сажевых фильтров относятся:

• Если вес { $\omega _{j}$} имеет большую дисперсию, объем выборки $R$ должно быть достаточно большим, чтобы выборки приблизительно соответствовали эмпирической плотности фильтрации. Другими словами, хотя вес широко распределен, метод SIR будет неточным и адаптация будет затруднена.

Поэтому для решения этой проблемы предлагается вспомогательный сажевый фильтр.

Дополнительный сажевый фильтр

Вспомогательная переменная

Сравнивая с эмпирической плотностью фильтрации, которая ${\widehat {f}}(\alpha _{t+1}|Y_{t+1})\propto f(y_{t+1}|\alpha _{t+1})\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}$,

мы теперь определяем ${\widehat {f}}(\alpha _{t+1},k|Y_{t+1})\propto f(y_{t+1}|\alpha _{t+1})f(\alpha _{t+1}|\alpha _{t}^{k})\pi ^{k}$, где $k=1,...,M$.

Зная, что ${\widehat {f}}(\alpha _{t+1}|Y_{t+1})$ образуется суммированием $M$ частицы, вспомогательная переменная $k$ представляет собой одну конкретную частицу. С помощью $k$, мы можем сформировать набор выборок, который имеет распределение $g(\alpha _{t+1},k|Y_{t+1})$. Затем мы извлекаем из этого набора образцов $g(\alpha _{t+1},k|Y_{t+1})$ вместо непосредственно из ${\widehat {f}}(\alpha _{t+1}|Y_{t+1})$. Другими словами, образцы берутся из ${\widehat {f}}(\alpha _{t+1}|Y_{t+1})$ с разной вероятностью. В конечном итоге образцы используются для аппроксимации $f(\alpha _{t+1}|Y_{t+1})$.

Возьмем, к примеру, метод SIR:

• Фильтры твердых частиц вытягивают $R$ образцы из $g(\alpha _{t+1},k|Y_{t+1})$.
• Присвойте каждому образцу вес $\pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}},\omega _{j}={\frac {f(y_{t+1}|\alpha _{t+1}^{j})f(\alpha _{t+1}^{j}|\alpha _{t}^{k})}{g(\alpha _{t+1}^{j},k^{j}|Y_{t+1})}}$.
• Контролируя $y_{t+1}$ и $\alpha _{t}^{k}$, веса корректируются так, чтобы быть четными.
• Аналогичным образом, $R$ частицы пересчитываются в $M$ частицы с весом $\pi _{j}$.

Исходные фильтры частиц отбирают выборки на основе априорной плотности, а вспомогательные фильтры — на основе совместного распределения априорной плотности и вероятности. Другими словами, вспомогательные фильтры частиц исключают ситуацию, при которой частицы генерируются в областях с низкой вероятностью. В результате образцы могут приблизительно $f(\alpha _{t+1}|Y_{t+1})$ точнее.

Выбор вспомогательной переменной

Выбор вспомогательной переменной влияет $g(\alpha _{t+1},k|Y_{t+1})$ и контролирует распределение образцов. Возможен выбор из $g(\alpha _{t+1},k|Y_{t+1})$ может быть:
$g(\alpha _{t+1},k|Y_{t+1})\propto f(y_{t+1}|\mu _{t+1}^{k})f(\alpha _{t+1}|\alpha _{t}^{k})\pi ^{k}$, где $k=1,...,M$ и $\mu _{t+1}^{k}$ это среднее значение.

Мы пробуем из $g(\alpha _{t+1},k|Y_{t+1})$ приблизить $f(\alpha _{t+1}|Y_{t+1})$ следующей процедурой:

• Сначала мы присваиваем вероятности индексам $f(\alpha _{t+1}|\alpha _{t}^{k})$. Мы назвали эти вероятности весами первого этапа. $\lambda _{k}$, которые пропорциональны $g(k|Y_{t+1})\propto \pi ^{k}f(y_{t+1}|\mu _{t+1}^{k})$.
• Затем мы рисуем $R$ образцы из $f(\alpha _{t+1}|\alpha _{t}^{k})$ с весовыми индексами. Поступая таким образом, мы фактически извлекаем образцы из $g(\alpha _{t+1},k|Y_{t+1})$.
• Более того, мы переназначаем веса второго этапа $\pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}}$ как вероятности $R$ образцы, где $\omega _{j}={\frac {f(y_{t+1}|\alpha _{t+1}^{j})}{f(y_{t+1}|\mu _{t+1}^{j})}}$. Веса предназначены для компенсации эффекта $\mu _{t+1}^{k}$.

• Наконец, $R$ частицы пересчитываются в $M$ частицы с весами $\pi _{j}$.

Следуя процедуре, мы рисуем $R$ образцы из $g(\alpha _{t+1},k|Y_{t+1})$. С $g(\alpha _{t+1},k|Y_{t+1})$ тесно связан со средним значением $\mu _{t+1}^{k}$, оно имеет высокую условную вероятность. В результате процедура отбора проб становится более эффективной, а значение $R$ можно уменьшить.

Другая точка зрения

Предположим, что отфильтрованная апостериорная информация описывается следующими M- взвешенными выборками:

$p(x_{t}|z_{1:t})\approx \sum _{i=1}^{M}\omega _{t}^{(i)}\delta \left(x_{t}-x_{t}^{(i)}\right).$

Затем каждый шаг алгоритма состоит из первого отбора образца индекса частицы. $k$ который будет распространяться из $t-1$ в новый шаг $t$. Эти индексы представляют собой вспомогательные переменные, используемые только в качестве промежуточного шага, отсюда и название алгоритма. Индексы строятся по вероятности некоторой контрольной точки. $\mu _{t}^{(i)}$ что каким-то образом связано с моделью перехода $x_{t}|x_{t-1}$ (например, среднее значение, выборка и т. д.):

$k^{(i)}\sim P(i=k|z_{t})\propto \omega _{t}^{(i)}p(z_{t}|\mu _{t}^{(i)})$

Это повторяется для $i=1,2,\dots ,M$, и используя эти индексы, мы теперь можем нарисовать условные выборки:

$x_{t}^{(i)}\sim p(x|x_{t-1}^{k^{(i)}}).$

Наконец, веса обновляются, чтобы учесть несоответствие между вероятностью в фактической выборке и прогнозируемой точке. $\mu _{t}^{k^{(i)}}$:

$\omega _{t}^{(i)}\propto {\frac {p(z_{t}|x_{t}^{(i)})}{p(z_{t}|\mu _{t}^{k^{(i)}})}}.$

Источники

• Питт, МК; Шепард, Н. (1999). «Фильтрация посредством моделирования: вспомогательные фильтры частиц» . Журнал Американской статистической ассоциации . 94 (446). Американская статистическая ассоциация: 590–591. дои : 10.2307/2670179 . JSTOR   2670179 . Архивировано из оригинала 16 октября 2007 г. Проверено 6 мая 2008 г.