Рекурсивная байесовская оценка

В теории вероятностей , статистике и обучении машинном рекурсивная байесовская оценка , также известная как фильтр Байеса , представляет собой общий вероятностный подход для оценки неизвестной функции плотности вероятности ( PDF ) рекурсивно во времени с использованием входящих измерений и математической модели процесса. Этот процесс в значительной степени опирается на математические концепции и модели, которые теоретически разрабатываются в рамках изучения априорных и апостериорных вероятностей, известных как байесовская статистика .

В робототехнике

Фильтр Байеса — это алгоритм, используемый в информатике для расчета вероятностей множественных убеждений, позволяющий роботу определить свое положение и ориентацию. По сути, фильтры Байеса позволяют роботам постоянно обновлять свое наиболее вероятное положение в системе координат на основе последних полученных данных датчиков. Это рекурсивный алгоритм. Он состоит из двух частей: прогнозирования и инноваций. Если переменные нормально распределены и переходы линейны, фильтр Байеса становится равным фильтру Калмана .

В простом примере робот, перемещающийся по сетке, может иметь несколько разных датчиков, которые предоставляют ему информацию об окружающей среде. Робот может начать работу с уверенностью, что он находится в позиции (0,0). Однако по мере того, как робот движется все дальше и дальше от своего исходного положения, у него становится все меньше уверенности в своем положении; с помощью байесовского фильтра можно присвоить вероятность уверенности робота в его текущем положении, и эта вероятность может постоянно обновляться на основе дополнительной информации от датчиков.

Модель

Размеры $z$ являются проявлениями скрытой марковской модели (СММ), что означает истинное состояние $x$ предполагается, что это ненаблюдаемый марковский процесс . На следующем рисунке представлена байесовская сеть HMM.

Из-за предположения Маркова вероятность текущего истинного состояния с учетом непосредственно предыдущего состояния условно независима от других более ранних состояний.

p({\textbf {x}}_{k}|{\textbf {x}}_{k-1},{\textbf {x}}_{k-2},\dots ,{\textbf {x}}_{0})=p({\textbf {x}}_{k}|{\textbf {x}}_{k-1})

Аналогично, измерение на k -м временном шаге зависит только от текущего состояния, поэтому оно условно независимо от всех других состояний с учетом текущего состояния.

p({\textbf {z}}_{k}|{\textbf {x}}_{k},{\textbf {x}}_{k-1},\dots ,{\textbf {x}}_{0})=p({\textbf {z}}_{k}|{\textbf {x}}_{k})

Используя эти предположения, распределение вероятностей по всем состояниям СММ можно просто записать как

p({\textbf {x}}_{0},\dots ,{\textbf {x}}_{k},{\textbf {z}}_{1},\dots ,{\textbf {z}}_{k})=p({\textbf {x}}_{0})\prod _{i=1}^{k}p({\textbf {z}}_{i}|{\textbf {x}}_{i})p({\textbf {x}}_{i}|{\textbf {x}}_{i-1}).

Однако при использовании фильтра Калмана для оценки состояния x интересующее распределение вероятностей связано с текущими состояниями, обусловленными измерениями до текущего временного шага. (Это достигается путем исключения предыдущих состояний и деления на вероятность набора измерений.)

Это приводит к вероятностному написанию шагов прогнозирования и обновления фильтра Калмана. Распределение вероятностей, связанное с прогнозируемым состоянием, представляет собой сумму (интеграл) произведений распределения вероятностей, связанного с переходом от ( k - 1)-го временного шага к k -му, и распределения вероятностей, связанного с предыдущим состоянием, из всех возможных $x_{k-1}$ .

p({\textbf {x}}_{k}|{\textbf {z}}_{1:k-1})=\int p({\textbf {x}}_{k}|{\textbf {x}}_{k-1})p({\textbf {x}}_{k-1}|{\textbf {z}}_{1:k-1})\,d{\textbf {x}}_{k-1}

Распределение вероятности обновления пропорционально произведению вероятности измерения и прогнозируемого состояния.

p({\textbf {x}}_{k}|{\textbf {z}}_{1:k})={\frac {p({\textbf {z}}_{k}|{\textbf {x}}_{k})p({\textbf {x}}_{k}|{\textbf {z}}_{1:k-1})}{p({\textbf {z}}_{k}|{\textbf {z}}_{1:k-1})}}\propto p({\textbf {z}}_{k}|{\textbf {x}}_{k})p({\textbf {x}}_{k}|{\textbf {z}}_{1:k-1})

Знаменатель

p({\textbf {z}}_{k}|{\textbf {z}}_{1:k-1})=\int p({\textbf {z}}_{k}|{\textbf {x}}_{k})p({\textbf {x}}_{k}|{\textbf {z}}_{1:k-1})d{\textbf {x}}_{k}

является постоянным относительно $x$ , поэтому мы всегда можем заменить его на коэффициент $\alpha$ , которым на практике обычно можно пренебречь. Числитель можно вычислить, а затем просто нормализовать, так как его интеграл должен быть равен единице.

Приложения

Фильтр Калмана — рекурсивный байесовский фильтр для многомерных нормальных распределений.
Фильтр частиц — метод, основанный на последовательном методе Монте-Карло (SMC), который моделирует PDF с использованием набора дискретных точек.
Оценщики на основе сетки , которые подразделяют PDF на детерминированную дискретную сетку.

Последовательная байесовская фильтрация

Последовательная байесовская фильтрация — это расширение байесовской оценки на случай, когда наблюдаемое значение изменяется во времени. Это метод оценки реального значения наблюдаемой переменной, которая меняется во времени.

Есть несколько вариаций:

фильтрация: при оценке текущего значения с учетом прошлых и текущих наблюдений,
сглаживание: при оценке прошлых значений с учетом прошлых и текущих наблюдений, и
прогноз: при оценке вероятной будущей стоимости с учетом прошлых и текущих наблюдений.

Понятие последовательной байесовской фильтрации широко используется в системах управления и робототехники .

Дальнейшее чтение

Арулампалам, М. Санджив; Маскелл, Саймон; Гордон, Нил (2002). «Учебное пособие по фильтрам частиц для онлайн-нелинейного/негауссовского байесовского отслеживания». Транзакции IEEE по обработке сигналов . 50 (2): 174–188. CiteSeerX 10.1.1.117.1144 . дои : 10.1109/78.978374 .
Беркхарт, Майкл К. (2019). «Глава 1. Обзор байесовской фильтрации». Дискриминационный подход к байесовской фильтрации с применением к декодированию нейронных сетей человека . Провиденс, Род-Айленд, США: Университет Брауна. дои : 10.26300/nhfp-xv22 .
Чен, Чжэ Сейдж (2003). «Байесовская фильтрация: от фильтров Калмана к фильтрам частиц и не только». Статистика: журнал теоретической и прикладной статистики . 182 (1): 1–69.
Диард, Жюльен; Бессьер, Пьер; Мазер, Эммануэль (2003). «Обзор вероятностных моделей с использованием методологии байесовского программирования в качестве объединяющей основы» (PDF) . cogprints.org.
Сярккя, Симо (2013). Байесовская фильтрация и сглаживание (PDF) . Издательство Кембриджского университета.
Волков, Александр (2015). «Границы точности негауссовского байесовского отслеживания в среде NLOS». Обработка сигналов . 108 : 498–508. дои : 10.1016/j.sigpro.2014.10.025 .