Байесовское программирование

Байесовское программирование — это формализм и методология, позволяющая определять вероятностные модели и решать проблемы, когда доступно меньше необходимой информации.

Эдвин Т. Джейнс предположил, что вероятность можно рассматривать как альтернативу и расширение логики рациональных рассуждений с неполной и неопределенной информацией. В своей основополагающей книге «Теория вероятностей: логика науки». ^[1] он разработал эту теорию и предложил то, что он назвал «роботом», который не былфизическое устройство, а машина вывода для автоматизации вероятностных рассуждений — своего рода Пролог для вероятности, а не для логики. Байесовское программирование ^[2] является формальной и конкретной реализацией этого «робота».

Байесовское программирование также можно рассматривать как алгебраический формализм для определения графических моделей, таких как, например, байесовские сети , динамические байесовские сети , фильтры Калмана или скрытые модели Маркова . Действительно, байесовское программирование является более общим, чем байесовские сети , и имеет силу выражения, эквивалентную вероятностным графам факторов . ^[3]

Формализм

Байесовская программа — это средство задания семейства вероятностных распределений.

Составные элементы байесовской программы представлены ниже: ^[4]

{\text{Program}}{\begin{cases}{\text{Description}}{\begin{cases}{\text{Specification}}(\pi ){\begin{cases}{\text{Variables}}\\{\text{Decomposition}}\\{\text{Forms}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\{\text{Question}}\end{cases}}

Программа состоит из описания и вопроса.
Описание строится с использованием некоторой спецификации ( $\pi$ ), как задано программистом, и процесс идентификации или обучения для параметров, не полностью указанных в спецификации, с использованием набора данных ( $\delta$ ).
Спецификация состоит из набора соответствующих переменных, декомпозиции и набора форм.
Формы — это либо параметрические формы, либо вопросы к другим байесовским программам.
Вопрос определяет, какое распределение вероятностей необходимо вычислить.

Описание

Цель описания — указать эффективный метод вычисления совместного распределения вероятностей. по набору переменных $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ учитывая набор экспериментальных данных $\delta$ и некоторыеспецификация $\pi$ . Это совместное распределение обозначается как: $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$ . ^[5]

Уточнить предварительные знания $\pi$ , программист должен предпринять следующее:

Определите набор соответствующих переменных $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ на котором определяется совместное распределение.
Разложить совместное распределение (разбить его на соответствующие независимые или условные вероятности ).
Определите формы каждого из распределений (например, для каждой переменной один из списка вероятностных распределений ).

Разложение

Учитывая раздел $\left\{X_{1},X_{2},\ldots ,X_{N}\right\}$ содержащий $K$ подмножества, $K$ переменные определены $L_{1},\cdots ,L_{K}$ , каждый из которых соответствует одному из этих подмножеств.Каждая переменная $L_{k}$ получается как конъюнкция переменных $\left\{X_{k_{1}},X_{k_{2}},\cdots \right\}$ принадлежащий к $k^{th}$ подмножество. Рекурсивное применение теоремы Байеса приводит к:

{\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\wedge \cdots \wedge L_{K}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid L_{1}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid L_{K-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)\end{aligned}}

Гипотезы условной независимости допускают дальнейшие упрощения. Условныйгипотеза независимости переменной $L_{k}$ определяется выбором некоторой переменной $X_{n}$ среди переменных, входящих в союз $L_{k-1}\wedge \cdots \wedge L_{2}\wedge L_{1}$ , маркировка $R_{k}$ каксочетание этих выбранных переменных и настройки:

P\left(L_{k}\mid L_{k-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)=P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)

Затем мы получаем:

{\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid R_{2}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid R_{K}\wedge \delta \wedge \pi \right)\end{aligned}}

Такое упрощение совместного распределения как продукта более простых распределений естьназывается разложением, полученным с использованием цепного правила .

Это гарантирует, что каждая переменная появится не более одного раза слева от условия.бар, что является необходимым и достаточным условием для записи математически достоверныхразложения. ^{[ нужна ссылка ]}

Формы

Каждое распределение $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)$ появление в продукте затем ассоциируетсялибо параметрической формой (т. е. функцией $f_{\mu }\left(L_{k}\right)$ ) или вопрос к другой байесовской программе $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)=P\left(L\mid R\wedge {\widehat {\delta }}\wedge {\widehat {\pi }}\right)$ .

Когда это форма $f_{\mu }\left(L_{k}\right)$ , в общем, $\mu$ представляет собой вектор параметров, которые могут зависеть от $R_{k}$ или $\delta$ или оба. Обучениепроисходит, когда некоторые из этих параметров вычисляются с использованием набора данных $\delta$ .

Важной особенностью байесовского программирования является способность использовать вопросы к другим байесовским программам в качестве компонентов определения новой байесовской программы. $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)$ получается путем некоторых выводов, сделанных другой байесовской программой, определенной спецификациями ${\widehat {\pi }}$ и данные ${\widehat {\delta }}$ . Это похоже на вызов подпрограммы в классическом программировании и обеспечивает простой способ построения иерархических моделей .

Вопрос

Учитывая описание (т.е. $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$ ), вопрос получается разбиением $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ на три набора: искомые переменные, известные переменные исвободные переменные.

3 переменные $Searched$ , $Known$ и $Free$ определяются какобъединение переменных, принадлежащихэти наборы.

Вопрос определяется как набордистрибутивов:

P\left(Searched\mid {\text{Known}}\wedge \delta \wedge \pi \right)

состоит из множества «конкретизированных вопросов», как кардинал $Known$ ,каждый конкретизированный вопрос представляет собой распределение:

P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)

Вывод

Учитывая совместное распределение $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$ , всегда можно вычислить любой возможный вопрос, используя следующий общий вывод:

{\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&\sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\right]\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle P\left({\text{Known}}\mid \delta \wedge \pi \right)}}\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle \sum _{{\text{Free}}\wedge {\text{Searched}}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}}\\={}&{\frac {1}{Z}}\times \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]\end{aligned}}

где первое равенство является результатом правила маргинализации, второеявляется результатом теоремы Байеса , а третий соответствует второму применению маргинализации. Знаменатель является нормировочным членом и может быть заменен константой. $Z$ .

Теоретически это позволяет решить любую задачу байесовского вывода. На практике,однако стоимость вычислений исчерпывающе и точно $P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)$ почти во всех случаях слишком велик.

Заменив совместное распределение его разложением, получим:

{\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&{\frac {1}{Z}}\sum _{\text{Free}}\left[\prod _{k=1}^{K}\left[P\left(L_{i}\mid K_{i}\wedge \pi \right)\right]\right]\end{aligned}}

которое обычно представляет собой гораздо более простое выражение для вычисления, поскольку размерность задачи значительно уменьшается за счет разложения на произведение распределений меньшей размерности.

Пример

Обнаружение байесовского спама

Целью байесовской фильтрации спама является устранение нежелательной почты.

Проблему очень легко сформулировать. Электронная почта должна быть засекречена.в одну из двух категорий: неспам или спам. Единственной доступной информацией для классификации электронных писем является их содержание: набор слов. Использование этих слов без учета порядка обычно называют моделью «мешка слов» .

Кроме того, классификатор должен иметь возможность адаптироваться к своему пользователю и обучатьсяиз опыта. Начиная с первоначальной стандартной настройки, классификатор долженизменять свои внутренние параметры, когда пользователь не согласен с его собственным решением.Таким образом, он будет адаптироваться к критериям пользователя, чтобы различать спам и спам.спам. Он улучшит свои результаты по мере обнаружения все более секретных электронных писем.

Переменные

Переменные, необходимые для написания этой программы, следующие:

$Spam$ : двоичная переменная, false, если электронное письмо не является спамом, и true в противном случае.
$W_{0},W_{1},\ldots ,W_{N-1}$ : $N$ двоичные переменные . $W_{n}$ верно, если $n^{th}$ слово словаря присутствует в тексте.

Эти $N+1$ двоичные переменные суммируют всю информациюоб электронной почте.

Разложение

Начиная с совместного распределения и рекурсивно применяя теорему Байеса, получаем:

{\begin{aligned}&P({\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-1})\\={}&P({\text{Spam}})\times P(W_{0}\mid {\text{Spam}})\times P(W_{1}\mid {\text{Spam}}\wedge W_{0})\\&\times \cdots \\&\times P\left(W_{N-1}\mid {\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-2}\right)\end{aligned}}

Это точное математическое выражение.

Его можно существенно упростить, если предположить, что вероятность появления слова, зная природу текста (спам или нет), не зависит от появления других слов. Это наивное байесовское предположение, и это делает этот спам-фильтр наивной байесовской моделью.

Например, программист может предположить, что:

P(W_{1}\mid {\text{Spam}}\land W_{0})=P(W_{1}\mid {\text{Spam}})

чтобы наконец получить:

P({\text{Spam}}\land W_{0}\land \ldots \land W_{N-1})=P({\text{Spam}})\prod _{n=0}^{N-1}[P(W_{n}\mid {\text{Spam}})]

Такое предположение известно как предположение наивного Байеса . Оно «наивно» в том смысле, что независимость слов явно не совсем верна. Например, он совершенно не учитывает, что появление пар слов может быть более значимым, чем появление отдельных слов. Однако программист может предположить эту гипотезу и разработать модель и связанные с ней выводы, чтобы проверить, насколько она надежна и эффективна.

Параметрические формы

Чтобы иметь возможность вычислить совместное распределение, программист теперь должен указать $N+1$ распределения, возникающие при разложении:

$P({\text{Spam}})$ априорно определяется, например, $P([{\text{Spam}}=1])=0.75$
Каждый из $N$ $N$ формы $P(W_{n}\mid {\text{Spam}})$ $P(W_{n}\mid {\text{Спам}})$ может быть задано с использованием правила последовательности Лапласа (это метод сглаживания на основе псевдосчетов для решения проблемы нулевой частоты слов, которые никогда раньше не встречались):
1. $P(W_{n}\mid [{\text{Spam}}={\text{false}}])={\frac {1+a_{f}^{n}}{2+a_{f}}}$
2. $P(W_{n}\mid [{\text{Spam}}={\text{true}}])={\frac {1+a_{t}^{n}}{2+a_{t}}}$

где $a_{f}^{n}$ обозначает количество появлений $n^{th}$ слово в электронных письмах, не являющихся спамом, и $a_{f}$ означает общее количество электронных писем, не являющихся спамом. Сходным образом, $a_{t}^{n}$ обозначает количество появлений $n^{th}$ слово в спам-сообщениях и $a_{t}$ означает общее количество спам-сообщений по электронной почте.

Идентификация

The $N$ формы $P(W_{n}\mid {\text{Spam}})$ еще не полностью определены, поскольку $2N+2$ параметры $a_{f}^{n=0,\ldots ,N-1}$ , $a_{t}^{n=0,\ldots ,N-1}$ , $a_{f}$ и $a_{t}$ еще не имеют ценностей.

Идентификация этих параметров может быть выполнена либо путем пакетной обработки серии классифицированных электронных писем, либо путем постепенного обновления параметров с использованием пользовательских классификаций электронных писем по мере их поступления.

Оба метода можно комбинировать: система может начать с начальных стандартных значений этих параметров, полученных из общей базы данных, а затем в ходе постепенного обучения настраивает классификатор для каждого отдельного пользователя.

Вопрос

Программе задается вопрос: «Какова вероятность того, что данный текст будет спамом, зная, какие слова встречаются, а какие нет в этом тексте?»Формализовать его можно:

P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})

который можно вычислить следующим образом:

{\begin{aligned}&P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})\\={}&{\frac {\displaystyle P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]}{\displaystyle \sum _{\text{Spam}}[P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]]}}\end{aligned}}

Знаменатель представляет собой константу нормализации . Нет необходимости вычислять его, чтобы решить, имеем ли мы дело со спамом. Например, простой трюк — вычислить соотношение:

{\begin{aligned}&{\frac {P([{\text{Spam}}={\text{true}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}{P([{\text{Spam}}={\text{false}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}}\\={}&{\frac {P([{\text{Spam}}={\text{true}}])}{P([{\text{Spam}}={\text{false}}])}}\times \prod _{n=0}^{N-1}\left[{\frac {P(w_{n}\mid [{\text{Spam}}={\text{true}}])}{P(w_{n}\mid [{\text{Spam}}={\text{false}}])}}\right]\end{aligned}}

Это вычисление происходит быстрее и проще, поскольку для него требуется всего лишь $2N$ продукты.

Байесовская программа

Программа байесовского фильтра спама полностью определяется:

\Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:{\text{Spam}},W_{0},W_{1}\ldots W_{N-1}\\Dc:{\begin{cases}P({\text{Spam}}\land W_{0}\land \ldots \land W_{n}\land \ldots \land W_{N-1})\\=P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}\mid {\text{Spam}})\end{cases}}\\Fo:{\begin{cases}P({\text{Spam}}):{\begin{cases}P([{\text{Spam}}={\text{false}}])=0.25\\P([{\text{Spam}}={\text{true}}])=0.75\end{cases}}\\P(W_{n}\mid {\text{Spam}}):{\begin{cases}P(W_{n}\mid [{\text{Spam}}={\text{false}}])\\={\frac {1+a_{f}^{n}}{2+a_{f}}}\\P(W_{n}\mid [{\text{Spam}}={\text{true}}])\\={\frac {1+a_{t}^{n}}{2+a_{t}}}\end{cases}}\\\end{cases}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\Qu:P({\text{Spam}}\mid w_{0}\land \ldots \land w_{n}\land \ldots \land w_{N-1})\end{cases}}

Байесовский фильтр, фильтр Калмана и скрытая модель Маркова

Байесовские фильтры (часто называемые рекурсивной байесовской оценкой ) представляют собой общие вероятностные модели для процессов, развивающихся во времени. Многочисленные модели являются частными примерами этого общего подхода, например: фильтр Калмана или скрытая модель Маркова (СММ).

Переменные

Переменные $S^{0},\ldots ,S^{T}$ представляют собой временные ряды переменных состояния, которые считаются находящимися на временном горизонте от $0$ к $T$ .
Переменные $O^{0},\ldots ,O^{T}$ представляют собой временные ряды переменных наблюдения на одном и том же горизонте.

Разложение

Разложение основано на:

на $P(S^{t}\mid S^{t-1})$ , называемая моделью системы, моделью перехода или динамической моделью, которая формализует переход из состояния во времени $t-1$ государству в момент времени $t$ ;
на $P(O^{t}\mid S^{t})$ , называемая моделью наблюдения, которая выражает то, что можно наблюдать в данный момент времени. $t$ когда система находится в состоянии $S^{t}$ ;
в исходном состоянии в момент времени $0$ : $P(S^{0}\wedge O^{0})$ .

Параметрические формы

Параметрические формы не ограничены, и разные варианты выбора приводят к различным хорошо известным моделям: см. фильтры Калмана и скрытые модели Маркова чуть ниже.

Вопрос

Типичный вопрос для таких моделей: $P\left(S^{t+k}\mid O^{0}\wedge \cdots \wedge O^{t}\right)$ : каково распределение вероятностей состояния в момент времени $t+k$ зная наблюдения с момента $0$ к $t$ ?

Наиболее распространенным случаем является байесовская фильтрация, где $k=0$ , который ищет текущее состояние, зная прошлые наблюдения.

Однако возможно также $(k>0)$ , чтобы экстраполировать будущее состояние на основе прошлых наблюдений или выполнить сглаживание $(k<0)$ , чтобы восстановить прошлое состояние на основе наблюдений, сделанных до или после этого момента.

Можно также задать более сложные вопросы, как показано ниже в разделе HMM.

Байесовские фильтры $(k=0)$ обладают очень интересным рекурсивным свойством, что значительно повышает их привлекательность. $P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)$ может быть вычислено просто из $P\left(S^{t-1}\mid O^{0}\wedge \cdots \wedge O^{t-1}\right)$ по следующей формуле:

{\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)\\=&P\left(O^{t}|S^{t}\right)\times \sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}

Другая интересная точка зрения на это уравнение состоит в том, чтобы учесть, что существует две фазы:Фаза прогнозирования и фаза оценки:

На этапе прогнозирования состояние прогнозируется с использованием динамической модели и оценки состояния на предыдущий момент:

{\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\\=&\sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}

На этапе оценки прогноз либо подтверждается, либо аннулируется с использованием последнего наблюдения:

{\begin{aligned}&P\left(S^{t}\mid O^{0}\wedge \cdots \wedge O^{t}\right)\\={}&P\left(O^{t}\mid S^{t}\right)\times P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\end{aligned}}

Байесовская программа

Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&P\left(S^{0}\wedge O^{0}\right)\times \prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(O^{t}|S^{t}\right)\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\right)\\P\left(S^{t}|S^{t-1}\right)\\P\left(O^{t}|S^{t}\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\{\begin{cases}{\begin{array}{l}P\left(S^{t+k}|O^{0}\wedge \cdots \wedge O^{t}\right)\\\left(k=0\right)\equiv {\text{Filtering}}\\\left(k>0\right)\equiv {\text{Prediction}}\\\left(k<0\right)\equiv {\text{Smoothing}}\end{array}}\end{cases}}\end{cases}}

Фильтр Калмана

Знаменитые фильтры Калмана. ^[6] являются частным случаем байесовского подходафильтры.

Они определяются следующей байесовской программой:

Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}|\pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\wedge \pi \right)\times P\left(O^{t}|S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv G\left(S^{t},A\bullet S^{t-1},Q\right)\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv G\left(O^{t},H\bullet S^{t},R\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\P\left(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\end{cases}}

Переменные являются непрерывными.
Модель перехода $P(S^{t}\mid S^{t-1}\wedge \pi )$ и модель наблюдения $P(O^{t}\mid S^{t}\wedge \pi )$ оба задаются с использованием законов Гаусса со средними значениями, которые являются линейными функциями обусловливающих переменных.

Используя эти гипотезы и используя рекурсивную формулу, можно решитьзадача вывода аналитически, чтобы ответить на обычный $P(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi )$ вопрос.Это приводит к чрезвычайно эффективному алгоритму, который объясняет популярность фильтров Калмана и количество их повседневных применений.

Когда нет очевидных моделей линейного перехода и наблюдения, частоможно, используя разложение Тейлора первого порядка, рассматривать эти модели как локально линейные.Это обобщение обычно называют расширенным фильтром Калмана .

Скрытая модель Маркова

Скрытые модели Маркова (HMM) — еще одна очень популярная специализация байесовских фильтров.

Они определяются следующей байесовской программой:

\Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\ldots ,S^{T},O^{0},\ldots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}\mid \pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}\mid \pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\times P\left(O^{t}\mid S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\mid \pi \right)\equiv {\text{Matrix}}\\P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv {\text{Matrix}}\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv {\text{Matrix}}\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]\end{cases}}

Переменные рассматриваются как дискретные.
Модель перехода $P\left(S^{t}\mid S^{t-1}\wedge \pi \right)$ и модель наблюдения $P\left(O^{t}\mid S^{t}\wedge \pi \right)$ являются

оба заданы с использованием матриц вероятностей.

Наиболее часто задаваемый HMM вопрос:

\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]

Какова наиболее вероятная серия состояний, которая приводит к настоящему состоянию, зная прошлые наблюдения?

На этот конкретный вопрос можно ответить с помощью конкретного и очень эффективного алгоритма.называется алгоритмом Витерби .

алгоритм Баума – Уэлча. Разработан для ХММ.

Приложения

Академические приложения

С 2000 года байесовское программирование используется для разработки как приложений робототехники , так и моделей наук о жизни. ^[7]

Робототехника

В робототехнике байесовское программирование применялось к автономной робототехнике . ^[8]^[9]^[10]^[11]^[12] роботизированные САПР , ^[13] передовые системы помощи водителю , ^[14] управление роботизированной рукой , мобильная робототехника , ^[15]^[16] взаимодействие человека и робота, ^[17] взаимодействие человека и транспортного средства (байесовские модели автономного водителя) ^[18]^[19]^[20]^[21]^[22] для видеоигр программирование и обучение аватаров ^[23] и стратегические игры в реальном времени (ИИ). ^[24]

Науки о жизни

В науках о жизни байесовское программирование использовалось в зрении для восстановления формы по движению. ^[25] моделировать зрительно-вестибулярное взаимодействие ^[26] и изучить саккадические движения глаз; ^[27] в восприятии и контроле речи для изучения раннего овладения речью. ^[28] и появление артикуляционно-акустических систем; ^[29] и моделировать восприятие и контроль почерка. ^[30]

Распознавание образов

Обучение байесовским программам имеет потенциальные применения в распознавании и синтезе голоса , распознавании изображений и обработке естественного языка. Он использует принципы композиционности (построение абстрактных представлений из частей), причинности (построение сложности из частей) и обучения обучению (использование ранее признанных концепций для облегчения создания новых концепций). ^[31]

Теории возможностей

Сравнение вероятностных подходов (не только байесовского программирования) и теорий возможностей продолжает обсуждаться.

Теории возможностей, такие как, например, нечеткие множества , ^[32] нечеткая логика ^[33] и теория возможностей ^[34] являются альтернативой вероятности для моделирования неопределенности. Они утверждают, что вероятность недостаточна или неудобна для моделирования определенных аспектов неполного/неопределенного знания.

Защита вероятности в основном основана на теореме Кокса , которая начинается с четырех постулатов, касающихся рациональных рассуждений в присутствии неопределенности. Это показывает, что единственной математической основой, удовлетворяющей этим постулатам, является теория вероятностей. Аргумент состоит в том, что любой подход, отличный от вероятностного, обязательно нарушает один из этих постулатов и ценность этого нарушения.

Вероятностное программирование

Цель вероятностного программирования — объединить возможности классических языков программирования с вероятностным моделированием (особенно байесовскими сетями ), чтобы справиться с неопределенностью, одновременно извлекая выгоду из выразительности языков программирования для кодирования сложности.

Расширенные классические языки программирования включают логические языки, предложенные в « Вероятностном похищении рога» . ^[35] Логика независимого выбора, ^[36] ПРИЗМА, ^[37] и ProbLog, который предлагает расширение Пролога.

Это также могут быть расширения функциональных языков программирования (в основном Lisp и Scheme ), таких как IBAL или CHURCH. Базовые языки программирования могут быть объектно-ориентированными, как в BLOG и FACTORIE, или более стандартными, как в CES и Figaro. ^[38]

Цель байесовского программирования другая. Предположение Джейнса о «вероятности как логике» утверждает, что вероятность — это расширение и альтернатива логике, на основе которой может быть перестроена полная теория рациональности, вычислений и программирования. ^[1] Байесовское программирование пытается заменить классические языки подходом программирования, основанным на вероятности, который учитывает неполноту и неопределенность .

Точное сравнение семантики и возможностей выражения байесовского и вероятностного программирования остается открытым вопросом.

См. также

Ссылки

^ Jump up to: ^а ^б Джейнс, ET (10 апреля 2003 г.). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN 978-1-139-43516-1 .
^ Бессьер, Пьер; Мазер, Эммануэль; Мануэль Ауактцин, Джон; Мехнача, Камель (20 декабря 2013 г.). Байесовское программирование . ЦРК Пресс. ISBN 978-1-4398-8032-6 .
^ «Графы выражений: объединяющие графы факторов и сети суммирования» (PDF) . bcf.usc.edu .
^ «Вероятностное моделирование и байесовский анализ» (PDF) . ocw.mit.edu .
^ «Байесовские сети» (PDF) . cs.brandeis.edu .
^ Кальман, Р.Э. (1960). «Новый подход к задачам линейной фильтрации и прогнозирования». Журнал фундаментальной инженерии . 82 : 33–45. дои : 10.1115/1.3662552 . S2CID 1242324 .
^ Бессьер, Пьер; Ложье, Кристиан; Зигварт, Роланд (15 мая 2008 г.). Вероятностные рассуждения и принятие решений в сенсомоторных системах . Springer Science & Business Media. ISBN 978-3-540-79006-8 .
^ Лебельтель, О.; Бессьер, П.; Диард, Дж.; Мазер, Э. (2004). «Байесовское программирование роботов» (PDF) . Продвинутая робототехника . 16 (1): 49–79. дои : 10.1023/b:auro.0000008671.38949.43 . S2CID 18768468 .
^ Диард, Дж.; Жиле, Э.; Симонин Е.; Бессьер, П. (2010). «Поэтапное изучение байесовских сенсомоторных моделей: от низкоуровневого поведения до крупномасштабной структуры окружающей среды» (PDF) . Наука о связях . 22 (4): 291–312. Бибкод : 2010ConSc..22..291D . дои : 10.1080/09540091003682561 . S2CID 216035458 .
^ Прадалье, К.; Эрмосильо, Дж.; Койке, К.; Брайон, К.; Бессьер, П.; Ложье, К. (2005). «CyCab: робот, похожий на автомобиль, автономно и безопасно перемещающийся среди пешеходов». Робототехника и автономные системы . 50 (1): 51–68. CiteSeerX 10.1.1.219.69 . дои : 10.1016/j.robot.2004.10.002 .
^ Феррейра, Дж.; Лобо, Дж.; Бессьер, П.; Кастело-Бранко, М.; Диас, Дж. (2012). «Байесовская основа активного искусственного восприятия» (PDF) . Транзакции IEEE о системах, человеке и кибернетике. Часть B: Кибернетика . 99 (2): 1–13. дои : 10.1109/TSMCB.2012.2214477 . ПМИД 23014760 . S2CID 1808051 .
^ Феррейра, JF; Диас, Дж. М. (2014). Вероятностные подходы к роботизированному восприятию . Спрингер. ISBN 978-3-319-02005-1 .
^ Мехнача, К.; Мазер, Э.; Бессьер, П. (2001). «Разработка и реализация байесовского средства моделирования САПР для робототехнических приложений». Продвинутая робототехника . 15 (1): 45–69. CiteSeerX 10.1.1.552.3126 . дои : 10.1163/156855301750095578 . S2CID 7920387 .
^ Куэ, К.; Прадалье, К.; Ложье, К.; Фрейшар, Т.; Бессьер, П. (2006). «Байесовская фильтрация занятости для отслеживания нескольких целей: автомобильное приложение» (PDF) . Международный журнал исследований робототехники . 25 (1): 19–30. дои : 10.1177/0278364906061158 . S2CID 13874685 .
^ Васудеван, С.; Зигварт, Р. (2008). «Концептуализация байесовского пространства и классификация мест для семантических карт в мобильной робототехнике». Робототехника и автономные системы . 56 (6): 522–537. CiteSeerX 10.1.1.149.4189 . дои : 10.1016/j.robot.2008.03.005 .
^ Перрин, X.; Чаварриага, Р.; Колас, Ф.; Зейгварт, Р.; Миллан, Дж. (2010). «Мозговое взаимодействие для полуавтономной навигации вспомогательного робота» . Робототехника и автономные системы . 58 (12): 1246–1255. дои : 10.1016/j.robot.2010.05.010 .
^ Ретт, Дж.; Диас, Дж.; Ауактзин, Дж.М. (2010). «Байесовское обоснование анализа движения Лабана, используемое во взаимодействии человека и машины». Международный журнал интеллектуальных систем, основанных на рассуждениях . 2 (1): 13–35. CiteSeerX 10.1.1.379.6216 . дои : 10.1504/IJRIS.2010.029812 .
^ Мёбус, К.; Эйлерс, М.; Гарб, Х.; Жилинский, М. (2009). «Вероятностное и эмпирическое обоснованное моделирование агентов в (частичных) сценариях совместного трафика» (PDF) . В Даффи, Винсент Г. (ред.). Цифровое моделирование человека . Вторая международная конференция ICDHM 2009, Сан-Диего, Калифорния, США. Конспекты лекций по информатике. Том. 5620. Спрингер. стр. 423–432. дои : 10.1007/978-3-642-02809-0_45 . ISBN 978-3-642-02808-3 .
^ Мёбус, К.; Эйлерс, М. (2009). «Дальнейшие шаги к моделированию драйверов в соответствии с подходом байесовского программирования». В Даффи, Винсент Г. (ред.). Цифровое моделирование человека . Вторая международная конференция ICDHM 2009, Сан-Диего, Калифорния, США. Конспекты лекций по информатике. Том. 5620. Спрингер. стр. 413–422. CiteSeerX 10.1.1.319.2067 . дои : 10.1007/978-3-642-02809-0_44 . ISBN 978-3-642-02808-3 .
^ Эйлерс, М.; Мёбус, К. (2010). «Изучение модульной модели байесовского автономного драйвера со смесью поведения (BAD MoB)» (PDF) . В Колрепе, Х.; Юргенсон, Т. (ред.). Моделирование драйверов — между кинематическими моделями человека и динамическими моделями когнитивного поведения . Отчет о ходе работы VDI в серии 22 (человеко-машинные системы). Дюссельдорф, Германия: VDI-Verlag. стр. 61–74. ISBN 978-3-18-303222-8 .
^ Эйлерс, М.; Мёбус, К. (2011). «Изучение соответствующих представлений о модульных иерархических байесовских моделях драйверов с использованием байесовского информационного критерия». В Даффи, В.Г. (ред.). Цифровое моделирование человека . LNCS 6777. Гейдельберг, Германия: Springer. стр. 463–472. дои : 10.1007/978-3-642-21799-9_52 . ISBN 978-3-642-21798-2 .
^ Эйлерс, М.; Мёбус, К. (2011). «Изучение байесовской модели смеси поведения автономного драйвера (BAD-MoB)» . В Даффи, В.Г. (ред.). Достижения в области прикладного цифрового моделирования человека . LNCS 6777. Бока-Ратон, США: CRC Press, Taylor & Francisco Group. стр. 436–445. ISBN 978-1-4398-3511-1 .
^ Ле Хай, Р.; Арригони, А.; Бессьер, П.; Лебетель, О. (2004). «Обучение байесовскому поведению персонажей видеоигр» (PDF) . Робототехника и автономные системы . 47 (2–3): 177–185. дои : 10.1016/j.robot.2004.03.012 . S2CID 16415524 .
^ Синнаев, Г. (2012). Байесовское программирование и обучение для многопользовательских видеоигр (PDF) .
^ Колас, Ф.; Друлез, Дж.; Векслер, М.; Бессьер, П. (2008). «Единая вероятностная модель восприятия трехмерной структуры из оптического потока». Биологическая кибернетика . 97 (5–6): 461–77. CiteSeerX 10.1.1.215.1491 . дои : 10.1007/s00422-007-0183-z . ПМИД 17987312 . S2CID 215821150 .
^ Лоуренс, Дж.; Друлез, Дж. (2007). «Байесовская обработка вестибулярной информации». Биологическая кибернетика . 96 (4): 389–404. дои : 10.1007/s00422-006-0133-1 . ПМИД 17146661 . S2CID 18138027 .
^ Колас, Ф.; Флачер, Ф.; Таннер, Т.; Бессьер, П.; Жирар, Б. (2009). «Байесовские модели выбора движения глаз с помощью ретинотопических карт» (PDF) . Биологическая кибернетика . 100 (3): 203–214. дои : 10.1007/s00422-009-0292-y . ПМИД 19212780 . S2CID 5906668 .
^ Серхане Дж.; Шварц, младший; Бессьер, П. (2005). «Создание говорящего детского робота. Вклад в изучение овладения и эволюции речи» (PDF) . Исследования взаимодействия . 6 (2): 253–286. дои : 10.1075/is.6.2.06ser .
^ Мулен-Фриер, К.; Лоран, Р.; Бессьер, П.; Шварц, младший; Диард, Дж. (2012). «Неблагоприятные условия улучшают различимость слуховых, моторных и перцептивно-моторных теорий восприятия речи: предварительное исследование байесовского моделирования» (PDF) . Язык и когнитивные процессы . 27 (7–8): 1240–1263. дои : 10.1080/01690965.2011.645313 . S2CID 55504109 .
^ Жиле, Э.; Диард, Дж.; Бессьер, П. (2011). Спорнс, Олаф (ред.). «Байесовская вычислительная модель действия-восприятия: взаимодействие производства и распознавания рукописных букв» . ПЛОС ОДИН . 6 (6): e20387. Бибкод : 2011PLoSO...620387G . дои : 10.1371/journal.pone.0020387 . ПМК 3106017 . ПМИД 21674043 .
^ «Новый алгоритм помогает машинам учиться так же быстро, как и люди» . www.gizmag.com . 22 января 2016 г. Проверено 23 января 2016 г.
^ Заде, Луизиана (июнь 1965 г.). «Нечеткие множества» . Информация и контроль . 8 (3). Сан-Диего: 338–353. дои : 10.1016/S0019-9958(65)90241-X . ISSN 0019-9958 . Збл 0139.24606 . Викиданные Q25938993 .
^ Заде, Луизиана (сентябрь 1975 г.). «Нечеткая логика и приближенные рассуждения». Синтезируйте . 30 (3–4). Спрингер : 407–428. дои : 10.1007/BF00485052 . ISSN 0039-7857 . OCLC 714993477 . S2CID 46975216 . Збл 0319.02016 . Викиданные Q57275767 .
^ Дюбуа, Д.; Прад, Х. (2001). «Теория возможностей, теория вероятностей и многозначная логика: разъяснение» (PDF) . Энн. Математика. Артиф. Интелл . 32 (1–4): 35–66. дои : 10.1023/А:1016740830286 . S2CID 10271476 .
^ Пул, Д. (1993). «Вероятностное похищение Хорна и байесовские сети». Искусственный интеллект . 64 : 81–129. дои : 10.1016/0004-3702(93)90061-F .
^ Пул, Д. (1997). «Логика независимого выбора для моделирования нескольких агентов в условиях неопределенности» . Искусственный интеллект . 94 (1–2): 7–56. дои : 10.1016/S0004-3702(97)00027-1 .
^ Сато, Т.; Камея, Ю. (2001). «Изучение параметров логических программ для символьно-статистического моделирования» (PDF) . Журнал исследований искусственного интеллекта . 15 (2001): 391–454. arXiv : 1106.1797 . Бибкод : 2011arXiv1106.1797S . дои : 10.1613/jair.912 . S2CID 7857569 . Архивировано из оригинала (PDF) 12 июля 2014 г. Проверено 18 октября 2015 г.
^ Фигаро на GitHub

Дальнейшее чтение

Камель Мехнача (2013). Байесовское программирование . Чепмен и Холл/CRC. дои : 10.1201/b16111 . ISBN 978-1-4398-8032-6 .

Внешние ссылки

Дополнительный сайт к книге по байесовскому программированию , где можно скачать ProBT — механизм вывода, посвященный байесовскому программированию.
Архивировано Сайт Bayesian-programming.org. 23 ноября 2013 г. по адресу archive.today для продвижения байесовского программирования с подробной информацией и многочисленными публикациями.

[Jaynes2003-1] Jump up to: ^а ^б Джейнс, ET (10 апреля 2003 г.). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN 978-1-139-43516-1 .

[BessiereMazer2013-2] Бессьер, Пьер; Мазер, Эммануэль; Мануэль Ауактцин, Джон; Мехнача, Камель (20 декабря 2013 г.). Байесовское программирование . ЦРК Пресс. ISBN 978-1-4398-8032-6 .

[3] «Графы выражений: объединяющие графы факторов и сети суммирования» (PDF) . bcf.usc.edu .

[4] «Вероятностное моделирование и байесовский анализ» (PDF) . ocw.mit.edu .

[5] «Байесовские сети» (PDF) . cs.brandeis.edu .

[6] Кальман, Р.Э. (1960). «Новый подход к задачам линейной фильтрации и прогнозирования». Журнал фундаментальной инженерии . 82 : 33–45. дои : 10.1115/1.3662552 . S2CID 1242324 .

[BessièreLaugier2008-7] Бессьер, Пьер; Ложье, Кристиан; Зигварт, Роланд (15 мая 2008 г.). Вероятностные рассуждения и принятие решений в сенсомоторных системах . Springer Science & Business Media. ISBN 978-3-540-79006-8 .

[8] Лебельтель, О.; Бессьер, П.; Диард, Дж.; Мазер, Э. (2004). «Байесовское программирование роботов» (PDF) . Продвинутая робототехника . 16 (1): 49–79. дои : 10.1023/b:auro.0000008671.38949.43 . S2CID 18768468 .

[9] Диард, Дж.; Жиле, Э.; Симонин Е.; Бессьер, П. (2010). «Поэтапное изучение байесовских сенсомоторных моделей: от низкоуровневого поведения до крупномасштабной структуры окружающей среды» (PDF) . Наука о связях . 22 (4): 291–312. Бибкод : 2010ConSc..22..291D . дои : 10.1080/09540091003682561 . S2CID 216035458 .

[10] Прадалье, К.; Эрмосильо, Дж.; Койке, К.; Брайон, К.; Бессьер, П.; Ложье, К. (2005). «CyCab: робот, похожий на автомобиль, автономно и безопасно перемещающийся среди пешеходов». Робототехника и автономные системы . 50 (1): 51–68. CiteSeerX 10.1.1.219.69 . дои : 10.1016/j.robot.2004.10.002 .

[11] Феррейра, Дж.; Лобо, Дж.; Бессьер, П.; Кастело-Бранко, М.; Диас, Дж. (2012). «Байесовская основа активного искусственного восприятия» (PDF) . Транзакции IEEE о системах, человеке и кибернетике. Часть B: Кибернетика . 99 (2): 1–13. дои : 10.1109/TSMCB.2012.2214477 . ПМИД 23014760 . S2CID 1808051 .

[Ferreira2014-12] Феррейра, JF; Диас, Дж. М. (2014). Вероятностные подходы к роботизированному восприятию . Спрингер. ISBN 978-3-319-02005-1 .

[13] Мехнача, К.; Мазер, Э.; Бессьер, П. (2001). «Разработка и реализация байесовского средства моделирования САПР для робототехнических приложений». Продвинутая робототехника . 15 (1): 45–69. CiteSeerX 10.1.1.552.3126 . дои : 10.1163/156855301750095578 . S2CID 7920387 .

[14] Куэ, К.; Прадалье, К.; Ложье, К.; Фрейшар, Т.; Бессьер, П. (2006). «Байесовская фильтрация занятости для отслеживания нескольких целей: автомобильное приложение» (PDF) . Международный журнал исследований робототехники . 25 (1): 19–30. дои : 10.1177/0278364906061158 . S2CID 13874685 .

[15] Васудеван, С.; Зигварт, Р. (2008). «Концептуализация байесовского пространства и классификация мест для семантических карт в мобильной робототехнике». Робототехника и автономные системы . 56 (6): 522–537. CiteSeerX 10.1.1.149.4189 . дои : 10.1016/j.robot.2008.03.005 .

[16] Перрин, X.; Чаварриага, Р.; Колас, Ф.; Зейгварт, Р.; Миллан, Дж. (2010). «Мозговое взаимодействие для полуавтономной навигации вспомогательного робота» . Робототехника и автономные системы . 58 (12): 1246–1255. дои : 10.1016/j.robot.2010.05.010 .

[17] Ретт, Дж.; Диас, Дж.; Ауактзин, Дж.М. (2010). «Байесовское обоснование анализа движения Лабана, используемое во взаимодействии человека и машины». Международный журнал интеллектуальных систем, основанных на рассуждениях . 2 (1): 13–35. CiteSeerX 10.1.1.379.6216 . дои : 10.1504/IJRIS.2010.029812 .

[18] Мёбус, К.; Эйлерс, М.; Гарб, Х.; Жилинский, М. (2009). «Вероятностное и эмпирическое обоснованное моделирование агентов в (частичных) сценариях совместного трафика» (PDF) . В Даффи, Винсент Г. (ред.). Цифровое моделирование человека . Вторая международная конференция ICDHM 2009, Сан-Диего, Калифорния, США. Конспекты лекций по информатике. Том. 5620. Спрингер. стр. 423–432. дои : 10.1007/978-3-642-02809-0_45 . ISBN 978-3-642-02808-3 .

[19] Мёбус, К.; Эйлерс, М. (2009). «Дальнейшие шаги к моделированию драйверов в соответствии с подходом байесовского программирования». В Даффи, Винсент Г. (ред.). Цифровое моделирование человека . Вторая международная конференция ICDHM 2009, Сан-Диего, Калифорния, США. Конспекты лекций по информатике. Том. 5620. Спрингер. стр. 413–422. CiteSeerX 10.1.1.319.2067 . дои : 10.1007/978-3-642-02809-0_44 . ISBN 978-3-642-02808-3 .

[20] Эйлерс, М.; Мёбус, К. (2010). «Изучение модульной модели байесовского автономного драйвера со смесью поведения (BAD MoB)» (PDF) . В Колрепе, Х.; Юргенсон, Т. (ред.). Моделирование драйверов — между кинематическими моделями человека и динамическими моделями когнитивного поведения . Отчет о ходе работы VDI в серии 22 (человеко-машинные системы). Дюссельдорф, Германия: VDI-Verlag. стр. 61–74. ISBN 978-3-18-303222-8 .

[21] Эйлерс, М.; Мёбус, К. (2011). «Изучение соответствующих представлений о модульных иерархических байесовских моделях драйверов с использованием байесовского информационного критерия». В Даффи, В.Г. (ред.). Цифровое моделирование человека . LNCS 6777. Гейдельберг, Германия: Springer. стр. 463–472. дои : 10.1007/978-3-642-21799-9_52 . ISBN 978-3-642-21798-2 .

[22] Эйлерс, М.; Мёбус, К. (2011). «Изучение байесовской модели смеси поведения автономного драйвера (BAD-MoB)» . В Даффи, В.Г. (ред.). Достижения в области прикладного цифрового моделирования человека . LNCS 6777. Бока-Ратон, США: CRC Press, Taylor & Francisco Group. стр. 436–445. ISBN 978-1-4398-3511-1 .

[23] Ле Хай, Р.; Арригони, А.; Бессьер, П.; Лебетель, О. (2004). «Обучение байесовскому поведению персонажей видеоигр» (PDF) . Робототехника и автономные системы . 47 (2–3): 177–185. дои : 10.1016/j.robot.2004.03.012 . S2CID 16415524 .

[24] Синнаев, Г. (2012). Байесовское программирование и обучение для многопользовательских видеоигр (PDF) .

[25] Колас, Ф.; Друлез, Дж.; Векслер, М.; Бессьер, П. (2008). «Единая вероятностная модель восприятия трехмерной структуры из оптического потока». Биологическая кибернетика . 97 (5–6): 461–77. CiteSeerX 10.1.1.215.1491 . дои : 10.1007/s00422-007-0183-z . ПМИД 17987312 . S2CID 215821150 .

[26] Лоуренс, Дж.; Друлез, Дж. (2007). «Байесовская обработка вестибулярной информации». Биологическая кибернетика . 96 (4): 389–404. дои : 10.1007/s00422-006-0133-1 . ПМИД 17146661 . S2CID 18138027 .

[27] Колас, Ф.; Флачер, Ф.; Таннер, Т.; Бессьер, П.; Жирар, Б. (2009). «Байесовские модели выбора движения глаз с помощью ретинотопических карт» (PDF) . Биологическая кибернетика . 100 (3): 203–214. дои : 10.1007/s00422-009-0292-y . ПМИД 19212780 . S2CID 5906668 .

[28] Серхане Дж.; Шварц, младший; Бессьер, П. (2005). «Создание говорящего детского робота. Вклад в изучение овладения и эволюции речи» (PDF) . Исследования взаимодействия . 6 (2): 253–286. дои : 10.1075/is.6.2.06ser .

[29] Мулен-Фриер, К.; Лоран, Р.; Бессьер, П.; Шварц, младший; Диард, Дж. (2012). «Неблагоприятные условия улучшают различимость слуховых, моторных и перцептивно-моторных теорий восприятия речи: предварительное исследование байесовского моделирования» (PDF) . Язык и когнитивные процессы . 27 (7–8): 1240–1263. дои : 10.1080/01690965.2011.645313 . S2CID 55504109 .

[30] Жиле, Э.; Диард, Дж.; Бессьер, П. (2011). Спорнс, Олаф (ред.). «Байесовская вычислительная модель действия-восприятия: взаимодействие производства и распознавания рукописных букв» . ПЛОС ОДИН . 6 (6): e20387. Бибкод : 2011PLoSO...620387G . дои : 10.1371/journal.pone.0020387 . ПМК 3106017 . ПМИД 21674043 .

[31] «Новый алгоритм помогает машинам учиться так же быстро, как и люди» . www.gizmag.com . 22 января 2016 г. Проверено 23 января 2016 г.

[32] Заде, Луизиана (июнь 1965 г.). «Нечеткие множества» . Информация и контроль . 8 (3). Сан-Диего: 338–353. дои : 10.1016/S0019-9958(65)90241-X . ISSN 0019-9958 . Збл 0139.24606 . Викиданные Q25938993 .

[33] Заде, Луизиана (сентябрь 1975 г.). «Нечеткая логика и приближенные рассуждения». Синтезируйте . 30 (3–4). Спрингер : 407–428. дои : 10.1007/BF00485052 . ISSN 0039-7857 . OCLC 714993477 . S2CID 46975216 . Збл 0319.02016 . Викиданные Q57275767 .

[34] Дюбуа, Д.; Прад, Х. (2001). «Теория возможностей, теория вероятностей и многозначная логика: разъяснение» (PDF) . Энн. Математика. Артиф. Интелл . 32 (1–4): 35–66. дои : 10.1023/А:1016740830286 . S2CID 10271476 .

[35] Пул, Д. (1993). «Вероятностное похищение Хорна и байесовские сети». Искусственный интеллект . 64 : 81–129. дои : 10.1016/0004-3702(93)90061-F .

[36] Пул, Д. (1997). «Логика независимого выбора для моделирования нескольких агентов в условиях неопределенности» . Искусственный интеллект . 94 (1–2): 7–56. дои : 10.1016/S0004-3702(97)00027-1 .

[37] Сато, Т.; Камея, Ю. (2001). «Изучение параметров логических программ для символьно-статистического моделирования» (PDF) . Журнал исследований искусственного интеллекта . 15 (2001): 391–454. arXiv : 1106.1797 . Бибкод : 2011arXiv1106.1797S . дои : 10.1613/jair.912 . S2CID 7857569 . Архивировано из оригинала (PDF) 12 июля 2014 г. Проверено 18 октября 2015 г.

[38] Фигаро на GitHub

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]