Байесовский вывод

Байесовский вывод ( / ˈ b eɪ z i ə n / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) — это метод статистического вывода , в котором теорема Байеса используется для обновления вероятности гипотезы по мере новых доказательств или информации появления . По сути, байесовский вывод использует априорные знания в форме априорного распределения для оценки апостериорных вероятностей. Байесовский вывод — важный метод в статистике , особенно в математической статистике . Байесовское обновление особенно важно при динамическом анализе последовательности данных . Байесовский вывод нашел применение в широком спектре деятельности, включая науку , инженерное дело , философию , медицину , спорт и право . В философии теории принятия решений байесовский вывод тесно связан с субъективной вероятностью, часто называемой « байесовской вероятностью ».

Введение в правило Байеса

Геометрическая визуализация теоремы Байеса. В таблице значения 2, 3, 6 и 9 обозначают относительные веса каждого соответствующего условия и случая. Цифры обозначают ячейки таблицы, участвующие в каждой метрике, причем вероятность представляет собой долю каждой заштрихованной цифры. Это показывает, что P(A|B) P(B) = P(B|A) P(A), т.е. P(A|B) = ⁠ P(B|A) P(A) / P(B) ⁠ . Аналогичные рассуждения можно использовать, чтобы показать, что P(¬A|B) = ⁠ P(B|¬A) P(¬A) / P(B) ⁠ и т. д.

Основная статья: теорема Байеса

Смотрите также: Байесовская вероятность

Формальное объяснение

Таблица непредвиденных обстоятельств

Гипотеза Доказательство	Удовлетворяет гипотеза ЧАС	Нарушает гипотеза ¬H		Общий
Имеет доказательства И	Р(Н|Е)·Р(Е) = Р(Е|Н)·Р(Н)	P(¬H|E) · P(E) = P(E|¬H)·P(¬H)		П(Е)
Нет доказательств ¬E	P(H|¬E)·P(¬E) = P(¬E|H)·P(H)	P(¬H|¬E)·P(¬E) = P(¬E|¬H)·P(¬H)		P(¬E) = 1-П(Е)
Общий	П(Н)	P(¬H) = 1−P(H)	1

Байесовский вывод выводит апостериорную вероятность как следствие двух антецедентов : априорной вероятности и « функции правдоподобия », полученной из статистической модели для наблюдаемых данных. Байесовский вывод вычисляет апостериорную вероятность в соответствии с теоремой Байеса : $$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},$$ где

• $H$ обозначает любую гипотезу , на вероятность которой могут повлиять данные ( называемые доказательствами ниже ). Часто существуют конкурирующие гипотезы, и задача состоит в том, чтобы определить, какая из них наиболее вероятна.
• $P(H)$, априорная вероятность , является оценкой вероятности гипотезы $H$ перед данными $E$, текущие доказательства, наблюдаются.
• $E$, свидетельство , соответствует новым данным, которые не использовались при вычислении априорной вероятности.
• $P(H\mid E)$, апостериорная вероятность , это вероятность $H$ данный $E$, то есть после $E$ наблюдается. Вот что мы хотим знать: вероятность гипотезы с учетом наблюдаемых данных.
• $P(E\mid H)$ это вероятность наблюдения $E$ данный $H$ и называется вероятностью . В качестве функции $E$ с $H$ фиксированный, это указывает на совместимость доказательств с данной гипотезой. Функция правдоподобия – это функция доказательств, $E$, а апостериорная вероятность является функцией гипотезы, $H$.
• $P(E)$ иногда называют предельной вероятностью или «модельным доказательством». Этот фактор одинаков для всех возможных рассматриваемых гипотез (о чем свидетельствует тот факт, что гипотеза $H$ не появляется нигде в символе, в отличие от всех других факторов) и, следовательно, не учитывается при определении относительных вероятностей различных гипотез.
• $P(E)>0$ (Иначе есть $0/0$.)

Для разных значений $H$, только факторы $P(H)$ и $P(E\mid H)$, оба в числителе, влияют на значение $P(H\mid E)$ – апостериорная вероятность гипотезы пропорциональна ее априорной вероятности (присущей ей правдоподобности) и вновь полученной вероятности (ее совместимости с новыми наблюдаемыми доказательствами).

В случаях, когда $\neg H$ ("нет $H$"), отрицание логическое $H$, является допустимой вероятностью, правило Байеса можно переписать следующим образом: $${\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}$$ потому что $$P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)$$ и $$P(H)+P(\neg H)=1.$$ Это обращает внимание на термин $$\left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.$$ Если этот член примерно равен 1, то вероятность гипотезы с учетом доказательств: $P(H\mid E)$, о ${\tfrac {1}{2}}$, около 50% вероятно – одинаково вероятно или маловероятно. Если этот член очень мал, близок к нулю, то вероятность гипотезы, учитывая доказательства, $P(H\mid E)$ близко к 1 или условная гипотеза вполне вероятна. Если этот член очень велик, намного больше 1, то гипотеза, учитывая доказательства, весьма маловероятна. Если гипотеза (без учета доказательств) маловероятна, то $P(H)$ мал (но не обязательно астрономически мал) и ${\tfrac {1}{P(H)}}$ намного больше 1, и этот член можно аппроксимировать как ${\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}$ и соответствующие вероятности можно сравнивать непосредственно друг с другом.

Один из быстрых и простых способов запомнить уравнение — использовать правило умножения : $$P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).$$

Альтернативы байесовскому обновлению

Байесовское обновление широко используется и удобно в вычислительном отношении. Однако это не единственное правило обновления, которое можно считать рациональным.

Ян Хакинг отметил, что традиционные аргументы « голландской книги » не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Хакинг написал: «И ни аргумент голландской книги, ни какой-либо другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое предположение. Ни один из них не влечет за собой байесианство. Таким образом, персоналист требует, чтобы динамическое предположение было байесовским. отказ от байесовской модели обучения на основе опыта может потерять свою привлекательность».

Действительно, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по « кинематике вероятности ») после публикации правила Ричарда К. Джеффри , которое применяет правило Байеса к случаю, когда сами доказательства присваивается вероятность. Дополнительные гипотезы, необходимые для однозначного требования байесовского обновления, были сочтены существенными, сложными и неудовлетворительными.

Вывод об исключительных и исчерпывающих возможностях

Если доказательства одновременно используются для обновления убеждений по поводу набора исключительных и исчерпывающих предложений, байесовский вывод можно рассматривать как воздействующий на это распределение убеждений в целом.

Общая формулировка

Диаграмма, иллюстрирующая пространство событий $\Omega$ в общей формулировке байесовского вывода. Хотя на этой диаграмме показаны дискретные модели и события, непрерывный случай можно визуализировать аналогичным образом, используя плотности вероятности.

Предположим, что процесс генерирует независимые и одинаково распределенные события. $E_{n},\ n=1,2,3,\ldots$, но распределение вероятностей неизвестно. Пусть пространство событий $\Omega$ представляют текущее состояние убеждений в этом процессе. Каждая модель представлена ​​событием $M_{m}$. Условные вероятности $P(E_{n}\mid M_{m})$ указаны для определения моделей. $P(M_{m})$ это степень веры в $M_{m}$. Прежде чем сделать первый шаг вывода, $\{P(M_{m})\}$ представляет собой набор начальных априорных вероятностей . Их сумма должна быть равна 1, но в остальном они произвольны.

Предположим, что наблюдается процесс генерации $E\in \{E_{n}\}$. Для каждого $M\in \{M_{m}\}$, предшествующий $P(M)$ обновляется до задней части $P(M\mid E)$. Из теоремы Байеса :

$$P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).$$

При обнаружении дополнительных доказательств эту процедуру можно повторить.

Множественные наблюдения

Для последовательности независимых и одинаково распределенных наблюдений $\mathbf {E} =(e_{1},\dots ,e_{n})$, можно показать по индукции, что повторное применение вышеизложенного эквивалентно $$P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),$$ где $$P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.$$

Параметрическая формулировка: мотивация формального описания

Путем параметризации пространства моделей доверие ко всем моделям можно обновить за один шаг. Тогда распределение убеждений по пространству модели можно рассматривать как распределение убеждений по пространству параметров. Распределения в этом разделе выражены как непрерывные и представлены плотностями вероятности, поскольку это обычная ситуация. Однако этот метод в равной степени применим и к дискретным распределениям.

Пусть вектор ${\boldsymbol {\theta }}$ охватывать пространство параметров. Пусть исходное априорное распределение по ${\boldsymbol {\theta }}$ быть $p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})$, где ${\boldsymbol {\alpha }}$ представляет собой набор параметров самого априора или гиперпараметров . Позволять $\mathbf {E} =(e_{1},\dots ,e_{n})$ быть последовательностью независимых и одинаково распределенных наблюдений событий, где все $e_{i}$ распределяются как $p(e\mid {\boldsymbol {\theta }})$ для некоторых ${\boldsymbol {\theta }}$. Теорема Байеса применяется для нахождения апостериорного распределения по ${\boldsymbol {\theta }}$:

$${\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}$$ где $$p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).$$

Формальное описание байесовского вывода

Определения

• $x$, точка данных в целом. На самом деле это может быть вектор значений.
• $\theta$, параметр распределения точек данных, т.е. $x\sim p(x\mid \theta )$. Это может быть вектор параметров.
• $\alpha$, гиперпараметр распределения параметров, т. е. $\theta \sim p(\theta \mid \alpha )$. Это может быть вектор гиперпараметров.
• $\mathbf {X}$ это образец, набор $n$ наблюдаемые точки данных, т.е. $x_{1},\ldots ,x_{n}$.
• ${\tilde {x}}$, новая точка данных, распределение которой необходимо спрогнозировать.

Байесовский вывод

• Априорное распределение — это распределение параметра(ов) до того, как наблюдаются какие-либо данные, т.е. $p(\theta \mid \alpha )$ . Априорное распределение может быть нелегко определить; в таком случае одной из возможностей может быть использование Джеффриса до получения предварительного распределения перед его обновлением новыми наблюдениями.
• Выборочное распределение – это распределение наблюдаемых данных, обусловленное его параметрами, т.е. $p(\mathbf {X} \mid \theta )$. Это также называется вероятностью , особенно если рассматривать ее как функцию параметра(ов), иногда записываемую $\operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )$.
• Предельное правдоподобие (иногда называемое также доказательством ) — это распределение наблюдаемых данных, маргинализированных по параметру(ам), т.е. $$p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .$$ Он количественно определяет соответствие между данными и мнением экспертов в геометрическом смысле, который можно уточнить. Если предельная вероятность равна 0, то между данными и мнением экспертов нет согласия, и правило Байеса не может быть применено.
• Апостериорное распределение — это распределение параметра(ов) после учета наблюдаемых данных. Это определяется правилом Байеса , которое составляет суть байесовского вывода: $$p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).$$ Это выражается словами: «апостериорная вероятность пропорциональна предшествующему числу правдоподобия» или иногда как «апостериорное значение = предшествующему правдоподобию, превышающему доказательства».
• На практике почти для всех сложных байесовских моделей, используемых в машинном обучении, апостериорное распределение $p(\theta \mid \mathbf {X} ,\alpha )$ не получается в распределении замкнутой формы, главным образом потому, что пространство параметров для $\theta$ может быть очень высоким, или байесовская модель сохраняет определенную иерархическую структуру, сформулированную на основе наблюдений $\mathbf {X}$ и параметр $\theta$. В таких ситуациях приходится прибегать к методам аппроксимации.
• Общий случай: Пусть $P_{Y}^{x}$ быть условным распределением $Y$ данный $X=x$ и пусть $P_{X}$ быть распределением $X$. Тогда совместное распределение $P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)$. Условное распределение $P_{X}^{y}$ из $X$ данный $Y=y$ затем определяется

$$P_{X}^{y}(A)=E(1_{A}(X)|Y=y)$$Существование и единственность необходимого условного ожидания является следствием теоремы Радона–Никодима . Это было сформулировано Колмогоровым в его знаменитой книге 1933 года. Колмогоров подчеркивает важность условной вероятности, написав в предисловии: «Я хочу обратить внимание на... и особенно на теорию условных вероятностей и условных ожиданий...». Теорема Байеса определяет апостериорное распределение на основе предварительного распределения. Уникальность требует предположений о непрерывности. Теорему Байеса можно обобщить, включив в нее неправильные априорные распределения, такие как равномерное распределение на действительной прямой. Современные методы Монте-Карло для цепей Маркова повысили важность теоремы Байеса, включая случаи с неправильными априорными значениями.

Байесовское предсказание

• Апостериорное прогнозирующее распределение — это распределение новой точки данных, маргинализированной по апостериорному: $$p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta$$
• Априорное прогнозируемое распределение — это распределение новой точки данных, маргинализованной по сравнению с предыдущей: $$p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta$$

Байесовская теория призывает использовать апостериорное прогнозируемое распределение для прогнозирования , то есть для прогнозирования распределения новой, ненаблюдаемой точки данных. То есть вместо фиксированной точки в качестве прогноза возвращается распределение по возможным точкам. Только таким образом используется все апостериорное распределение параметра(ов). Для сравнения, прогнозирование в частотной статистике часто включает в себя поиск оптимальной точечной оценки параметра(ов) — например, по максимальному правдоподобию или максимальной апостериорной оценке (MAP) — а затем включение этой оценки в формулу для распределения точки данных. . Недостатком этого подхода является то, что он не учитывает никакой неопределенности в значении параметра и, следовательно, приводит к недооценке дисперсии прогнозируемого распределения.

В некоторых случаях частотная статистика может обойти эту проблему. Например, доверительные интервалы и интервалы прогнозирования в частотной статистике, построенные на основе нормального распределения с неизвестными средним значением и дисперсией, строятся с использованием t-распределения Стьюдента . Это правильно оценивает дисперсию благодаря тому факту, что (1) среднее значение нормально распределенных случайных величин также нормально распределено и (2) прогнозируемое распределение нормально распределенной точки данных с неизвестным средним значением и дисперсией с использованием сопряженных или неинформативных априорных значений. , имеет t-распределение Стьюдента. Однако в байесовской статистике апостериорное прогнозируемое распределение всегда можно определить точно — или, по крайней мере, с произвольным уровнем точности при использовании численных методов.

Оба типа прогнозных распределений имеют форму сложного распределения вероятностей (как и предельное правдоподобие ). Фактически, если априорное распределение является сопряженным априорным , так что априорное и апостериорное распределения происходят из одного и того же семейства, можно видеть, что и априорное, и апостериорное прогнозирующие распределения также происходят из одного и того же семейства составных распределений. Единственное отличие состоит в том, что апостериорное прогнозирующее распределение использует обновленные значения гиперпараметров (применяя байесовские правила обновления, приведенные в сопряженной предыдущей статье), тогда как априорное прогнозирующее распределение использует значения гиперпараметров, которые появляются в предыдущем распределении.

Математические свойства

Интерпретация фактора

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$. То есть, если бы модель была верной, доказательства были бы более вероятными, чем предсказывается текущим состоянием убеждений. Обратное справедливо для уменьшения веры. Если вера не изменится, ${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$. То есть доказательства не зависят от модели. Если бы модель была верной, доказательства были бы точно такими же вероятными, как предсказывается текущим состоянием убеждений.

Правило Кромвеля

Основная статья: Правило Кромвеля

Если $P(M)=0$ затем $P(M\mid E)=0$. Если $P(M)=1$ и $P(E)>0$, затем $P(M|E)=1$. Это можно интерпретировать как означающее, что твердые убеждения нечувствительны к контрдоказательствам.

Первое следует непосредственно из теоремы Байеса. Последнее можно получить, применив первое правило к событию «не $M$"вместо" $M$", что дает "если $1-P(M)=0$, затем $1-P(M\mid E)=0$", из чего сразу следует результат.

Асимптотическое поведение задней

Рассмотрим поведение распределения убеждений, когда оно обновляется большое количество раз с помощью независимых и одинаково распределенных испытаний. Для достаточно хороших априорных вероятностей теорема Бернштейна-фон Мизеса показывает, что в пределе бесконечных испытаний апостериорное распределение сходится к гауссовскому распределению, независимому от начального априора, при некоторых условиях, впервые изложенных и строго доказанных Джозефом Л. Дубом в 1948 году, а именно: если рассматриваемая случайная величина имеет конечное вероятностное пространство . Более общие результаты были получены позже статистиком Дэвидом А. Фридманом, опубликовавшим в 1963 году две плодотворные исследовательские статьи. и 1965 г. когда и при каких обстоятельствах гарантируется асимптотическое поведение апостериора. В его статье 1963 года, как и у Дуба (1949), рассматривается конечный случай, и он приходит к удовлетворительному выводу. Однако, если случайная величина имеет бесконечное, но счетное вероятностное пространство (т. е. соответствует игральной кости с бесконечным множеством граней), статья 1965 года показывает, что для плотного подмножества априорных значений теорема Бернштейна-фон Мизеса неприменима. В этом случае почти наверняка асимптотическая сходимость отсутствует. Позже, в 1980-х и 1990-х годах Фридман и Перси Диаконис продолжили работу над случаем бесконечных счетных вероятностных пространств. Подводя итог, можно сказать, что испытаний может быть недостаточно, чтобы подавить эффекты первоначального выбора, и особенно для больших (но конечных) систем сходимость может быть очень медленной.

Сопряженные априоры

Основная статья: Сопряженный априор

В параметризованной форме часто предполагается, что априорное распределение происходит из семейства распределений, называемых сопряженными априорными . Полезность сопряженного априорного распределения заключается в том, что соответствующее апостериорное распределение будет принадлежать тому же семейству, и расчет может быть выражен в закрытой форме .

Оценки параметров и прогнозы

Часто желательно использовать апостериорное распределение для оценки параметра или переменной. Несколько методов байесовской оценки выбирают измерения центральной тенденции из апостериорного распределения.

Для одномерных задач существует уникальная медиана для практических непрерывных задач. Задняя медиана привлекательна в качестве надежного средства оценки .

Если существует конечное среднее апостериорное распределение, то апостериорное среднее является методом оценки. $${\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta$$

Принятие значения с наибольшей вероятностью определяет максимальные апостериорные оценки (MAP) : $$\{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).$$

Существуют примеры, когда максимум не достигается, и в этом случае набор оценок MAP пуст .

Существуют и другие методы оценки, которые минимизируют апостериорный риск (ожидаемые апостериорные потери) по отношению к функции потерь , и они представляют интерес для статистической теории принятия решений с использованием выборочного распределения («частотная статистика»).

Апостериорное прогнозируемое распределение нового наблюдения ${\tilde {x}}$ (т.е. независимо от предыдущих наблюдений) определяется выражением $$p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .$$

Примеры

Вероятность гипотезы

Таблица непредвиденных обстоятельств

Чаша печенье	#1 Ч 1	#2 Ч 2		Общий
Обычный, Е	30	20		50
Шок, ¬E	10	20		30
Общий	40	40		80
п ( ЧАС 1 | Е ) знак равно 30/50 = 0,6

Предположим, есть две полные тарелки печенья. В миске №1 находится 10 кусочков шоколада и 30 штук обычного печенья, а в миске №2 – по 20 штук каждого вида. Наш друг Фред наугад выбирает миску, а затем наугад выбирает печенье. Мы можем предположить, что нет никаких оснований полагать, что Фред обращается с одной миской по-разному, как и с печеньем. Печенье оказывается обычным. Насколько вероятно, что Фред вытащил его из миски №1?

Интуитивно кажется очевидным, что ответ должен быть больше половины, поскольку в миске №1 простого печенья больше. Точный ответ даёт теорема Байеса. Позволять $H_{1}$ соответствуют чаше №1, а $H_{2}$ в миску №2. Учитывая, что чаши идентичны с точки зрения Фреда, таким образом $P(H_{1})=P(H_{2})$, и сумма этих двух должна составлять 1, поэтому оба равны 0,5. Событие $E$ это наблюдение за обычным файлом cookie. Из содержимого чаш мы знаем, что $P(E\mid H_{1})=30/40=0.75$ и $P(E\mid H_{2})=20/40=0.5.$ Тогда формула Байеса дает $${\begin{aligned}P(H_{1}\mid E)&={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}\\\\\ &={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}\\\\\ &=0.6\end{aligned}}$$

До того, как мы рассмотрели печенье, вероятность, которую мы определили для Фреда, выбравшего миску № 1, была априорной вероятностью, $P(H_{1})$, что составило 0,5. После наблюдения за файлом cookie мы должны пересмотреть вероятность $P(H_{1}\mid E)$, что составляет 0,6.

Делаем прогноз

Примеры результатов для примера археологии. Это моделирование было создано с использованием c = 15,2.

Археолог работает на месте, предположительно относящемся к средневековому периоду, между 11 и 16 веками. Однако неизвестно, когда именно в этот период это место было заселено. Обнаружены фрагменты керамики, часть из которых покрыта глазурью, а часть украшена. Ожидается, что если это место было заселено в период раннего средневековья, то 1% керамики будет покрыт глазурью, а 50% ее площади украшено, тогда как если бы оно было заселено в период позднего средневековья, то 81% будет покрыт глазурью и украшен. 5% его площади декорировано. Насколько уверен археолог может быть в дате заселения, если раскопать фрагменты?

Степень доверия к непрерывной переменной $C$ (века) рассчитывается с дискретным набором событий $\{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}$ в качестве доказательства. Предполагая линейное изменение глазури и декора со временем и что эти переменные независимы,

$$P(E=GD\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))$$ $$P(E=G{\bar {D}}\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))$$ $$P(E={\bar {G}}D\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))$$ $$P(E={\bar {G}}{\bar {D}}\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))$$

Предположим, что априор ${\textstyle f_{C}(c)=0.2}$и что испытания независимы и одинаково распределены . Когда новый фрагмент типа $e$ обнаружен, теорема Байеса применяется для обновления степени доверия для каждого $c$: $$f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c)$$

На графике показано компьютерное моделирование изменения убеждений после раскопок 50 фрагментов. В моделировании это место было заселено примерно в 1420 году, или $c=15.2$. Рассчитав площадь под соответствующей частью графика для 50 испытаний, археолог может сказать, что вероятность того, что это место было заселено в 11 и 12 веках, практически отсутствует, вероятность того, что оно было заселено в 13 веке, составляет около 1%, 63 % шанса в 14 веке и 36% в 15 веке. Теорема Бернштейна-фон Мизеса утверждает здесь асимптотическую сходимость к «истинному» распределению, поскольку вероятностное пространство, соответствующее дискретному набору событий $\{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}$ конечен (см. выше раздел об асимптотическом поведении апостериорной функции).

В частотной статистике и теории принятия решений

Теоретико -решательное обоснование использования байесовского вывода было дано Абрахамом Вальдом , который доказал, что каждая уникальная байесовская процедура допустима . И наоборот, каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур.

Уолд охарактеризовал допустимые процедуры как байесовские процедуры (и пределы байесовских процедур), сделав байесовский формализм центральным методом в таких областях частотного вывода, как оценка параметров , проверка гипотез и вычисление доверительных интервалов . Например:

• «При некоторых условиях все допустимые процедуры являются либо байесовскими процедурами, либо пределами байесовских процедур (в различных смыслах). Эти замечательные результаты, по крайней мере в их первоначальной форме, в основном принадлежат Вальду. Они полезны, потому что свойство быть байесовскими является легче анализировать, чем приемлемость».
• «В теории принятия решений довольно общий метод доказательства допустимости состоит в представлении процедуры как единственного байесовского решения».
• «В первых главах этой работы априорные распределения с конечным носителем и соответствующие байесовские процедуры использовались для установления некоторых основных теорем, касающихся сравнения экспериментов. Байесовские процедуры по отношению к более общим априорным распределениям сыграли очень важную роль в развитии статистики, включая ее асимптотическую теорию». «Существует множество задач, в которых взгляд на апостериорные распределения для подходящих априорных значений сразу же дает интересную информацию. Кроме того, этого метода вряд ли можно избежать в последовательном анализе».
• «Полезным фактом является то, что любое решающее правило Байеса, полученное путем принятия правильного априорного значения для всего пространства параметров, должно быть допустимым»
• «Важной областью исследований в развитии идей приемлемости были традиционные процедуры теории выборки, и было получено много интересных результатов».

Выбор модели

Основная статья: Выбор байесовской модели

Смотрите также: байесовский информационный критерий

Байесовская методология также играет роль при выборе модели , цель которой состоит в том, чтобы выбрать одну модель из набора конкурирующих моделей, которая наиболее точно представляет основной процесс, в результате которого были получены наблюдаемые данные. модель с наибольшей апостериорной вероятностью При сравнении байесовских моделей выбирается с учетом данных. Апостериорная вероятность модели зависит от доказательств, или предельного правдоподобия , которое отражает вероятность того, что данные генерируются моделью, а также от априорного убеждения модели. Когда две конкурирующие модели априори считаются равновероятными, отношение их апостериорных вероятностей соответствует фактору Байеса . Поскольку сравнение байесовских моделей направлено на выбор модели с наибольшей апостериорной вероятностью, эту методологию также называют правилом максимального апостериорного выбора (MAP). или правило вероятности MAP.

Вероятностное программирование

Основная статья: Вероятностное программирование

Хотя концептуально байесовские методы просты, они могут быть математически и численно сложными. Языки вероятностного программирования (PPL) реализуют функции, позволяющие легко создавать байесовские модели вместе с эффективными методами автоматического вывода. Это помогает отделить построение модели от вывода, позволяя специалистам-практикам сосредоточиться на своих конкретных проблемах и предоставляя PPL возможность выполнять за них вычислительные детали.

Приложения

Статистический анализ данных

См. отдельную статью в Википедии о байесовской статистике , в частности раздел статистического моделирования на этой странице.

Компьютерные приложения

Байесовский вывод находит применение в искусственном интеллекте и экспертных системах . Методы байесовского вывода являются фундаментальной частью компьютеризированных методов распознавания образов с конца 1950-х годов. Существует также постоянно растущая связь между байесовскими методами и методами Монте-Карло , основанными на моделировании , поскольку сложные модели не могут быть обработаны в закрытой форме с помощью байесовского анализа, в то время как модели графическая структура может позволить использовать эффективные алгоритмы моделирования, такие как выборка Гиббса и другие методы Метрополиса. – Схемы алгоритмов Гастингса . Недавно байесовский вывод приобрел популярность среди филогенетического По этим причинам сообщества; ряд приложений позволяют одновременно оценивать множество демографических и эволюционных параметров.

Применительно к статистической классификации байесовский вывод использовался для разработки алгоритмов выявления спама в электронной почте . Приложения, использующие байесовский вывод для фильтрации спама, включают CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS и другие. Классификация спама более подробно рассматривается в статье о наивном байесовском классификаторе .

Индуктивный вывод Соломонова — это теория предсказания, основанная на наблюдениях; например, предсказание следующего символа на основе заданной серии символов. Единственное предположение состоит в том, что окружающая среда подчиняется некоторому неизвестному, но вычислимому распределению вероятностей . Это формальная индуктивная структура, сочетающая в себе два хорошо изученных принципа индуктивного вывода: байесовскую статистику и бритву Оккама . Универсальная априорная вероятность Соломонова любого префикса p вычислимой последовательности x — это сумма вероятностей всех программ (для универсального компьютера), которые вычисляют что-то, начиная с p . Учитывая некоторое p и любое вычислимое, но неизвестное распределение вероятностей, из которого выбрано x , универсальную априорную теорему и теорему Байеса можно использовать для предсказания еще невидимых частей x . оптимального

Биоинформатика и приложения для здравоохранения

Байесовский вывод применялся в различных приложениях биоинформатики , включая анализ дифференциальной экспрессии генов. Байесовский вывод также используется в общей модели риска рака, называемой CIRI (постоянный индивидуализированный индекс риска), где последовательные измерения включаются для обновления байесовской модели, которая в основном построена на основе предварительных знаний.

В зале суда

Основная статья: Юриметрика § Байесовский анализ доказательств

Байесовский вывод может использоваться присяжными для последовательного сбора доказательств за и против обвиняемого, а также для проверки того, соответствуют ли они в целом их личному порогу « вне разумного сомнения ». Теорема Байеса последовательно применяется ко всем представленным доказательствам, при этом апостериорные данные одного этапа становятся априорными для следующего. Преимущество байесовского подхода состоит в том, что он дает присяжным беспристрастный и рациональный механизм объединения доказательств. Возможно, было бы уместно объяснить присяжным теорему Байеса в форме коэффициентов , поскольку коэффициенты ставок понимаются более широко, чем вероятности. В качестве альтернативы логарифмический подход присяжным может быть проще использовать , заменяющий умножение сложением.

Добавление доказательств

Если существование преступления не подвергается сомнению, а только личность преступника, было предложено, чтобы предварительная информация была единообразной для подпадающей под определение группы населения. Например, если бы преступление могли совершить 1000 человек, априорная вероятность вины была бы 1/1000.

Использование присяжными теоремы Байеса вызывает споры. В Соединенном Королевстве свидетель-эксперт защиты объяснил теорему Байеса присяжным по делу Р против Адамса . Присяжные признали виновным, но дело было передано в апелляцию на том основании, что присяжным, не желавшим использовать теорему Байеса, не было предоставлено никаких средств сбора доказательств. Апелляционный суд оставил приговор в силе, но также высказал мнение, что «введение теоремы Байеса или любого подобного метода в уголовный процесс погружает присяжных в неуместные и ненужные области теории и сложности, отвлекая их от их основной задачи». ."

Гарднер-Медвин утверждает, что критерием, на котором должен основываться приговор в уголовном процессе, является не вероятность вины, а скорее вероятность наличия доказательств при условии, что обвиняемый невиновен (сродни частотному p-значению ). Он утверждает, что если апостериорную вероятность вины нужно вычислить по теореме Байеса, необходимо знать априорную вероятность вины. Это будет зависеть от частоты совершения преступления, что является необычным доказательством, которое следует учитывать в уголовном процессе. Рассмотрим следующие три предложения:

А – известные факты и показания могли возникнуть, если подсудимый виновен.

Б – известные факты и показания могли бы возникнуть, если бы подсудимый невиновен.

В – обвиняемый виновен.

Гарднер-Медвин утверждает, что присяжные должны верить как А , так и не- Б, чтобы вынести обвинительный приговор. А и не- В подразумевает истинность С , но обратное неверно. Возможно, что B и C верны, но в этом случае он утверждает, что присяжные должны оправдать, хотя они знают, что отпустят некоторых виновных на свободу. См. также парадокс Линдли .

Байесовская эпистемология

Байесианская эпистемология — это движение, которое выступает за байесовский вывод как средство обоснования правил индуктивной логики.

Карл Поппер и Дэвид Миллер отвергли идею байесовского рационализма, т.е. использования правила Байеса для создания эпистемологических выводов: Она подвержена тому же порочному кругу, что и любая другая эпистемология джастификационизма , поскольку предполагает то, что пытается оправдать. Согласно этой точке зрения, рациональная интерпретация байесовского вывода будет рассматривать его просто как вероятностную версию фальсификации , отвергая распространенное среди байесовцев убеждение, что высокая вероятность, достигнутая серией байесовских обновлений, докажет гипотезу вне всякого разумного сомнения. или даже с вероятностью больше 0.

Другой

• иногда Научный метод интерпретируется как применение байесовского вывода. С этой точки зрения правило Байеса направляет (или должно руководить) обновлением вероятностей гипотез, обусловленных новыми наблюдениями или экспериментами . Байесовский вывод также применялся для решения стохастических задач планирования с неполной информацией Cai et al. (2009).
• Байесовская теория поиска используется для поиска потерянных объектов.
• Байесовский вывод в филогении
• Байесовский инструмент для анализа метилирования
• Байесовский подход к функционированию мозга исследует мозг как байесовский механизм.
• Байесовский вывод в экологических исследованиях
• Байесовский вывод используется для оценки параметров в стохастических химико-кинетических моделях.
• Байесовский вывод в эконофизике для прогнозирования валюты или фондового рынка
• Байесовский вывод в маркетинге
• Байесовский вывод в моторном обучении
• Байесовский вывод используется в вероятностных вычислениях для решения числовых задач.

Байес и байесовский вывод

Проблема, рассмотренная Байесом в предложении 9 его эссе « Очерк решения проблемы в доктрине шансов », представляет собой апостериорное распределение параметра a (степень успеха) биномиального распределения .

История

Основная статья: История статистики § Байесовская статистика

Термин «байесовский» относится к Томасу Байесу (1701–1761), который доказал, что на неизвестное событие можно наложить вероятностные ограничения. Однако именно Пьер-Симон Лаплас (1749–1827) ввел (как Принцип VI) то, что сейчас называется теоремой Байеса , и использовал его для решения проблем небесной механики , медицинской статистики, надежности и юриспруденции . Лапласа Ранний байесовский вывод, в котором использовались единые априорные условия в соответствии с принципом недостаточного основания , назывался « обратной вероятностью » (потому что он делает выводы в обратном направлении от наблюдений к параметрам или от следствий к причинам). ). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой .

В XX веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, породив объективные и субъективные течения в байесовской практике. В объективном или «неинформативном» течении статистический анализ зависит только от предполагаемой модели, анализируемых данных, и метод назначения априора, который отличается от одного объективного байесовского практика к другому. В субъективном или «информативном» потоке спецификация априора зависит от убеждения (то есть предположений, на основе которых готов действовать анализ), которые могут обобщать информацию от экспертов, предыдущих исследований и т. д.

В 1980-х годах наблюдался резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова , которые устранили многие вычислительные проблемы, а также растущим интересом к нестандартным и сложным приложениям. Несмотря на рост байесовских исследований, большая часть преподавания на бакалавриате по-прежнему основана на частотной статистике. Тем не менее, байесовские методы широко приняты и используются, например, в области машинного обучения .

См. также

• Байесовский подход к работе мозга
• Теория правдоподобия
• Эпистемология
• Принцип свободной энергии
• Индуктивная вероятность
• Теория информационного поля
• Принцип максимальной энтропии
• Вероятностная причинно-следственная связь
• Вероятностное программирование

Ссылки

Источники

• Астер, Ричард; Борчерс, Брайан, и Тербер, Клиффорд (2012). Оценка параметров и обратные задачи , второе издание, Elsevier. ISBN   0123850487 , ISBN   978-0123850485
• Бикель, Питер Дж. и Доксум, Кьелл А. (2001). Математическая статистика, Том 1: Основные и избранные темы (Второе (обновленное издание, 2007 г.) изд.). Пирсон Прентис-Холл. ISBN  978-0-13-850363-5 .
• Бокс, GEP и Тяо, GC (1973). Байесовский вывод в статистическом анализе , Уайли, ISBN   0-471-57428-7
• Эдвардс, Уорд (1968). «Консерватизм в обработке информации человеком». В Кляйнмунц, Б. (ред.). Формальное представление человеческого суждения . Уайли.
• Эдвардс, Уорд (1982). Дэниел Канеман ; Пол Слович ; Амос Тверски (ред.). «Суждение в условиях неопределенности: эвристика и предвзятость». Наука . 185 (4157): 1124–1131. Бибкод : 1974Sci...185.1124T . дои : 10.1126/science.185.4157.1124 . ПМИД   17835457 . S2CID   143452957 . Глава: Консерватизм в обработке информации человеком (отрывок)
• Джейнс Э.Т. (2003) Теория вероятностей: логика науки , CUP. ISBN   978-0-521-59271-0 ( ссылка на фрагментарное издание за март 1996 г. ).
• Хаусон К. и Урбах П. (2005). Научное рассуждение: байесовский подход (3-е изд.). Издательская компания «Открытый суд» . ISBN  978-0-8126-9578-6 .
• Филлипс, Л.Д.; Эдвардс, Уорд (октябрь 2008 г.). «Глава 6: Консерватизм в простой задаче вероятностного вывода ( Журнал экспериментальной психологии (1966) 72: 346-354)». В Цзе В. Вайсе; Дэвид Дж. Вайс (ред.). Наука принятия решений: наследие Уорда Эдвардса . Издательство Оксфордского университета. п. 536. ИСБН  978-0-19-532298-9 .

Дальнейшее чтение

• Полный отчет об истории байесовской статистики и дебатах о часто встречающихся подходах см. Вальверду, Хорди (2016). Байесовцы против частотников. Философские дебаты о статистических рассуждениях . Нью-Йорк: Спрингер. ISBN  978-3-662-48638-2 .
• Клейтон, Обри (август 2021 г.). Заблуждение Бернулли: статистическая нелогика и кризис современной науки . Издательство Колумбийского университета. ISBN  978-0-231-55335-3 .

элементарный

Следующие книги перечислены в порядке возрастания вероятностной сложности:

• Стоун, СП (2013), «Правило Байеса: учебное пособие по байесовскому анализу», загрузите первую главу здесь , Sebtel Press, Англия.
• Деннис В. Линдли (2013). Понимание неопределенности, исправленное издание (2-е изд.). Джон Уайли. ISBN  978-1-118-65012-7 .
• Колин Хаусон и Питер Урбах (2005). Научное рассуждение: байесовский подход (3-е изд.). Издательская компания «Открытый суд» . ISBN  978-0-8126-9578-6 .
• Берри, Дональд А. (1996). Статистика: байесовский взгляд . Даксбери. ISBN  978-0-534-23476-8 .
• Моррис Х. ДеГрут и Марк Дж. Шервиш (2002). Вероятность и статистика (третье изд.). Аддисон-Уэсли. ISBN  978-0-201-52488-8 .
• Болстад, Уильям М. (2007) Введение в байесовскую статистику : второе издание, Джон Уайли ISBN   0-471-27020-2
• Винклер, Роберт Л. (2003). Введение в байесовский вывод и принятие решений (2-е изд.). Вероятностный. ISBN  978-0-9647938-4-2 . Обновлен классический учебник. Ярко представлена ​​байесовская теория.
• Ли, Питер М. Байесианская статистика: введение . Четвертое издание (2012), Джон Уайли ISBN   978-1-1183-3257-3
• Карлин, Брэдли П. и Луи, Томас А. (2008). Байесовские методы анализа данных, третье издание . Бока-Ратон, Флорида: Чепмен и Холл/CRC. ISBN  978-1-58488-697-6 .
• Гельман, Эндрю ; Карлин, Джон Б.; Стерн, Хэл С.; Дансон, Дэвид Б.; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание . Чепмен и Холл/CRC. ISBN  978-1-4398-4095-5 .

Средний или продвинутый

• Бергер, Джеймс О (1985). Статистическая теория принятия решений и байесовский анализ . Серия Спрингера по статистике (второе изд.). Спрингер-Верлаг. Бибкод : 1985sdtb.book.....B . ISBN  978-0-387-96098-2 .
• Бернардо, Хосе М .; Смит, Адриан Ф.М. (1994). Байесовская теория . Уайли.
• ДеГрут, Моррис Х. , Оптимальные статистические решения . Библиотека классической литературы Уайли. 2004 г. (Первоначально опубликовано (1970 г.) издательством McGraw-Hill.) ISBN   0-471-68029-X .
• Шервиш, Марк Дж. (1995). Теория статистики . Спрингер Верлаг. ISBN  978-0-387-94546-0 .
• Джейнс, ET (1998). Теория вероятностей: логика науки .
• О'Хаган А. и Форстер Дж. (2003). Расширенная теория статистики Кендалла , Том 2B: Байесовский вывод . Арнольд, Нью-Йорк. ISBN   0-340-52922-9 .
• Роберт, Кристиан П. (2007). Байесовский выбор: от основ теории принятия решений к вычислительной реализации (изд. в мягкой обложке). Спрингер. ISBN  978-0-387-71598-8 .
• Перл, Иудея . (1988). Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода , Сан-Матео, Калифорния: Морган Кауфманн.
• Пьер Бессьер и др. (2013). « Байесовское программирование ». ЦРК Пресс. ISBN   9781439880326
• Франсиско Дж. Саманиего (2010). «Сравнение байесовского и частотного подходов к оценке». Спрингер. Нью-Йорк, ISBN   978-1-4419-5940-9

Внешние ссылки

• «Байесовский подход к статистическим задачам» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Байесовская статистика из Scholarpedia.
• Введение в байесовскую вероятность от Лондонского университета королевы Марии.
• Математические заметки о байесовской статистике и цепи Маркова Монте-Карло
• Список байесовской литературы. Архивировано 25 июня 2011 г. в Wayback Machine , классифицировано и аннотировано Томом Гриффитсом.
• А. Хаек и С. Хартманн: Байесовская эпистемология , в: J. Dancy et al. (ред.), «Спутник эпистемологии». Оксфорд: Блэквелл 2010, 93–106.
• С. Хартманн и Дж. Шпренгер: Байесовская эпистемология , в: С. Бернекер и Д. Притчард (ред.), Routledge Companion to Epistemology. Лондон: Routledge 2010, 609–620.
• Стэнфордская энциклопедия философии : «Индуктивная логика»
• Байесовская теория подтверждения (PDF)
• Что такое байесовское обучение?
• Данные, неопределенность и выводы — неформальное введение со множеством примеров, электронная книга (PDF) находится в свободном доступе на сайте causaScientia.