Апостериорная вероятность

Апостериорная вероятность — это тип условной вероятности , который возникает в результате обновления априорной вероятности информацией, суммированной по вероятности, посредством применения правила Байеса . ^[1] С эпистемологической точки зрения апостериорная вероятность содержит все, что нужно знать о неопределенном утверждении (например, научной гипотезе или значениях параметров), учитывая предварительные знания и математическую модель, описывающую наблюдения, доступные в определенный момент времени. ^[2] После поступления новой информации текущая апостериорная вероятность может служить априорной в следующем раунде байесовского обновления. ^[3]

В контексте байесовской статистики апостериорное обусловленную распределение вероятностей обычно описывает эпистемическую неопределенность в отношении статистических параметров, набором наблюдаемых данных. На основе заданного апостериорного распределения различные точечные и интервальные оценки можно получить , такие как максимальный апостериорный интервал (MAP) или интервал максимальной апостериорной плотности (HPDI). ^[4] Но, несмотря на концептуальную простоту, апостериорное распределение, как правило, трудно поддается контролю, и поэтому его необходимо аппроксимировать аналитически или численно. ^[5]

Определение в распределительном случае [ править ]

В вариационных байесовских методах апостериорная вероятность — это вероятность параметров $\theta$ учитывая доказательства $X$ , и обозначается $p(\theta |X)$ .

Она контрастирует с функцией правдоподобия , которая представляет собой вероятность свидетельства с учетом параметров: $p(X|\theta )$ .

Они связаны следующим образом:

Учитывая априорное убеждение, что распределения вероятностей функция $p(\theta )$ и что наблюдения $x$ иметь вероятность $p(x|\theta )$ , то апостериорная вероятность определяется как

p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )

, ^[6]

где $p(x)$ – нормировочная константа и рассчитывается как

p(x)=\int p(x|\theta )p(\theta )d\theta

для непрерывного $\theta$ , или суммируя $p(x|\theta )p(\theta )$ по всем возможным значениям $\theta$ для дискретного $\theta$ . ^[7]

Следовательно, апостериорная вероятность пропорциональна произведению Вероятность · Априорная вероятность . ^[8]

Пример [ править ]

Предположим, есть школа, в которой учатся 60% мальчиков и 40% девочек. Девушки носят брюки или юбки в равном количестве; все мальчики носят брюки. Наблюдатель видит (случайного) ученика на расстоянии; все, что может видеть наблюдатель, это то, что этот студент носит брюки. Какова вероятность, что этот студент окажется девочкой? Правильный ответ можно вычислить с помощью теоремы Байеса.

Событие $G$ заключается в том, что наблюдаемая студентка — девочка, а событие $T$ заключается в том, что наблюдаемый студент носит брюки. Чтобы вычислить апостериорную вероятность $P(G|T)$ , нам сначала нужно знать:

$P(G)$ , или вероятность того, что студентка — девочка, независимо от любой другой информации. Поскольку наблюдатель видит случайного студента, то есть все студенты имеют одинаковую вероятность быть наблюдаемым, а процент девочек среди студентов составляет 40%, эта вероятность равна 0,4.
$P(B)$ , или вероятность того, что студент не девочка (т.е. мальчик) независимо от любой другой информации ( $B$ является дополнительным мероприятием $G$ ). Это 60%, или 0,6.
$P(T|G)$ , или вероятность того, что студент будет носить брюки, учитывая, что студент — девочка. Поскольку они с такой же вероятностью носят юбки, как и брюки, этот показатель равен 0,5.
$P(T|B)$ , или вероятность того, что студент будет носить брюки, учитывая, что это мальчик. Это дается как 1.
$P(T)$ , или вероятность того, что (случайно выбранный) студент будет носить брюки независимо от любой другой информации. С $P(T)=P(T|G)P(G)+P(T|B)P(B)$ (по закону полной вероятности ), это $P(T)=0.5\times 0.4+1\times 0.6=0.8$ .

Учитывая всю эту информацию, апостериорную вероятность того, что наблюдатель заметил девушку, учитывая, что наблюдаемый студент носит брюки, можно вычислить, подставив эти значения в формулу:

P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.

Интуитивный способ решить эту задачу — предположить, что в школе учатся N учеников. Количество мальчиков = 0,6N и количество девочек = 0,4N. Если N достаточно велико, общее количество носящих брюки = 0,6N + 50% от 0,4N. А количество девушек, носящих брюки = 50% от 0,4N. Следовательно, в популяции брюк девочек (50% от 0,4N)/(0,6N+ 50% от 0,4N) = 25%. Другими словами, если выделить группу носящих брюки, то четверть этой группы составят девушки. Таким образом, если вы видите брюки, максимум, что вы можете сделать, это то, что вы смотрите на одну выборку из подгруппы студентов, 25% из которых составляют девочки. И по определению вероятность того, что этот случайный студент окажется девочкой, составляет 25%. Таким образом можно решить любую задачу, связанную с теоремой Байеса. ^[9]

Расчет [ править ]

Апостериорное распределение вероятностей одной случайной величины с учетом значения другой может быть рассчитано с помощью теоремы Байеса путем умножения априорного распределения вероятностей на функцию правдоподобия , а затем деления на нормализующую константу следующим образом:

f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}

дает апостериорную функцию плотности вероятности для случайной величины $X$ учитывая данные $Y=y$ , где

$f_{X}(x)$ - априорная плотность $X$ ,
${\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)$ функция правдоподобия как функция $x$ ,
$\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du$ - нормировочная константа, а
$f_{X\mid Y=y}(x)$ это апостериорная плотность $X$ учитывая данные $Y=y$ . ^[10]

Достоверный интервал [ править ]

Апостериорная вероятность — это условная вероятность, обусловленная случайно наблюдаемыми данными. Следовательно, это случайная величина. Для случайной величины важно суммировать ее неопределенность. Один из способов достижения этой цели — обеспечить достоверный интервал апостериорной вероятности. ^[11]

Классификация [ править ]

В классификации апостериорные вероятности отражают неопределенность отнесения наблюдения к определенному классу, см. также вероятности принадлежности к классу . В то время как методы статистической классификации по определению генерируют апостериорные вероятности, машинное обучение обычно предоставляет значения членства, которые не вызывают какой-либо вероятностной уверенности. Желательно преобразовать или перемасштабировать значения членства в вероятности членства в классе, поскольку они сопоставимы и, кроме того, их легче применить для последующей обработки. ^[12]

См. также [ править ]

Ссылки [ править ]

^ Ламберт, Бен (2018). «Апостериорное - цель байесовского вывода». Руководство для студентов по байесовской статистике . Мудрец. стр. 121–140. ISBN 978-1-4739-1636-4 .
^ Гроссман, Джейсон (2005). Выводы из наблюдений к простым статистическим гипотезам (кандидатская диссертация). Университет Сиднея. hdl : 2123/9107 .
^ Эц, Алекс (25 июля 2015 г.). «Понимание Байеса: обновление априорных значений через вероятность» . Etz-файлы . Проверено 18 августа 2022 г.
^ Гилл, Джефф (2014). «Суммирование апостериорных распределений с интервалами». Байесовские методы: подход социальных и поведенческих наук (Третье изд.). Чепмен и Холл. стр. 42–48. ISBN 978-1-4398-6248-3 .
^ Пресс, С. Джеймс (1989). «Аппроксимации, численные методы и компьютерные программы». Байесовская статистика: принципы, модели и приложения . Нью-Йорк: Джон Уайли и сыновья. стр. 69–102. ISBN 0-471-63729-7 .
^ Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Спрингер. стр. 21–24. ISBN 978-0-387-31073-2 .
^ Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . ЦРК Пресс. п. 7. ISBN 978-1-4398-4095-5 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Росс, Кевин. Глава 8. Введение в непрерывные априорные и апостериорные распределения | Введение в байесовские рассуждения и методы .
^ «Теорема Байеса — C или T ex T» . сайты.google.com . Проверено 18 августа 2022 г.
^ «Апостериорная вероятность — формулы поисковой системы» . Formulasearchengine.com . Проверено 19 августа 2022 г.
^ Клайд, Мерлиз; Четинкая-Рундель, Шахта; Рандел, Колин; Бэнкс, Дэвид; Чай, Кристина; Хуанг, Лиззи. Глава 1. Основы байесовской статистики | Введение в байесовское мышление .
^ Бодекер, Питер; Кернс, Натан Т. (9 июля 2019 г.). «Линейный дискриминантный анализ для прогнозирования членства в группах: удобный учебник» . Достижения в методах и практике психологической науки . 2 (3): 250–263. дои : 10.1177/2515245919849378 . ISSN 2515-2459 . S2CID 199007973 .

Дальнейшее чтение [ править ]

Ланкастер, Тони (2004). Введение в современную байесовскую эконометрику . Оксфорд: Блэквелл. ISBN 1-4051-1720-6 .
Ли, Питер М. (2004). Байесовская статистика: Введение (3-е изд.). Уайли . ISBN 0-340-81405-5 .

[1] Ламберт, Бен (2018). «Апостериорное - цель байесовского вывода». Руководство для студентов по байесовской статистике . Мудрец. стр. 121–140. ISBN 978-1-4739-1636-4 .

[2] Гроссман, Джейсон (2005). Выводы из наблюдений к простым статистическим гипотезам (кандидатская диссертация). Университет Сиднея. hdl : 2123/9107 .

[3] Эц, Алекс (25 июля 2015 г.). «Понимание Байеса: обновление априорных значений через вероятность» . Etz-файлы . Проверено 18 августа 2022 г.

[4] Гилл, Джефф (2014). «Суммирование апостериорных распределений с интервалами». Байесовские методы: подход социальных и поведенческих наук (Третье изд.). Чепмен и Холл. стр. 42–48. ISBN 978-1-4398-6248-3 .

[5] Пресс, С. Джеймс (1989). «Аппроксимации, численные методы и компьютерные программы». Байесовская статистика: принципы, модели и приложения . Нью-Йорк: Джон Уайли и сыновья. стр. 69–102. ISBN 0-471-63729-7 .

[6] Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Спрингер. стр. 21–24. ISBN 978-0-387-31073-2 .

[BDA-7] Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . ЦРК Пресс. п. 7. ISBN 978-1-4398-4095-5 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[8] Росс, Кевин. Глава 8. Введение в непрерывные априорные и апостериорные распределения | Введение в байесовские рассуждения и методы .

[9] «Теорема Байеса — C или T ex T» . сайты.google.com . Проверено 18 августа 2022 г.

[10] «Апостериорная вероятность — формулы поисковой системы» . Formulasearchengine.com . Проверено 19 августа 2022 г.

[11] Клайд, Мерлиз; Четинкая-Рундель, Шахта; Рандел, Колин; Бэнкс, Дэвид; Чай, Кристина; Хуанг, Лиззи. Глава 1. Основы байесовской статистики | Введение в байесовское мышление .

[12] Бодекер, Питер; Кернс, Натан Т. (9 июля 2019 г.). «Линейный дискриминантный анализ для прогнозирования членства в группах: удобный учебник» . Достижения в методах и практике психологической науки . 2 (3): 250–263. дои : 10.1177/2515245919849378 . ISSN 2515-2459 . S2CID 199007973 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]