Байесовская вероятность

Из Википедии, бесплатной энциклопедии
Для более широкого освещения этой темы см. Байесовскую статистику .
Часть серии о
Байесовская статистика
Апостериорный = Вероятность × Априорный ÷ Доказательства
Фон
Построение модели
Апостериорное приближение
Оценщики
Приближение доказательств
Оценка модели

Байесовская вероятность ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) [1] — это интерпретация понятия вероятности , в которой вместо частоты или склонности какого-либо явления вероятность интерпретируется как разумное ожидание. [2] представляющий состояние знаний [3] или как количественная оценка личного убеждения. [4]

Байесовскую интерпретацию вероятности можно рассматривать как расширение логики высказываний , позволяющее рассуждать с помощью гипотез ; [5] [6] то есть с предложениями, истинность или ложность которых неизвестна. С байесовской точки зрения гипотезе присваивается вероятность, тогда как при частотном выводе гипотеза обычно проверяется без присвоения вероятности.

Байесовская вероятность относится к категории доказательных вероятностей; Чтобы оценить вероятность гипотезы, байесовский вероятностник определяет априорную вероятность . Это, в свою очередь, затем обновляется до апостериорной вероятности в свете новых соответствующих данных (доказательств). [7] Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого расчета.

Термин «байесовский» происходит от имени математика и теолога 18-го века Томаса Байеса , который впервые математическо обработал нетривиальную задачу статистического анализа данных с использованием того, что сейчас известно как байесовский вывод . [8] : 131  Математик Пьер-Симон Лаплас первым разработал и популяризировал то, что сейчас называется байесовской вероятностью. [8] : 97–98 

Байесовская методология [ править ]

Байесовские методы характеризуются следующими концепциями и процедурами:

и субъективные байесовские вероятности Объективные

Вообще говоря, существует две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логики , вероятность количественно определяет разумное ожидание того, что каждый (даже «робот»), разделяющий одни и те же знания, должен делиться ими в соответствии с правилами байесовской статистики, что может быть оправдано теоремой Кокса . [3] [10] Для субъективистов вероятность соответствует личному убеждению. [4] Рациональность и последовательность допускают существенные различия в пределах ограничений, которые они налагают; ограничения оправдываются аргументами из голландской книги или теорией принятия решений и теоремой де Финетти . [4] Объективный и субъективный варианты байесовской вероятности различаются главным образом в интерпретации и построении априорной вероятности.

История [ править ]

Основная статья: История статистики § Байесовская статистика

Термин «байесианство» происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса, в статье под названием « Очерк решения проблемы в доктрине шансов ». [11] В этом особом случае априорное и апостериорное распределения были бета-распределениями , а данные были получены из испытаний Бернулли . Именно Пьер-Симон Лаплас (1749–1827) представил общую версию теоремы и использовал ее для решения задач небесной механики , медицинской статистики, надежности и юриспруденции . [12] Лапласа Ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточного основания , назывался « обратной вероятностью » (поскольку он делает выводы в обратном направлении от наблюдений к параметрам или от следствий к причинам). [13] После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой . [13]

В XX веке идеи Лапласа развивались в двух направлениях, порождая объективные и субъективные течения в байесовской практике. Гарольда Джеффриса ( Теория вероятностей впервые опубликованная в 1939 году) сыграла важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Абрахама Уолда (1950) и Леонарда Дж. Сэвиджа (1954). Само прилагательное «байесианский» появилось в 1950-х годах; производное байесианство , необайесианство, появилось в чеканке 1960-х годов. [14] [15] [16] В объективистском направлении статистический анализ зависит только от принятой модели и анализируемых данных. [17] Никаких субъективных решений не требуется. Напротив, «субъективистские» статистики отрицают возможность вполне объективного анализа общего случая.

В 1980-е годы произошел резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова и последующим устранением многих вычислительных проблем, а также с растущим интересом к нестандартным и сложным приложениям. [18] Несмотря на то, что статистика частого использования остается сильной (о чем свидетельствует тот факт, что большая часть преподавания на бакалавриате основана на ней), [19] ), Байесовские методы широко распространены и используются, например, в области машинного обучения . [20]

Обоснование [ править ]

Использование байесовских вероятностей в качестве основы байесовского вывода было поддержано несколькими аргументами, такими как аксиомы Кокса , аргумент голландской книги , аргументы, основанные на теории принятия решений и теорема де Финетти .

Аксиоматический подход [ править ]

Ричард Т. Кокс показал, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотезу дифференцируемости. [10] [21] Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на его наблюдении о том, что булева алгебра утверждений может быть конечной. [22] Различные авторы предлагали и другие аксиоматизации с целью сделать теорию более строгой. [9]

книжный подход Голландский ​

Основная статья: голландская книга

Бруно де Финетти предложил голландский книжный аргумент, основанный на ставках. Умный букмекер создает голландскую букмекерскую контору , устанавливая коэффициенты и ставки таким образом, чтобы букмекерская контора получала прибыль — за счет игроков — независимо от исхода события (например, скачек), на которое игроки делали ставки. Это связано с вероятностями, подразумеваемыми несогласованностью шансов .

Однако Ян Хакинг отметил, что традиционные аргументы голландских книг не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Хакинг пишет [23] [24] «И ни аргумент голландской книги, ни какой-либо другой из персоналистского арсенала доказательств аксиом вероятности не влечет за собой динамического предположения. Ни один из них не влечет за собой байесовского подхода. Персоналист может отказаться от байесовской модели обучения на опыте. Соль может потерять свою привлекательность».

Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по « кинематике вероятности »). [25] после публикации правила Ричарда К. Джеффри , которое само по себе считается байесовским. [26] ). Дополнительные гипотезы, достаточные для (единственного) определения байесовского обновления, существенны. [27] и не повсеместно считается удовлетворительным. [28]

теории Подход принятия решений

Теоретико -решательное обоснование использования байесовского вывода (и, следовательно, байесовских вероятностей) было дано Абрахамом Вальдом , который доказал, что каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. [29] И наоборот, любая байесовская процедура допустима . [30]

Персональные вероятности и объективные методы построения априорных значений [ править ]

После работы над ожидаемой полезности теорией Рэмси используя и фон Неймана специалисты по теории принятия решений объяснили рациональное поведение, распределение вероятностей для агента . Иоганн Пфанцагль завершил « Теорию игр и экономического поведения», предоставив аксиоматизацию субъективной вероятности и полезности, задачу, которую фон Нейман и Оскар Моргенштерн оставили незавершенной : их первоначальная теория предполагала, что все агенты для удобства имеют одинаковое распределение вероятностей. [31] Аксиоматизация Пфанцагля была поддержана Оскаром Моргенштерном: «Мы с Фон Нейманом предвидели... [вопрос о том, являются ли вероятности] может, возможно, более типичным, быть субъективным, и конкретно заявили, что в последнем случае можно найти аксиомы, из которых можно было бы вывести желаемая числовая полезность вместе с числом для вероятностей (ср. стр. 19 «Теории игр и экономического поведения»). Мы не осуществили этого, продемонстрировав это Пфанцаглем... со всей необходимой строгостью». [32]

Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента можно объективно изучить в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) принадлежат Рэмси (1931) и де Финетти (1931, 1937, 1964, 1970). Оба Бруно де Финетти [33] [34] и Фрэнк П. Рэмси [34] [35] признают свой долг перед прагматической философией , особенно (для Рэмси) перед Чарльзом С. Пирсом . [34] [35]

«Тест Рэмси» для оценки вероятностных распределений теоретически реализуем, и он уже полвека занимает психологов-экспериментаторов. [36] Эта работа демонстрирует, что предположения о байесовской вероятности могут быть фальсифицированы и, таким образом, соответствуют эмпирическому критерию Чарльза С. Пирса , чья работа вдохновила Рэмси. (Этот критерий фальсифицируемости был популяризирован Карлом Поппером . [37] [38] )

В современной работе по экспериментальной оценке личных вероятностей используются процедуры рандомизации, ослепления и булевого решения эксперимента Пирса-Ястроу. [39] Поскольку индивиды действуют в соответствии с разными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).

Персональные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени, чтобы определить обоснованное распределение вероятностей (в соответствии с которым они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы определения априорных вероятностей.

Действительно, некоторые байесовцы утверждают, что априорное состояние знаний определяет (уникальное) априорное распределение вероятностей для «обычных» статистических задач; ср. хорошо поставленные задачи . Поиск правильного метода построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был задачей теоретиков статистики от Лапласа до Джона Мейнарда Кейнса , Гарольда Джеффриса и Эдвина Томпсона Джейнса . Эти теоретики и их последователи предложили несколько методов построения «объективных» априор (к сожалению, не всегда понятно, как оценить относительную «объективность» априор, предлагаемых в рамках этих методов):

Каждый из этих методов дает полезные априоры для «регулярных» однопараметрических задач, и каждый априор может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов оказался полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно «по умолчанию» или «невежества») априорных подходов были разработаны общепризнанными субъективными (или «личными») байесианцами, такими как Джеймс Бергер ( Университет Дьюка ) и Хосе-Мигель Бернардо ( Университет Валенсии ). , просто потому, что такие априоры необходимы для байесовской практики, особенно в науке. [40] Поиски «универсального метода построения априорных значений» продолжают привлекать теоретиков статистики. [40]

Таким образом, байесовский статистик должен либо использовать информированные априорные данные (с использованием соответствующего опыта или предыдущих данных), либо выбирать среди конкурирующих методов построения «объективных» априорных значений.

См. также [ править ]

Ссылки [ править ]

  1. ^ «Байесовский» . Словарь Merriam-Webster.com .
  2. ^ Кокс, RT (1946). «Вероятность, частота и разумные ожидания». Американский журнал физики . 14 (1): 1–10. Бибкод : 1946AmJPh..14....1C . дои : 10.1119/1.1990764 .
  3. ^ Перейти обратно: а б Джейнс, ET (1986). «Байесовские методы: общие сведения». В правосудии, Дж. Х. (ред.). Методы максимальной энтропии и байесовские методы в прикладной статистике . Кембридж: Издательство Кембриджского университета. CiteSeerX   10.1.1.41.1055 .
  4. ^ Перейти обратно: а б с де Финетти, Бруно (2017). Теория вероятностей: критическое введение . John Wiley & Sons Ltd. Чичестер: ISBN  9781119286370 .
  5. ^ Хайльперин, Теодор (1996). Сентенциальная вероятностная логика: происхождение, развитие, современное состояние и технические приложения . Лондон: Издательство Associated University Press. ISBN  0934223459 .
  6. ^ Хаусон, Колин (2001). «Логика байесовской вероятности». В Корфилде, Д.; Уильямсон, Дж. (ред.). Основы байесовства . Дордрехт: Клювер. стр. 137–159. ISBN  1-4020-0223-8 .
  7. ^ Паулос, Джон Аллен (5 августа 2011 г.). «Математика изменения вашего мнения [Шэрон Берч Макгрейн]» . Рецензия на книгу. Газета "Нью-Йорк Таймс . Архивировано из оригинала 1 января 2022 г. Проверено 6 августа 2011 г.
  8. ^ Перейти обратно: а б Стиглер, Стивен М. (март 1990 г.). История статистики . Издательство Гарвардского университета. ISBN  9780674403413 .
  9. ^ Перейти обратно: а б Дюпре, Морис Ж.; Типлер, Фрэнк Дж. (2009). «Новые аксиомы строгой байесовской вероятности» . Байесовский анализ . 4 (3): 599–606. CiteSeerX   10.1.1.612.3036 . дои : 10.1214/09-BA422 .
  10. ^ Перейти обратно: а б Кокс, Ричард Т. (1961). Алгебра вероятного вывода (Переиздание). Балтимор, Мэриленд; Лондон, Великобритания: Johns Hopkins Press; Издательство Оксфордского университета [дистрибьютор]. ISBN  9780801869822 .
  11. ^ Макгрейн, Шэрон Берч (2011). Теория, которая не умрет . [https://archive.org/details/theorythatwouldn0000mcgr/page/10 10 ] , стр. 10 , в Google Книгах .
  12. ^ Стиглер, Стивен М. (1986). "Глава 3" . История статистики . Издательство Гарвардского университета. ISBN  9780674403406 .
  13. ^ Перейти обратно: а б Файнберг, Стивен. Э. (2006). «Когда байесовский вывод стал «байесовским»?» (PDF) . Байесовский анализ . 1 (1): 5, 1–40. дои : 10.1214/06-BA101 . Архивировано из оригинала (PDF) 10 сентября 2014 года.
  14. ^ Харрис, Маршалл Дис (1959). «Последние разработки так называемого байесовского подхода к статистике». Центр сельскохозяйственного права. Юридически-экономические исследования . Университет Айовы: 125 (ср. № 52), 126. Работы Уолда « Статистические функции принятия решений» (1950) и Сэвиджа « Основы статистики » (1954) обычно считаются отправными точками для современных байесовских подходов.
  15. ^ Анналы вычислительной лаборатории Гарвардского университета . Том. 31. 1962. с. 180. Эта революция, которая может увенчаться успехом, а может и нет, является необайесианством. Джеффрис пытался внедрить этот подход, но в то время ему не удалось привлечь к нему всеобщее внимание.
  16. ^ Кемпторн, Оскар (1967). Классическая проблема вывода — степень соответствия . Пятый симпозиум Беркли по математической статистике и вероятности. п. 235. Любопытно, что даже в своей деятельности, не связанной с этикой, человечество ищет религию. В настоящее время сильнее всего «давят» религию байесианства.
  17. ^ Бернардо, JM (2005). «Справочный анализ». Байесовское мышление — моделирование и вычисления . Справочник по статистике. Том. 25. Справочник статистики. стр. 17–90. дои : 10.1016/S0169-7161(05)25002-2 . ISBN  9780444515391 .
  18. ^ Вулперт, Р.Л. (2004). «Разговор с Джеймсом О. Бергером» . Статистическая наука . 9 : 205–218. дои : 10.1214/088342304000000053 .
  19. ^ Бернардо, Хосе М. (2006). Учебник по байесовской математической статистике (PDF) . ИКОТС-7. Берн. Архивировано (PDF) из оригинала 9 октября 2022 г.
  20. ^ Бишоп, CM (2007). Распознавание образов и машинное обучение . Спрингер.
  21. ^ Смит, К. Рэй; Эриксон, Гэри (1989). «От рациональности и непротиворечивости к байесовской вероятности». В Скиллинге, Джон (ред.). Максимальная энтропия и байесовские методы . Дордрехт: Клювер. стр. 29–44. дои : 10.1007/978-94-015-7860-8_2 . ISBN  0-7923-0224-9 .
  22. ^ Халперн, Дж. (1999). «Контрпример к теоремам Кокса и Файна» (PDF) . Журнал исследований искусственного интеллекта . 10 : 67–85. дои : 10.1613/jair.536 . S2CID   1538503 . Архивировано (PDF) из оригинала 9 октября 2022 г.
  23. ^ Взлом (1967), Раздел 3, стр. 316
  24. ^ Взлом (1988, стр. 124)
  25. ^ Скирмс, Брайан (1 января 1987 г.). «Динамическая когерентность и вероятностная кинематика». Философия науки . 54 (1): 1–20. CiteSeerX   10.1.1.395.5723 . дои : 10.1086/289350 . JSTOR   187470 . S2CID   120881078 .
  26. ^ Джойс, Джеймс (30 сентября 2003 г.). «Теорема Байеса» . Стэнфордская энциклопедия философии . Стэнфорд.edu.
  27. ^ Фукс, Кристофер А.; Шак, Рюдигер (1 января 2012 г.). «Байесовское кондиционирование, принцип отражения и квантовая декогеренция». В Бен-Менахеме, Йемайма; Хеммо, Меир (ред.). Вероятность в физике . Коллекция «Границы». Шпрингер Берлин Гейдельберг. стр. 233–247 . arXiv : 1103.5950 . дои : 10.1007/978-3-642-21329-8_15 . ISBN  9783642213281 . S2CID   119215115 .
  28. ^ ван Фрассен, Бас (1989). Законы и симметрия . Издательство Оксфордского университета. ISBN  0-19-824860-1 .
  29. ^ Вальд, Авраам (1950). Статистические функции принятия решений . Уайли.
  30. ^ Бернардо, Хосе М.; Смит, Адриан FM (1994). Байесовская теория . Джон Уайли. ISBN  0-471-92416-4 .
  31. ^ Пфанзагль (1967, 1968)
  32. ^ Моргенштерн (1976, стр. 65)
  33. ^ Галавотти, Мария Карла (1 января 1989 г.). «Антиреализм в философии вероятности: субъективизм Бруно де Финетти». Эркеннтнис . 31 (2/3): 239–261. дои : 10.1007/bf01236565 . JSTOR   20012239 . S2CID   170802937 .
  34. ^ Перейти обратно: а б с Галавотти, Мария Карла (1 декабря 1991 г.). «Понятие субъективной вероятности в работах Рэмси и де Финетти». Теория . 57 (3): 239–259. дои : 10.1111/j.1755-2567.1991.tb00839.x . ISSN   1755-2567 .
  35. ^ Перейти обратно: а б Докич, Жером; Энгель, Паскаль (2003). Фрэнк Рэмси: Правда и успех . Рутледж. ISBN  9781134445936 .
  36. ^ Дэвидсон и др. (1957)
  37. ^ Торнтон, Стивен (7 августа 2018 г.). «Карл Поппер». Стэнфордская энциклопедия философии . Лаборатория метафизических исследований Стэнфордского университета.
  38. ^ Поппер, Карл (2002) [1959]. Логика научных открытий (2-е изд.). Рутледж. п. 57. ИСБН  0-415-27843-0 – через Google Книги. (перевод оригинала 1935 года на немецкий язык).
  39. ^ Пирс и Джастроу (1885)
  40. ^ Перейти обратно: а б Бернардо, JM (2005). «Справочный анализ». Ин Дей, ДК; Рао, ЧР (ред.). Справочник по статистике (PDF) . Том. 25. Амстердам: Эльзевир. стр. 17–90. Архивировано (PDF) из оригинала 9 октября 2022 г.

Библиография [ править ]

(Частично перепечатано в Герденфорс, Питер ; Сахлин, Нильс-Эрик (1988). Решение, вероятность и полезность: избранные материалы . Издательство Кембриджского университета. ISBN  0-521-33658-9 . )
Retrieved from "https://en.wikipedia.org/w/index.php?title=Bayesian_probability&oldid=1215435585"