Байесовская вероятность

Для более широкого освещения этой темы см. Байесовскую статистику .

Байесовская вероятность ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) — это интерпретация понятия вероятности , в которой вместо частоты или склонности какого-либо явления вероятность интерпретируется как разумное ожидание. представляющий состояние знаний или как количественная оценка личного убеждения.

Байесовскую интерпретацию вероятности можно рассматривать как расширение логики высказываний , позволяющее рассуждать с помощью гипотез ; то есть с предложениями, истинность или ложность которых неизвестна. С байесовской точки зрения гипотезе присваивается вероятность, тогда как при частотном выводе гипотеза обычно проверяется без присвоения вероятности.

Байесовская вероятность относится к категории доказательных вероятностей; Чтобы оценить вероятность гипотезы, байесовский вероятностник определяет априорную вероятность . Это, в свою очередь, затем обновляется до апостериорной вероятности в свете новых соответствующих данных (доказательств). Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого расчета.

Термин «байесовский» происходит от имени математика и теолога 18-го века Томаса Байеса , который впервые предложил математическую обработку нетривиальной проблемы статистического анализа данных с использованием того, что сейчас известно как байесовский вывод . Математик Пьер-Симон Лаплас первым разработал и популяризировал то, что сейчас называется байесовской вероятностью.

Байесовская методология

Байесовские методы характеризуются следующими концепциями и процедурами:

• Использование случайных величин или, в более общем смысле, неизвестных величин. моделировать все источники неопределенности в статистических моделях, включая неопределенность, возникающую из-за отсутствия информации (см. также алеаторическую и эпистемическую неопределенность ).
• Необходимость определения априорного распределения вероятностей с учетом имеющейся (априорной) информации.
• Последовательное использование теоремы Байеса : по мере появления новых данных вычислять апостериорное распределение, используя теорему Байеса; впоследствии апостериорное распределение становится следующим априорным.
• В то время как для частотного подхода гипотеза является утверждением (которое должно быть либо истинным, либо ложным ), так что частотная вероятность гипотезы равна 0 или 1, в байесовской статистике вероятность, которую можно приписать гипотезе, также может быть диапазон от 0 до 1, если истинное значение неопределенно.

Объективные и субъективные байесовские вероятности

Вообще говоря, существует две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логики , вероятность количественно определяет разумное ожидание того, что каждый (даже «робот»), разделяющий одни и те же знания, должен делиться ими в соответствии с правилами байесовской статистики, что может быть оправдано теоремой Кокса . Для субъективистов вероятность соответствует личному убеждению. Рациональность и последовательность допускают существенные различия в пределах ограничений, которые они налагают; ограничения оправдываются аргументами из голландской книги или теорией принятия решений и теоремой де Финетти . Объективный и субъективный варианты байесовской вероятности различаются главным образом в интерпретации и построении априорной вероятности.

История

Основная статья: История статистики § Байесовская статистика

Термин «байесианство» происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса, в статье под названием « Очерк решения проблемы в доктрине шансов ». В этом особом случае априорное и апостериорное распределения были бета-распределениями , а данные были получены из испытаний Бернулли . Именно Пьер-Симон Лаплас (1749–1827) представил общую версию теоремы и использовал ее для решения задач небесной механики , медицинской статистики, надежности и юриспруденции . Лапласа Ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточного основания , назывался « обратной вероятностью » (поскольку он делает выводы в обратном направлении от наблюдений к параметрам или от следствий к причинам). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой .

В XX веке идеи Лапласа развивались в двух направлениях, порождая объективные и субъективные течения в байесовской практике. Гарольда Джеффриса ( Теория вероятностей впервые опубликованная в 1939 году) сыграла важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Абрахама Уолда (1950) и Леонарда Дж. Сэвиджа (1954). Само прилагательное «байесианский» появилось в 1950-х годах; производное байесианство , необайесианство, появилось в чеканке 1960-х годов. В объективистском направлении статистический анализ зависит только от принятой модели и анализируемых данных. Никаких субъективных решений не требуется. Напротив, «субъективистские» статистики отрицают возможность вполне объективного анализа общего случая.

В 1980-е годы произошел резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова и последующим устранением многих вычислительных проблем, а также с растущим интересом к нестандартным и сложным приложениям. Несмотря на то, что статистика частого использования остается сильной (о чем свидетельствует тот факт, что большая часть преподавания на бакалавриате основана на ней), ), байесовские методы широко распространены и используются, например, в области машинного обучения .

Обоснование

Использование байесовских вероятностей в качестве основы байесовского вывода было поддержано несколькими аргументами, такими как аксиомы Кокса , аргумент голландской книги , аргументы, основанные на теории принятия решений и теорема де Финетти .

Аксиоматический подход

Ричард Т. Кокс показал, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотезу дифференцируемости. Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на его наблюдении о том, что булева алгебра утверждений может быть конечной. Различные авторы предлагали и другие аксиоматизации с целью сделать теорию более строгой.

Голландский книжный подход

Основная статья: голландская книга

Бруно де Финетти предложил голландский книжный аргумент, основанный на ставках. Умный букмекер создает голландскую букмекерскую контору , устанавливая коэффициенты и ставки таким образом, чтобы букмекерская контора получала прибыль — за счет игроков — независимо от исхода события (например, скачек), на которое игроки делали ставки. Это связано с вероятностями шансов , подразумеваемыми несогласованностью .

Однако Ян Хакинг отметил, что традиционные аргументы голландских книг не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Хакинг пишет «И ни аргумент голландской книги, ни какой-либо другой из персоналистского арсенала доказательств аксиом вероятности не влечет за собой динамического предположения. Ни один из них не влечет за собой байесовского подхода. Персоналист может отказаться от байесовской модели обучения на опыте. Соль может потерять свою привлекательность».

Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по « кинематике вероятности »). после публикации правила Ричарда К. Джеффри , которое само по себе считается байесовским. ). Дополнительные гипотезы, достаточные для (единственного) определения байесовского обновления, существенны. и не повсеместно считается удовлетворительным.

Подход теории принятия решений

Теоретико -решательное обоснование использования байесовского вывода (и, следовательно, байесовских вероятностей) было дано Абрахамом Вальдом , который доказал, что каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. И наоборот, любая байесовская процедура допустима .

Персональные вероятности и объективные методы построения априорных значений

После работы над ожидаемой полезности теорией Рэмси специалисты и фон Неймана по теории принятия решений объяснили рациональное поведение, используя распределение вероятностей для агента . Иоганн Пфанзагль завершил « Теорию игр и экономического поведения» , предоставив аксиоматизацию субъективной вероятности и полезности, задачу, которую фон Нейман и Оскар Моргенштерн оставили незавершенной : их первоначальная теория предполагала, что все агенты для удобства имеют одинаковое распределение вероятностей. Аксиоматизация Пфанцагля была поддержана Оскаром Моргенштерном: «Мы с Фон Нейманом предвидели... [вопрос о том, являются ли вероятности] может, возможно, более типичным, быть субъективным, и конкретно заявили, что в последнем случае можно найти аксиомы, из которых можно было бы вывести желаемая числовая полезность вместе с числом для вероятностей (ср. стр. 19 «Теории игр и экономического поведения»). Мы не осуществили этого, продемонстрировав это Пфанцаглем... со всей необходимой строгостью».

Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента можно объективно изучить в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) принадлежат Рэмси (1931) и де Финетти (1931, 1937, 1964, 1970). Оба Бруно де Финетти и Фрэнк П. Рэмси признают свой долг перед прагматической философией , особенно (для Рэмси) перед Чарльзом С. Пирсом .

«Тест Рэмси» для оценки вероятностных распределений теоретически реализуем, и он уже полвека занимает внимание психологов-экспериментаторов. Эта работа демонстрирует, что предположения о байесовской вероятности могут быть фальсифицированы и, таким образом, соответствуют эмпирическому критерию Чарльза С. Пирса , чья работа вдохновила Рэмси. (Этот критерий фальсифицируемости был популяризирован Карлом Поппером . )

В современной работе по экспериментальной оценке личных вероятностей используются процедуры рандомизации, ослепления и булевого решения эксперимента Пирса-Ястроу. Поскольку индивиды действуют в соответствии с разными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).

Персональные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени, чтобы определить обоснованное распределение вероятностей (в соответствии с которым они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы определения априорных вероятностей.

Действительно, некоторые байесовцы утверждают, что априорное состояние знаний определяет (уникальное) априорное распределение вероятностей для «обычных» статистических задач; ср. хорошо поставленные задачи . Поиск правильного метода построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был поиском теоретиков статистики от Лапласа до Джона Мейнарда Кейнса , Гарольда Джеффриса и Эдвина Томпсона Джейнса . Эти теоретики и их последователи предложили несколько методов построения «объективных» априор (к сожалению, не всегда понятно, как оценить относительную «объективность» априор, предлагаемых в рамках этих методов):

• Максимальная энтропия
• Групповой анализ преобразований
• Справочный анализ

Каждый из этих методов дает полезные априоры для «регулярных» однопараметрических задач, и каждый априор может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов оказался полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно «по умолчанию» или «невежества») априорных подходов были разработаны общепризнанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер ( Университет Дьюка ) и Хосе-Мигель Бернардо ( Университет Валенсии ). просто потому, что такие априоры необходимы для байесовской практики, особенно в науке. Поиски «универсального метода построения априорных значений» продолжают привлекать теоретиков статистики.

Таким образом, байесовский статистик должен либо использовать информированные априорные данные (с использованием соответствующего опыта или предыдущих данных), либо выбирать среди конкурирующих методов построения «объективных» априорных значений.

См. также

• Очерк решения проблемы учения о шансах
• Байесовская эпистемология
• Парадокс Бертрана - парадокс классической вероятности.
• Сеть Кредал
• Криденс (статистика)
• Игра Де Финетти — процедура оценки чьей-либо субъективной вероятности.
• Доказательства теоремы Байеса
• Проблема Монти Холла
• QBism — интерпретация квантовой механики, основанная на субъективной байесовской вероятности.
• Проблема эталонного класса

Библиография

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ . Серия Спрингера по статистике (второе изд.). Спрингер-Верлаг. ISBN  978-0-387-96098-2 .
• Бессьер, Пьер; Мазер, Э.; Ауакацин, Ж.-М.; Мехнача, К. (2013). Байесовское программирование . ЦРК Пресс. ISBN  9781439880326 .
• Бернардо, Хосе М .; Смит, Адриан FM (1994). Байесовская теория . Уайли. ISBN  978-0-471-49464-5 .
• Бикель, Питер Дж .; Доксум, Челл А. (2001) [1976]. Основные и избранные темы . Математическая статистика. Том. 1 (Второе изд.). Пирсон Прентис-Холл. ISBN  978-0-13-850363-5 . МР   0443141 . (обновленная печать Холден-Дэй, 2007 г., 1976 г.)
• Дэвидсон, Дональд ; Суппес, Патрик ; Сигел, Сидни (1957). Принятие решений: экспериментальный подход . Издательство Стэнфордского университета .
• Финетти, Бруно (1937). «Форсайт: его логические законы, его субъективные источники ». Анналы Института Анри Пуанкаре (на французском языке). 7 (1): 1–68.
• де Финетти, Бруно (сентябрь 1989 г.) [1931]. «Вероятность: критическое эссе о теории вероятностей и ценности науки». Эркеннтнис . 31 . (перевод де Финетти, 1931 г.)
• де Финетти, Бруно (1964) [1937]. «Форсайт: его логические законы, его субъективные источники». В Кибурге, HE; Смоклер, HE (ред.). Исследования субъективной вероятности . Нью-Йорк, штат Нью-Йорк: Уайли. (перевод де Финетти, 1937 г., выше)
• де Финетти, Бруно (1974–1975) [1970]. Теория вероятностей: критическое введение . Перевод Мачи А.; Смит, АФМ . Уайли. ISBN  0-471-20141-3 . , ISBN   0-471-20142-1 , два тома.
• Герц, Гэри и Джеймс Махони. 2012. Повесть о двух культурах: качественные и количественные исследования в области социальных наук . Издательство Принстонского университета.
• ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека классической литературы Уайли. Уайли. ISBN  0-471-68029-Х . .
• Хакерство, Ян (декабрь 1967 г.). «Немного более реалистичная личная вероятность». Философия науки . 34 (4): 311–325. дои : 10.1086/288169 . JSTOR   186120 . S2CID   14344339 .

(Частично перепечатано в Герденфорс, Питер ; Сахлин, Нильс-Эрик (1988). Решение, вероятность и полезность: избранные материалы . Издательство Кембриджского университета. ISBN  0-521-33658-9 . )

• Хаек, А.; Хартманн, С. (2010) [2001]. «Байесовская эпистемология». В Дэнси, Дж.; Соса, Э.; Штеуп, М. (ред.). Компаньон по эпистемологии (PDF) . Уайли. ISBN  978-1-4051-3900-7 . Архивировано из оригинала (PDF) 28 июля 2011 г.
• Хальд, Андерс (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Уайли. ISBN  978-0-471-17912-2 .
• Хартманн, С.; Спренгер, Дж. (2011). «Байесовская эпистемология». В Бернекере, С.; Причард, Д. (ред.). Routledge Companion to Epistemology (PDF) . Рутледж. ISBN  978-0-415-96219-3 . Архивировано из оригинала (PDF) 28 июля 2011 г.
• «Байесовский подход к статистическим задачам» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Хаусон, К .; Урбах, П. (2005). Научное рассуждение: байесовский подход (3-е изд.). Издательская компания «Открытый суд» . ISBN  978-0-8126-9578-6 .
• Джейнс, ET (2003). Теория вероятностей: Логика науки . C. Университетское издательство. ISBN  978-0-521-59271-0 . ( «Ссылка на фрагментарное издание за март 1996 года» .
• Макгрейн, С.Б. (2011). Теория, которая не умрет: как правление Байеса взломало код «Энигмы», выследило российские подводные лодки и одержало победу в двухвековых спорах . Нью-Хейвен, Коннектикут: Издательство Йельского университета. ISBN  9780300169690 . OCLC   670481486 .
• Моргенштерн, Оскар (1978). «Некоторые размышления о полезности ». В Шоттере, Эндрю (ред.). Избранные экономические сочинения Оскара Моргенштерна . Издательство Нью-Йоркского университета. стр. 65–70. ISBN  978-0-8147-7771-8 .
• Пирс, К.С. и Ястроу Дж. (1885). «О малых различиях в ощущениях» . Мемуары Национальной академии наук . 3 : 73–83.
• Пфанзагль, Дж (1967). «Субъективная вероятность, выведенная из теории полезности Моргенштерна-фон Неймана» . ( Мартин Шубик ред.). Очерки математической экономики в честь Оскара Моргенштерна . Издательство Принстонского университета. стр. 237–251 .
• Пфанзагль, Дж.; Бауманн В. и Хубер Х. (1968). «События, полезность и субъективная вероятность». Теория измерений . Уайли. стр. 195–220.
• Рэмси, Фрэнк Пламптон (2001) [1931]. «Глава VII: Истина и вероятность». Основы математики и другие логические очерки . Рутледж. ISBN  0-415-22546-9 . «Глава VII: Истина и вероятность» (PDF) . Архивировано из оригинала (PDF) 27 февраля 2008 г.
• Стиглер, С.М. (1990). История статистики: измерение неопределенности до 1900 года . Белкнап Пресс; Издательство Гарвардского университета. ISBN  978-0-674-40341-3 .
• Стиглер, С.М. (1999). Статистика на столе: История статистических концепций и методов . Издательство Гарвардского университета. ISBN  0-674-83601-4 .
• Стоун, СП (2013). Правило Байеса: введение в байесовский анализ . Англия: Sebtel Press. «Глава 1 правила Байеса » .
• Винклер, Р.Л. (2003). Введение в байесовский вывод и принятие решений (2-е изд.). Вероятностный. ISBN  978-0-9647938-4-2 . Обновлен классический учебник. Байесовская теория ясно представлена