Байесовская статистика

Байесовская статистика ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) — теория в области статистики, основанная на байесовской интерпретации вероятности , где вероятность выражает степень уверенности в событии . Степень уверенности может быть основана на предшествующих знаниях о событии, например, на результатах предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретаций вероятности , таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты события после многих испытаний. Более конкретно, анализ в байесовских методах кодифицирует априорные знания в форме априорного распределения .

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе данных, а также предшествующей информации или убеждений о событии или условиях, связанных с событием. Например, в байесовском выводе теорема Байеса может использоваться для оценки параметров распределения вероятностей или статистической модели . Поскольку байесовская статистика рассматривает вероятность как степень доверия, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет степень доверия к параметру или набору параметров.

Байесовская статистика названа в честь Томаса Байеса , который сформулировал конкретный случай теоремы Байеса в статье , опубликованной в 1763 году. В нескольких статьях, охватывающих период с конца 18 по начало 19 веков, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности. Лаплас использовал методы, которые сейчас считались бы байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин широко не использовался для описания таких методов до 1950-х годов. На протяжении большей части 20-го века байесовские методы рассматривались многими статистиками неблагоприятно по философским и практическим соображениям. Многие байесовские методы требовали большого объема вычислений, и большинство методов, которые широко использовались в течение столетия, были основаны на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов, таких как цепь Маркова Монте-Карло , байесовские методы стали все чаще использоваться в статистике 21 века.

Теорема Байеса

Основная статья: теорема Байеса

Теорема Байеса используется в байесовских методах для обновления вероятностей, которые представляют собой степени доверия, после получения новых данных. Учитывая два события $A$ и $B$, условная вероятность $A$ при условии $B$ истинно выражается следующим образом:

$$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}$$

где $P(B)\neq 0$. Хотя теорема Байеса является фундаментальным результатом теории вероятностей , она имеет определенную интерпретацию в байесовской статистике. В приведенном выше уравнении $A$ обычно представляет собой утверждение (например, утверждение, что монета выпадает орлом в пятидесяти процентах случаев) и $B$ представляет доказательства или новые данные, которые необходимо принять во внимание (например, результат серии подбрасываний монеты). $P(A)$ априорная вероятность ​ $A$ который выражает убеждения относительно $A$ до того, как доказательства будут приняты во внимание. Априорная вероятность может также количественно определять предшествующие знания или информацию о $A$. $P(B\mid A)$ — функция правдоподобия , которую можно интерпретировать как вероятность доказательства $B$ при условии $A$ это правда. Вероятность количественно определяет степень, в которой доказательства $B$ поддерживает предложение $A$. $P(A\mid B)$ это апостериорная вероятность , вероятность предложения $A$ после получения доказательств $B$ во внимание. По сути, теорема Байеса обновляет предыдущие убеждения. $P(A)$ после рассмотрения новых доказательств $B$.

Вероятность доказательства $P(B)$ можно рассчитать, используя закон полной вероятности . Если $\{A_{1},A_{2},\dots ,A_{n}\}$ — это раздел выборочного пространства , который представляет собой набор всех результатов эксперимента, тогда

$$P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})$$

Когда имеется бесконечное число исходов, для расчета необходимо проинтегрировать все исходы. $P(B)$ используя закон полной вероятности. Часто, $P(B)$ трудно вычислить, поскольку расчет будет включать суммы или интегралы, оценка которых потребует много времени, поэтому часто учитывается только произведение априорного значения и правдоподобия, поскольку доказательства не меняются в ходе одного и того же анализа. Задняя часть пропорциональна этому произведению:

$$P(A\mid B)\propto P(B\mid A)P(A)$$

Максимум апостериорный , который является режимом апостериорным и часто вычисляется в байесовской статистике с использованием методов математической оптимизации , остается прежним. Апостериорную величину можно аппроксимировать даже без вычисления точного значения $P(B)$ с такими методами, как цепь Маркова Монте-Карло или вариационные байесовские методы .

Байесовские методы

Общий набор статистических методов можно разделить на ряд мероприятий, многие из которых имеют специальные байесовские версии.

Байесовский вывод

Основная статья: Байесовский вывод

Байесовский вывод относится к статистическим выводам, при которых неопределенность выводов количественно оценивается с использованием вероятности. В классическом частотном выводе модели параметры и гипотезы считаются фиксированными. Вероятности не присваиваются параметрам или гипотезам в частотном выводе. Например, в частотном выводе не имеет смысла напрямую присваивать вероятность событию, которое может произойти только один раз, например, результату следующего подбрасывания честной монеты. Однако имело бы смысл утверждать, что доля орлов приближается к половине по мере увеличения количества подбрасываний монеты.

Статистические модели определяют набор статистических предположений и процессов, которые показывают, как генерируются выборочные данные. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить в виде выборки из распределения Бернулли , которое моделирует два возможных результата. Распределение Бернулли имеет единственный параметр, равный вероятности одного исхода, которым в большинстве случаев является вероятность выпадения орла. Разработка хорошей модели данных занимает центральное место в байесовском выводе. В большинстве случаев модели лишь аппроксимируют истинный процесс и могут не учитывать определенные факторы, влияющие на данные. В байесовском выводе вероятности могут быть присвоены параметрам модели. Параметры могут быть представлены как случайные величины . Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как получены или известны дополнительные доказательства.

Статистическое моделирование

Формулировка статистических моделей с использованием байесовской статистики имеет отличительную особенность, заключающуюся в том, что она требует указания априорных распределений для любых неизвестных параметров. Действительно, параметры априорных распределений сами могут иметь априорные распределения, что приводит к байесовскому иерархическому моделированию . также известное как многоуровневое моделирование. Особый случай — байесовские сети .

Передовой опыт проведения байесовского статистического анализа обсуждается van de Schoot et al.

Для сообщения о результатах байесовского статистического анализа в статье Джона К. Крушке в открытом доступе представлены рекомендации по составлению отчетов по байесовскому анализу (BARG) .

План экспериментов

Байесовский план экспериментов включает в себя концепцию, называемую «влиянием предшествующих убеждений». Этот подход использует методы последовательного анализа , чтобы включить результаты предыдущих экспериментов в план следующего эксперимента. Это достигается путем обновления «убеждения» посредством использования предварительного и апостериорного распределения . Это позволяет при планировании экспериментов эффективно использовать ресурсы всех типов. Примером этого является задача о многоруком бандите .

байесовских

Исследовательский анализ байесовских моделей — это адаптация или расширение подхода исследовательского анализа данных к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса:

Исследовательский анализ данных направлен на выявление структуры или простых описаний данных. Мы смотрим на цифры или графики и пытаемся найти закономерности. Мы ищем идеи, подсказанные исходной информацией, воображением, выявленными закономерностями и опытом анализа других данных.

Процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное прогнозируемое распределение и априорное прогнозируемое распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода.

При работе с байесовскими моделями помимо самого вывода необходимо решить ряд связанных задач:

• Диагностика качества вывода, это необходимо при использовании численных методов, таких как Монте-Карло с использованием цепей Маркова. методы
• Критика модели, включая оценку как предположений модели, так и прогнозов модели.
• Сравнение моделей, включая выбор модели или усреднение модели
• Подготовка результатов для конкретной аудитории

Все эти задачи являются частью подхода исследовательского анализа байесовских моделей, и их успешное выполнение имеет решающее значение для процесса итеративного и интерактивного моделирования. Эти задачи требуют как числовых, так и визуальных сводок.

См. также

• Байесовская эпистемология
• Список обозначений математической логики, используемых в этой статье.
  • Обозначения вероятности и статистики
  • Список логических символов

Дальнейшее чтение

• Бернардо, Хосе М .; Смит, Адриан FM (2000). Байесовская теория . Нью-Йорк: Уайли. ISBN  0-471-92416-4 .
• Болстад, Уильям М.; Карран, Джеймс М. (2016). Введение в байесовскую статистику (3-е изд.). Уайли. ISBN  978-1-118-09156-2 .
• Дауни, Аллен Б. (2021). Подумайте о Байесе: байесовская статистика в Python (2-е изд.). О'Рейли. ISBN  978-1-4920-8946-9 .
• Хофф, Питер Д. (2009). Первый курс байесовских статистических методов (2-е изд.). Нью-Йорк: Спрингер. ISBN  978-1-4419-2828-3 .
• Ли, Питер М. (2012). Байесовская статистика: Введение (4-е изд.). Уайли. ISBN  978-1-118-33257-3 .
• Роберт, Кристиан П. (2007). Байесовский выбор: от основ теории принятия решений к вычислительной реализации (2-е изд.). Нью-Йорк: Спрингер. ISBN  978-0-387-71598-8 .
• Джонсон, Алисия А.; Отт, Майлз К.; Догуджю, Майн. (2022) Правила Байеса! Введение в прикладное байесовское моделирование . ISBN Чепмена и Холла 9780367255398

Внешние ссылки

• Тео Кипрайос. «Нежное руководство по байесовской статистике» (PDF) . Проверено 3 ноября 2013 г.
• Хорди Вальверду. Байесовцы против частотников. Философские дебаты о статистических рассуждениях .
• Байесовская статистика Дэвид Шпигельхальтер , Кеннет Райс, Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Книга и примеры байесовского моделирования доступны для скачивания.
• Ренс ван де Шут. «Нежное введение в байесовский анализ» (PDF) .
• Калькулятор байесовского A/B-тестирования Динамическая доходность