Линейная статистика Байеса

Не путать с байесовской линейной регрессией .

Линейная статистика Байеса — это субъективистская статистическая методология и основа. Традиционный субъективный байесовский анализ основан на полностью заданных распределениях вероятностей , которые очень сложно указать на необходимом уровне детализации. Линейный анализ Байеса пытается решить эту проблему путем разработки теории и практики использования частично заданных вероятностных моделей. Линейный метод Байеса в его нынешней форме был разработан Майклом Гольдштейном. Математически и философски он расширяет подход Бруно де Финетти к операционально-субъективный вероятности и статистике.

Мотивация

Рассмотрим сначала традиционный байесовский анализ, в котором вы ожидаете вскоре узнать и хотели бы узнать больше о какой-то другой наблюдаемой B. D В традиционном байесовском подходе требуется, чтобы каждый возможный результат был пронумерован, т.е. каждый возможный результат является векторным набора B произведением и D. разделения Если представлено на компьютере, где B требует n бит и D m бит, тогда количество требуемых состояний равно $2^{n+m}$. Первым шагом к такому анализу является определение субъективных вероятностей человека, например, путем опроса об его поведении при размещении ставок на каждый из этих исходов. Когда мы изучаем D, условные вероятности для B определяются применением правила Байеса.

Специалисты по субъективной байесовской статистике обычно анализируют наборы данных, размер которых достаточно велик, поэтому субъективные вероятности не могут быть осмысленно определены для каждого элемента D × B . Обычно это достигается путем предположения взаимозаменяемости а затем использования параметризованных моделей с априорными распределениями по параметрам и обращения к теореме де Финетти для обоснования того, что это дает действительные операционные субъективные вероятности над D × B. , Трудность такого подхода состоит в том, что достоверность статистического анализа требует, чтобы субъективные вероятности были хорошим представлением убеждений человека, однако этот метод приводит к очень точной спецификации D × B , и часто трудно сформулировать, что будет означать принятие этих спецификаций убеждений.

В отличие от традиционной байесовской парадигмы, линейная статистика Байеса, следующая за де Финетти, использует предвидение или субъективное ожидание в качестве примитива, тогда вероятность определяется как ожидание индикаторной переменной. Вместо определения субъективной вероятности для каждого элемента в разбиении D × B аналитик указывает субъективные ожидания всего лишь для нескольких величин, которые его интересуют или о которых он чувствует осведомленностью. Тогда вместо того, чтобы обуславливать скорректированное ожидание, вычисляется правило, которое является обобщением правила Байеса, основанного на ожидании.

Использование слова «линейный» в названии относится к аргументам де Финетти о том, что теория вероятностей является линейной теорией (де Финетти выступал против более распространенного подхода теории меры).

Пример

В линейной статистике Байеса вероятностная модель определена лишь частично, и вычислить условную вероятность по правилу Байеса невозможно. Вместо этого линейный метод Байеса предлагает расчет скорректированного ожидания.

Для проведения линейного анализа Байеса необходимо определить некоторые значения, которые вы ожидаете узнать в ближайшее время, выполнив измерения , и некоторое будущее значение, которое вы хотели бы узнать, B. D Здесь D относится к вектору, содержащему данные, а B — к вектору, содержащему величины, которые вы хотите предсказать. В следующем примере B и D считаются двумерными векторами, т.е.

$B=(Y_{1},Y_{2}),~D=(X_{1},X_{2}).$

необходимо предоставить ожидания для векторов B и D , а также указать корреляцию между каждым компонентом B и каждым компонентом D. Чтобы задать линейную модель Байеса ,

Например, ожидания определяются как:

$E(Y_{1})=5,~E(Y_{2})=3,~E(X_{1})=5,~E(X_{2})=3$

и ковариационная матрица задается как:

${\begin{array}{c|cccc}&X_{1}&X_{2}&Y_{1}&Y_{2}\\\hline X_{1}&1&u&\gamma &\gamma \\X_{2}&u&1&\gamma &\gamma \\Y_{1}&\gamma &\gamma &1&v\\Y_{2}&\gamma &\gamma &v&1\\\end{array}}.$

Повторение в этой матрице имеет некоторые интересные последствия, которые мы вскоре обсудим.

Скорректированное математическое ожидание представляет собой линейную оценку формы

$c_{0}+c_{1}X_{1}+c_{2}X_{2}$

где $c_{0},c_{1}$ и $c_{2}$ выбираются так, чтобы минимизировать априорные ожидаемые потери для наблюдений, т.е. $Y_{1},Y_{2}$ в этом случае. Это для $Y_{1}$

$E([Y_{1}-c_{0}-c_{1}X_{1}-c_{2}X_{2}]^{2})\,$

где

$c_{0},c_{1},c_{2}\,$

выбираются для того, чтобы минимизировать априорные ожидаемые потери при оценке $Y_{1}$

Обычно скорректированное ожидание рассчитывается по формуле

$E_{D}(X)=\sum _{i=0}^{k}h_{i}D_{i}.$

Параметр $h_{0},\dots ,h_{k}$ минимизировать

$E\left(\left[X-\sum _{i=0}^{k}h_{i}D_{i}\right]^{2}\right).$

Из доказательства, представленного в (Goldstein and Wooff 2007), можно показать, что:

$E_{D}(X)=E(X)+\mathrm {Cov} (X,D)\mathrm {Var} (D)^{-1}(D-E(D)).\,$

В случае, когда Var( D ) не является обратимым, псевдообратный метод Мура – ​​Пенроуза вместо этого следует использовать .

Кроме того, скорректированная дисперсия переменной X после наблюдения данных D определяется выражением

$\mathrm {Var} _{D}(X)=\mathrm {Var} (X)-\mathrm {Cov} (X,D)\mathrm {Var} (D)^{-1}\mathrm {Cov} (D,X).$

См. также

• Неточная вероятность

Внешние ссылки

• Линейные методы Байеса

Ссылки

• Гольдштейн, М. (1981) Пересмотр предвидений: геометрическая интерпретация (с обсуждением) . Журнал Королевского статистического общества , серия B, 43 (2), 105–130.
• Гольдштейн, М. (2006) Принципы и практика субъективизма . Байесовский анализ] [1]
• Майкл Гольдштейн, Дэвид Вуфф (2007) Линейная статистика, теория и методы Байеса , Wiley. ISBN   978-0-470-01562-9
• де Финетти, Б. (1931) «Вероятность: критическое эссе по теории вероятностей и ценности науки» (перевод статьи 1931 года) в Erkenntnis, том 31, сентябрь 1989 года. Весь двойной выпуск посвящен де Финетти , Б. (1931). Философия вероятности Финетти.
• де Финетти, Б. (1937) «Прогнозирование: его логические законы, его субъективные источники», Анналы Института Анри Пуанкаре,

- «Предвидение: его логические законы, его субъективные источники» (перевод статьи 1937 года на французский язык) в Х. Э. Кибурге и Х. Э. Смоклере (ред.), Исследования в области субъективной вероятности, Нью-Йорк: Wiley, 1964.

• де Финетти, Б. (1974) Теория вероятностей (перевод книги А. Мачи и А. Ф. Смита 1970 года), 2 тома, Нью-Йорк: Wiley, 1974–5.