Эмпирический метод Байеса

Эмпирические методы Байеса — это процедуры статистического вывода , в которых априорное распределение вероятностей оценивается на основе данных. Этот подход отличается от стандартных байесовских методов , для которых априорное распределение фиксируется до того, как будут наблюдаться какие-либо данные. Несмотря на эту разницу во взглядах, эмпирический Байес можно рассматривать как приближение к полностью байесовской трактовке иерархической модели , в которой параметрам на самом высоком уровне иерархии присваиваются наиболее вероятные значения, а не интегрируются. ^[1] Эмпирический Байес, также известный как максимальное предельное правдоподобие , ^[2] представляет собой удобный подход для установки гиперпараметров , но с 2000-х годов по большей части был вытеснен полностью байесовским иерархическим анализом с ростом доступности хорошо эффективных методов вычислений. Однако он по-прежнему широко используется для вариационных методов глубокого обучения, таких как вариационные автоэнкодеры , где пространства скрытых переменных являются многомерными.

Введение

Эмпирические байесовские методы можно рассматривать как приближение к полностью байесовской трактовке иерархической байесовской модели .

Например, в двухэтапной иерархической модели Байеса наблюдаемые данные $y=\{y_{1},y_{2},\dots ,y_{n}\}$ предполагается, что они генерируются из ненаблюдаемого набора параметров $\theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}$ согласно распределению вероятностей $p(y\mid \theta )\,$ . В свою очередь, параметры $\theta$ можно считать выборками, взятыми из популяции, характеризующейся гиперпараметрами $\eta \,$ согласно распределению вероятностей $p(\theta \mid \eta )\,$ . В иерархической модели Байеса, но не в эмпирическом приближении Байеса, гиперпараметры $\eta \,$ считаются взятыми из непараметризованного распределения $p(\eta )\,$ .

Информация о конкретном интересующем количестве $\theta _{i}\;$ следовательно, исходит не только из свойств этих данных $y$ которые напрямую зависят от него, но и от свойств совокупности параметров $\theta \;$ в целом, выведено из данных в целом, суммировано по гиперпараметрам $\eta \;$ .

Используя теорему Байеса ,

p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.

В общем, этот интеграл не поддается аналитическому или символическому анализу и должен вычисляться численными методами. Могут использоваться стохастические (случайные) или детерминированные аппроксимации. Примерами стохастических методов являются цепи Маркова Монте-Карло и выборка Монте-Карло . Детерминированные аппроксимации обсуждаются в квадратурах .

Альтернативно выражение можно записать как

p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,

а последний множитель в интеграле, в свою очередь, может быть выражен как

p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .

Они предполагают итерационную схему, качественно аналогичную по структуре пробоотборнику Гиббса , для разработки последовательно улучшаемых приближений к $p(\theta \mid y)\;$ и $p(\eta \mid y)\;$ . Сначала вычислите начальное приближение к $p(\theta \mid y)\;$ игнорируя $\eta$ зависимость полная; затем вычислите приближение к $p(\eta \mid y)\;$ на основе первоначального приблизительного распределения $p(\theta \mid y)\;$ ; тогда используй это $p(\eta \mid y)\;$ обновить приближение для $p(\theta \mid y)\;$ ; затем обновите $p(\eta \mid y)\;$ ; и так далее.

Когда истинное распределение $p(\eta \mid y)\;$ имеет резкий пик, интеграл, определяющий $p(\theta \mid y)\;$ можно не сильно изменить, заменив распределение вероятностей по $\eta \;$ с точечной оценкой $\eta ^{*}\;$ представляющий пик распределения (или, альтернативно, его среднее значение),

p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.

При таком приближении приведенная выше итерационная схема становится EM-алгоритмом .

Термин «эмпирический Байес» может охватывать широкий спектр методов, но большинство из них можно рассматривать как раннее усечение либо приведенной выше схемы, либо чего-то очень похожего на нее. Для параметра (параметров) обычно используются точечные оценки, а не все распределение. $\eta \;$ . Смета на $\eta ^{*}\;$ обычно производятся в первом приближении $p(\theta \mid y)\;$ без последующей доработки. Эти оценки для $\eta ^{*}\;$ обычно производятся без учета соответствующего предварительного распределения для $\eta$ .

Оценка баллов

Метод Роббинса: непараметрический эмпирический Байес (NPEB)

Роббинс ^[3] рассмотрен случай выборки из смешанного распределения , где вероятность для каждого $y_{i}$ (при условии $\theta _{i}$ ) определяется распределением Пуассона ,

p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}

в то время как априорное значение θ не указано, за исключением того, что оно также относится к неизвестному распределению с кумулятивной функцией распределения $G(\theta )$ . Выборка соединений возникает при решении различных задач статистической оценки, таких как частота несчастных случаев и клинические испытания. ^{[ нужна ссылка ]} Мы просто ищем точечное предсказание $\theta _{i}$ с учетом всех наблюдаемых данных. Поскольку априор не определен, мы пытаемся сделать это без знания G . ^[4]

При квадратичной потере ошибок (SEL) условное ожидание E ( θ _i | Y _i = y _i ) является разумной величиной, которую можно использовать для прогнозирования. Для модели выборки соединений Пуассона эта величина равна

\operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.

Это можно упростить, умножив числитель и знаменатель на $({y_{i}}+1)$ , уступая

\operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},

где p _G полученная путем интегрирования θ по G. — предельная массовая функция вероятности ,

Чтобы воспользоваться этим, Роббинс ^[3] предложил оценивать маргиналы с помощью их эмпирических частот ( $\#\{Y_{j}\}$ ), что дает полностью непараметрическую оценку как:

\operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},

где $\#$ обозначает «количество». (См. также оценку частоты Гуда – Тьюринга .)

Пример – Уровень аварийности

Предположим, что каждый клиент страховой компании имеет «аварийность» Θ и застрахован от несчастных случаев; распределение вероятностей Θ является основным распределением и неизвестно. Количество несчастных случаев, произошедших с каждым клиентом за определенный период времени, имеет распределение Пуассона с ожидаемым значением, равным частоте несчастных случаев с конкретным клиентом. Фактическое количество несчастных случаев, с которыми столкнулся клиент, является наблюдаемой величиной. Грубый способ оценить основное вероятностное распределение частоты несчастных случаев Θ состоит в том, чтобы оценить долю членов всего населения, пострадавших от 0, 1, 2, 3, ... несчастных случаев в течение указанного периода времени, как соответствующую долю в наблюдаемых случайная выборка. После этого желательно спрогнозировать уровень несчастных случаев для каждого клиента в выборке. Как и выше, можно использовать условное ожидаемое значение аварийности Θ, учитывая наблюдаемое количество несчастных случаев в течение базового периода. Таким образом, если с клиентом произошло шесть несчастных случаев в течение базового периода, расчетный уровень несчастных случаев для этого клиента составит 7 × [доля выборки, в которой произошло 7 несчастных случаев] / [доля выборки, в которой произошло 6 несчастных случаев]. Обратите внимание, что если доля людей, страдающих k происшествий является убывающей функцией k , прогнозируемый уровень несчастных случаев с клиентом часто будет ниже, чем наблюдаемое количество происшествий.

Этот эффект сжатия типичен для эмпирического байесовского анализа.

Параметрический эмпирический Байес

Если правдоподобие и его априор принимают простые параметрические формы (такие как 1- или 2-мерные функции правдоподобия с простыми сопряженными априорными значениями ), то эмпирическая проблема Байеса состоит только в оценке маргинальной $m(y\mid \eta )$ и гиперпараметры $\eta$ используя полный набор эмпирических измерений. Например, один из распространенных подходов, называемый параметрической эмпирической байесовской оценкой, заключается в аппроксимации маргинального значения с использованием оценки максимального правдоподобия (MLE) или разложения моментов , которое позволяет выразить гиперпараметры. $\eta$ с точки зрения эмпирического среднего и дисперсии. Этот упрощенный маргинальный показатель позволяет включить эмпирические средние значения в точечную оценку предшествующего периода. $\theta$ . Полученное уравнение для априорного $\theta$ значительно упрощается, как показано ниже.

Существует несколько распространенных параметрических эмпирических моделей Байеса, в том числе гамма-модель Пуассона (ниже), бета-биномиальная модель , модель Гаусса-Гаусса , мультиномиальная модель Дирихле , а также специальные модели для байесовской линейной регрессии (см. ниже) и Байесовская многомерная линейная регрессия . Более продвинутые подходы включают иерархические модели Байеса и модели байесовской смеси .

Гауссово-гауссова модель

Пример эмпирической оценки Байеса с использованием модели Гаусса-Гаусса см. в разделе Эмпирические оценки Байеса .

Пуассон-гамма-модель

Например, в приведенном выше примере пусть вероятность будет распределением Пуассона , и пусть априор теперь задается сопряженным априором , который является гамма-распределением ( $G(\alpha ,\beta )$ ) (где $\eta =(\alpha ,\beta )$ ):

\rho (\theta \mid \alpha ,\beta )\,d\theta ={\frac {(\theta /\beta )^{\alpha -1}\,e^{-\theta /\beta }}{\Gamma (\alpha )}}\,(d\theta /\beta ){\text{ for }}\theta >0,\alpha >0,\beta >0\,\!.

Несложно показать, что апостериорное распределение также является гамма-распределением. Писать

\rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),

где предельное распределение опущено, поскольку оно не зависит явно от $\theta$ .Расширение терминов, которые действительно зависят от $\theta$ дает заднюю часть как:

\rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.

Таким образом, апостериорная плотность также является гамма-распределением. $G(\alpha ',\beta ')$ , где $\alpha '=y+\alpha$ , и $\beta '=(1+1/\beta )^{-1}$ . Также обратите внимание, что маргинальная часть — это просто интеграл задней части по всем $\Theta$ , что оказывается отрицательным биномиальным распределением .

Чтобы применить эмпирический метод Байеса, мы аппроксимируем маргинальное значение, используя оценку максимального правдоподобия (MLE). Но поскольку апостериорное распределение представляет собой гамма-распределение, MLE маргинального значения оказывается просто средним значением апостериорного распределения, что является точечной оценкой. $\operatorname {E} (\theta \mid y)$ нам нужно. Напоминая, что среднее $\mu$ гамма-распределения $G(\alpha ',\beta ')$ это просто $\alpha '\beta '$ , у нас есть

\operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).

Чтобы получить значения $\alpha$ и $\beta$ , эмпирический Байес предписывает оценку среднего значения $\alpha \beta$ и дисперсия $\alpha \beta ^{2}$ используя полный набор эмпирических данных.

Полученная точечная оценка $\operatorname {E} (\theta \mid y)$ поэтому это похоже на средневзвешенное значение выборочного среднего ${\bar {y}}$ и априорное среднее $\mu =\alpha \beta$ . Оказывается, это общая черта эмпирического Байеса; точечные оценки априорных значений (т. е. среднего значения) будут выглядеть как средневзвешенные значения выборочной оценки и априорной оценки (аналогично для оценок дисперсии).

См. также

Ссылки

^ Карлин, Брэдли П.; Луи, Томас А. (2002). «Эмпирический Байес: прошлое, настоящее и будущее». В Рафтери, Адриан Э.; Таннер, Мартин А.; Уэллс, Мартин Т. (ред.). Статистика в 21 веке . Чепмен и Холл. стр. 312–318. ISBN 1-58488-272-7 .
^ CM Бишоп (2005). Нейронные сети для распознавания образов . Издательство Оксфордского университета ISBN 0-19-853864-2
^ Jump up to: ^а ^б Роббинс, Герберт (1956). «Эмпирический байесовский подход к статистике» . Труды третьего симпозиума Беркли по математической статистике и вероятности, Том 1: Вклад в теорию статистики . Серия Спрингера по статистике: 157–163. дои : 10.1007/978-1-4612-0919-5_26 . ISBN 978-0-387-94037-3 . МР 0084919 .
^ Карлин, Брэдли П.; Луи, Томас А. (2000). Байес и эмпирические байесовские методы анализа данных (2-е изд.). Чепмен и Холл/CRC. стр. гл. 3.2 и Приложение Б. ISBN 978-1-58488-170-4 .

Дальнейшее чтение

Питер Э. Росси; Грег М. Алленби; Роб Маккалок (14 мая 2012 г.). Байесовская статистика и маркетинг . Джон Уайли и сыновья. ISBN 978-0-470-86368-8 .
Казелла, Джордж (май 1985 г.). «Введение в эмпирический анализ байесовских данных» (PDF) . Американский статистик . 39 (2): 83–87. дои : 10.2307/2682801 . hdl : 1813/32886 . JSTOR 2682801 . МР 0789118 .
Никулин, Михаил (1987). «Условия регулярности Бернштейна в задаче эмпирического байесовского подхода» . Журнал советской математики . 36 (5): 596–600. дои : 10.1007/BF01093293 . S2CID 122405908 .

Внешние ссылки

[1] Карлин, Брэдли П.; Луи, Томас А. (2002). «Эмпирический Байес: прошлое, настоящее и будущее». В Рафтери, Адриан Э.; Таннер, Мартин А.; Уэллс, Мартин Т. (ред.). Статистика в 21 веке . Чепмен и Холл. стр. 312–318. ISBN 1-58488-272-7 .

[Bishop05-2] CM Бишоп (2005). Нейронные сети для распознавания образов . Издательство Оксфордского университета ISBN 0-19-853864-2

[Robbins-3] Jump up to: ^а ^б Роббинс, Герберт (1956). «Эмпирический байесовский подход к статистике» . Труды третьего симпозиума Беркли по математической статистике и вероятности, Том 1: Вклад в теорию статистики . Серия Спрингера по статистике: 157–163. дои : 10.1007/978-1-4612-0919-5_26 . ISBN 978-0-387-94037-3 . МР 0084919 .

[CL-4] Карлин, Брэдли П.; Луи, Томас А. (2000). Байес и эмпирические байесовские методы анализа данных (2-е изд.). Чепмен и Холл/CRC. стр. гл. 3.2 и Приложение Б. ISBN 978-1-58488-170-4 .

[1]

[2]

[3]

[4]