Байесовское иерархическое моделирование

Байесовское иерархическое моделирование — это статистическая модель, написанная в нескольких уровнях (иерархической форме), которая оценивает параметры апостериорного распределения с использованием байесовского метода . Подмодели объединяются, образуя иерархическую модель, а теорема Байеса используется для их интеграции с наблюдаемыми данными и учета всей имеющейся неопределенности. Результатом этого интегрирования является апостериорное распределение, также известное как обновленная оценка вероятности, поскольку дополнительные данные о априорном распределении получены .

Частотная статистика может привести к выводам, которые кажутся несовместимыми с выводами, предлагаемыми байесовской статистикой, из-за байесовской трактовки параметров как случайных величин и использования субъективной информации при установлении предположений об этих параметрах. Поскольку подходы отвечают на разные вопросы, формальные результаты не являются технически противоречивыми, но два подхода расходятся во мнениях относительно того, какой ответ имеет отношение к конкретным приложениям. Байесианцы утверждают, что нельзя игнорировать соответствующую информацию, касающуюся принятия решений и обновления убеждений, и что иерархическое моделирование может превзойти классические методы в приложениях, где респонденты предоставляют множественные данные наблюдений. Более того, модель оказалась надежной : апостериорное распределение менее чувствительно к более гибким иерархическим априорным значениям.

Иерархическое моделирование используется, когда информация доступна на нескольких различных уровнях единиц наблюдения. Например, при эпидемиологическом моделировании для описания путей распространения инфекции в нескольких странах единицами наблюдения являются страны, и каждая страна имеет свой собственный временной профиль ежедневных случаев заражения. При анализе кривой падения добычи нефти или газа для описания кривой падения добычи нефти или газа для нескольких скважин единицами наблюдения являются нефтяные или газовые скважины в районе пласта, и каждая скважина имеет собственный временной профиль темпов добычи нефти или газа (обычно баррелей в месяц). Структура данных для иерархического моделирования сохраняет вложенную структуру данных. Иерархическая форма анализа и организации помогает в понимании многопараметрических задач, а также играет важную роль в разработке вычислительных стратегий.

Философия

Статистические методы и модели обычно включают в себя несколько параметров, которые можно рассматривать как связанные или связанные таким образом, что проблема подразумевает зависимость совместной вероятностной модели от этих параметров. Отдельные степени уверенности, выраженные в форме вероятностей, сопровождаются неопределенностью. При этом происходит изменение степеней веры с течением времени. Как заявили профессор Хосе М. Бернардо и профессор Адриан Ф. Смит : «Актуальность процесса обучения состоит в эволюции индивидуальных и субъективных убеждений о реальности». Эти субъективные вероятности более непосредственно связаны с разумом, чем физические вероятности. Следовательно, именно с этой необходимостью обновления убеждений байесианцы сформулировали альтернативную статистическую модель, которая учитывает предшествующее возникновение конкретного события.

Теорема Байеса

Предполагаемое возникновение реального события обычно приводит к изменению предпочтений между определенными вариантами. Это делается путем изменения степени убежденности человека в событиях, определяющих варианты.

Предположим, что при исследовании эффективности сердечного лечения пациенты в больнице j имеют вероятность выживания $\theta _{j}$, вероятность выживания будет обновляться с наступлением y , события, при котором создается спорная сыворотка, которая, как полагают некоторые, увеличивает выживаемость у сердечных пациентов.

Чтобы сделать обновленные заявления о вероятности $\theta _{j}$Учитывая возникновение события y , мы должны начать с модели, обеспечивающей совместное распределение вероятностей для $\theta _{j}$ и й . Это можно записать как произведение двух распределений, которые часто называют предыдущим распределением. $P(\theta )$ и распределение выборки $P(y\mid \theta )$ соответственно:

$P(\theta ,y)=P(\theta )P(y\mid \theta )$

Используя основное свойство условной вероятности , апостериорное распределение даст:

$P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)}}={\frac {P(y\mid \theta )P(\theta )}{P(y)}}$

Это уравнение, показывающее связь между условной вероятностью и отдельными событиями, известно как теорема Байеса. Это простое выражение отражает техническую суть байесовского вывода, целью которого является включение обновленного убеждения: $P(\theta \mid y)$, подходящими и разрешимыми способами.

Взаимозаменяемость

Обычной отправной точкой статистического анализа является предположение, что n значения $y_{1},y_{2},\ldots ,y_{n}$ являются взаимозаменяемыми. Если нет информации – кроме данных y – для различения любого из $\theta _{j}$отличается от любых других, и никакое упорядочение или группирование параметров невозможно, необходимо предположить симметрию между параметрами в их предыдущем распределении. Эта симметрия вероятностно представлена ​​взаимозаменяемостью. Как правило, полезно и целесообразно моделировать данные из обменного распределения как независимо и одинаково распределенные с учетом некоторого неизвестного вектора параметров. $\theta$, с раздачей $P(\theta )$.

Конечная заменяемость

Для фиксированного числа n множество $y_{1},y_{2},\ldots ,y_{n}$ обменен, если совместная вероятность $P(y_{1},y_{2},\ldots ,y_{n})$ инвариантен относительно перестановок индексов. То есть для каждой перестановки $\pi$ или $(\pi _{1},\pi _{2},\ldots ,\pi _{n})$ из (1, 2, …, n ), $P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).$

Ниже приведен взаимозаменяемый, но не независимый и идентичный (iid) пример:Рассмотрим урну с красным и синим шарами внутри с вероятностью ${\frac {1}{2}}$ рисования тоже. Шары вытягиваются без замены, т.е. после того, как из n шаров вытянут один, n для следующего розыгрыша останется − 1 шаров.

${\text{Let }}Y_{i}={\begin{cases}1,&{\text{if the }}i{\text{th ball is red}},\\0,&{\text{otherwise}}.\end{cases}}$

Поскольку вероятность выбора красного шара в первом розыгрыше и синего шара во втором розыгрыше равна вероятности выбора синего шара в первом розыгрыше и красного шара во втором розыгрыше, обе из которых равны 1/ 2 (т.е. $[P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}]$), затем $y_{1}$ и $y_{2}$ являются взаимозаменяемыми.

Но вероятность выбора красного шара во втором розыгрыше, учитывая, что красный шар уже был выбран в первом розыгрыше, равна 0 и не равна вероятности того, что красный шар будет выбран во втором розыгрыше, которая равна 1. /2 (т.е. $[P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}]$). Таким образом, $y_{1}$ и $y_{2}$ не являются независимыми.

Если $x_{1},\ldots ,x_{n}$ независимы и одинаково распределены, то они взаимозаменяемы, но обратное не обязательно верно.

Бесконечная заменяемость

Бесконечная заменяемость — это свойство, согласно которому каждое конечное подмножество бесконечной последовательности $y_{1}$, $y_{2},\ldots$ является сменным. То есть для любого n последовательность $y_{1},y_{2},\ldots ,y_{n}$ является сменным.

Иерархические модели

Компоненты

Байесовское иерархическое моделирование использует две важные концепции для получения апостериорного распределения: а именно:

1. Гиперпараметры : параметры априорного распределения.
2. Гиперприоры : распределения гиперпараметров

Предположим, что случайная величина Y соответствует нормальному распределению с параметром θ в качестве среднего значения и 1 в качестве дисперсии , то есть $Y\mid \theta \sim N(\theta ,1)$. Отношение тильды ​ $\sim$ можно прочитать как «имеет распространение» или «распространяется как». Предположим также, что параметр $\theta$ имеет распределение, заданное нормальным распределением со средним значением $\mu$ и дисперсия 1, т.е. $\theta \mid \mu \sim N(\mu ,1)$. Более того, $\mu$ следует другому распределению, заданному, например, стандартным нормальным распределением , ${\text{N}}(0,1)$. Параметр $\mu$ называется гиперпараметром, а его распределение определяется выражением ${\text{N}}(0,1)$ является примером гиперприорного распределения. Обозначение распределения Y меняется при добавлении другого параметра, т.е. $Y\mid \theta ,\mu \sim N(\theta ,1)$. Если есть еще один этап, скажем, $\mu$ следует другому нормальному распределению со средним значением $\beta$ и дисперсия $\epsilon$, значение $\mu \sim N(\beta ,\epsilon )$, ${\mbox{ }}$$\beta$ и $\epsilon$ также можно назвать гиперпараметрами, хотя их распределения также являются гиперприорными распределениями.

Рамки

Позволять $y_{j}$ быть наблюдением и $\theta _{j}$ параметр, управляющий процессом генерации данных для $y_{j}$. Предположим далее, что параметры $\theta _{1},\theta _{2},\ldots ,\theta _{j}$ генерируются путем обмена из общей совокупности, причем распределение регулируется гиперпараметром $\phi$.
Байесовская иерархическая модель содержит следующие этапы:

${\text{Stage I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )$

${\text{Stage II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )$

${\text{Stage III: }}\phi \sim P(\phi )$

Вероятность, как видно на этапе I, равна $P(y_{j}\mid \theta _{j},\phi )$, с $P(\theta _{j},\phi )$ как его предварительное распространение. Обратите внимание, что вероятность зависит от $\phi$ только через $\theta _{j}$.

Предварительное распределение на этапе I можно разбить на:

$P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )$ [из определения условной вероятности]

С $\phi$ как его гиперпараметр с гиперприорным распределением, $P(\phi )$.

Таким образом, апостериорное распределение пропорционально:

$P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )$ [с использованием теоремы Байеса]

$P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )$

Пример

Чтобы проиллюстрировать это, рассмотрим пример:Учитель хочет оценить, насколько хорошо студент сдал SAT . Учитель использует информацию об оценках ученика в средней школе и текущем среднем балле (GPA), чтобы получить оценку. Текущий средний балл студента, обозначаемый $Y$, имеет вероятность, заданную некоторой функцией вероятности с параметром $\theta$, то есть $Y\mid \theta \sim P(Y\mid \theta )$. Этот параметр $\theta$ это балл студента по SAT. Оценка SAT рассматривается как выборка, полученная из общего распределения населения, индексированного по другому параметру. $\phi$, который является оценкой учащегося в старшей школе (первокурсник, второкурсник, младший или старший). То есть, $\theta \mid \phi \sim P(\theta \mid \phi )$. Более того, гиперпараметр $\phi$ следует своему собственному распределению, заданному $P(\phi )$, гиперприор.Чтобы определить балл SAT, учитывая информацию о среднем балле,

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )$

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )$

Вся информация в задаче будет использована для решения апостериорного распределения. Вместо решения только с использованием априорного распределения и функции правдоподобия использование гиперприорных методов дает больше информации, позволяющей сделать более точные предположения о поведении параметра.

2-ступенчатая иерархическая модель

В целом совместное апостериорное распределение интересов в двухступенчатых иерархических моделях выглядит следующим образом:

$P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}$

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )$

3-ступенчатая иерархическая модель

Для трехэтапных иерархических моделей апостериорное распределение определяется следующим образом:

$P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}$

$P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)$

Байесовская нелинейная модель смешанных эффектов

Байесовский цикл исследований с использованием байесовской нелинейной модели смешанных эффектов: (а) стандартный исследовательский цикл и (б) специфичный для Байеса рабочий процесс .

Структура байесовского иерархического моделирования часто используется в различных приложениях. В частности, недавно были разработаны байесовские нелинейные модели смешанных эффектов. уделялось значительное внимание. Базовая версия байесовской нелинейной модели смешанных эффектов представлена ​​в виде следующей трехэтапной схемы:

Этап 1: Модель индивидуального уровня

${y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.$

Этап 2: Модель населения

$\theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.$

Этап 3: Приор

$\sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.$

Здесь, $y_{ij}$ обозначает непрерывный отклик $i$-й субъект в данный момент времени $t_{ij}$, и $x_{ib}$ это $b$-я ковариата $i$-й предмет. Параметры, участвующие в модели, написаны греческими буквами. $f(t;\theta _{1},\ldots ,\theta _{K})$ — известная функция, параметризованная $K$-мерный вектор $(\theta _{1},\ldots ,\theta _{K})$. Обычно $f$ является «нелинейной» функцией и описывает временную траекторию движения индивидуумов. В модели $\epsilon _{ij}$ и $\eta _{li}$ описывают внутрииндивидуальную изменчивость и межиндивидуальную изменчивость соответственно. Если этап 3: Приоритет не рассматривается, то модель сводится к частотной нелинейной модели со смешанным эффектом.

Центральной задачей при применении байесовских нелинейных моделей смешанного эффекта является оценка апостериорной плотности:

$\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})$

$\propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})$

$=\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{Stage1:Individual-LevelModel}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage2:PopulationModel}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage3:Prior}$

На панели справа показан байесовский исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов. Цикл исследования с использованием байесовской нелинейной модели смешанных эффектов состоит из двух этапов: (а) стандартный исследовательский цикл и (б) рабочий процесс, специфичный для Байеса. Стандартный цикл исследования включает обзор литературы, определение проблемы, определение вопроса и гипотезы исследования. Специфический для Байеса рабочий процесс состоит из трех подэтапов: (b)–(i) формализация предшествующих распределений на основе базовых знаний и предварительного выявления; (b)–(ii) определение функции правдоподобия на основе нелинейной функции $f$; и (b)–(iii) сделать апостериорный вывод. Полученный апостериорный вывод можно использовать для начала нового исследовательского цикла.