Байесовское иерархическое моделирование

Байесовское иерархическое моделирование - это статистическая модель, написанная в нескольких уровнях (иерархическая форма), которая оценивает параметры заднего распределения с использованием байесовского метода . Подмодели объединяются для формирования иерархической модели, и теорема Байеса используется для интеграции их с наблюдаемыми данными и учетом всей присутствующей неопределенности. Результатом этой интеграции является апостериорное распределение, также известное как обновленная оценка вероятности, как дополнительные доказательства в предыдущем распределении приобретается .

Частые статистические данные могут привести к выводам, по -видимому, несовместимым с таковыми, предлагаемыми байесовской статистикой из -за байесовской обработки параметров в качестве случайных величин и ее использования субъективной информации при установлении предположений об этих параметрах. Поскольку подходы отвечают на разные вопросы, формальные результаты не являются технически противоречивыми, но два подхода не согласны с тем, какой ответ имеет отношение к конкретным приложениям. Байесовцы утверждают, что соответствующая информация, касающаяся принятия решений и обновления убеждений, не может быть проигнорирована, и что иерархическое моделирование может отменить классические методы в приложениях, где респонденты предоставляют несколько наблюдений. Более того, модель оказалась надежной , а заднее распределение менее чувствительно к более гибким иерархическим априорсам.

Иерархическое моделирование используется, когда информация доступна на нескольких разных уровнях наблюдательных единиц. Например, в эпидемиологическом моделировании для описания траекторий инфекции для нескольких стран наблюдательных единиц - это страны, и каждая страна имеет свой собственный временный профиль ежедневных инфицированных случаев. В анализе кривой снижения для описания кривой снижения добычи нефти или газа для нескольких скважин наблюдательные единицы представляют собой нефтяные или газовые скважины в регионе резервуара, и каждая скважина имеет собственное височное профиль нефтегазовых или газовых показателей (обычно, бочки в месяц). Структура данных для иерархического моделирования сохраняет вложенную структуру данных. Иерархическая форма анализа и организации помогает в понимании многопараметрических проблем, а также играет важную роль в разработке вычислительных стратегий.

Философия

Статистические методы и модели обычно включают несколько параметров, которые можно рассматривать как связанные или связанные таким образом, чтобы эта проблема подразумевала зависимость модели совместной вероятности для этих параметров. Индивидуальные степени веры, выраженные в форме вероятностей, сопровождаются неопределенностью. Среди это изменение степени веры с течением времени. Как было заявлено профессор Хосе М. Бернардо и профессор Адриан Ф. Смит , «актуальность учебного процесса состоит в эволюции индивидуальных и субъективных убеждений в реальности». Эти субъективные вероятности более непосредственно вовлечены в ум, а не физические вероятности. Следовательно, именно с этой необходимостью обновления убеждений Байесов сформулировала альтернативную статистическую модель, которая учитывает предыдущее возникновение конкретного события.

Теорема Байеса

Предполагаемое появление события реального мира обычно изменяет предпочтения между определенными вариантами. Это делается путем изменения степени веры, прикрепленных к человеку, к событиям, определяющим варианты.

Предположим, в исследовании эффективности сердечных методов лечения, причем пациенты в больнице J имеют вероятность выживания $\theta _{j}$вероятность выживания будет обновлена ​​с помощью Y , события, в котором создается противоречивая сыворотка, которая, как считает некоторыми, увеличивает выживаемость у пациентов с сердцем.

Чтобы сделать обновленные вероятностные заявления о $\theta _{j}$, учитывая возникновение события Y , мы должны начать с модели, обеспечивающей совместное распределение вероятностей для $\theta _{j}$ и у ​Это может быть написано как продукт двух распределений, которые часто называют предыдущим распределением $P(\theta )$ и распределение отбора проб $P(y\mid \theta )$ соответственно:

$P(\theta ,y)=P(\theta )P(y\mid \theta )$

Используя основное свойство условной вероятности , апостериорное распределение даст:

$P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)}}={\frac {P(y\mid \theta )P(\theta )}{P(y)}}$

Это уравнение, показывающее взаимосвязь между условной вероятностью и отдельными событиями, известно как теорема Байеса. Это простое выражение инкапсулирует техническое ядро ​​байесовского вывода, целью которого является включение обновленного убеждения, $P(\theta \mid y)$, в соответствующих и решаемых способах.

Обменение

Обычной отправной точкой статистического анализа является предположение, что n значения $y_{1},y_{2},\ldots ,y_{n}$ обмениваются. Если нет информации, кроме данных y , не доступна для различения какого -либо из $\theta _{j}$Из любого других, и никакое упорядочение или группировка параметров не может быть сделано, нужно предположить симметрию между параметрами в их предыдущем распределении. Эта симметрия представлена ​​вероятностью путем обмена. Как правило, полезно и целесообразно моделировать данные из обменного распределения как независимо и идентично распределенного , с учетом некоторого неизвестного вектора параметров $\theta$, с распределением $P(\theta )$.

Конечная обмена

Для фиксированного числа n набор $y_{1},y_{2},\ldots ,y_{n}$ Обменен, если совместная вероятность $P(y_{1},y_{2},\ldots ,y_{n})$ является инвариантным под перестановкой индексов. То есть для каждой перестановки $\pi$ или $(\pi _{1},\pi _{2},\ldots ,\pi _{n})$ (1, 2,…, n ), $P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).$

Ниже приведено обменное, но не независимое и идентичное (IID), пример: Рассмотрим урну с красным мячом и синим шаром внутри, с вероятностью ${\frac {1}{2}}$ рисования тоже. Шары нарисованы без замены, т.е. После того, как один шарик будет вытянут из N шарики . шариков, для следующего розыгрыша останутся оставшиеся

${\text{Let }}Y_{i}={\begin{cases}1,&{\text{if the }}i{\text{th ball is red}},\\0,&{\text{otherwise}}.\end{cases}}$

Поскольку вероятность выбора красного шарика в первом розыгрыше и синего шарика во втором розыгрыше равен вероятности выбора синего шарика на первом розыгрыше и красного на втором розыгрыше, оба из которых равны 1// 2 (т.е. $[P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}]$), затем $y_{1}$ и $y_{2}$ обмениваются.

Но вероятность выбора красного шарика во втором розыгрыше, учитывая, что красный шарик уже был выбран в первом розыгрыше 0, и не равна вероятности того, что красный шарик выбран во втором розыгрыше, который равен 1 /2 (т.е. $[P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}]$) Таким образом, $y_{1}$ и $y_{2}$ не независимы.

Если $x_{1},\ldots ,x_{n}$ являются независимыми и идентично распределенными, тогда они обменяются, но обратное не обязательно верно.

Бесконечная обмену

Бесконечная обмену - это свойство, которое каждая конечная подмножество бесконечной последовательности $y_{1}$, $y_{2},\ldots$ Обменен. То есть для любого n , последовательность $y_{1},y_{2},\ldots ,y_{n}$ Обменен.

Иерархические модели

Компоненты

Байесовское иерархическое моделирование использует две важные понятия в получении заднего распределения, а именно:

1. Гиперпараметры : параметры предыдущего распределения
2. Гиперприоры : распределение гиперпараметров

Предположим, что случайная переменная Y следует за нормальным распределением с параметрами $\theta$ как среднее и 1 как дисперсия , то есть $Y\mid \theta \sim N(\theta ,1)$Полем Отношение Тильде ​ $\sim$ может быть прочитано как «имеет распределение» или »распределено как». Предположим также, что параметр $\theta$ имеет распределение, приведенное в результате нормального распределения со средним значением $\mu$ и дисперсия 1, т.е. $\theta \mid \mu \sim N(\mu ,1)$Полем Более того, $\mu$ следует еще одно распределение, приведенное, например, стандартным нормальным распределением , ${\text{N}}(0,1)$Полем Параметр $\mu$ называется гиперпараметром, в то время как его распределение дано ${\text{N}}(0,1)$ является примером гиперприорского распределения. Обозначение распределения y изменений при добавлении другого параметра, т.е. $Y\mid \theta ,\mu \sim N(\theta ,1)$Полем Если есть еще один этап, скажем, $\mu$ следует другому нормальному распределению со средним $\beta$ и дисперсия $\epsilon$, значение $\mu \sim N(\beta ,\epsilon )$, ${\mbox{ }}$$\beta$ и $\epsilon$ Также можно назвать гиперпараметрами, в то время как их распределения также являются гиперприорскими распределениями.

Рамки

Позволять $y_{j}$ быть наблюдением и $\theta _{j}$ параметр, регулирующий процесс генерирования данных для $y_{j}$Полем Далее предположим, что параметры $\theta _{1},\theta _{2},\ldots ,\theta _{j}$ генерируются обменными из общей численности населения, с распределением, регулируемого гиперпараметром $\phi$.
Байесовская иерархическая модель содержит следующие этапы:

${\text{Stage I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )$

${\text{Stage II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )$

${\text{Stage III: }}\phi \sim P(\phi )$

Вероятность, как видно на стадии I есть $P(y_{j}\mid \theta _{j},\phi )$, с $P(\theta _{j},\phi )$ как его предварительное распределение. Обратите внимание, что вероятность зависит от $\phi$ только через $\theta _{j}$.

Предыдущее распределение с этапа, на которое я могу быть разбит:

$P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )$ [Из определения условной вероятности]

С $\phi$ в качестве гиперпараметра с гиперприорским распределением, $P(\phi )$.

Таким образом, заднее распределение пропорционально:

$P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )$ [Использование теоремы Байеса]

$P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )$

Пример

Чтобы дополнительно проиллюстрировать это, рассмотрите пример: Учитель хочет оценить, насколько хорошо ученик преуспел в SAT . Преподаватель использует информацию о оценках средней школы ученика и среднем значении (GPA), чтобы придумать оценку. Нынешний средний балл студента, обозначенный $Y$, имеет вероятность, заданная некоторой вероятностной функцией с параметрами $\theta$IE $Y\mid \theta \sim P(Y\mid \theta )$Полем Этот параметр $\theta$ SAT SAC студента. Оценка SAT рассматривается как выборка, поступающая из общего распределения населения, индексируемого другим параметром $\phi$, который является средней школой ученика (первокурсник, второкурсник, младший или старший). То есть, $\theta \mid \phi \sim P(\theta \mid \phi )$Полем Более того, гиперпараметр $\phi$ следует своему собственному распределению, данным $P(\phi )$, гиперприор. Решить для оценки SAT, предоставленного информации о среднем GPA,

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )$

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )$

Вся информация в задаче будет использоваться для решения для апостериорного распределения. Вместо того, чтобы решать только использование предыдущего распределения и функции вероятности, использование гиперприоров дает больше информации, чтобы привести более точные убеждения в поведении параметра.

2-ступенчатая иерархическая модель

В целом, совместное заднее распределение интереса к 2-ступенчатым иерархическим моделям:

$P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}$

$P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )$

3-ступенчатая иерархическая модель

Для трехэтапных иерархических моделей заднее распределение определяется:

$P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}$

$P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)$

Байесовская нелинейная модель смешанных эффектов

Байесовский исследовательский цикл с использованием байесовских нелинейных смешанных эффектов модель: (а) стандартный цикл исследования и (б) байесовский специфический рабочий процесс .

Структура байесовского иерархического моделирования часто используется в различных приложениях. В частности, модели байесовских нелинейных смешанных эффектов недавно получил значительное внимание. Основная версия байесовских нелинейных моделей смешанных эффектов представлена ​​в качестве следующего трехэтапного:

Этап 1: модель индивидуального уровня

${y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.$

Этап 2: Модель населения

$\theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.$

Этап 3: Приор

$\sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.$

Здесь, $y_{ij}$ обозначает непрерывную реакцию $i$-Т -предмет в то время $t_{ij}$, и $x_{ib}$ является $b$-6 ковариата $i$-Т -субъект. Параметры, связанные с моделью, написаны греческими буквами. $f(t;\theta _{1},\ldots ,\theta _{K})$ является известной функцией, параметризованной $K$-Сянный вектор $(\theta _{1},\ldots ,\theta _{K})$Полем Обычно, $f$ является «нелинейной» функцией и описывает временную траекторию отдельных лиц. В модели, $\epsilon _{ij}$ и $\eta _{li}$ Опишите внутри-индивидуальную изменчивость и между индивидуальной изменчивостью соответственно. Если этап 3: ранее не учитывается, то модель сводится к частой нелинейной модели смешанного эффекта.

Центральной задачей в применении байесовских нелинейных моделей смешанного эффекта является оценка задней плотности:

$\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})$

$\propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})$

$=\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{Stage1:Individual-LevelModel}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage2:PopulationModel}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage3:Prior}$

Панель справа отображает байесовский исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов. Исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов включает в себя два этапа: (а) стандартный цикл исследования и (б) байесовский специфический рабочий процесс. Стандартный исследовательский цикл включает в себя обзор литературы, определение проблемы и указание вопроса исследования и гипотезы. Байесовский рабочий процесс включает в себя три подметки: (b)-(i) формализация предыдущих распределений, основанных на фоновых знаниях и предварительной выявлении; (б) - (ii) определение функции вероятности на основе нелинейной функции $f$; и (b) - (iii) сделать задний вывод. Полученный задний вывод может быть использован для запуска нового цикла исследования.