Сопряжение до

В байесовской теории вероятностей, если для функции правдоподобия $p(x\mid \theta )$, апостериорное распределение $p(\theta \mid x)$ находится в том же семействе распределений вероятностей, что и предыдущее распределение вероятностей $p(\theta )$, априорное и апостериорное распределения затем называются сопряженными распределениями относительно этой функции правдоподобия, а априорное распределение называется сопряженным априорным распределением для функции правдоподобия. $p(x\mid \theta )$.

Сопряженное априорное значение является алгебраическим удобством, дающим выражение в замкнутой форме апостериорное ; в противном случае численное интегрирование может потребоваться . Кроме того, сопряженные априорные значения могут дать интуитивное представление, более прозрачно показывая, как функция правдоподобия обновляет априорное распределение.

Понятие, а также термин «сопряженный априор» были введены Говардом Райффой и Робертом Шлайфером в их работе над байесовской теорией принятия решений . Подобная концепция была открыта независимо Джорджем Альфредом Барнардом .

Пример

Форму сопряженного априора обычно можно определить путем проверки плотности вероятности или функции массы вероятности распределения. Например, рассмотрим случайную величину , которая состоит из количества успехов. $s$ в $n$ Испытания Бернулли с неизвестной вероятностью успеха $q$ в [0,1]. Эта случайная величина будет следовать биномиальному распределению с функцией массы вероятности вида

$p(s)={n \choose s}q^{s}(1-q)^{n-s}$

Обычным сопряженным априором является бета-распределение с параметрами ( $\alpha$, $\beta$):

$p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}$

где $\alpha$ и $\beta$ выбираются для отражения любого существующего убеждения или информации ( $\alpha =1$ и $\beta =1$ дало бы равномерное распределение ) и $\mathrm {B} (\alpha ,\beta )$ — бета-функция, действующая как нормализующая константа .

В этом контексте $\alpha$ и $\beta$ называются гиперпараметрами (параметрами предшествующей модели), чтобы отличить их от параметров базовой модели (здесь $q$). Типичной характеристикой сопряженных априорных значений является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, то гиперпараметра будет на один больше, чем параметра; но это также относится к параметрам с векторными и матричными значениями. (См. общую статью об экспоненциальном семействе , а также рассмотрим распределение Уишарта , сопряженное априорно с ковариационной матрицей многомерного нормального распределения , в качестве примера, когда задействована большая размерность.)

Если мы выберем эту случайную величину и получим $s$ успехи и $f=n-s$ неудачи, то мы имеем

${\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}$

это еще один бета-дистрибутив с параметрами $(\alpha +s,\beta +f)$. Это апостериорное распределение затем можно было бы использовать в качестве априорного для большего количества выборок, при этом гиперпараметры просто добавляли бы каждую дополнительную порцию информации по мере ее поступления.

Интерпретации

Псевдо-наблюдения

Часто полезно думать о гиперпараметрах сопряженного априорного распределения, соответствующих наблюдению определенного количества псевдонаблюдений со свойствами, заданными параметрами. Например, значения $\alpha$ и $\beta$ бета -распределения можно рассматривать как соответствующее $\alpha -1$ успехи и $\beta -1$ сбои, если апостериорный режим используется для выбора оптимальной настройки параметра, или $\alpha$ успехи и $\beta$ неудачи, если апостериорное среднее используется для выбора оптимальной настройки параметра. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать с точки зрения псевдонаблюдений. Это может помочь получить представление о часто запутанных уравнениях обновления и помочь выбрать разумные гиперпараметры для априорных вычислений.

Динамическая система

Можно думать, что обусловленность сопряженными априорными значениями определяет своего рода динамическую систему (с дискретным временем) : из заданного набора гиперпараметров входящие данные обновляют эти гиперпараметры, поэтому можно рассматривать изменение гиперпараметров как своего рода «эволюцию во времени» система, соответствующая «обучению». Старт в разных точках со временем приводит к разным потокам. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что, поскольку разные выборки приводят к разным выводам, это зависит не просто от времени, а скорее от данных с течением времени. Связанные подходы см. в разделах «Рекурсивная байесовская оценка» и «Ассимиляция данных» .

Практический пример

Предположим, в вашем городе работает служба проката автомобилей. Водители могут оставлять и забирать автомобили в любом месте в черте города. Найти и арендовать автомобили можно с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль недалеко от вашего домашнего адреса в любое время суток.

За три дня вы заходите в приложение и обнаруживаете следующее количество автомобилей недалеко от вашего домашнего адреса: $\mathbf {x} =[3,4,1]$

Предположим, мы предполагаем, что данные получены из распределения Пуассона . В этом случае мы можем вычислить оценку максимального правдоподобия параметров модели, которая равна ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что в данный день будет доступен хотя бы один автомобиль: ${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Это распределение Пуассона, которое, скорее всего, привело к получению наблюдаемых данных. $\mathbf {x}$. Но данные могли быть получены и из другого распределения Пуассона, например, с $\lambda =3$, или $\lambda =2$и т. д. На самом деле существует бесконечное количество распределений Пуассона, которые могли бы сгенерировать наблюдаемые данные. Учитывая относительно небольшое количество точек данных, мы должны быть совершенно не уверены в том, какое именно распределение Пуассона привело к получению этих данных. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности $p(x>0|\lambda )$ для каждого из этих распределений Пуассона, взвешенных по вероятности каждого из них, учитывая данные, которые мы наблюдали $\mathbf {x}$.

Обычно эта величина известна как апостериорное прогнозируемое распределение. $p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,$ где $x$ это новая точка данных, $\mathbf {x}$ это наблюдаемые данные и $\theta$ являются параметрами модели. Используя теорему Байеса, мы можем расширить $p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,$ поэтому $p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.$ Как правило, этот интеграл трудно вычислить. Однако если вы выберете сопряженное априорное распределение $p(\theta )$, можно получить выражение в замкнутой форме. Это апостериорный столбец прогнозирования в таблицах ниже.

Возвращаясь к нашему примеру, если мы выберем гамма-распределение в качестве априорного распределения по скорости распределений Пуассона, то апостериорным прогнозом будет отрицательное биномиальное распределение , как видно из таблицы ниже. Гамма-распределение параметризуется двумя гиперпараметрами. $\alpha ,\beta$, который нам предстоит выбрать. Глядя на графики гамма-распределения, мы выбираем $\alpha =\beta =2$, что кажется разумным априорным показателем для среднего количества автомобилей. Выбор априорных гиперпараметров по своей сути субъективен и основан на предварительных знаниях.

Учитывая предыдущие гиперпараметры $\alpha$ и $\beta$ мы можем вычислить апостериорные гиперпараметры ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ и ${\textstyle \beta '=\beta +n=2+3=5}$

Учитывая апостериорные гиперпараметры, мы можем, наконец, вычислить апостериорный прогноз ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Эта гораздо более консервативная оценка отражает неопределенность в параметрах модели, которую учитывает апостериорный прогноз.

Таблица сопряженных распределений

Пусть n обозначает количество наблюдений. Во всех приведенных ниже случаях предполагается, что данные состоят из n точек. $x_{1},\ldots ,x_{n}$ (которые будут случайными векторами в многомерных случаях).

Если функция правдоподобия принадлежит экспоненциальному семейству , то существует сопряженный априор, часто также в экспоненциальном семействе; см. Экспоненциальное семейство: Сопряженные распределения .

Когда функция правдоподобия является дискретным распределением

Вероятность $p(x_{i}|\theta )$	Параметры модели $\theta$	Сопряженное априорное (и апостериорное) распределение $p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')$	Предыдущие гиперпараметры $\Theta$	Задние гиперпараметры $\Theta '$	Интерпретация гиперпараметров	Задний прогнозирующий $p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')$
Бернулли	р (вероятность)	Бета	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ успехи, $\beta$ неудачи	$p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}$ ( Бернулли )
Биномиальный при известном количестве испытаний, м	р (вероятность)	Бета	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ успехи, $\beta$ неудачи	$\operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')$ ( бета-биномиальный )
Отрицательный бином с известным номером отказа, r	р (вероятность)	Бета	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ сплошные успехи, $\beta$ неудачи (т.е. ${\frac {\beta }{r}}$ эксперименты, предполагая $r$ остается фиксированным)	$\operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')$ (бета-отрицательный бином)
Пуассон	λ (ставка)	Гамма	$k,\,\theta \in \mathbb {R} \!$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!$	$k$ общее количество случаев в ${\frac {1}{\theta }}$ интервалы	$\operatorname {NB} \left({\tilde {x}}\mid k',{\frac {1}{\theta '+1}}\right)$ ( отрицательный бином )
			$\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!$	$\alpha$ общее количество случаев в $\beta$ интервалы	$\operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {\beta '}{1+\beta '}}\right)$ ( отрицательный бином )
Категорический	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!$	${\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),$ где $c_{i}$ количество наблюдений в категории i	$\alpha _{i}$ вхождения категории $i$	${\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}$ ( категоричный )
Полиномиальный	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!$	${\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!$	$\alpha _{i}$ вхождения категории $i$	$\operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')$ ( Дирихле-многочлен )
Гипергеометрический при известной общей численности популяции, N	M (количество целевых членов)	Бета-биномиальный	$n=N,\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ успехи, $\beta$ неудачи
Геометрический	р 0 (вероятность)	Бета	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ эксперименты, $\beta$ полные неудачи

Когда функция правдоподобия является непрерывным распределением

Вероятность $p(x_{i}|\theta )$	Параметры модели $\theta$	Сопряженное априорное (и апостериорное) распределение $p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')$	Предыдущие гиперпараметры $\Theta$	Задние гиперпараметры $\Theta '$	Интерпретация гиперпараметров	Задний прогнозирующий $p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')$
Нормальный с известной дисперсией σ 2	μ (среднее)	Нормальный	$\mu _{0},\,\sigma _{0}^{2}\!$	${\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}$	среднее значение оценивалось на основе наблюдений с полной точностью (сумма всех отдельных погрешностей) $1/\sigma _{0}^{2}$ и с выборочным средним $\mu _{0}$	${\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})$
Нормальный с известной точностью τ	μ (среднее)	Нормальный	$\mu _{0},\,\tau _{0}^{-1}\!$	${\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}$	среднее значение оценивалось на основе наблюдений с полной точностью (сумма всех отдельных погрешностей) $\tau _{0}$ и с выборочным средним $\mu _{0}$	${\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)$
Нормальный с известным средним значением μ	п 2 (дисперсия)	Обратная гамма	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}$	дисперсия оценивалась по $2\alpha$ наблюдения с выборочной дисперсией $\beta /\alpha$ (т.е. с суммой квадратов отклонений $2\beta$, где отклонения от известного среднего значения $\mu$)	$t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')$
Нормальный с известным средним значением μ	п 2 (дисперсия)	Масштабированный обратный хи-квадрат	$\nu ,\,\sigma _{0}^{2}\!$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!$	дисперсия оценивалась по $\nu$ наблюдения с выборочной дисперсией $\sigma _{0}^{2}$	$t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')$
Нормальный с известным средним значением μ	τ (точность)	Гамма	$\alpha ,\,\beta \!$	$\alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!$	точность оценивалась по $2\alpha$ наблюдения с выборочной дисперсией $\beta /\alpha$ (т.е. с суммой квадратов отклонений $2\beta$, где отклонения от известного среднего значения $\mu$)	$t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')$
Нормальный	м и с 2 Предполагая взаимозаменяемость	Нормально-обратная гамма	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ это выборочное среднее	среднее значение оценивалось по $\nu$ наблюдения с выборочным средним $\mu _{0}$; дисперсия оценивалась по $2\alpha$ наблюдения с выборочным средним $\mu _{0}$ и сумма квадратов отклонений $2\beta$	$t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)$
Нормальный	м и т Предполагая взаимозаменяемость	Нормальная гамма	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ это выборочное среднее	среднее значение оценивалось по $\nu$ наблюдения с выборочным средним $\mu _{0}$, а точность оценивалась по формуле $2\alpha$ наблюдения с выборочным средним $\mu _{0}$ и сумма квадратов отклонений $2\beta$	$t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)$
Многомерная нормаль с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}$	$\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),$ $\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}$ $\mathbf {\bar {x}}$ это выборочное среднее	среднее значение оценивалось на основе наблюдений с полной точностью (сумма всех отдельных погрешностей) ${\boldsymbol {\Sigma }}_{0}^{-1}$ и с выборочным средним ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})$
Многомерная нормаль с матрицей известной точности Λ	μ (средний вектор)	Многомерный нормальный	$\mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}$	$\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)$ $\mathbf {\bar {x}}$ это выборочное среднее	среднее значение оценивалось на основе наблюдений с полной точностью (сумма всех отдельных погрешностей) ${\boldsymbol {\Lambda }}_{0}$ и с выборочным средним ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)$
Многомерный нормальный с известным средним значением μ	Σ (ковариационная матрица)	Обратный-Wishart	$\nu ,\,{\boldsymbol {\Psi }}$	$n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}$	ковариационная матрица оценивалась по формуле $\nu$ наблюдения с суммой произведений попарных отклонений ${\boldsymbol {\Psi }}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)$
Многомерный нормальный с известным средним значением μ	Λ (матрица точности)	Уишарт	$\nu ,\,\mathbf {V}$	$n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}$	ковариационная матрица оценивалась по формуле $\nu$ наблюдения с суммой произведений попарных отклонений $\mathbf {V} ^{-1}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)$
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Wishart	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ ${\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}$ $\mathbf {\bar {x}}$ это выборочное среднее $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	среднее значение оценивалось по $\kappa _{0}$ наблюдения с выборочным средним ${\boldsymbol {\mu }}_{0}$; ковариационная матрица оценивалась по формуле $\nu _{0}$ наблюдения с выборочным средним ${\boldsymbol {\mu }}_{0}$ и с суммой произведений попарных отклонений ${\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)$
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Wishart	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ $\left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}$ $\mathbf {\bar {x}}$ это выборочное среднее $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	среднее значение оценивалось по $\kappa _{0}$ наблюдения с выборочным средним ${\boldsymbol {\mu }}_{0}$; ковариационная матрица оценивалась по формуле $\nu _{0}$ наблюдения с выборочным средним ${\boldsymbol {\mu }}_{0}$ и с суммой произведений попарных отклонений $\mathbf {V} ^{-1}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)$
Униформа	$U(0,\theta )\!$	Парето	$x_{m},\,k\!$	$\max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!$	$k$ наблюдения с максимальным значением $x_{m}$
Парето с известным минимумом x м	к (форма)	Гамма	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!$	$\alpha$ наблюдения с суммой $\beta$ порядка величины каждого наблюдения (т.е. логарифм отношения каждого наблюдения к минимальному $x_{m}$)
Вейбулл с известной формой β	θ (масштаб)	Обратная гамма	$a,b\!$	$a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!$	$a$ наблюдения с суммой $b$ степени β'-й каждого наблюдения
Логнормальный	То же, что и для нормального распределения после применения натурального логарифма к данным для апостериорных гиперпараметров. Пожалуйста, обратитесь к Fink (1997 , стр. 21–22), чтобы увидеть подробности.
Экспоненциальный	λ (ставка)	Гамма	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ наблюдения, которые в сумме $\beta$	$\operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')$ ( распределение Ломакса )
Гамма с известной формой α	β (ставка)	Гамма	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!$	$\alpha _{0}/\alpha$ наблюдения с суммой $\beta _{0}$	$\operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')$
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!$	$\alpha _{0}/\alpha$ наблюдения с суммой $\beta _{0}$
Гамма с известной скоростью β	α (форма)	$\propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}$	$a,\,b,\,c\!$	$a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!$	$b$ или $c$ наблюдения ( $b$ для оценки $\alpha$, $c$ для оценки $\beta$) с продуктом $a$
Гамма	α (форма), β (обратный масштаб)	$\propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}$	$p,\,q,\,r,\,s\!$	$p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!$	$\alpha$ было оценено от $r$ наблюдения за продуктом $p$; $\beta$ было оценено от $s$ наблюдения с суммой $q$
Бета	а , б	$\propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}$	$p,\,q,\,k\!$	$p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!$	$\alpha$ и $\beta$ были оценены из $k$ наблюдения за продуктом $p$ и продукт дополнений $q$

См. также

• Бета-биномиальное распределение