Бета-дистрибутив

Не путать с бета-функцией .

Бета

Функция плотности вероятности
Кумулятивная функция распределения
Обозначения	Бета( а , б )
Параметры	α > 0 форма ( реальная ) β > 0 форма ( реальная )
Поддерживать	$x\in [0,1]\!$ или $x\in (0,1)\!$
PDF	${\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}\!$ где $\mathrm {B} (\alpha ,\beta )={\frac {\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}}$ и $\Gamma$ это гамма-функция .
CDF	$I_{x}(\alpha ,\beta )\!$ ( регуляризованная неполная бета-функция )
Иметь в виду	$\operatorname {E} [X]={\frac {\alpha }{\alpha +\beta }}\!$ $\operatorname {E} [\ln X]=\psi (\alpha )-\psi (\alpha +\beta )\!$ $\operatorname {E} [X\,\ln X]={\frac {\alpha }{\alpha +\beta }}\,\left[\psi (\alpha +1)-\psi (\alpha +\beta +1)\right]\!$ (см. раздел: Среднее геометрическое ) где $\psi$ это дигамма-функция
медиана	${\begin{matrix}I_{\frac {1}{2}}^{[-1]}(\alpha ,\beta ){\text{ (in general) }}\\[0.5em]\approx {\frac {\alpha -{\tfrac {1}{3}}}{\alpha +\beta -{\tfrac {2}{3}}}}{\text{ for }}\alpha ,\beta >1\end{matrix}}$
Режим	${\frac {\alpha -1}{\alpha +\beta -2}}\!$ для α , β > 1 любое значение в $(0,1)$ для α , β = 1 {0, 1} (бимодальный) для α , β < 1 0 для α ≤ 1, β ≥ 1, α ≠ β 1 для α ≥ 1, β ≤ 1, α ≠ β
Дисперсия	$\operatorname {var} [X]={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}\!$ $\operatorname {var} [\ln X]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )\!$ (см. тригамма-функцию и см. раздел: Геометрическая дисперсия )
асимметрия	${\frac {2\,(\beta -\alpha ){\sqrt {\alpha +\beta +1}}}{(\alpha +\beta +2){\sqrt {\alpha \beta }}}}$
Избыточный эксцесс	${\frac {6[(\alpha -\beta )^{2}(\alpha +\beta +1)-\alpha \beta (\alpha +\beta +2)]}{\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)}}$
Энтропия	${\begin{matrix}\ln \mathrm {B} (\alpha ,\beta )-(\alpha -1)\psi (\alpha )-(\beta -1)\psi (\beta )\\[0.5em]{}+(\alpha +\beta -2)\psi (\alpha +\beta )\end{matrix}}$
МГФ	$1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {t^{k}}{k!}}$
CF	${}_{1}F_{1}(\alpha ;\alpha +\beta ;i\,t)\!$ (см. Вырожденная гипергеометрическая функция )
Информация о Фишере	${\begin{bmatrix}\operatorname {var} [\ln X]&\operatorname {cov} [\ln X,\ln(1-X)]\\\operatorname {cov} [\ln X,\ln(1-X)]&\operatorname {var} [\ln(1-X)]\end{bmatrix}}$ см. раздел: Информационная матрица Фишера.
Метод моментов	$\alpha =\left({\frac {E[X](1-E[X])}{V[X]}}-1\right)E[X]$ $\beta =\left({\frac {E[X](1-E[X])}{V[X]}}-1\right)(1-E[X])$

В теории вероятностей и статистике бета -распределение представляет собой семейство непрерывных распределений вероятностей , определенных на интервале [0, 1] или (0, 1) с точки зрения двух положительных параметров , обозначаемых альфа ( α ) и бета ( β ), которые появляются как показатели переменной и ее дополнения к 1 соответственно и контролируют форму распределения.

Бета-распределение применялось для моделирования поведения случайных величин, ограниченных интервалами конечной длины, в самых разных дисциплинах. Бета-распределение является подходящей моделью случайного поведения процентов и пропорций.

В байесовском выводе бета-распределение представляет собой сопряженное априорное распределение вероятностей для распределений Бернулли , биномиального , отрицательного биномиального и геометрического распределений.

Формулировка обсуждаемого здесь бета-распределения также известна как бета-распределение первого рода , тогда как бета-распределение второго рода является альтернативным названием простого бета-распределения . Обобщение на несколько переменных называется распределением Дирихле .

Определения

плотности

Анимация бета-распределения для разных значений его параметров.

Функция плотности вероятности (PDF) бета-распределения для $0\leq x\leq 1$ или $0<x<1$и параметры формы $\alpha$, $\beta >0$, является степенной функцией переменной $x$ и его отражение $(1-x)$ следующее:

${\begin{aligned}f(x;\alpha ,\beta )&=\mathrm {constant} \cdot x^{\alpha -1}(1-x)^{\beta -1}\\[3pt]&={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\displaystyle \int _{0}^{1}u^{\alpha -1}(1-u)^{\beta -1}\,du}}\\[6pt]&={\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}\,x^{\alpha -1}(1-x)^{\beta -1}\\[6pt]&={\frac {1}{\mathrm {B} (\alpha ,\beta )}}x^{\alpha -1}(1-x)^{\beta -1}\end{aligned}}$

где $\Gamma (z)$ это гамма-функция . функция Бета- , $\mathrm {B}$, — константа нормализации , гарантирующая, что общая вероятность равна 1. В приведенных выше уравнениях $x$ это реализация (наблюдаемое значение, которое действительно произошло) случайной величины $X$.

Некоторые авторы, в том числе Н. Л. Джонсон и С. Коц , используйте символы $p$ и $q$ (вместо $\alpha$ и $\beta$) для параметров формы бета-распределения, напоминающих символы, традиционно используемые для параметров распределения Бернулли , поскольку бета-распределение приближается к распределению Бернулли в пределе, когда оба параметра формы $\alpha$ и $\beta$ приближаться к значению нуля.

Далее случайная величина $X$ бета-распределение с параметрами $\alpha$ и $\beta$ будет обозначаться:

$X\sim \operatorname {Beta} (\alpha ,\beta )$

Другие обозначения случайных величин с бета-распределением, используемые в статистической литературе: $X\sim {\mathcal {B}}e(\alpha ,\beta )$ и $X\sim \beta _{\alpha ,\beta }$.

распределения

CDF для симметричного бета-распределения в зависимости от x и α = β

CDF для асимметричного бета-распределения в зависимости от x и β = 5 α

Кумулятивная функция распределения равна

$F(x;\alpha ,\beta )={\frac {\mathrm {B} {}(x;\alpha ,\beta )}{\mathrm {B} {}(\alpha ,\beta )}}=I_{x}(\alpha ,\beta )$

где $\mathrm {B} (x;\alpha ,\beta )$ – неполная бета-функция и $I_{x}(\alpha ,\beta )$ – регуляризованная неполная бета-функция .

Альтернативные параметризации

Два параметра

и

Бета-распределение также можно перепараметризовать с точки зрения его среднего значения µ (0 < µ < 1) и суммы двух параметров формы ν = α + β > 0 ( п. 83). Обозначая через αPosterior и βPosterior параметры формы апостериорного бета-распределения, полученные в результате применения теоремы Байеса к биномиальной функции правдоподобия и априорной вероятности, интерпретация сложения обоих параметров формы как размера выборки = ν = α ·Posterior + β · Апостериорный метод верен только для априорной вероятности Холдейна Beta(0,0). В частности, для байесовской (равномерной) априорной бета-версии (1,1) правильной интерпретацией будет размер выборки = α · Posterior + β Posterior - 2 или ν = (размер выборки) + 2. Для размера выборки, намного превышающего 2, разница между этими двумя априорами становится незначительной. (Подробнее см. в разделе «Байесовский вывод ».) ν = α + β называется «размером выборки» бета-распределения, но следует помнить, что, строго говоря, это «размер выборки» биномиальной функции правдоподобия. только при использовании априорной бета-версии Холдейна (0,0) в теореме Байеса.

Эта параметризация может быть полезна при оценке байесовских параметров. Например, можно провести тест нескольким людям. Если предположить, что балл каждого человека (0 ≤ θ ≤ 1) получен из бета-распределения на уровне населения, то важной статистикой является среднее значение этого распределения на уровне населения. Параметры среднего размера и размера выборки связаны с параметрами формы α и β через

α знак равно µν , β знак равно (1 - µ ) ν

При этой параметризации можно поместить неинформативную априорную вероятность поверх среднего значения и расплывчатую априорную вероятность (например, экспоненциальное или гамма-распределение ) над положительными действительными числами для размера выборки, если они независимы, а априорные данные и/или убеждения оправдайте это.

и

Вогнутые бета-распределения, которые имеют $\alpha ,\beta >1$, может быть параметризован с точки зрения режима и «концентрации». Режим, $\omega ={\frac {\alpha -1}{\alpha +\beta -2}}$и концентрация, $\kappa =\alpha +\beta$, можно использовать для определения обычных параметров формы следующим образом:

${\begin{aligned}\alpha &=\omega (\kappa -2)+1\\\beta &=(1-\omega )(\kappa -2)+1\end{aligned}}$

Для режима $0<\omega <1$, чтобы быть четко определенным, нам нужно $\alpha ,\beta >1$или эквивалентно $\kappa >2$. Если вместо этого мы определим концентрацию как $c=\alpha +\beta -2$, условие упрощается до $c>0$ и бета-плотность при $\alpha =1+c\omega$ и $\beta =1+c(1-\omega )$ можно записать как:

$f(x;\omega ,c)={\frac {x^{c\omega }(1-x)^{c(1-\omega )}}{\mathrm {B} {\bigl (}1+c\omega ,1+c(1-\omega ){\bigr )}}}$

где $c$ напрямую масштабирует достаточную статистику , $\log(x)$ и $\log(1-x)$. Отметим также, что в пределе $c\to 0$, распределение становится плоским.

Среднее значение и дисперсия

Решая систему (связанных) уравнений, приведенную в предыдущих разделах как уравнения для среднего и дисперсии бета-распределения через исходные параметры α и β , можно выразить параметры α и β через среднее значение ( μ ) и дисперсия (var):

${\begin{aligned}\nu &=\alpha +\beta ={\frac {\mu (1-\mu )}{\mathrm {var} }}-1,{\text{ where }}\nu =(\alpha +\beta )>0,{\text{ therefore: }}{\text{var}}<\mu (1-\mu )\\\alpha &=\mu \nu =\mu \left({\frac {\mu (1-\mu )}{\text{var}}}-1\right),{\text{ if }}{\text{var}}<\mu (1-\mu )\\\beta &=(1-\mu )\nu =(1-\mu )\left({\frac {\mu (1-\mu )}{\text{var}}}-1\right),{\text{ if }}{\text{var}}<\mu (1-\mu ).\end{aligned}}$

Такая параметризация бета-распределения может привести к более интуитивному пониманию, чем то, которое основано на исходных параметрах α и β . Например, выражая моду, асимметрию, избыточный эксцесс и дифференциальную энтропию через среднее значение и дисперсию:

Четыре параметра

Бета-распределение с двумя параметрами формы α и β поддерживается в диапазоне [0,1] или (0,1). Можно изменить местоположение и масштаб распределения, введя два дополнительных параметра, представляющих минимальное a и максимальное c ( c > a ) значения распределения, линейным преобразованием, заменяющим безразмерную переменную x на новую переменную y (с поддержкой [ a , c ] или ( a , c )) и параметры a и c :

$y=x(c-a)+a,{\text{ therefore }}x={\frac {y-a}{c-a}}.$

Функция плотности вероятности бета-распределения с четырьмя параметрами равна распределению с двумя параметрами, масштабированному по диапазону ( c − a ) (так что общая площадь под кривой плотности равна вероятности единицы) и с «y " переменная сдвинута и масштабирована следующим образом:

$f(y;\alpha ,\beta ,a,c)={\frac {f(x;\alpha ,\beta )}{c-a}}={\frac {\left({\frac {y-a}{c-a}}\right)^{\alpha -1}\left({\frac {c-y}{c-a}}\right)^{\beta -1}}{(c-a)B(\alpha ,\beta )}}={\frac {(y-a)^{\alpha -1}(c-y)^{\beta -1}}{(c-a)^{\alpha +\beta -1}B(\alpha ,\beta )}}.$

То, что случайная величина Y имеет бета-распределение с четырьмя параметрами α, β, a и c, будет обозначаться:

$Y\sim \operatorname {Beta} (\alpha ,\beta ,a,c).$

Некоторые меры центрального расположения масштабируются (на ( c − a )) и сдвигаются (на a ) следующим образом:

${\begin{aligned}\mu _{Y}&=\mu _{X}(c-a)+a\\&=\left({\frac {\alpha }{\alpha +\beta }}\right)(c-a)+a={\frac {\alpha c+\beta a}{\alpha +\beta }}\\[8pt]{\text{mode}}(Y)&={\text{mode}}(X)(c-a)+a\\&=\left({\frac {\alpha -1}{\alpha +\beta -2}}\right)(c-a)+a={\frac {(\alpha -1)c+(\beta -1)a}{\alpha +\beta -2}}\ ,\qquad {\text{ if }}\alpha ,\beta >1\\[8pt]{\text{median}}(Y)&={\text{median}}(X)(c-a)+a\\&=\left(I_{\frac {1}{2}}^{[-1]}(\alpha ,\beta )\right)(c-a)+a\end{aligned}}$

Примечание. Среднее геометрическое и среднее гармоническое не могут быть преобразованы с помощью линейного преобразования так, как это могут сделать среднее, медиана и мода.

Параметры формы Y можно записать через его среднее значение и дисперсию как

${\begin{aligned}\alpha &={\frac {(a-\mu _{Y})(a\,c-a\,\mu _{Y}-c\,\mu _{Y}+\mu _{Y}^{2}+\sigma _{Y}^{2})}{\sigma _{Y}^{2}(c-a)}}\\\beta &=-{\frac {(c-\mu _{Y})(a\,c-a\,\mu _{Y}-c\,\mu _{Y}+\mu _{Y}^{2}+\sigma _{Y}^{2})}{\sigma _{Y}^{2}(c-a)}}\end{aligned}}$

Меры статистической дисперсии масштабируются (их не нужно сдвигать, поскольку они уже центрированы по среднему значению) по диапазону ( c − a ), линейно для среднего отклонения и нелинейно для дисперсии:

${\text{(mean deviation around mean)}}(Y)=$

$({\text{(mean deviation around mean)}}(X))(c-a)={\frac {2\alpha ^{\alpha }\beta ^{\beta }}{\mathrm {B} (\alpha ,\beta )(\alpha +\beta )^{\alpha +\beta +1}}}(c-a)$

${\text{var}}(Y)={\text{var}}(X)(c-a)^{2}={\frac {\alpha \beta (c-a)^{2}}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}.$

Поскольку асимметрия и избыточный эксцесс являются безразмерными величинами (как моменты, центрированные по среднему значению и нормированные стандартным отклонением ), они не зависят от параметров a и c и, следовательно, равны выражениям, приведенным выше через X (с поддержка [0,1] или (0,1)):

${\text{skewness}}(Y)={\text{skewness}}(X)={\frac {2(\beta -\alpha ){\sqrt {\alpha +\beta +1}}}{(\alpha +\beta +2){\sqrt {\alpha \beta }}}}.$

${\text{kurtosis excess}}(Y)={\text{kurtosis excess}}(X)={\frac {6[(\alpha -\beta )^{2}(\alpha +\beta +1)-\alpha \beta (\alpha +\beta +2)]}{\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)}}$

Свойства

центральной

Режим

Мода случайной бета-распределенной величины X с α , β > 1 является наиболее вероятным значением распределения (соответствующим пику в PDF) и определяется следующим выражением:

${\frac {\alpha -1}{\alpha +\beta -2}}.$

Когда оба параметра меньше единицы ( α , β <1), это антирежим: самая нижняя точка кривой плотности вероятности.

Полагая α = β , выражение для моды упрощается до 1/2, показывая, что при α = β > 1 мода (соответственно антимода, когда α , β < 1 ) находится в центре распределения: это симметричны в этих случаях. См. раздел «Фигуры» в этой статье для получения полного списка режимов для произвольных значений α и β . В некоторых из этих случаев максимальное значение функции плотности приходится на один или оба конца. В некоторых случаях (максимальное) значение функции плотности, встречающееся в конце, конечно. Например, в случае α = 2, β = 1 (или α = 1, β = 2) функция плотности становится распределением прямоугольного треугольника , которое является конечным на обоих концах. В ряде других случаев на одном конце имеется особенность , где значение функции плотности приближается к бесконечности. Например, в случае α = β = 1/2 бета-распределение упрощается и становится арксинусным распределением . Среди математиков ведутся споры о некоторых из этих случаев и о том, концы ( x = 0 и x можно ли называть = 1) модами или нет.

Режим бета-распределения для 1 ≤ α ≤ 5 и 1 ≤ β ≤ 5

• Являются ли концы частью области определения функции плотности
• Можно ли когда-нибудь сингулярность назвать модой
• Следует ли называть случаи с двумя максимумами бимодальными

Медиана

Медиана бета-распределения для 0 ≤ α ≤ 5 и 0 ≤ β ≤ 5

(Среднее – медиана) для распределения бета по сравнению с альфа и бета от 0 до 2

Медиана бета-распределения — это уникальное действительное число. $x=I_{1/2}^{[-1]}(\alpha ,\beta )$ для которой регуляризованная неполная бета-функция $I_{x}(\alpha ,\beta )={\tfrac {1}{2}}$. Не существует общего выражения в замкнутой форме для медианы бета-распределения для произвольных значений α и β . Ниже приведены выражения в замкнутой форме для конкретных значений параметров α и β :

• Для симметричных случаев α = β медиана = 1/2.
• Для α = 1 и β > 0 медиана $=1-2^{-1/\beta }$ (этот случай является зеркальным отражением распределения степенной функции [0,1])
• Для α > 0 и β = 1 медиана = $2^{-1/\alpha }$ (этот случай представляет собой распределение степенной функции [0,1] )
• Для α = 3 и β = 2 медиана = 0,6142724318676105..., вещественное решение уравнения четвертой степени 1 − 8 x ³ + 6x ⁴ = 0, лежащий в [0,1].
• Для α = 2 и β = 3 медиана = 0,38572756813238945... = 1 − медиана(бета(3, 2))

Ниже приведены пределы, в которых один параметр конечен (ненулевой), а другой приближается к этим пределам:

${\begin{aligned}\lim _{\beta \to 0}{\text{median}}=\lim _{\alpha \to \infty }{\text{median}}=1,\\\lim _{\alpha \to 0}{\text{median}}=\lim _{\beta \to \infty }{\text{median}}=0.\end{aligned}}$

Разумное приближение значения медианы бета-распределения, как для α, так и для β, большего или равного единице, дается формулой

${\text{median}}\approx {\frac {\alpha -{\tfrac {1}{3}}}{\alpha +\beta -{\tfrac {2}{3}}}}{\text{ for }}\alpha ,\beta \geq 1.$

При α, β ≥ 1 относительная ошибка ( абсолютная ошибка, деленная на медиану) в этом приближении составляет менее 4%, а как при α ≥ 2, так и при β ≥ 2 – менее 1%. Абсолютная ошибка, деленная на разницу между средним значением и модой, также мала:

Среднее

Среднее значение бета-распределения для 0 ≤ α ≤ 5 и 0 ≤ β ≤ 5

Ожидаемое значение (среднее значение) ( μ бета-распределения ) случайной величины X с двумя параметрами α и β является функцией только отношения β / α этих параметров:

${\begin{aligned}\mu =\operatorname {E} [X]&=\int _{0}^{1}xf(x;\alpha ,\beta )\,dx\\&=\int _{0}^{1}x\,{\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}\,dx\\&={\frac {\alpha }{\alpha +\beta }}\\&={\frac {1}{1+{\frac {\beta }{\alpha }}}}\end{aligned}}$

Полагая α = β в приведенном выше выражении, получаем µ = 1/2 , показывая, что для α = β среднее значение находится в центре распределения: оно симметрично. Кроме того, из приведенного выше выражения можно получить следующие пределы:

${\begin{aligned}\lim _{{\frac {\beta }{\alpha }}\to 0}\mu =1\\\lim _{{\frac {\beta }{\alpha }}\to \infty }\mu =0\end{aligned}}$

Следовательно, для β / α → 0 или для α / β → ∞ среднее значение расположено на правом конце, x = 1 . Для этих предельных отношений бета-распределение становится одноточечным вырожденным распределением с пиком дельта-функции Дирака на правом конце, x = 1 , с вероятностью 1 и нулевой вероятностью везде. Существует 100% вероятность (абсолютная уверенность), сосредоточенная на правом конце, x = 1 .

Аналогично, для β / α → ∞ или для α / β → 0 среднее значение расположено на левом конце, x = 0 . Бета-распределение становится 1-точечным вырожденным распределением с пиком дельта-функции Дирака на левом конце, x = 0, с вероятностью 1 и нулевой вероятностью везде. Существует 100% вероятность (абсолютная уверенность), сконцентрированная на левом конце, x = 0. Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}\lim _{\beta \to 0}\mu =\lim _{\alpha \to \infty }\mu =1\\\lim _{\alpha \to 0}\mu =\lim _{\beta \to \infty }\mu =0\end{aligned}}$

В то время как для типичных унимодальных распределений (с центрально расположенными модами, точками перегиба по обе стороны от моды и более длинными хвостами) (с Beta( α , β ) такими, что α , β > 2 ) известно, что выборочное среднее (как оценка местоположения) не так устойчива , как выборочная медиана, противоположное имеет место для однородных или «U-образных» бимодальных распределений (с Beta( α , β ) такими, что α , β ≤ 1 ), с модами, расположенными в концы распределения. Как отмечают Мостеллер и Тьюки ( п. 207) «среднее значение двух крайних наблюдений использует всю выборочную информацию. Это показывает, как для распределений с коротким хвостом крайние наблюдения должны получить больший вес». Напротив, из этого следует, что медиана «U-образных» бимодальных распределений с модами на краю распределения (с Beta( α , β ) такой, что α , β ≤ 1 ) не является устойчивой, поскольку выборочная медиана снижает крайние выборочные наблюдения из рассмотрения. Практическое применение этого происходит, например, для случайных блужданий , поскольку вероятность времени последнего посещения начала координат в случайном блуждании распределяется как арксинусное распределение Beta(1/2, 1/2): среднее значение ряда реализаций случайного блуждания является гораздо более надежной оценкой, чем медиана (которая в данном случае является неподходящей оценкой выборочной меры).

Среднее геометрическое

(Mean – GeometricMean) для бета-распределения в зависимости от α и β от 0 до 2, показывая асимметрию между α и β для среднего геометрического.

Средние геометрические значения бета-распределения. Фиолетовый = G ( x ), Желтый = G (1 − x ), меньшие значения α и β спереди.

Геометрические средства для бета-распределения. фиолетовый = G ( x ), желтый = G (1 − x ), большие значения α и β спереди

Логарифм среднего геометрического G _X распределения со случайной величиной X является средним арифметическим ln( X ) или, что то же самое, его ожидаемым значением:

$\ln G_{X}=\operatorname {E} [\ln X]$

Для бета-распределения интеграл ожидаемого значения дает:

${\begin{aligned}\operatorname {E} [\ln X]&=\int _{0}^{1}\ln x\,f(x;\alpha ,\beta )\,dx\\[4pt]&=\int _{0}^{1}\ln x\,{\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}\,dx\\[4pt]&={\frac {1}{\mathrm {B} (\alpha ,\beta )}}\,\int _{0}^{1}{\frac {\partial x^{\alpha -1}(1-x)^{\beta -1}}{\partial \alpha }}\,dx\\[4pt]&={\frac {1}{\mathrm {B} (\alpha ,\beta )}}{\frac {\partial }{\partial \alpha }}\int _{0}^{1}x^{\alpha -1}(1-x)^{\beta -1}\,dx\\[4pt]&={\frac {1}{\mathrm {B} (\alpha ,\beta )}}{\frac {\partial \mathrm {B} (\alpha ,\beta )}{\partial \alpha }}\\[4pt]&={\frac {\partial \ln \mathrm {B} (\alpha ,\beta )}{\partial \alpha }}\\[4pt]&={\frac {\partial \ln \Gamma (\alpha )}{\partial \alpha }}-{\frac {\partial \ln \Gamma (\alpha +\beta )}{\partial \alpha }}\\[4pt]&=\psi (\alpha )-\psi (\alpha +\beta )\end{aligned}}$

где ψ – дигамма-функция .

Следовательно, среднее геометрическое бета-распределения с параметрами формы α и β является экспонентой дигамм-функций α и β следующим образом:

$G_{X}=e^{\operatorname {E} [\ln X]}=e^{\psi (\alpha )-\psi (\alpha +\beta )}$

В то время как для бета-распределения с равными параметрами формы α = β следует, что асимметрия = 0 и мода = среднее = медиана = 1/2, среднее геометрическое меньше 1/2: 0 < G _X < 1/2 . Причина этого в том, что логарифмическое преобразование сильно взвешивает значения X , близкие к нулю, поскольку ln( X ) сильно стремится к отрицательной бесконечности, когда X приближается к нулю, тогда как ln( X ) выравнивается к нулю при X → 1 .

Вдоль прямой α = β применяются следующие ограничения:

${\begin{aligned}&\lim _{\alpha =\beta \to 0}G_{X}=0\\&\lim _{\alpha =\beta \to \infty }G_{X}={\tfrac {1}{2}}\end{aligned}}$

Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}\lim _{\beta \to 0}G_{X}=\lim _{\alpha \to \infty }G_{X}=1\\\lim _{\alpha \to 0}G_{X}=\lim _{\beta \to \infty }G_{X}=0\end{aligned}}$

Прилагаемый график показывает разницу между средним и средним геометрическим для параметров формы α и β от нуля до 2. Помимо того факта, что разница между ними приближается к нулю, когда α и β приближаются к бесконечности, и что разница становится большой для значений α и β, приближающихся к нулю, можно наблюдать очевидную асимметрию среднего геометрического относительно параметров формы α и β. Разница между средним геометрическим и средним больше для малых значений α по отношению к β, чем при обмене величинами β и α.

Н.Л.Джонсон и С.Коц предложить логарифмическую аппроксимацию дигамма-функции ψ ( α ) ≈ ln( α − 1/2), что приводит к следующему приближению к среднему геометрическому:

$G_{X}\approx {\frac {\alpha \,-{\frac {1}{2}}}{\alpha +\beta -{\frac {1}{2}}}}{\text{ if }}\alpha ,\beta >1.$

Численные значения относительной ошибки в этом приближении следующие: [ ( α = β = 1): 9,39% ]; [ ( α = β = 2): 1,29% ]; [ ( а =2, b =3): 1,51% ]; [ ( α = 3, β = 2): 0,44% ]; [ ( α = β = 3): 0,51% ]; [ ( α = β = 4): 0,26% ]; [ ( а =3, b =4): 0,55% ]; [ ( α = 4, β = 3): 0,24% ].

Аналогично можно вычислить значение параметров формы, необходимое для того, чтобы среднее геометрическое было равно 1/2. Учитывая значение параметра β , каким будет значение другого параметра α , необходимого для того, чтобы среднее геометрическое равнялось 1/2? Ответ заключается в том, что (при β > 1 ) требуемое значение α стремится к β + 1/2 при β → ∞ . Например, все эти пары имеют одинаковое среднее геометрическое 1/2: [ β = 1, α = 1,4427 ], [ β = 2, α = 2,46958 ], [ β = 3, α = 3,47943 ], [ β = 4 , α = 4,48449 ], [ β = 5, α = 5,48756 ], [ β = 10, α = 10,4938 ], [ β = 100, α = 100,499 ].

Фундаментальное свойство среднего геометрического, ложность которого можно доказать для любого другого среднего, состоит в том, что

$G\left({\frac {X_{i}}{Y_{i}}}\right)={\frac {G(X_{i})}{G(Y_{i})}}$

Это делает среднее геометрическое единственным правильным средним значением при усреднении нормализованных результатов, то есть результатов, представленных как отношения к эталонным значениям. Это актуально, поскольку бета-распределение является подходящей моделью для случайного поведения процентов и особенно подходит для статистического моделирования пропорций. Среднее геометрическое играет центральную роль в оценке максимального правдоподобия, см. раздел «Оценка параметров, максимальное правдоподобие». Действительно, при выполнении оценки максимального правдоподобия, помимо среднего геометрического G _X, основанного на случайной величине X, естественным образом появляется и другое среднее геометрическое: среднее геометрическое, основанное на линейном преобразовании – (1 − X ) , зеркальное отображение X , обозначается G _{(1− X )} :

$G_{(1-X)}=e^{\operatorname {E} [\ln(1-X)]}=e^{\psi (\beta )-\psi (\alpha +\beta )}$

Вдоль прямой α = β применяются следующие ограничения:

${\begin{aligned}&\lim _{\alpha =\beta \to 0}G_{(1-X)}=0\\&\lim _{\alpha =\beta \to \infty }G_{(1-X)}={\tfrac {1}{2}}\end{aligned}}$

Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}\lim _{\beta \to 0}G_{(1-X)}=\lim _{\alpha \to \infty }G_{(1-X)}=0\\\lim _{\alpha \to 0}G_{(1-X)}=\lim _{\beta \to \infty }G_{(1-X)}=1\end{aligned}}$

Он имеет следующую приблизительную стоимость:

$G_{(1-X)}\approx {\frac {\beta -{\frac {1}{2}}}{\alpha +\beta -{\frac {1}{2}}}}{\text{ if }}\alpha ,\beta >1.$

Хотя и G _X , и G _{(1- X )} асимметричны, в случае, когда оба параметра формы равны α = β , средние геометрические равны: G _X = G _{(1- X )} . Это равенство следует из следующей симметрии, проявляемой между обоими средними геометрическими:

$G_{X}(\mathrm {B} (\alpha ,\beta ))=G_{(1-X)}(\mathrm {B} (\beta ,\alpha )).$

Гармоническое среднее

Среднее гармоническое для бета-распределения для 0 < α < 5 и 0 < β < 5

Среднее гармоническое для бета-распределения в зависимости от α и β от 0 до 2

Гармонические средние значения для бета-распределения Фиолетовый = H ( X ), Желтый = H (1 − X ), меньшие значения α и β спереди

Гармонические средние значения для бета-распределения: фиолетовый = H ( X ), желтый = H (1 - X ), большие значения α и β спереди.

Обратное к среднему гармоническому ( H _X ) распределения со случайной величиной X является средним арифметическим 1/ X или, что то же самое, его ожидаемым значением. Следовательно, среднее гармоническое ( H _X ) бета-распределения с параметрами формы α и β равно:

${\begin{aligned}H_{X}&={\frac {1}{\operatorname {E} \left[{\frac {1}{X}}\right]}}\\&={\frac {1}{\int _{0}^{1}{\frac {f(x;\alpha ,\beta )}{x}}\,dx}}\\&={\frac {1}{\int _{0}^{1}{\frac {x^{\alpha -1}(1-x)^{\beta -1}}{x\mathrm {B} (\alpha ,\beta )}}\,dx}}\\&={\frac {\alpha -1}{\alpha +\beta -1}}{\text{ if }}\alpha >1{\text{ and }}\beta >0\\\end{aligned}}$

Среднее гармоническое ( H _X ) бета-распределения с α <1 не определено, поскольку его определяющее выражение не ограничено в [0, 1] для параметра формы α меньше единицы.

Полагая α = β в приведенном выше выражении, получаем

$H_{X}={\frac {\alpha -1}{2\alpha -1}},$

показывая, что для α = β среднее гармоническое колеблется от 0, для α = β = 1, до 1/2, для α = β → ∞.

Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}&\lim _{\alpha \to 0}H_{X}{\text{ is undefined}}\\&\lim _{\alpha \to 1}H_{X}=\lim _{\beta \to \infty }H_{X}=0\\&\lim _{\beta \to 0}H_{X}=\lim _{\alpha \to \infty }H_{X}=1\end{aligned}}$

Среднее гармоническое играет роль в оценке максимального правдоподобия для случая четырех параметров в дополнение к среднему геометрическому. Фактически, при выполнении оценки максимального правдоподобия для случая четырех параметров, помимо гармонического среднего H _X на основе случайной величины X , естественным образом появляется еще одно гармоническое среднее: гармоническое среднее, основанное на линейном преобразовании (1 − X ), зеркальное образ X , обозначаемый H _{1 − X} :

$H_{1-X}={\frac {1}{\operatorname {E} \left[{\frac {1}{1-X}}\right]}}={\frac {\beta -1}{\alpha +\beta -1}}{\text{ if }}\beta >1,{\text{ and }}\alpha >0.$

Среднее гармоническое ( H _{(1 − X )} ) бета-распределения с β <1 не определено, поскольку его определяющее выражение не ограничено в [0, 1] для параметра формы β меньше единицы.

Полагая α = β в приведенном выше выражении, получаем

$H_{(1-X)}={\frac {\beta -1}{2\beta -1}},$

показывая, что для α = β среднее гармоническое колеблется от 0, для α = β = 1, до 1/2, для α = β → ∞.

Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}&\lim _{\beta \to 0}H_{1-X}{\text{ is undefined}}\\&\lim _{\beta \to 1}H_{1-X}=\lim _{\alpha \to \infty }H_{1-X}=0\\&\lim _{\alpha \to 0}H_{1-X}=\lim _{\beta \to \infty }H_{1-X}=1\end{aligned}}$

Хотя и H _X , и H _{1− X} асимметричны, в случае, когда оба параметра формы равны α = β , гармонические средние равны: H _X ​​= H _{1− X} . Это равенство следует из следующей симметрии, проявляемой между обоими гармоническими средними:

$H_{X}(\mathrm {B} (\alpha ,\beta ))=H_{1-X}(\mathrm {B} (\beta ,\alpha )){\text{ if }}\alpha ,\beta >1.$

Меры

Дисперсия

Дисперсия бета-распределения с (второй момент, центрированный по среднему значению) случайной величины X параметрами α и β равна:

$\operatorname {var} (X)=\operatorname {E} [(X-\mu )^{2}]={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$

Полагая α = β в приведенном выше выражении, получаем

$\operatorname {var} (X)={\frac {1}{4(2\beta +1)}},$

показывая, что при α = β дисперсия монотонно уменьшается с увеличением α = β . Полагая в этом выражении α = β = 0 , можно найти максимальную дисперсию var( X ) = 1/4. что происходит только при приближении к пределу, при α = β = 0 .

Бета-распределение также может быть параметризовано с точки зрения его среднего значения ц (0 < ц < 1) и размера выборки ν = α + β ( ν > 0 ) (см. подраздел «Среднее значение и размер выборки» ):

${\begin{aligned}\alpha &=\mu \nu ,{\text{ where }}\nu =(\alpha +\beta )>0\\\beta &=(1-\mu )\nu ,{\text{ where }}\nu =(\alpha +\beta )>0.\end{aligned}}$

Используя эту параметризацию , можно выразить дисперсию через среднее значение μ и размер выборки ν следующим образом:

$\operatorname {var} (X)={\frac {\mu (1-\mu )}{1+\nu }}$

Поскольку ν = α + β > 0 , отсюда следует, что var( X ) < µ (1 − µ ) .

Для симметричного распределения среднее значение находится в середине распределения, μ = 1/2 , и, следовательно:

$\operatorname {var} (X)={\frac {1}{4(1+\nu )}}{\text{ if }}\mu ={\tfrac {1}{2}}$

Кроме того, из приведенных выше выражений можно получить следующие пределы (при этом только отмеченная переменная приближается к пределу):

${\begin{aligned}&\lim _{\beta \to 0}\operatorname {var} (X)=\lim _{\alpha \to 0}\operatorname {var} (X)=\lim _{\beta \to \infty }\operatorname {var} (X)=\lim _{\alpha \to \infty }\operatorname {var} (X)=\lim _{\nu \to \infty }\operatorname {var} (X)=\lim _{\mu \to 0}\operatorname {var} (X)=\lim _{\mu \to 1}\operatorname {var} (X)=0\\&\lim _{\nu \to 0}\operatorname {var} (X)=\mu (1-\mu )\end{aligned}}$

и

логарифмические геометрические отклонения от α и β

логарифмические геометрические отклонения от α и β

Логарифм геометрической дисперсии ln(var _GX ) распределения со случайной величиной X — это второй момент логарифма X, центрированный на среднем геометрическом X , ln( G _X ):

${\begin{aligned}\ln \operatorname {var} _{GX}&=\operatorname {E} \left[(\ln X-\ln G_{X})^{2}\right]\\&=\operatorname {E} [(\ln X-\operatorname {E} \left[\ln X])^{2}\right]\\&=\operatorname {E} \left[(\ln X)^{2}\right]-(\operatorname {E} [\ln X])^{2}\\&=\operatorname {var} [\ln X]\end{aligned}}$

и, следовательно, геометрическая дисперсия равна:

$\operatorname {var} _{GX}=e^{\operatorname {var} [\ln X]}$

В информационной матрице Фишера и кривизне логарифмической функции правдоподобия появляются логарифм геометрической дисперсии отражаемой переменной 1 - X и логарифм геометрической ковариации между X и 1 - X :

${\begin{aligned}\ln \operatorname {var_{G(1-X)}} &=\operatorname {E} [(\ln(1-X)-\ln G_{1-X})^{2}]\\&=\operatorname {E} [(\ln(1-X)-\operatorname {E} [\ln(1-X)])^{2}]\\&=\operatorname {E} [(\ln(1-X))^{2}]-(\operatorname {E} [\ln(1-X)])^{2}\\&=\operatorname {var} [\ln(1-X)]\\&\\\operatorname {var_{G(1-X)}} &=e^{\operatorname {var} [\ln(1-X)]}\\&\\\ln \operatorname {cov_{G{X,1-X}}} &=\operatorname {E} [(\ln X-\ln G_{X})(\ln(1-X)-\ln G_{1-X})]\\&=\operatorname {E} [(\ln X-\operatorname {E} [\ln X])(\ln(1-X)-\operatorname {E} [\ln(1-X)])]\\&=\operatorname {E} \left[\ln X\ln(1-X)\right]-\operatorname {E} [\ln X]\operatorname {E} [\ln(1-X)]\\&=\operatorname {cov} [\ln X,\ln(1-X)]\\&\\\operatorname {cov} _{G{X,(1-X)}}&=e^{\operatorname {cov} [\ln X,\ln(1-X)]}\end{aligned}}$

Для бета-распределения логарифмические моменты более высокого порядка могут быть получены путем использования представления бета-распределения как доли двух гамма-распределений и дифференцирования через интеграл. Их можно выразить через полигамма-функции более высокого порядка. См. раздел § Моменты логарифмически преобразованных случайных величин . Дисперсия ) логарифмических переменных и ковариация ln X и ln(1− X :

$\operatorname {var} [\ln X]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )$

$\operatorname {var} [\ln(1-X)]=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )$

$\operatorname {cov} [\ln X,\ln(1-X)]=-\psi _{1}(\alpha +\beta )$

где тригамма-функция , обозначаемая ψ ₁ (α), является второй из полигамма-функций и определяется как производная дигамма-функции :

$\psi _{1}(\alpha )={\frac {d^{2}\ln \Gamma (\alpha )}{d\alpha ^{2}}}={\frac {d\,\psi (\alpha )}{d\alpha }}.$

Поэтому,

$\ln \operatorname {var} _{GX}=\operatorname {var} [\ln X]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )$

$\ln \operatorname {var} _{G(1-X)}=\operatorname {var} [\ln(1-X)]=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )$

$\ln \operatorname {cov} _{GX,1-X}=\operatorname {cov} [\ln X,\ln(1-X)]=-\psi _{1}(\alpha +\beta )$

Прилагаемые графики показывают логарифмические геометрические отклонения и логарифмическую геометрическую ковариацию в зависимости от параметров формы α и β . Графики показывают, что логарифмические геометрические дисперсии и логарифмическая геометрическая ковариация близки к нулю для параметров формы α и β, превышающих 2, и что значение логарифмических геометрических дисперсий быстро возрастает для значений параметров формы α и β меньше единицы. Логарифмические геометрические отклонения положительны для всех значений параметров формы. Логарифмическая геометрическая ковариация отрицательна для всех значений параметров формы и достигает больших отрицательных значений для α и β меньше единицы.

Ниже приведены пределы, в которых один параметр конечен (отличен от нуля), а другой приближается к этим пределам:

${\begin{aligned}&\lim _{\alpha \to 0}\ln \operatorname {var} _{GX}=\lim _{\beta \to 0}\ln \operatorname {var} _{G(1-X)}=\infty \\&\lim _{\beta \to 0}\ln \operatorname {var} _{GX}=\lim _{\alpha \to \infty }\ln \operatorname {var} _{GX}=\lim _{\alpha \to 0}\ln \operatorname {var} _{G(1-X)}=\lim _{\beta \to \infty }\ln \operatorname {var} _{G(1-X)}=\lim _{\alpha \to \infty }\ln \operatorname {cov} _{GX,(1-X)}=\lim _{\beta \to \infty }\ln \operatorname {cov} _{GX,(1-X)}=0\\&\lim _{\beta \to \infty }\ln \operatorname {var} _{GX}=\psi _{1}(\alpha )\\&\lim _{\alpha \to \infty }\ln \operatorname {var} _{G(1-X)}=\psi _{1}(\beta )\\&\lim _{\alpha \to 0}\ln \operatorname {cov} _{GX,(1-X)}=-\psi _{1}(\beta )\\&\lim _{\beta \to 0}\ln \operatorname {cov} _{GX,(1-X)}=-\psi _{1}(\alpha )\end{aligned}}$

Пределы с изменением двух параметров:

${\begin{aligned}&\lim _{\alpha \to \infty }(\lim _{\beta \to \infty }\ln \operatorname {var} _{GX})=\lim _{\beta \to \infty }(\lim _{\alpha \to \infty }\ln \operatorname {var} _{G(1-X)})=\lim _{\alpha \to \infty }(\lim _{\beta \to 0}\ln \operatorname {cov} _{GX,(1-X)})=\lim _{\beta \to \infty }(\lim _{\alpha \to 0}\ln \operatorname {cov} _{GX,(1-X)})=0\\&\lim _{\alpha \to \infty }(\lim _{\beta \to 0}\ln \operatorname {var} _{GX})=\lim _{\beta \to \infty }(\lim _{\alpha \to 0}\ln \operatorname {var} _{G(1-X)})=\infty \\&\lim _{\alpha \to 0}(\lim _{\beta \to 0}\ln \operatorname {cov} _{GX,(1-X)})=\lim _{\beta \to 0}(\lim _{\alpha \to 0}\ln \operatorname {cov} _{GX,(1-X)})=-\infty \end{aligned}}$

Хотя и ln(var _GX ), и ln(var _{G (1 − X )} ) асимметричны, когда параметры формы равны, α = β, имеем: ln(var _GX ) = ln(var _G(1−X) ). Это равенство следует из следующей симметрии, отображаемой между обоими логарифмическими геометрическими отклонениями:

$\ln \operatorname {var} _{GX}(\mathrm {B} (\alpha ,\beta ))=\ln \operatorname {var} _{G(1-X)}(\mathrm {B} (\beta ,\alpha )).$

Логарифмическая геометрическая ковариация симметрична:

$\ln \operatorname {cov} _{GX,(1-X)}(\mathrm {B} (\alpha ,\beta ))=\ln \operatorname {cov} _{GX,(1-X)}(\mathrm {B} (\beta ,\alpha ))$

Среднее абсолютное отклонение от среднего

Отношение ,ean abs.dev. на стандартное устройство. для бета-распределения с α и β в диапазоне от 0 до 5

Отношение среднего абс.откл. на стандартное устройство. для бета-распределения со средним значением 0 ≤ μ ≤ 1 и размером выборки 0 < ν ≤ 10

Среднее абсолютное отклонение от среднего значения для бета-распределения с параметрами формы α и β составляет:

$\operatorname {E} [|X-E[X]|]={\frac {2\alpha ^{\alpha }\beta ^{\beta }}{\mathrm {B} (\alpha ,\beta )(\alpha +\beta )^{\alpha +\beta +1}}}$

Среднее абсолютное отклонение от среднего является более надежной оценкой статистической дисперсии с хвостами и точками перегиба на каждой стороне моды, бета- α , β распределений с , чем стандартное отклонение для бета - распределений > 2, поскольку оно зависит от линейных (абсолютных) отклонений, а не от квадратных отклонений от среднего значения. Таким образом, влияние очень больших отклонений от среднего значения не так уж сильно переоценено.

Используя приближение Стирлинга к гамма-функции , Н.Л.Джонсон и С.Коц вывел следующую аппроксимацию для значений параметров формы, больших единицы (относительная погрешность этого приближения составляет всего -3,5% при α = β = 1 и уменьшается до нуля при α → ∞, β → ∞):

${\begin{aligned}{\frac {\text{mean abs. dev. from mean}}{\text{standard deviation}}}&={\frac {\operatorname {E} [|X-E[X]|]}{\sqrt {\operatorname {var} (X)}}}\\&\approx {\sqrt {\frac {2}{\pi }}}\left(1+{\frac {7}{12(\alpha +\beta )}}{}-{\frac {1}{12\alpha }}-{\frac {1}{12\beta }}\right),{\text{ if }}\alpha ,\beta >1.\end{aligned}}$

В пределе α → ∞, β → ∞ отношение среднего абсолютного отклонения к стандартному отклонению (для бета-распределения) становится равным отношению тех же мер для нормального распределения: ${\sqrt {\frac {2}{\pi }}}$. При α = β = 1 это соотношение равно ${\frac {\sqrt {3}}{2}}$, так что от α = β = 1 до α, β → ∞ отношение уменьшается на 8,5%. Для α = β = 0 стандартное отклонение точно равно среднему абсолютному отклонению от среднего значения. Следовательно, это отношение уменьшается на 15% от α = β = 0 до α = β = 1 и на 25% от α = β = 0 до α, β → ∞. Однако для асимметричных бета-распределений, таких, что α → 0 или β → 0, отношение стандартного отклонения к среднему абсолютному отклонению приближается к бесконечности (хотя каждое из них по отдельности приближается к нулю), поскольку среднее абсолютное отклонение приближается к нулю быстрее, чем стандартное отклонение.

Используя параметризацию в терминах среднего значения µ и размера выборки ν = α + β > 0:

α = µν, β = (1−µ)ν

от среднего значения можно выразить среднее абсолютное отклонение через среднее значение μ и размер выборки ν следующим образом:

$\operatorname {E} [|X-E[X]|]={\frac {2\mu ^{\mu \nu }(1-\mu )^{(1-\mu )\nu }}{\nu \mathrm {B} (\mu \nu ,(1-\mu )\nu )}}$

Для симметричного распределения среднее значение находится в середине распределения, μ = 1/2, и, следовательно:

${\begin{aligned}\operatorname {E} [|X-E[X]|]={\frac {2^{1-\nu }}{\nu \mathrm {B} ({\tfrac {\nu }{2}},{\tfrac {\nu }{2}})}}&={\frac {2^{1-\nu }\Gamma (\nu )}{\nu (\Gamma ({\tfrac {\nu }{2}}))^{2}}}\\\lim _{\nu \to 0}\left(\lim _{\mu \to {\frac {1}{2}}}\operatorname {E} [|X-E[X]|]\right)&={\tfrac {1}{2}}\\\lim _{\nu \to \infty }\left(\lim _{\mu \to {\frac {1}{2}}}\operatorname {E} [|X-E[X]|]\right)&=0\end{aligned}}$

Кроме того, из приведенных выше выражений можно получить следующие пределы (при этом только отмеченная переменная приближается к пределу):

${\begin{aligned}\lim _{\beta \to 0}\operatorname {E} [|X-E[X]|]&=\lim _{\alpha \to 0}\operatorname {E} [|X-E[X]|]=0\\\lim _{\beta \to \infty }\operatorname {E} [|X-E[X]|]&=\lim _{\alpha \to \infty }\operatorname {E} [|X-E[X]|]=0\\\lim _{\mu \to 0}\operatorname {E} [|X-E[X]|]&=\lim _{\mu \to 1}\operatorname {E} [|X-E[X]|]=0\\\lim _{\nu \to 0}\operatorname {E} [|X-E[X]|]&={\sqrt {\mu (1-\mu )}}\\\lim _{\nu \to \infty }\operatorname {E} [|X-E[X]|]&=0\end{aligned}}$

Средняя

Средняя абсолютная разница для бета-распределения равна:

$\mathrm {MD} =\int _{0}^{1}\int _{0}^{1}f(x;\alpha ,\beta )\,f(y;\alpha ,\beta )\,|x-y|\,dx\,dy=\left({\frac {4}{\alpha +\beta }}\right){\frac {B(\alpha +\beta ,\alpha +\beta )}{B(\alpha ,\alpha )B(\beta ,\beta )}}$

Коэффициент Джини для бета-распределения составляет половину относительной средней абсолютной разницы:

$\mathrm {G} =\left({\frac {2}{\alpha }}\right){\frac {B(\alpha +\beta ,\alpha +\beta )}{B(\alpha ,\alpha )B(\beta ,\beta )}}$

Асимметрия

Асимметрия бета-распределения как функция дисперсии и среднего значения

Асимметрия (третий момент , сосредоточенный на среднем значении, нормированный на степень дисперсии 3/2) бета-распределения равна

$\gamma _{1}={\frac {\operatorname {E} [(X-\mu )^{3}]}{(\operatorname {var} (X))^{3/2}}}={\frac {2(\beta -\alpha ){\sqrt {\alpha +\beta +1}}}{(\alpha +\beta +2){\sqrt {\alpha \beta }}}}.$

Полагая α = β в приведенном выше выражении, получаем γ ₁ = 0, что еще раз показывает, что при α = β распределение симметрично и, следовательно, асимметрия равна нулю. Положительный перекос (правый) для α < β, отрицательный перекос (левосторонний) для α > β.

Используя параметризацию в терминах среднего значения µ и размера выборки ν = α + β:

${\begin{aligned}\alpha &{}=\mu \nu ,{\text{ where }}\nu =(\alpha +\beta )>0\\\beta &{}=(1-\mu )\nu ,{\text{ where }}\nu =(\alpha +\beta )>0.\end{aligned}}$

асимметрию можно выразить через среднее значение µ и размер выборки ν следующим образом:

$\gamma _{1}={\frac {\operatorname {E} [(X-\mu )^{3}]}{(\operatorname {var} (X))^{3/2}}}={\frac {2(1-2\mu ){\sqrt {1+\nu }}}{(2+\nu ){\sqrt {\mu (1-\mu )}}}}.$

Асимметрию также можно выразить через дисперсию var и среднее значение µ следующим образом:

$\gamma _{1}={\frac {\operatorname {E} [(X-\mu )^{3}]}{(\operatorname {var} (X))^{3/2}}}={\frac {2(1-2\mu ){\sqrt {\text{ var }}}}{\mu (1-\mu )+\operatorname {var} }}{\text{ if }}\operatorname {var} <\mu (1-\mu )$

Прилагаемый график асимметрии как функции дисперсии и среднего показывает, что максимальная дисперсия (1/4) связана с нулевой асимметрией и условием симметрии (μ = 1/2), и что максимальная асимметрия (положительная или отрицательная бесконечность) возникает, когда среднее значение расположено на одном или другом конце, так что «масса» распределения вероятностей сосредоточена на концах (минимальная дисперсия).

Следующее выражение для квадрата асимметрии через размер выборки ν = α + β и дисперсию var полезно для метода оценки моментов четырех параметров:

$(\gamma _{1})^{2}={\frac {(\operatorname {E} [(X-\mu )^{3}])^{2}}{(\operatorname {var} (X))^{3}}}={\frac {4}{(2+\nu )^{2}}}{\bigg (}{\frac {1}{\text{var}}}-4(1+\nu ){\bigg )}$

Это выражение правильно дает нулевую асимметрию для α = β, поскольку в этом случае (см. § Дисперсия ): $\operatorname {var} ={\frac {1}{4(1+\nu )}}$.

Для симметричного случая (α = β) асимметрия = 0 во всем диапазоне и применяются следующие ограничения:

$\lim _{\alpha =\beta \to 0}\gamma _{1}=\lim _{\alpha =\beta \to \infty }\gamma _{1}=\lim _{\nu \to 0}\gamma _{1}=\lim _{\nu \to \infty }\gamma _{1}=\lim _{\mu \to {\frac {1}{2}}}\gamma _{1}=0$

Для асимметричных случаев (α ≠ β) из приведенных выше выражений можно получить следующие пределы (при этом только отмеченная переменная приближается к пределу):

${\begin{aligned}&\lim _{\alpha \to 0}\gamma _{1}=\lim _{\mu \to 0}\gamma _{1}=\infty \\&\lim _{\beta \to 0}\gamma _{1}=\lim _{\mu \to 1}\gamma _{1}=-\infty \\&\lim _{\alpha \to \infty }\gamma _{1}=-{\frac {2}{\sqrt {\beta }}},\quad \lim _{\beta \to 0}(\lim _{\alpha \to \infty }\gamma _{1})=-\infty ,\quad \lim _{\beta \to \infty }(\lim _{\alpha \to \infty }\gamma _{1})=0\\&\lim _{\beta \to \infty }\gamma _{1}={\frac {2}{\sqrt {\alpha }}},\quad \lim _{\alpha \to 0}(\lim _{\beta \to \infty }\gamma _{1})=\infty ,\quad \lim _{\alpha \to \infty }(\lim _{\beta \to \infty }\gamma _{1})=0\\&\lim _{\nu \to 0}\gamma _{1}={\frac {1-2\mu }{\sqrt {\mu (1-\mu )}}},\quad \lim _{\mu \to 0}(\lim _{\nu \to 0}\gamma _{1})=\infty ,\quad \lim _{\mu \to 1}(\lim _{\nu \to 0}\gamma _{1})=-\infty \end{aligned}}$

Куртосис

Избыточный эксцесс для бета-распределения как функция дисперсии и среднего значения

Бета-распределение применялось в акустическом анализе для оценки повреждений зубчатых колес, поскольку эксцесс бета-распределения считается хорошим индикатором состояния зубчатого колеса. Куртозис также использовался, чтобы отличить сейсмический сигнал, генерируемый шагами человека, от других сигналов. Поскольку люди или другие цели, движущиеся по земле, генерируют непрерывные сигналы в виде сейсмических волн, можно разделить разные цели на основе генерируемых ими сейсмических волн. Куртозис чувствителен к импульсивным сигналам, поэтому он гораздо более чувствителен к сигналу, генерируемому человеческими шагами, чем к другим сигналам, генерируемым транспортными средствами, ветром, шумом и т. д. К сожалению, обозначение эксцесса не стандартизировано. Кенни и Кепинг используйте символ γ ₂ для обозначения избыточного эксцесса , но Абрамовиц и Стегун использовать другую терминологию. Во избежание путаницы между эксцессом (четвертый момент, центрированный по среднему, нормированному на квадрат дисперсии) и избыточным эксцессом при использовании символов будут записываться следующим образом:

${\begin{aligned}{\text{excess kurtosis}}&={\text{kurtosis}}-3\\&={\frac {\operatorname {E} [(X-\mu )^{4}]}{(\operatorname {var} (X))^{2}}}-3\\&={\frac {6[\alpha ^{3}-\alpha ^{2}(2\beta -1)+\beta ^{2}(\beta +1)-2\alpha \beta (\beta +2)]}{\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)}}\\&={\frac {6[(\alpha -\beta )^{2}(\alpha +\beta +1)-\alpha \beta (\alpha +\beta +2)]}{\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)}}.\end{aligned}}$

Полагая α = β в приведенном выше выражении, получаем

${\text{excess kurtosis}}=-{\frac {6}{3+2\alpha }}{\text{ if }}\alpha =\beta$.

Следовательно, для симметричных бета-распределений избыточный эксцесс отрицательен, увеличиваясь от минимального значения -2 в пределе при {α = β} → 0 и приближаясь к максимальному значению, равному нулю при {α = β} → ∞. Значение -2 — это минимальное значение избыточного эксцесса, которого может когда-либо достичь любое распределение (не только бета-распределение, но и любое распределение любого возможного вида). Это минимальное значение достигается, когда вся плотность вероятности полностью сконцентрирована на каждом конце x = 0 и x = 1, и между ними нет ничего: двухточечное распределение Бернулли с равной вероятностью 1/2 на каждом конце (подбрасывание монеты: см. раздел ниже «Куртозис, ограниченный квадратом асимметрии» для дальнейшего обсуждения). Описание эксцесса как меры «потенциальных выбросов» (или «потенциально редких, экстремальных значений») распределения вероятностей верно для всех распределений, включая бета-распределение. Если в бета-распределении могут встречаться редкие экстремальные значения, тем выше его эксцесс; в противном случае эксцесс будет ниже. Для α ≠ β, асимметричного бета-распределения, избыточный эксцесс может достигать неограниченных положительных значений (особенно для α → 0 для конечного β или для β → 0 для конечного α), поскольку сторона, находящаяся от моды, будет время от времени давать экстремальные значения. Минимальный эксцесс имеет место, когда плотность массы одинаково сконцентрирована на каждом конце (и, следовательно, среднее значение находится в центре), и между концами нет вероятностной плотности массы.

Используя параметризацию в терминах среднего значения µ и размера выборки ν = α + β:

${\begin{aligned}\alpha &{}=\mu \nu ,{\text{ where }}\nu =(\alpha +\beta )>0\\\beta &{}=(1-\mu )\nu ,{\text{ where }}\nu =(\alpha +\beta )>0.\end{aligned}}$

можно выразить избыточный эксцесс через среднее значение μ и размер выборки ν следующим образом:

${\text{excess kurtosis}}={\frac {6}{3+\nu }}{\bigg (}{\frac {(1-2\mu )^{2}(1+\nu )}{\mu (1-\mu )(2+\nu )}}-1{\bigg )}$

Избыточный эксцесс также может быть выражен через следующие два параметра: дисперсию var и размер выборки ν следующим образом:

${\text{excess kurtosis}}={\frac {6}{(3+\nu )(2+\nu )}}\left({\frac {1}{\text{ var }}}-6-5\nu \right){\text{ if }}{\text{ var }}<\mu (1-\mu )$

и с точки зрения дисперсии var и среднего µ следующим образом:

${\text{excess kurtosis}}={\frac {6{\text{ var }}(1-{\text{ var }}-5\mu (1-\mu ))}{({\text{var }}+\mu (1-\mu ))(2{\text{ var }}+\mu (1-\mu ))}}{\text{ if }}{\text{ var }}<\mu (1-\mu )$

График избыточного эксцесса как функции дисперсии и среднего значения показывает, что минимальное значение избыточного эксцесса (-2, которое является минимально возможным значением избыточного эксцесса для любого распределения) тесно связано с максимальным значением дисперсии ( 1/4) и условие симметрии: среднее значение, происходящее в средней точке (μ = 1/2). Это происходит для симметричного случая α = β = 0 с нулевой асимметрией. В пределе это двухточечное распределение Бернулли с равной вероятностью 1/2 на каждом дельта-функции Дирака конце x = 0 и x = 1 и нулевой вероятностью везде. (Подбрасывание монеты: одна грань монеты равна x = 0, а другая сторона равна x = 1.) Дисперсия максимальна, потому что распределение является бимодальным, и между двумя модами (пиками) на каждом конце нет ничего промежуточного. Избыточный эксцесс минимален: плотность вероятности «масса» равна нулю в среднем и сосредоточена на двух пиках на каждом конце. Избыточный эксцесс достигает минимально возможного значения (для любого распределения), когда функция плотности вероятности имеет два пика на каждом конце: она является би- «пиковой», и между ними нет ничего.

С другой стороны, график показывает, что для случаев крайнего перекоса, когда среднее значение расположено вблизи одного или другого конца (μ = 0 или μ = 1), дисперсия близка к нулю, а избыточный эксцесс быстро приближается к бесконечности, когда среднее значение распределения приближается к любому концу.

Альтернативно, избыточный эксцесс также может быть выражен через следующие два параметра: квадрат асимметрии и размер выборки ν следующим образом:

${\text{excess kurtosis}}={\frac {6}{3+\nu }}{\bigg (}{\frac {(2+\nu )}{4}}({\text{skewness}})^{2}-1{\bigg )}{\text{ if (skewness)}}^{2}-2<{\text{excess kurtosis}}<{\frac {3}{2}}({\text{skewness}})^{2}$

Из этого последнего выражения можно получить те же пределы, опубликованные более века назад Карлом Пирсоном. для бета-распределения (см. раздел ниже под названием «Куртозис, ограниченный квадратом асимметрии»). Полагая α + β = ν = 0 в приведенном выше выражении, получаем нижнюю границу Пирсона (значения асимметрии и избыточного эксцесса ниже границы (избыточный эксцесс + 2 − асимметрия ² = 0) не может произойти ни при каком распределении, и поэтому Карл Пирсон правильно назвал область ниже этой границы «невозможной областью»). Предел α + β = ν → ∞ определяет верхнюю границу Пирсона.

${\begin{aligned}&\lim _{\nu \to 0}{\text{excess kurtosis}}=({\text{skewness}})^{2}-2\\&\lim _{\nu \to \infty }{\text{excess kurtosis}}={\tfrac {3}{2}}({\text{skewness}})^{2}\end{aligned}}$

поэтому:

$({\text{skewness}})^{2}-2<{\text{excess kurtosis}}<{\tfrac {3}{2}}({\text{skewness}})^{2}$

Значения ν = α + β, такие, что ν находится в диапазоне от нуля до бесконечности, 0 < ν < ∞, охватывают всю область бета-распределения в плоскости избыточного эксцесса по сравнению с квадратом асимметрии.

Для симметричного случая ( α = β ) применяются следующие ограничения:

${\begin{aligned}&\lim _{\alpha =\beta \to 0}{\text{excess kurtosis}}=-2\\&\lim _{\alpha =\beta \to \infty }{\text{excess kurtosis}}=0\\&\lim _{\mu \to {\frac {1}{2}}}{\text{excess kurtosis}}=-{\frac {6}{3+\nu }}\end{aligned}}$

Для несимметричных случаев ( α ≠ β ) из приведенных выше выражений можно получить следующие пределы (при этом только отмеченная переменная приближается к пределу):

${\begin{aligned}&\lim _{\alpha \to 0}{\text{excess kurtosis}}=\lim _{\beta \to 0}{\text{excess kurtosis}}=\lim _{\mu \to 0}{\text{excess kurtosis}}=\lim _{\mu \to 1}{\text{excess kurtosis}}=\infty \\&\lim _{\alpha \to \infty }{\text{excess kurtosis}}={\frac {6}{\beta }},{\text{ }}\lim _{\beta \to 0}(\lim _{\alpha \to \infty }{\text{excess kurtosis}})=\infty ,{\text{ }}\lim _{\beta \to \infty }(\lim _{\alpha \to \infty }{\text{excess kurtosis}})=0\\&\lim _{\beta \to \infty }{\text{excess kurtosis}}={\frac {6}{\alpha }},{\text{ }}\lim _{\alpha \to 0}(\lim _{\beta \to \infty }{\text{excess kurtosis}})=\infty ,{\text{ }}\lim _{\alpha \to \infty }(\lim _{\beta \to \infty }{\text{excess kurtosis}})=0\\&\lim _{\nu \to 0}{\text{excess kurtosis}}=-6+{\frac {1}{\mu (1-\mu )}},{\text{ }}\lim _{\mu \to 0}(\lim _{\nu \to 0}{\text{excess kurtosis}})=\infty ,{\text{ }}\lim _{\mu \to 1}(\lim _{\nu \to 0}{\text{excess kurtosis}})=\infty \end{aligned}}$

Характеристическая функция

Re (характеристическая функция) симметричный случай α = β в диапазоне от 25 до 0

Re (характеристическая функция) симметричный случай α = β в диапазоне от 0 до 25

Re(характеристическая функция) β = α + 1/2; α от 25 до 0

Re(характеристическая функция) α = β + 1/2; β от 25 до 0

Re(характеристическая функция) α = β + 1/2; β от 0 до 25

Характеристическая функция представляет собой преобразование Фурье функции плотности вероятности. Характеристической функцией бета-распределения является вырожденная гипергеометрическая функция Куммера (первого рода):

${\begin{aligned}\varphi _{X}(\alpha ;\beta ;t)&=\operatorname {E} \left[e^{itX}\right]\\&=\int _{0}^{1}e^{itx}f(x;\alpha ,\beta )\,dx\\&={}_{1}F_{1}(\alpha ;\alpha +\beta ;it)\!\\&=\sum _{n=0}^{\infty }{\frac {\alpha ^{(n)}(it)^{n}}{(\alpha +\beta )^{(n)}n!}}\\&=1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {(it)^{k}}{k!}}\end{aligned}}$

где

$x^{(n)}=x(x+1)(x+2)\cdots (x+n-1)$

— это восходящий факториал , также называемый «символом Поххаммера». Значение характеристической функции при t = 0 равно единице:

$\varphi _{X}(\alpha ;\beta ;0)={}_{1}F_{1}(\alpha ;\alpha +\beta ;0)=1.$

Кроме того, действительная и мнимая части характеристической функции обладают следующими симметриями относительно начала координат переменной t :

$\operatorname {Re} \left[{}_{1}F_{1}(\alpha ;\alpha +\beta ;it)\right]=\operatorname {Re} \left[{}_{1}F_{1}(\alpha ;\alpha +\beta ;-it)\right]$

$\operatorname {Im} \left[{}_{1}F_{1}(\alpha ;\alpha +\beta ;it)\right]=-\operatorname {Im} \left[{}_{1}F_{1}(\alpha ;\alpha +\beta ;-it)\right]$

Симметричный случай α = β упрощает характеристическую функцию бета-распределения до функции Бесселя , поскольку в частном случае α + β = 2α вырожденная гипергеометрическая функция (первого рода) сводится к функции Бесселя (модифицированной функции Бесселя первый вид $I_{\alpha -{\frac {1}{2}}}$ ), используя второе преобразование Куммера следующим образом:

${\begin{aligned}{}_{1}F_{1}(\alpha ;2\alpha ;it)&=e^{\frac {it}{2}}{}_{0}F_{1}\left(;\alpha +{\tfrac {1}{2}};{\frac {(it)^{2}}{16}}\right)\\&=e^{\frac {it}{2}}\left({\frac {it}{4}}\right)^{{\frac {1}{2}}-\alpha }\Gamma \left(\alpha +{\tfrac {1}{2}}\right)I_{\alpha -{\frac {1}{2}}}\left({\frac {it}{2}}\right).\end{aligned}}$

На прилагаемых графиках действительная часть (Re) характеристической функции бета-распределения отображается для симметричного (α = β) и асимметричного (α ≠ β) случаев.

Другие моменты

Функция генерации момента

Из этого также следует что производящая функция момента равна

${\begin{aligned}M_{X}(\alpha ;\beta ;t)&=\operatorname {E} \left[e^{tX}\right]\\[4pt]&=\int _{0}^{1}e^{tx}f(x;\alpha ,\beta )\,dx\\[4pt]&={}_{1}F_{1}(\alpha ;\alpha +\beta ;t)\\[4pt]&=\sum _{n=0}^{\infty }{\frac {\alpha ^{(n)}}{(\alpha +\beta )^{(n)}}}{\frac {t^{n}}{n!}}\\[4pt]&=1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {t^{k}}{k!}}.\end{aligned}}$

В частности, M _X ( α ; β ; 0) = 1.

Высшие моменты

Используя функцию, производящую момент , k -й необработанный момент определяется выражением фактор

$\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}$

умножение члена (экспоненциального ряда) $\left({\frac {t^{k}}{k!}}\right)$ в ряду производящей функции момента

$\operatorname {E} [X^{k}]={\frac {\alpha ^{(k)}}{(\alpha +\beta )^{(k)}}}=\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}$

где ( х ) ^{( к )} — это символ Поххаммера, обозначающий возрастающий факториал. Его также можно записать в рекурсивной форме как

$\operatorname {E} [X^{k}]={\frac {\alpha +k-1}{\alpha +\beta +k-1}}\operatorname {E} [X^{k-1}].$

Поскольку в момент производящая функция $M_{X}(\alpha ;\beta ;\cdot )$ имеет положительный радиус сходимости, бета-распределение определяется его моментами .

Моменты преобразованных случайных величин

Моменты линейно преобразованных, продуктовых и

Можно также показать следующие ожидания для преобразованной случайной величины: где случайная величина X имеет бета-распределение с параметрами α и β : X ~ Beta( α , β ). Ожидаемое значение переменной 1 - X представляет собой зеркальную симметрию ожидаемого значения, основанного на X :

${\begin{aligned}\operatorname {E} [1-X]&={\frac {\beta }{\alpha +\beta }}\\\operatorname {E} [X(1-X)]&=\operatorname {E} [(1-X)X]={\frac {\alpha \beta }{(\alpha +\beta )(\alpha +\beta +1)}}\end{aligned}}$

Из-за зеркальной симметрии функции плотности вероятности бета-распределения дисперсии, основанные на переменных X и 1 - X , идентичны, а ковариация по X (1 - X является отрицательной дисперсией:

$\operatorname {var} [(1-X)]=\operatorname {var} [X]=-\operatorname {cov} [X,(1-X)]={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$

Это ожидаемые значения для инвертированных переменных (они связаны со средними гармониками, см. § Среднее гармоническое ):

${\begin{aligned}\operatorname {E} \left[{\frac {1}{X}}\right]&={\frac {\alpha +\beta -1}{\alpha -1}}&&{\text{ if }}\alpha >1\\\operatorname {E} \left[{\frac {1}{1-X}}\right]&={\frac {\alpha +\beta -1}{\beta -1}}&&{\text{ if }}\beta >1\end{aligned}}$

Следующее преобразование путем деления переменной X на ее зеркальное отображение X /(1 − X ) приводит к ожидаемому значению «перевернутого бета-распределения» или простого бета-распределения (также известного как бета-распределение второго рода или типа VI Пирсона) . ):

${\begin{aligned}\operatorname {E} \left[{\frac {X}{1-X}}\right]&={\frac {\alpha }{\beta -1}}&&{\text{ if }}\beta >1\\\operatorname {E} \left[{\frac {1-X}{X}}\right]&={\frac {\beta }{\alpha -1}}&&{\text{ if }}\alpha >1\end{aligned}}$

Дисперсии этих преобразованных переменных можно получить путем интегрирования, как ожидаемые значения вторых моментов, сосредоточенных на соответствующих переменных:

$\operatorname {var} \left[{\frac {1}{X}}\right]=\operatorname {E} \left[\left({\frac {1}{X}}-\operatorname {E} \left[{\frac {1}{X}}\right]\right)^{2}\right]=\operatorname {var} \left[{\frac {1-X}{X}}\right]=\operatorname {E} \left[\left({\frac {1-X}{X}}-\operatorname {E} \left[{\frac {1-X}{X}}\right]\right)^{2}\right]={\frac {\beta (\alpha +\beta -1)}{(\alpha -2)(\alpha -1)^{2}}}{\text{ if }}\alpha >2$

Следующая дисперсия переменной X, деленная на ее зеркальное отображение ( X /(1− X ), приводит к дисперсии «перевернутого бета-распределения» или простого бета-распределения (также известного как бета-распределение второго рода или типа VI Пирсона). ):

$\operatorname {var} \left[{\frac {1}{1-X}}\right]=\operatorname {E} \left[\left({\frac {1}{1-X}}-\operatorname {E} \left[{\frac {1}{1-X}}\right]\right)^{2}\right]=\operatorname {var} \left[{\frac {X}{1-X}}\right]=\operatorname {E} \left[\left({\frac {X}{1-X}}-\operatorname {E} \left[{\frac {X}{1-X}}\right]\right)^{2}\right]={\frac {\alpha (\alpha +\beta -1)}{(\beta -2)(\beta -1)^{2}}}{\text{ if }}\beta >2$

Ковариации:

$\operatorname {cov} \left[{\frac {1}{X}},{\frac {1}{1-X}}\right]=\operatorname {cov} \left[{\frac {1-X}{X}},{\frac {X}{1-X}}\right]=\operatorname {cov} \left[{\frac {1}{X}},{\frac {X}{1-X}}\right]=\operatorname {cov} \left[{\frac {1-X}{X}},{\frac {1}{1-X}}\right]={\frac {\alpha +\beta -1}{(\alpha -1)(\beta -1)}}{\text{ if }}\alpha ,\beta >1$

 Эти ожидания и отклонения появляются в четырехпараметрической информационной матрице Фишера ( § Информация Фишера .)

Моменты логарифмически

График logit( X ) = ln( X /(1 − X )) (вертикальная ось) в зависимости от X в области от 0 до 1 (горизонтальная ось). Логит-преобразования интересны, поскольку они обычно преобразуют различные формы (включая J-формы) в (обычно перекошенные) колоколообразные плотности по логит-переменной и могут удалять конечные сингулярности по исходной переменной.

ожидаемые значения для логарифмических преобразований (полезно для оценок максимального правдоподобия , см. § Оценка параметров, Максимальное правдоподобие В этом разделе обсуждаются ). Следующие логарифмические линейные преобразования связаны со средними геометрическими G _X и G _{(1− X )} (см. § Среднее геометрическое ):

${\begin{aligned}\operatorname {E} [\ln(X)]&=\psi (\alpha )-\psi (\alpha +\beta )=-\operatorname {E} \left[\ln \left({\frac {1}{X}}\right)\right],\\\operatorname {E} [\ln(1-X)]&=\psi (\beta )-\psi (\alpha +\beta )=-\operatorname {E} \left[\ln \left({\frac {1}{1-X}}\right)\right].\end{aligned}}$

Где дигамма-функция ψ(α) определяется как логарифмическая производная гамма -функции :

$\psi (\alpha )={\frac {d\ln \Gamma (\alpha )}{d\alpha }}$

Логит- преобразования интересны. поскольку они обычно преобразуют различные формы (включая J-образные формы) в (обычно перекошенные) колоколообразные плотности по логит-переменной и могут удалять конечные особенности по исходной переменной:

${\begin{aligned}\operatorname {E} \left[\ln \left({\frac {X}{1-X}}\right)\right]&=\psi (\alpha )-\psi (\beta )=\operatorname {E} [\ln(X)]+\operatorname {E} \left[\ln \left({\frac {1}{1-X}}\right)\right],\\\operatorname {E} \left[\ln \left({\frac {1-X}{X}}\right)\right]&=\psi (\beta )-\psi (\alpha )=-\operatorname {E} \left[\ln \left({\frac {X}{1-X}}\right)\right].\end{aligned}}$

Джонсон рассмотрено распределение логит - преобразованной переменной ln( X /1 − X ), включая ее производящую функцию момента и аппроксимации для больших значений параметров формы. Это преобразование расширяет конечный носитель [0, 1] на основе исходной переменной X до бесконечного носителя в обоих направлениях вещественной линии (−∞, +∞). Логит бета-переменной имеет логистическое бета-распределение .

Логарифмические моменты более высокого порядка можно получить, используя представление бета-распределения как пропорции двух гамма-распределений и дифференцируя его через интеграл. Их можно выразить через полигамма-функции более высокого порядка следующим образом:

${\begin{aligned}\operatorname {E} \left[\ln ^{2}(X)\right]&=(\psi (\alpha )-\psi (\alpha +\beta ))^{2}+\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta ),\\\operatorname {E} \left[\ln ^{2}(1-X)\right]&=(\psi (\beta )-\psi (\alpha +\beta ))^{2}+\psi _{1}(\beta )-\psi _{1}(\alpha +\beta ),\\\operatorname {E} \left[\ln(X)\ln(1-X)\right]&=(\psi (\alpha )-\psi (\alpha +\beta ))(\psi (\beta )-\psi (\alpha +\beta ))-\psi _{1}(\alpha +\beta ).\end{aligned}}$

следовательно, дисперсия логарифмических переменных и ковариация ln( X ) и ln(1− X ) равны:

${\begin{aligned}\operatorname {cov} [\ln(X),\ln(1-X)]&=\operatorname {E} \left[\ln(X)\ln(1-X)\right]-\operatorname {E} [\ln(X)]\operatorname {E} [\ln(1-X)]=-\psi _{1}(\alpha +\beta )\\&\\\operatorname {var} [\ln X]&=\operatorname {E} [\ln ^{2}(X)]-(\operatorname {E} [\ln(X)])^{2}\\&=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )\\&=\psi _{1}(\alpha )+\operatorname {cov} [\ln(X),\ln(1-X)]\\&\\\operatorname {var} [\ln(1-X)]&=\operatorname {E} [\ln ^{2}(1-X)]-(\operatorname {E} [\ln(1-X)])^{2}\\&=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )\\&=\psi _{1}(\beta )+\operatorname {cov} [\ln(X),\ln(1-X)]\end{aligned}}$

где тригамма-функция , обозначаемая ψ ₁ ( α ), является второй из полигамма-функций и определяется как производная дигамма- функции:

$\psi _{1}(\alpha )={\frac {d^{2}\ln \Gamma (\alpha )}{d\alpha ^{2}}}={\frac {d\psi (\alpha )}{d\alpha }}.$

Дисперсии и ковариации логарифмически преобразованных переменных X и (1 − X ), как правило, различны, потому что логарифмическое преобразование разрушает зеркальную симметрию исходных переменных X и (1 − X ), поскольку логарифм приближается к отрицательной бесконечности для переменная приближается к нулю.

Эти логарифмические отклонения и ковариация являются элементами информационной матрицы Фишера для бета-распределения. Они также являются мерой кривизны логарифмической функции правдоподобия (см. раздел «Оценка максимального правдоподобия»).

Дисперсии логарифмических обратных переменных идентичны дисперсиям логарифмических переменных:

${\begin{aligned}\operatorname {var} \left[\ln \left({\frac {1}{X}}\right)\right]&=\operatorname {var} [\ln(X)]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta ),\\\operatorname {var} \left[\ln \left({\frac {1}{1-X}}\right)\right]&=\operatorname {var} [\ln(1-X)]=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta ),\\\operatorname {cov} \left[\ln \left({\frac {1}{X}}\right),\ln \left({\frac {1}{1-X}}\right)\right]&=\operatorname {cov} [\ln(X),\ln(1-X)]=-\psi _{1}(\alpha +\beta ).\end{aligned}}$

Отсюда также следует, что дисперсии логит -преобразованных переменных равны

$\operatorname {var} \left[\ln \left({\frac {X}{1-X}}\right)\right]=\operatorname {var} \left[\ln \left({\frac {1-X}{X}}\right)\right]=-\operatorname {cov} \left[\ln \left({\frac {X}{1-X}}\right),\ln \left({\frac {1-X}{X}}\right)\right]=\psi _{1}(\alpha )+\psi _{1}(\beta ).$

Количества информации (энтропия)

Учитывая бета-распределенную случайную величину, ~ Beta( α , β ), дифференциальная энтропия X X равна (измеряется в натс ), ожидаемое значение отрицательного логарифма функции плотности вероятности :

${\begin{aligned}h(X)&=\operatorname {E} [-\ln(f(x;\alpha ,\beta ))]\\[4pt]&=\int _{0}^{1}-f(x;\alpha ,\beta )\ln(f(x;\alpha ,\beta ))\,dx\\[4pt]&=\ln(\mathrm {B} (\alpha ,\beta ))-(\alpha -1)\psi (\alpha )-(\beta -1)\psi (\beta )+(\alpha +\beta -2)\psi (\alpha +\beta )\end{aligned}}$

где f ( x ; α , β ) — функция плотности вероятности бета-распределения:

$f(x;\alpha ,\beta )={\frac {1}{\mathrm {B} (\alpha ,\beta )}}x^{\alpha -1}(1-x)^{\beta -1}$

Дигамма -функция ψ появляется в формуле дифференциальной энтропии как следствие интегральной формулы Эйлера для чисел гармоник , которая следует из интеграла:

$\int _{0}^{1}{\frac {1-x^{\alpha -1}}{1-x}}\,dx=\psi (\alpha )-\psi (1)$

Дифференциальная энтропия бета-распределения отрицательна для всех значений α и β, больших нуля, за исключением α = β = 1 (для которых значения бета-распределения такие же, как и равномерное распределение ), где дифференциальная энтропия достигает своего максимума. значение ноль. Следует ожидать, что максимум энтропии должен иметь место тогда, когда бета-распределение становится равным равномерному распределению, поскольку неопределенность максимальна, когда все возможные события равновероятны.

Если α или β приближаются к нулю, дифференциальная энтропия приближается к минимальному значению отрицательной бесконечности. Для (или обоих) α или β , приближающихся к нулю, существует максимальная степень порядка: вся плотность вероятности сосредоточена на концах, а в точках, расположенных между концами, плотность вероятности равна нулю. Точно так же для (или обоих) α или β, стремящихся к бесконечности, дифференциальная энтропия приближается к своему минимальному значению отрицательной бесконечности и максимальной степени порядка. Если один из α или β приближается к бесконечности (а другой конечен), вся плотность вероятности сосредоточена на конце, а плотность вероятности везде равна нулю. Если оба параметра формы равны (симметричный случай), α = β , и они одновременно приближаются к бесконечности, плотность вероятности становится пиком ( дельта-функция Дирака ), сосредоточенным в середине x = 1/2, и, следовательно, существует 100% вероятность в середине x = 1/2 и нулевая вероятность везде.

(непрерывный случай) Дифференциальная энтропия была введена Шенноном в его оригинальной статье (где он назвал ее «энтропией непрерывного распределения») как заключительная часть той же статьи, где он определил дискретную энтропию . С тех пор известно, что дифференциальная энтропия может отличаться от бесконечно малого предела дискретной энтропии на бесконечное смещение, поэтому дифференциальная энтропия может быть отрицательной (как и для бета-распределения). Что действительно имеет значение, так это относительная величина энтропии.

Учитывая две бета-распределенные случайные величины, X ₁ ~ Beta( α , β ) и X ₂ ~ Beta( α ′ , β ′ ), перекрестная энтропия (измеряется в натуральных числах)

${\begin{aligned}H(X_{1},X_{2})&=\int _{0}^{1}-f(x;\alpha ,\beta )\ln(f(x;\alpha ',\beta '))\,dx\\[4pt]&=\ln \left(\mathrm {B} (\alpha ',\beta ')\right)-(\alpha '-1)\psi (\alpha )-(\beta '-1)\psi (\beta )+(\alpha '+\beta '-2)\psi (\alpha +\beta ).\end{aligned}}$

Перекрестная энтропия использовалась в качестве показателя ошибки для измерения расстояния между двумя гипотезами. Его абсолютное значение минимально, когда два распределения идентичны. Это информационная мера, наиболее тесно связанная с журналом максимального правдоподобия. (см. раздел «Оценка параметров. Оценка максимального правдоподобия»)).

Относительная энтропия, или дивергенция Кульбака–Лейблера D _KL ( X ₁ || X ₂ ), является мерой неэффективности предположения, что распределение X ₂ ~ Beta ( α ′ , β ′ ), когда распределение действительно X ₁ ~ Бета( α , β ). Он определяется следующим образом (измеряется в натс).

${\begin{aligned}D_{\mathrm {KL} }(X_{1}\parallel X_{2})&=\int _{0}^{1}f(x;\alpha ,\beta )\ln \left({\frac {f(x;\alpha ,\beta )}{f(x;\alpha ',\beta ')}}\right)\,dx\\[4pt]&=\left(\int _{0}^{1}f(x;\alpha ,\beta )\ln(f(x;\alpha ,\beta ))\,dx\right)-\left(\int _{0}^{1}f(x;\alpha ,\beta )\ln(f(x;\alpha ',\beta '))\,dx\right)\\[4pt]&=-h(X_{1})+H(X_{1},X_{2})\\[4pt]&=\ln \left({\frac {\mathrm {B} (\alpha ',\beta ')}{\mathrm {B} (\alpha ,\beta )}}\right)+(\alpha -\alpha ')\psi (\alpha )+(\beta -\beta ')\psi (\beta )+(\alpha '-\alpha +\beta '-\beta )\psi (\alpha +\beta ).\end{aligned}}$

Относительная энтропия, или дивергенция Кульбака-Лейблера , всегда неотрицательна. Ниже приведены несколько числовых примеров:

• Х ₁ ~ Бета(1, 1) и Х ₂ ~ Бета(3, 3); Д _КЛ ( Икс ₁ || Х ₂ ) = 0,598803; D _КЛ ( Икс ₂ || Икс ₁ ) = 0,267864; час ( Икс ₁ ) = 0; час ( Икс ₂ ) знак равно -0,267864
• Х ₁ ~ Бета(3, 0,5) и Х ₂ ~ Бета(0,5, 3); Д _КЛ ( Икс ₁ || Икс ₂ ) = 7,21574; D _кл ( Икс ₂ || Икс ₁ ) = 7,21574; час ( Икс ₁ ) = -1,10805; час ( Икс ₂ ) = -1,10805.

Дивергенция Кульбака –Лейблера не является симметричной D _KL ( X ₁ || X ₂ ) ≠ D _KL ( X ₂ || X ₁ ) для случая, когда отдельные бета-распределения Beta(1, 1) и Beta(3, 3) ) симметричны, но имеют разную энтропию h ( X ₁ ) ≠ h ( X ₂ ). Значение дивергенции Кульбака зависит от направления движения: от более высокой (дифференциальной) энтропии к более низкой (дифференциальной) энтропии или наоборот. В приведенном выше числовом примере расхождение Кульбака измеряет неэффективность предположения о том, что распределение имеет форму (колокола) Beta(3, 3), а не (равномерного) Beta(1, 1). Энтропия «h» бета (1, 1) выше, чем энтропия «h» бета (3, 3), потому что равномерное распределение бета (1, 1) имеет максимальную степень беспорядка. Дивергенция Кульбака более чем в два раза выше (0,598803 вместо 0,267864) при измерении в направлении уменьшения энтропии: направлении, которое предполагает, что (равномерное) распределение Бета(1, 1) является (колокольчатым) Бета(3, 3), а не наоборот. В этом узком смысле расхождение Кульбака согласуется с второй закон термодинамики .

Дивергенция Кульбака –Лейблера симметрична D _KL ( X ₁ || X ₂ ) = D _KL ( X ₂ || X ₁ ) для асимметричных случаев Beta(3, 0,5) и Beta(0,5, 3), которые имеют одинаковую дифференциальную энтропию. час ( Икс ₁ ) знак равно час ( Икс ₂ ).

Условие симметрии:

$D_{\mathrm {KL} }(X_{1}\parallel X_{2})=D_{\mathrm {KL} }(X_{2}\parallel X_{1}),{\text{ if }}h(X_{1})=h(X_{2}),{\text{ for (skewed) }}\alpha \neq \beta$

следует из приведенных выше определений и зеркальной симметрии f ( x ; α , β ) = f (1 − x ; α , β ), которой обладает бета-распределение.

между

, мода и

Если 1 < α < β, то мода ≤ медиана ≤ среднее значение. Выражая моду (только для α, β > 1) и среднее значение через α и β:

${\frac {\alpha -1}{\alpha +\beta -2}}\leq {\text{median}}\leq {\frac {\alpha }{\alpha +\beta }},$

Если 1 < β < α, то порядок неравенств меняется на обратный. Для α, β > 1 абсолютное расстояние между средним значением и медианой составляет менее 5% расстояния между максимальным и минимальным значениями x . С другой стороны, абсолютное расстояние между средним значением и модой может достигать 50% расстояния между максимальным и минимальным значениями x для ( патологического ) случая α = 1 и β = 1, для которых значения бета распределение приближается к равномерному распределению, а дифференциальная энтропия приближается к своему максимальному значению и, следовательно, к максимальному «беспорядку».

Например, для α = 1,0001 и β = 1,00000001:

• режим = 0,9999; PDF(режим) = 1,00010
• среднее = 0,500025; PDF(среднее) = 1,00003
• медиана = 0,500035; PDF(медиана) = 1,00003
• среднее значение — режим = —0,499875
• среднее значение — медиана = —9,65538 × 10 ⁻⁶

где PDF означает значение функции плотности вероятности .

Отношения среднего, среднего геометрического и среднего гармонического

: Среднее, медиана, среднее геометрическое и среднее гармоническое для бета-распределения с 0 < α = β < 5.

известно Из неравенства средних арифметических и геометрических , что среднее геометрическое ниже среднего. Точно так же среднее гармоническое ниже среднего геометрического. Прилагаемый график показывает, что для α = β и среднее, и медиана точно равны 1/2, независимо от значения α = β, а мода также равна 1/2 для α = β > 1, однако средние геометрические и гармонические значения ниже 1/2 и приближаются к этому значению только асимптотически при α = β → ∞.

асимметрии

Параметры бета-распределения α и β в зависимости от избыточного эксцесса и квадратичной асимметрии

Как заметил Феллер , в системе Пирсона плотность вероятности бета отображается как тип I (любая разница между бета-распределением и распределением Пирсона типа I является лишь поверхностной и не имеет значения для последующего обсуждения взаимосвязи между эксцессом и асимметрией). Карл Пирсон показал на Таблице 1 своей статьи опубликовал в 1916 году график с эксцессом в качестве вертикальной оси ( ордината ) и квадратом асимметрии в качестве горизонтальной оси ( абсцисса ), на котором был отображен ряд распределений. Область, занимаемая бета-распределением, ограничена следующими двумя линиями в (асимметрии ² ,эксцесс) плоскость или (асимметрия ² ,избыточный эксцесс) плоскости :

$({\text{skewness}})^{2}+1<{\text{kurtosis}}<{\frac {3}{2}}({\text{skewness}})^{2}+3$

или, что то же самое,

$({\text{skewness}})^{2}-2<{\text{excess kurtosis}}<{\frac {3}{2}}({\text{skewness}})^{2}$

Во времена, когда не было мощных цифровых компьютеров, Карл Пирсон точно рассчитал дальнейшие границы, например, отделив «U-образные» от «J-образных» распределений. Нижняя граница (избыточный эксцесс + 2 − асимметрия ² = 0) создается асимметричными «U-образными» бета-распределениями с обоими значениями параметров формы α и β, близкими к нулю. Верхняя граница (избыточный эксцесс − (3/2) асимметрия ² = 0) создается крайне асимметричными распределениями с очень большими значениями одного из параметров и очень малыми значениями другого параметра. Карл Пирсон показал что эта верхняя граница (избыточный эксцесс − (3/2) асимметрия ² = 0) также является пересечением с распределением Пирсона III, которое имеет неограниченную поддержку в одном направлении (в сторону положительной бесконечности) и может иметь колоколообразную или J-образную форму. Его сын, Эгон Пирсон , показал что область (в плоскости эксцесса/квадратной асимметрии), занятая бета-распределением (эквивалентно распределению Пирсона I), приближается к этой границе (избыточный эксцесс - (3/2) асимметрия ² = 0) разделяется с нецентральным распределением хи-квадрат . Карл Пирсон (Пирсон 1895, стр. 357, 360, 373–376) также показал, что гамма-распределение представляет собой распределение Пирсона типа III. Следовательно, эта граничная линия распределения Пирсона типа III известна как гамма-линия. (Это можно показать из того факта, что избыточный эксцесс гамма-распределения равен 6/ k , а квадрат асимметрии равен 4/ k , следовательно (избыточный эксцесс − (3/2) асимметрия ² = 0) тождественно удовлетворяется гамма-распределением независимо от значения параметра «k»). Позже Пирсон заметил, что распределение хи-квадрат является частным случаем типа III Пирсона и также разделяет эту граничную линию (как это видно из того факта, что для распределения хи-квадрат избыточный эксцесс равен 12/ k , а квадрат асимметрия равна 8/ k , следовательно (избыточный эксцесс − (3/2) асимметрия ² = 0) выполняется одинаково независимо от значения параметра «k»). Этого и следовало ожидать, поскольку распределение хи-квадрат X ~ χ ² ( k ) является частным случаем гамма-распределения с параметризацией X ~ Γ(k/2, 1/2), где k — положительное целое число, которое определяет «количество степеней свободы» распределения хи-квадрат.

Пример бета-распределения вблизи верхней границы (избыточный эксцесс - (3/2) асимметрия ² = 0) определяется соотношением α = 0,1, β = 1000, для которого соотношение (избыточный эксцесс)/(асимметрия ² ) = 1,49835 приближается к верхнему пределу 1,5 снизу. Пример бета-распределения вблизи нижней границы (избыточный эксцесс + 2 − асимметрия ² = 0) определяется как α= 0,0001, β = 0,1, для которых значения выражения (эксцесс + 2)/(асимметрия ² ) = 1,01621 приближается к нижнему пределу 1 сверху. В бесконечно малом пределе, когда α и β симметрично приближаются к нулю, избыточный эксцесс достигает минимального значения при −2. Это минимальное значение возникает в точке, в которой нижняя граничная линия пересекает вертикальную ось ( ординату ). (Однако в исходной диаграмме Пирсона ордината представляет собой эксцесс, а не избыточный эксцесс, и она увеличивается вниз, а не вверх).

Значения асимметрии и избыточного эксцесса ниже нижней границы (избыточный эксцесс + 2 – асимметрия ² = 0) не может произойти ни при каком распределении, и поэтому Карл Пирсон правильно назвал область ниже этой границы «невозможной областью». Граница этой «невозможной области» определяется (симметричными или асимметричными) бимодальными U-образными распределениями, для которых параметры α и β приближаются к нулю и, следовательно, вся плотность вероятности сосредоточена на концах: x = 0, 1 практически без ничего. между ними. Поскольку при α ≈ β ≈ 0 плотность вероятности сосредоточена на двух концах x = 0 и x = 1, эта «невозможная граница» определяется распределением Бернулли , где два единственно возможных результата происходят с соответствующими вероятностями p и q = 1- п . Для случаев, приближающихся к этой предельной границе с симметрией α = β, асимметрия ≈ 0, избыточный эксцесс ≈ -2 (это наименьший возможный избыточный эксцесс для любого распределения), а вероятности p ≈ q ≈ 1/2. Для случаев, приближающихся к этой предельной границе с асимметрией, избыточный эксцесс ≈ −2 + асимметрия ² , а плотность вероятности сконцентрирована больше на одном конце, чем на другом (практически ничего между ними), с вероятностями $p={\tfrac {\beta }{\alpha +\beta }}$ на левом конце x = 0 и $q=1-p={\tfrac {\alpha }{\alpha +\beta }}$ на правом конце x = 1.

Симметрия

Все утверждения условны при α , β > 0:

• функции плотности вероятности Симметрия отражения

$f(x;\alpha ,\beta )=f(1-x;\beta ,\alpha )$

• Кумулятивная функция распределения, симметрия отражения плюс унитарный сдвиг

$F(x;\alpha ,\beta )=I_{x}(\alpha ,\beta )=1-F(1-x;\beta ,\alpha )=1-I_{1-x}(\beta ,\alpha )$

• моды Симметрия отражения плюс унитарный перевод

$\operatorname {mode} (\mathrm {B} (\alpha ,\beta ))=1-\operatorname {mode} (\mathrm {B} (\beta ,\alpha )),{\text{ if }}\mathrm {B} (\beta ,\alpha )\neq \mathrm {B} (1,1)$

• медианного Симметрия отражения плюс унитарный перевод

$\operatorname {median} (\mathrm {B} (\alpha ,\beta ))=1-\operatorname {median} (\mathrm {B} (\beta ,\alpha ))$

• Средняя симметрия отражения плюс унитарный перевод

$\mu (\mathrm {B} (\alpha ,\beta ))=1-\mu (\mathrm {B} (\beta ,\alpha ))$

• Каждый из геометрических средств применяется следующая симметрия: асимметричен по отдельности, между средним геометрическим, основанным на X , и средним геометрическим, основанным на его отражении (1-X),

$G_{X}(\mathrm {B} (\alpha ,\beta ))=G_{(1-X)}(\mathrm {B} (\beta ,\alpha ))$

• Гармоничное означает, что применяется следующая симметрия: каждый из них индивидуально асимметричен; между средним гармоническим значением, основанным на X , и средним гармоническим значением, основанным на его отражении (1-X),

$H_{X}(\mathrm {B} (\alpha ,\beta ))=H_{(1-X)}(\mathrm {B} (\beta ,\alpha )){\text{ if }}\alpha ,\beta >1$ .

• Дисперсионная симметрия

$\operatorname {var} (\mathrm {B} (\alpha ,\beta ))=\operatorname {var} (\mathrm {B} (\beta ,\alpha ))$

• Каждое геометрическое отклонение применяется следующая симметрия: индивидуально асимметрично, между логарифмическим геометрическим отклонением, основанным на X, и логарифмическим геометрическим отклонением, основанным на его отражении (1-X),

$\ln(\operatorname {var_{GX}} (\mathrm {B} (\alpha ,\beta )))=\ln(\operatorname {var_{G(1-X)}} (\mathrm {B} (\beta ,\alpha )))$

• Геометрическая ковариационная симметрия

$\ln \operatorname {cov_{GX,(1-X)}} (\mathrm {B} (\alpha ,\beta ))=\ln \operatorname {cov_{GX,(1-X)}} (\mathrm {B} (\beta ,\alpha ))$

• Среднее абсолютное отклонение от средней симметрии

$\operatorname {E} [|X-E[X]|](\mathrm {B} (\alpha ,\beta ))=\operatorname {E} [|X-E[X]|](\mathrm {B} (\beta ,\alpha ))$

• асимметрия ​

$\operatorname {skewness} (\mathrm {B} (\alpha ,\beta ))=-\operatorname {skewness} (\mathrm {B} (\beta ,\alpha ))$

• Избыточная симметрия эксцесса

${\text{excess kurtosis}}(\mathrm {B} (\alpha ,\beta ))={\text{excess kurtosis}}(\mathrm {B} (\beta ,\alpha ))$

• характеристической функции Симметрия действительной части (относительно начала координат переменной «t»)

${\text{Re}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;it)]={\text{Re}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;-it)]$

• Характеристическая функция кососимметрии мнимой части (относительно начала координат переменной «t»)

${\text{Im}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;it)]=-{\text{Im}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;-it)]$

• характеристической функции Симметрия абсолютного значения (относительно начала переменной «t»)

${\text{Abs}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;it)]={\text{Abs}}[{}_{1}F_{1}(\alpha ;\alpha +\beta ;-it)]$

• Дифференциальная энтропийная симметрия

$h(\mathrm {B} (\alpha ,\beta ))=h(\mathrm {B} (\beta ,\alpha ))$

• Относительная энтропия (также называемая дивергенцией Кульбака – Лейблера ) симметрия

$D_{\mathrm {KL} }(X_{1}\parallel X_{2})=D_{\mathrm {KL} }(X_{2}\parallel X_{1}),{\text{ if }}h(X_{1})=h(X_{2}){\text{, for (skewed) }}\alpha \neq \beta$

• информационной матрицы Фишера Симметрия

${\mathcal {I}}_{i,j}={\mathcal {I}}_{j,i}$

Геометрия функции плотности вероятности

Точки перегиба

Расположение точки перегиба в зависимости от α и β, показывающее области с одной точкой перегиба

Расположение точки перегиба в зависимости от α и β, показывающее область с двумя точками перегиба

При определенных значениях параметров формы α и β функция плотности вероятности имеет точки перегиба , в которых кривизна меняет знак. Положение этих точек перегиба может быть полезно в качестве меры дисперсии или распространения распределения.

Определение следующей величины:

$\kappa ={\frac {\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}{\alpha +\beta -2}}$

Возникают точки перегиба, в зависимости от значения параметров формы α и β следующим образом:

• (α > 2, β > 2) Распределение колоколообразное (симметричное при α = β и перекошенное в противном случае) с двумя точками перегиба , равноудаленными от моды:

$x={\text{mode}}\pm \kappa ={\frac {\alpha -1\pm {\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}}{\alpha +\beta -2}}$

• (α = 2, β > 2) Распределение унимодальное, положительно асимметричное, правостороннее, с одной точкой перегиба , расположенной справа от моды:

$x={\text{mode}}+\kappa ={\frac {2}{\beta }}$

• (α > 2, β = 2) Распределение унимодальное, отрицательно асимметричное, левостороннее, с одной точкой перегиба , расположенной левее моды:

$x={\text{mode}}-\kappa =1-{\frac {2}{\alpha }}$

• (1 < α < 2, β > 2, α+β>2) Распределение унимодальное, положительно асимметричное, правостороннее, с одной точкой перегиба , расположенной справа от моды:

$x={\text{mode}}+\kappa ={\frac {\alpha -1+{\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}}{\alpha +\beta -2}}$

• (0 < α < 1, 1 < β < 2) Распределение имеет моду на левом конце x = 0 и имеет положительную асимметрию, правостороннюю. Есть одна точка перегиба , расположенная справа от режима:

$x={\frac {\alpha -1+{\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}}{\alpha +\beta -2}}$

• (α > 2, 1 < β < 2) Распределение унимодальное, отрицательно перекошенное, левостороннее, с одной точкой перегиба , расположенной слева от моды:

$x={\text{mode}}-\kappa ={\frac {\alpha -1-{\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}}{\alpha +\beta -2}}$

• (1 < α < 2, 0 < β < 1) Распределение имеет моду на правом конце x = 1 и имеет отрицательный перекос, левосторонний. Есть одна точка перегиба , расположенная слева от моды:

$x={\frac {\alpha -1-{\sqrt {\frac {(\alpha -1)(\beta -1)}{\alpha +\beta -3}}}}{\alpha +\beta -2}}$

В остальных (симметричных и перекошенных) областях точек перегиба нет: П-образная: (α, β < 1) перевернутая-П-образная: (1 < α < 2, 1 < β < 2), обратная- J-образный (α < 1, β > 2) или J-образный: (α > 2, β < 1)

На прилагаемых графиках показаны местоположения точек перегиба (показаны вертикально в диапазоне от 0 до 1) в зависимости от α и β (горизонтальные оси в диапазоне от 0 до 5). На поверхностях, пересекающих линии α = 1, β = 1, α = 2 и β = 2, имеются большие разрезы, поскольку при этих значениях бета-распределение меняется от 2 мод к 1 моде и к отсутствию моды.

Формы

PDF для симметричного бета-распределения в зависимости от x и α = β от 0 до 30

PDF для симметричного бета-распределения в зависимости от x и α = β от 0 до 2

PDF для асимметричного бета-распределения в зависимости от x и β = 2,5 α от 0 до 9

PDF для асимметричного бета-распределения в зависимости от x и β = 5,5 α от 0 до 9

PDF для асимметричного бета-распределения в зависимости от x и β = 8 α от 0 до 10

Функция бета-плотности может принимать самые разные формы в зависимости от значений двух параметров α и β . Способность бета-распределения принимать такое большое разнообразие форм (с использованием только двух параметров) отчасти объясняет его широкое применение для моделирования реальных измерений:

Симметричный ( α = β )

• функция плотности симметрична примерно 1/2 (синие и бирюзовые графики).
• медиана = среднее значение = 1/2.
• асимметрия = 0.
• дисперсия = 1/(4(2α + 1))
• α = β < 1
  • U-образный (синий участок).
  • бимодальный: левый режим = 0, правый режим = 1, антирежим = 1/2
  • 1/12 < вар( X ) < 1/4
  • −2 < избыточный эксцесс ( X ) < −6/5
  • α = β = 1/2 — арксинусное распределение
    • вар( X ) = 1/8
    • избыточный эксцесс ( X ) = -3/2
    • CF = Ринк (т)
  • α = β → 0 представляет собой 2-точечное распределение Бернулли с равной вероятностью 1/2 на каждом дельта-функции Дирака конце x = 0 и x = 1 и нулевой вероятностью во всех остальных местах. Подбрасывание монеты: одна грань монеты равна х = 0, а другая сторона — х = 1.
    • $\lim _{\alpha =\beta \to 0}\operatorname {var} (X)={\tfrac {1}{4}}$
    • $\lim _{\alpha =\beta \to 0}\operatorname {excess\ kurtosis} (X)=-2$ более низкое значение, чем это, невозможно достичь ни для одного распределения.
    • Дифференциальная энтропия приближается к минимальному значению −∞.
• α = β = 1
  • равномерное распределение [0, 1]
  • нет режима
  • вар( X ) = 1/12
  • избыточный эксцесс ( X ) = −6/5
  • (отрицательная где-либо еще) Дифференциальная энтропия достигает максимального значения, равного нулю.
  • CF = Синк (т)
• α = β > 1
  • симметричный унимодальный
  • режим = 1/2.
  • 0 <вар( X ) < 1/12
  • −6/5 < избыточный эксцесс ( X ) < 0
  • α = β = 3/2 — полуэллиптическое [0, 1] распределение, см.: Распределение полукруга Вигнера.
    • вар( X ) = 1/16.
    • избыточный эксцесс ( X ) = -1
    • CF = 2 Джинч (т)
  • α = β = 2 — параболическое [0, 1] распределение
    • где( X ) = 1/20
    • избыточный эксцесс ( X ) = -6/7
    • CF = 3 у меня есть (т)
  • α = β > 2 имеет колоколообразную форму с точками перегиба , расположенными по обе стороны от моды.
    • 0 <вар( X ) < 1/20
    • −6/7 < избыточный эксцесс ( X ) < 0
  • α = β → ∞ представляет собой 1-точечное вырожденное распределение с пиком дельта-функции Дирака в средней точке x = 1/2 с вероятностью 1 и нулевой вероятностью во всех остальных местах. Существует 100% вероятность (абсолютная уверенность), сосредоточенная в одной точке x = 1/2.
    • $\lim _{\alpha =\beta \to \infty }\operatorname {var} (X)=0$
    • $\lim _{\alpha =\beta \to \infty }\operatorname {excess\ kurtosis} (X)=0$
    • Дифференциальная энтропия приближается к минимальному значению −∞.

Перекошенный ( α ≠ β )

Функция плотности искажена . Перестановка значений параметров дает зеркальное отображение (обратное) исходной кривой, в некоторых более частных случаях:

• α < 1, β < 1
  • U-образный
  • Положительный перекос для α < β, отрицательный перекос для α > β.
  • бимодальный: левый режим = 0, правый режим = 1, антирежим = ${\tfrac {\alpha -1}{\alpha +\beta -2}}$
  • 0 < медиана < 1.
  • 0 <вар( X ) < 1/4
• а > 1, б > 1
  • унимодальный (пурпурный и голубой графики),
  • Положительный перекос для α < β, отрицательный перекос для α > β.
  • ${\text{mode }}={\tfrac {\alpha -1}{\alpha +\beta -2}}$
  • 0 < медиана < 1
  • 0 <вар( X ) < 1/12
• α < 1, β ≥ 1
  • обратная J-образная форма с правым хвостом,
  • положительно перекошенный,
  • строго убывающая, выпуклая
  • режим = 0
  • 0 < медиана < 1/2.
  • $0<\operatorname {var} (X)<{\tfrac {-11+5{\sqrt {5}}}{2}},$ (максимальная дисперсия наблюдается для $\alpha ={\tfrac {-1+{\sqrt {5}}}{2}},\beta =1$, или α = Φ сечение сопряженное золотое )
• α ≥ 1, β < 1
  • J-образный с левым хвостовиком,
  • отрицательно перекошенный,
  • строго возрастающая, выпуклая
  • режим = 1
  • 1/2 < медиана < 1
  • $0<\operatorname {var} (X)<{\tfrac {-11+5{\sqrt {5}}}{2}},$ (максимальная дисперсия наблюдается для $\alpha =1,\beta ={\tfrac {-1+{\sqrt {5}}}{2}}$, или β = Φ сечение сопряженное золотое )
• α = 1, β > 1
  • положительно перекошенный,
  • строго убывающая (красный график),
  • обратное (зеркальное) распределение степенной функции [0,1]
  • среднее = 1/(β + 1)
  • медиана = 1 - 1/2 ^1/б
  • режим = 0
  • α = 1, 1 < β < 2
    • вогнутый
    • $1-{\tfrac {1}{\sqrt {2}}}<{\text{median}}<{\tfrac {1}{2}}$
    • 1/18 < вар( X ) < 1/12.
  • а = 1, б = 2
    • прямая линия с наклоном −2, право- треугольное распределение с прямым углом на левом конце, при x = 0
    • ${\text{median}}=1-{\tfrac {1}{\sqrt {2}}}$
    • где( Х ) = 1/18
  • α = 1, β > 2
    • обратная J-образная форма с правым хвостом,
    • выпуклый
    • $0<{\text{median}}<1-{\tfrac {1}{\sqrt {2}}}$
    • 0 <вар( X ) < 1/18
• α > 1, β = 1
  • отрицательно перекошенный,
  • строго возрастающая (зеленый участок),
  • распределение степенной функции [0, 1]
  • среднее значение = α/(α + 1)
  • медиана = 1/2 ^1/а
  • режим = 1
  • 2 > а > 1, б = 1
    • вогнутый
    • ${\tfrac {1}{2}}<{\text{median}}<{\tfrac {1}{\sqrt {2}}}$
    • 1/18 < вар( X ) < 1/12
  • а = 2, б = 1
    • прямая с наклоном +2, право- треугольное распределение с прямым углом на правом конце, при x = 1
    • ${\text{median}}={\tfrac {1}{\sqrt {2}}}$
    • где( Х ) = 1/18
  • а > 2, б = 1
    • J-образная с левым хвостиком, выпуклая
    • ${\tfrac {1}{\sqrt {2}}}<{\text{median}}<1$
    • 0 <вар( X ) < 1/18

Связанные дистрибутивы

Трансформации

• Если X ~ Beta( α , β ), то 1 − X ~ Beta( β , α ) зеркальная симметрия
• Если X ~ Beta( α , β ), то ${\tfrac {X}{1-X}}\sim {\beta '}(\alpha ,\beta )$. Бета -распределение простых чисел , также называемое «бета-распределением второго рода».
• Если $X\sim {\text{Beta}}(\alpha ,\beta )$, затем $Y=\log {\frac {X}{1-X}}$ имеет обобщенное логистическое распределение с плотностью ${\frac {\sigma (y)^{\alpha }\sigma (-y)^{\beta }}{B(\alpha ,\beta )}}$, где $\sigma$ это логистическая сигмоида .
• Если X ~ Beta( α , β ), то ${\tfrac {1}{X}}-1\sim {\beta '}(\beta ,\alpha )$.
• Если X ~ Beta( n /2, m /2), то ${\tfrac {mX}{n(1-X)}}\sim F(n,m)$ (при условии, что n > 0 и m > 0), F-распределение Фишера-Снедекора .
• Если $X\sim \operatorname {Beta} \left(1+\lambda {\tfrac {m-\min }{\max -\min }},1+\lambda {\tfrac {\max -m}{\max -\min }}\right)$ тогда min + X (max − min) ~ PERT(min, max, m , λ ), где PERT обозначает распределение PERT , используемое в анализе PERT , а m = наиболее вероятное значение. Традиционно λ = 4 в анализе PERT.
• Если X ~ Beta(1, β ), то X ~ распределение Кумарасвами с параметрами (1, β )
• Если X ~ Beta( α , 1), то X ~ распределение Кумарасвами с параметрами ( α , 1)
• Если X ~ Beta( α , 1), то −ln( X ) ~ Экспонента( α )

Особые и предельные случаи

Пример восьми реализаций случайного блуждания в одном измерении, начиная с 0: вероятность времени последнего посещения источника распределяется как Beta(1/2, 1/2)

Бета (1/2, 1/2): плотность вероятности арксинусного распределения была предложена Гарольдом Джеффрисом для представления неопределенности для распределения Бернулли или биномиального распределения в байесовском выводе , и теперь ее обычно называют до этого Джеффрисом : p ^−1/2 (1 - п ) ^−1/2 . Это распределение также появляется в нескольких случайного блуждания. фундаментальных теоремах

• Бета(1, 1) ~ U(0, 1) с плотностью 1 на этом интервале.
• Beta(n, 1) ~ Максимум из n независимых случайных величин. с U(0, 1) , иногда называемое стандартным распределением степенной функции с плотностью n   x ^{п –1} на этом интервале.
• Beta(1, n) ~ Минимум n независимых случайных величин. с U(0, 1) с плотностью n (1 - x ) ^{п -1} на этом интервале.
• Если X ~ Beta(3/2, 3/2) и r > 0, то 2 rX − r ~ полукруговое распределение Вигнера .
• Бета(1/2, 1/2) эквивалентна распределению арксинуса . Это распределение также является априорной вероятностью Джеффри для распределения Бернулли и биномиального распределения . Арксинусная плотность вероятности — это распределение, которое фигурирует в нескольких фундаментальных теоремах о случайном блуждании. при честном подбрасывании монеты В случайном блуждании вероятность момента последнего посещения источника распределяется как (U-образное) арксинусное распределение . В игре с честным подбрасыванием монеты для двух игроков говорят, что игрок лидирует, если случайное блуждание (которое началось в начале координат) находится выше начала координат. , когда данный игрок будет лидировать в игре продолжительностью 2 N , не равно N. Наиболее вероятное количество раз Напротив, N — это наименее вероятное количество раз, когда игрок будет лидировать. Наиболее вероятное количество раз в лидерстве — 0 или 2 N (следуя арксинусному распределению ).
• $\lim _{n\to \infty }n\operatorname {Beta} (1,n)=\operatorname {Exponential} (1)$ экспоненциальное распределение .
• $\lim _{n\to \infty }n\operatorname {Beta} (k,n)=\operatorname {Gamma} (k,1)$ гамма -распределение .
• Для больших $n$, $\operatorname {Beta} (\alpha n,\beta n)\to {\mathcal {N}}\left({\frac {\alpha }{\alpha +\beta }},{\frac {\alpha \beta }{(\alpha +\beta )^{3}}}{\frac {1}{n}}\right)$ нормальное распределение . Точнее, если $X_{n}\sim \operatorname {Beta} (\alpha n,\beta n)$ затем ${\sqrt {n}}\left(X_{n}-{\tfrac {\alpha }{\alpha +\beta }}\right)$ сходится по распределению к нормальному распределению со средним значением 0 и дисперсией ${\tfrac {\alpha \beta }{(\alpha +\beta )^{3}}}$ по мере увеличения n .

Получено из других дистрибутивов

• Статистика k - го порядка выборки размера n из равномерного распределения представляет собой бета-случайную величину U _{( k )} ~ Beta( k , n +1− k ).
• Если X ~ Gamma(α, θ) и Y ~ Gamma(β, θ) независимы, то ${\tfrac {X}{X+Y}}\sim \operatorname {Beta} (\alpha ,\beta )\,$.
• Если $X\sim \chi ^{2}(\alpha )\,$ и $Y\sim \chi ^{2}(\beta )\,$ независимы, то ${\tfrac {X}{X+Y}}\sim \operatorname {Beta} ({\tfrac {\alpha }{2}},{\tfrac {\beta }{2}})$.
• Если X ~ U(0, 1) и α > 0, то X ^{1/ а} ~ Бета( α , 1). Распределение степенной функции.
• Если $X\sim \operatorname {Binom} (k;n;p)$, затем ${X/(n+1)}\sim \operatorname {Beta} (\alpha ,\beta )$ для дискретных значений n и k, где $\alpha =k+1$ и $\beta =n-k+1$.
• Если X ~ Коши(0, 1), то ${\tfrac {1}{1+X^{2}}}\sim \operatorname {Beta} \left({\tfrac {1}{2}},{\tfrac {1}{2}}\right)\,$

Комбинация с другими дистрибутивами

• X ~ Beta( α , β ) и Y ~ F(2 β , 2 α ), тогда $\Pr(X\leq {\tfrac {\alpha }{\alpha +\beta x}})=\Pr(Y\geq x)\,$ для всех х > 0.

Объединение с другими дистрибутивами

• Если p ~ Beta(α, β) и X ~ Bin( k , p ), то X ~ бета-биномиальное распределение
• Если p ~ Beta(α, β) и X ~ NB( r , p ), то X ~ бета отрицательное биномиальное распределение .

Обобщения

• Обобщение на несколько переменных, то есть многомерное бета-распределение , называется распределением Дирихле . Одномерные маргинальные значения распределения Дирихле имеют бета-распределение. Бета-распределение сопряжено с биномиальным распределением и распределением Бернулли точно так же, как распределение Дирихле сопряжено с полиномиальным распределением и категориальным распределением .
• Распределение Пирсона типа I идентично бета-распределению (за исключением произвольного сдвига и изменения масштаба, которые также могут быть выполнены с помощью параметризации бета-распределения с четырьмя параметрами).
• Бета-распределение — это частный случай нецентрального бета-распределения , где $\lambda =0$: $\operatorname {Beta} (\alpha ,\beta )=\operatorname {NonCentralBeta} (\alpha ,\beta ,0)$.
• Обобщенное бета-распределение представляет собой семейство распределений с пятью параметрами, в котором бета-распределение является частным случаем.
• — Бета-распределение матричной переменной это распределение положительно определенных матриц .

Статистический

Оценка параметров

Метод моментов

Два неизвестных параметра

Два неизвестных параметра ( $({\hat {\alpha }},{\hat {\beta }})$ бета-распределения, поддерживаемого в интервале [0,1]), можно оценить с помощью метода моментов с первыми двумя моментами (выборочное среднее и выборочная дисперсия) следующим образом. Позволять:

${\text{sample mean(X)}}={\bar {x}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$

быть выборочной средней оценкой и

${\text{sample variance(X)}}={\bar {v}}={\frac {1}{N-1}}\sum _{i=1}^{N}(X_{i}-{\bar {x}})^{2}$

быть оценкой выборочной дисперсии . методом моментов Оценки параметров имеют вид

${\hat {\alpha }}={\bar {x}}\left({\frac {{\bar {x}}(1-{\bar {x}})}{\bar {v}}}-1\right),$ если ${\bar {v}}<{\bar {x}}(1-{\bar {x}}),$

${\hat {\beta }}=(1-{\bar {x}})\left({\frac {{\bar {x}}(1-{\bar {x}})}{\bar {v}}}-1\right),$ если ${\bar {v}}<{\bar {x}}(1-{\bar {x}}).$

Если распределение требуется в известном интервале, отличном от [0, 1] со случайной величиной X , скажем, [ a , c ] со случайной величиной Y , замените ${\bar {x}}$ с ${\frac {{\bar {y}}-a}{c-a}},$ и ${\bar {v}}$ с ${\frac {\bar {v_{Y}}}{(c-a)^{2}}}$ в приведенной выше паре уравнений для параметров формы (см. раздел «Четыре неизвестных параметра» ниже), где:

${\text{sample mean(Y)}}={\bar {y}}={\frac {1}{N}}\sum _{i=1}^{N}Y_{i}$

${\text{sample variance(Y)}}={\bar {v_{Y}}}={\frac {1}{N-1}}\sum _{i=1}^{N}(Y_{i}-{\bar {y}})^{2}$

Четыре неизвестных параметра

Решения для оценок параметров в зависимости от (выборочного) избыточного эксцесса и (выборочного) квадрата бета-распределения асимметрии

Все четыре параметра ( ${\hat {\alpha }},{\hat {\beta }},{\hat {a}},{\hat {c}}$ бета-распределения, поддерживаемого в интервале [ a , c ], см. раздел «Альтернативные параметризации, Четыре параметра» ) можно оценить, используя метод моментов, разработанный Карлом Пирсоном , путем приравнивания выборочных и популяционных значений первых четырех центральных моментов. (среднее значение, дисперсия, асимметрия и избыточный эксцесс). Избыточный эксцесс выражался через квадрат асимметрии и размер выборки ν = α + β (см. предыдущий раздел «Куртозис» ) следующим образом:

${\text{excess kurtosis}}={\frac {6}{3+\nu }}\left({\frac {(2+\nu )}{4}}({\text{skewness}})^{2}-1\right){\text{ if (skewness)}}^{2}-2<{\text{excess kurtosis}}<{\tfrac {3}{2}}({\text{skewness}})^{2}$

Это уравнение можно использовать для определения размера выборки ν = α + β с точки зрения квадрата асимметрии и избыточного эксцесса следующим образом:

${\hat {\nu }}={\hat {\alpha }}+{\hat {\beta }}=3{\frac {({\text{sample excess kurtosis}})-({\text{sample skewness}})^{2}+2}{{\frac {3}{2}}({\text{sample skewness}})^{2}-{\text{(sample excess kurtosis)}}}}$

${\text{ if (sample skewness)}}^{2}-2<{\text{sample excess kurtosis}}<{\tfrac {3}{2}}({\text{sample skewness}})^{2}$

Это отношение (умноженное на коэффициент 3) между ранее полученными пределами границ бета-распределения в пространстве (как первоначально было сделано Карлом Пирсоном). ) определяется координатами квадрата асимметрии по одной оси и избыточного эксцесса по другой оси (см. § Эксцесс, ограниченный квадратом асимметрии ):

Случай нулевой асимметрии можно решить сразу, поскольку при нулевой асимметрии α = β и, следовательно, ν = 2α = 2β, следовательно, α = β = ν/2.

${\hat {\alpha }}={\hat {\beta }}={\frac {\hat {\nu }}{2}}={\frac {{\frac {3}{2}}({\text{sample excess kurtosis}})+3}{-{\text{(sample excess kurtosis)}}}}$

${\text{ if sample skewness}}=0{\text{ and }}-2<{\text{sample excess kurtosis}}<0$

(Избыточный эксцесс отрицательен для бета-распределения с нулевой асимметрией в диапазоне от -2 до 0, так что ${\hat {\nu }}$ - и, следовательно, параметры формы образца - положительны и варьируются от нуля, когда параметры формы приближаются к нулю, а избыточный эксцесс приближается к -2, до бесконечности, когда параметры формы приближаются к бесконечности, а избыточный эксцесс приближается к нулю).

Для ненулевой асимметрии выборки необходимо решить систему двух связанных уравнений. Поскольку асимметрия и избыточный эксцесс не зависят от параметров ${\hat {a}},{\hat {c}}$, параметры ${\hat {\alpha }},{\hat {\beta }}$ может быть однозначно определена на основе асимметрии выборки и избыточного эксцесса выборки путем решения связанных уравнений с двумя известными переменными (асимметрия выборки и избыточный эксцесс выборки) и двумя неизвестными (параметрами формы):

$({\text{sample skewness}})^{2}={\frac {4({\hat {\beta }}-{\hat {\alpha }})^{2}(1+{\hat {\alpha }}+{\hat {\beta }})}{{\hat {\alpha }}{\hat {\beta }}(2+{\hat {\alpha }}+{\hat {\beta }})^{2}}}$

${\text{sample excess kurtosis}}={\frac {6}{3+{\hat {\alpha }}+{\hat {\beta }}}}\left({\frac {(2+{\hat {\alpha }}+{\hat {\beta }})}{4}}({\text{sample skewness}})^{2}-1\right)$

${\text{ if (sample skewness)}}^{2}-2<{\text{sample excess kurtosis}}<{\tfrac {3}{2}}({\text{sample skewness}})^{2}$

в результате получается следующее решение:

${\hat {\alpha }},{\hat {\beta }}={\frac {\hat {\nu }}{2}}\left(1\pm {\frac {1}{\sqrt {1+{\frac {16({\hat {\nu }}+1)}{({\hat {\nu }}+2)^{2}({\text{sample skewness}})^{2}}}}}}\right)$

${\text{ if sample skewness}}\neq 0{\text{ and }}({\text{sample skewness}})^{2}-2<{\text{sample excess kurtosis}}<{\tfrac {3}{2}}({\text{sample skewness}})^{2}$

Где следует принять решения следующим образом: ${\hat {\alpha }}>{\hat {\beta }}$ для (отрицательной) асимметрии выборки < 0 и ${\hat {\alpha }}<{\hat {\beta }}$ для (положительной) асимметрии выборки > 0.

На прилагаемом графике эти два решения показаны как поверхности в пространстве с горизонтальными осями (эксцесс выборки) и (квадрат асимметрии выборки), а параметры формы - как вертикальная ось. Поверхности ограничены условием, что избыточный эксцесс выборки должен ограничиваться квадратом асимметрии выборки, как это предусмотрено в приведенном выше уравнении. Две поверхности встречаются у правого края, определяемого нулевой асимметрией. Вдоль этого правого края оба параметра равны, и распределение имеет симметричную U-образную форму для α = β < 1, равномерную для α = β = 1, перевернутую U-образную для 1 < α = β < 2 и колоколообразную форму. имеют форму для α = β > 2. Поверхности сходятся также у переднего (нижнего) края, определяемого линией «невозможной границы» (избыточный эксцесс + 2 – асимметрия ² = 0). Вдоль этой передней (нижней) границы оба параметра формы приближаются к нулю, а плотность вероятности сконцентрирована больше на одном конце, чем на другом (практически ничего между ними), с вероятностями $p={\tfrac {\beta }{\alpha +\beta }}$ на левом конце x = 0 и $q=1-p={\tfrac {\alpha }{\alpha +\beta }}$ на правом конце x = 1. Две поверхности становятся все дальше друг от друга по направлению к заднему краю. На этом заднем крае параметры поверхности сильно отличаются друг от друга. Как заметили, например, Боумен и Шентон, выборка в окрестности линии (эксцесс выборки - (3/2)(асимметрия выборки) ² = 0) (J-образная часть заднего края, где синий встречается с бежевым), «опасно близка к хаосу», потому что на этой линии знаменатель приведенного выше выражения для оценки ν = α + β становится нулевым и следовательно, ν приближается к бесконечности по мере приближения к этой линии. Боуман и Шентон пишут, что «параметры более высокого момента (эксцесс и асимметрия) чрезвычайно хрупкие (около этой линии). Однако среднее и стандартное отклонение довольно надежны». Следовательно, проблема заключается в случае оценки четырех параметров для очень асимметричных распределений, когда избыточный эксцесс приближается к (3/2), умноженному на квадрат асимметрии. Эта граничная линия создается чрезвычайно асимметричными распределениями с очень большими значениями одного из параметров и очень маленькими значениями другого параметра. асимметрия ) Численный пример см. в § Эксцесс, ограниченный квадратом асимметрии, а также дополнительные комментарии об этой граничной линии заднего края (выборочный избыточный эксцесс - (3/2) (выборочная ² = 0). Как заметил сам Карл Пирсон этот вопрос может не иметь большого практического значения, поскольку эта проблема возникает только для очень асимметричных J-образных (или зеркальных J-образных) распределений с очень разными значениями параметров формы, которые вряд ли будут часто встречаться на практике). Обычные распределения в форме перекошенного колокола, встречающиеся на практике, не имеют этой проблемы оценки параметров.

Остальные два параметра ${\hat {a}},{\hat {c}}$ может быть определен с использованием выборочного среднего и выборочной дисперсии с использованием различных уравнений. Одной из альтернатив является расчет диапазона интервала поддержки. $({\hat {c}}-{\hat {a}})$ на основе выборочной дисперсии и выборочного эксцесса. Для этого можно решить в терминах диапазона $({\hat {c}}-{\hat {a}})$, уравнение, выражающее избыточный эксцесс через выборочную дисперсию, и размер выборки ν (см. § Эксцесс и § Альтернативные параметризации, четыре параметра ):

${\text{sample excess kurtosis}}={\frac {6}{(3+{\hat {\nu }})(2+{\hat {\nu }})}}{\bigg (}{\frac {({\hat {c}}-{\hat {a}})^{2}}{\text{(sample variance)}}}-6-5{\hat {\nu }}{\bigg )}$

чтобы получить:

$({\hat {c}}-{\hat {a}})={\sqrt {\text{(sample variance)}}}{\sqrt {6+5{\hat {\nu }}+{\frac {(2+{\hat {\nu }})(3+{\hat {\nu }})}{6}}{\text{(sample excess kurtosis)}}}}$

Другой альтернативой является расчет диапазона интервала поддержки. $({\hat {c}}-{\hat {a}})$ на основе выборочной дисперсии и асимметрии выборки. Для этого можно решить в терминах диапазона $({\hat {c}}-{\hat {a}})$, уравнение, выражающее квадрат асимметрии через выборочную дисперсию, и размер выборки ν (см. разделы «Асимметрия» и «Альтернативные параметризации, четыре параметра»):

$({\text{sample skewness}})^{2}={\frac {4}{(2+{\hat {\nu }})^{2}}}{\bigg (}{\frac {({\hat {c}}-{\hat {a}})^{2}}{\text{(sample variance)}}}-4(1+{\hat {\nu }}){\bigg )}$

чтобы получить:

$({\hat {c}}-{\hat {a}})={\frac {\sqrt {\text{(sample variance)}}}{2}}{\sqrt {(2+{\hat {\nu }})^{2}({\text{sample skewness}})^{2}+16(1+{\hat {\nu }})}}$

Оставшийся параметр можно определить из выборочного среднего и ранее полученных параметров: $({\hat {c}}-{\hat {a}}),{\hat {\alpha }},{\hat {\nu }}={\hat {\alpha }}+{\hat {\beta }}$:

${\hat {a}}=({\text{sample mean}})-\left({\frac {\hat {\alpha }}{\hat {\nu }}}\right)({\hat {c}}-{\hat {a}})$

и, наконец, ${\hat {c}}=({\hat {c}}-{\hat {a}})+{\hat {a}}$.

В приведенных выше формулах в качестве оценок выборочных моментов можно принять, например:

${\begin{aligned}{\text{sample mean}}&={\overline {y}}={\frac {1}{N}}\sum _{i=1}^{N}Y_{i}\\{\text{sample variance}}&={\overline {v}}_{Y}={\frac {1}{N-1}}\sum _{i=1}^{N}(Y_{i}-{\overline {y}})^{2}\\{\text{sample skewness}}&=G_{1}={\frac {N}{(N-1)(N-2)}}{\frac {\sum _{i=1}^{N}(Y_{i}-{\overline {y}})^{3}}{{\overline {v}}_{Y}^{\frac {3}{2}}}}\\{\text{sample excess kurtosis}}&=G_{2}={\frac {N(N+1)}{(N-1)(N-2)(N-3)}}{\frac {\sum _{i=1}^{N}(Y_{i}-{\overline {y}})^{4}}{{\overline {v}}_{Y}^{2}}}-{\frac {3(N-1)^{2}}{(N-2)(N-3)}}\end{aligned}}$

Оценщики G ₁ для асимметрии выборки и G ₂ для эксцесса выборки используются DAP / SAS , PSPP / SPSS и Excel . Однако они не используются БМДП и (по данным ) они не использовались MINITAB в 1998 году. На самом деле, Джоанс и Гилл в своем исследовании 1998 года пришли к выводу, что оценки асимметрии и эксцесса, используемые в BMDP и в MINITAB (на тот момент), имели меньшую дисперсию и среднеквадратическую ошибку в нормальных выборках, но оценки асимметрии и эксцесса, используемые в DAP / SAS , PSPP / SPSS , а именно G ₁ и G ₂ имел меньшую среднеквадратическую ошибку в выборках с очень асимметричным распределением. Именно по этой причине мы указали «асимметрию выборки» и т. д. в приведенных выше формулах, чтобы было ясно, что пользователь должен выбрать лучшую оценку в соответствии с рассматриваемой проблемой, как лучшую оценку асимметрии и эксцесса. зависит от степени асимметрии (как показали Джоэнс и Гилл ).

Максимальная вероятность

Два неизвестных параметра

Макс. (совместный логарифм правдоподобия/ N ) для максимумов бета-распределения при α = β = 2

Макс (совместный логарифм правдоподобия/ N ) для максимумов бета-распределения при α = β ∈ {0,25,0,5,1,2,4,6,8}

Как и в случае оценок максимального правдоподобия для гамма-распределения , оценки максимального правдоподобия для бета-распределения не имеют общего решения в замкнутой форме для произвольных значений параметров формы. Если X ₁ , ..., X _N являются независимыми случайными величинами, каждая из которых имеет бета-распределение, совместная логарифмическая функция правдоподобия для N iid наблюдений равна:

${\begin{aligned}\ln \,{\mathcal {L}}(\alpha ,\beta \mid X)&=\sum _{i=1}^{N}\ln \left({\mathcal {L}}_{i}(\alpha ,\beta \mid X_{i})\right)\\&=\sum _{i=1}^{N}\ln \left(f(X_{i};\alpha ,\beta )\right)\\&=\sum _{i=1}^{N}\ln \left({\frac {X_{i}^{\alpha -1}(1-X_{i})^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}\right)\\&=(\alpha -1)\sum _{i=1}^{N}\ln(X_{i})+(\beta -1)\sum _{i=1}^{N}\ln(1-X_{i})-N\ln \mathrm {B} (\alpha ,\beta )\end{aligned}}$

Нахождение максимума по параметру формы включает в себя взятие частной производной по параметру формы и установку выражения, равного нулю, что дает оценку максимального правдоподобия параметров формы:

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \alpha }}=\sum _{i=1}^{N}\ln X_{i}-N{\frac {\partial \ln \mathrm {B} (\alpha ,\beta )}{\partial \alpha }}=0$

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \beta }}=\sum _{i=1}^{N}\ln(1-X_{i})-N{\frac {\partial \ln \mathrm {B} (\alpha ,\beta )}{\partial \beta }}=0$

где:

${\frac {\partial \ln \mathrm {B} (\alpha ,\beta )}{\partial \alpha }}=-{\frac {\partial \ln \Gamma (\alpha +\beta )}{\partial \alpha }}+{\frac {\partial \ln \Gamma (\alpha )}{\partial \alpha }}+{\frac {\partial \ln \Gamma (\beta )}{\partial \alpha }}=-\psi (\alpha +\beta )+\psi (\alpha )+0$

${\frac {\partial \ln \mathrm {B} (\alpha ,\beta )}{\partial \beta }}=-{\frac {\partial \ln \Gamma (\alpha +\beta )}{\partial \beta }}+{\frac {\partial \ln \Gamma (\alpha )}{\partial \beta }}+{\frac {\partial \ln \Gamma (\beta )}{\partial \beta }}=-\psi (\alpha +\beta )+0+\psi (\beta )$

поскольку дигамма-функция, обозначаемая ψ(α), определяется как логарифмическая производная гамма -функции :

$\psi (\alpha )={\frac {\partial \ln \Gamma (\alpha )}{\partial \alpha }}$

Чтобы гарантировать, что значения с нулевым наклоном тангенса действительно являются максимальными (а не седловой точкой или минимумом), необходимо также удовлетворить условие, что кривизна отрицательна. Это равнозначно удовлетворению того, что вторая частная производная по параметрам формы отрицательна.

${\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \alpha ^{2}}}=-N{\frac {\partial ^{2}\ln \mathrm {B} (\alpha ,\beta )}{\partial \alpha ^{2}}}<0$

${\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \beta ^{2}}}=-N{\frac {\partial ^{2}\ln \mathrm {B} (\alpha ,\beta )}{\partial \beta ^{2}}}<0$

используя предыдущие уравнения, это эквивалентно:

${\frac {\partial ^{2}\ln \mathrm {B} (\alpha ,\beta )}{\partial \alpha ^{2}}}=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )>0$

${\frac {\partial ^{2}\ln \mathrm {B} (\alpha ,\beta )}{\partial \beta ^{2}}}=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )>0$

где тригамма-функция , обозначаемая ψ ₁ ( α ), является второй из полигамма-функций и определяется как производная дигамма- функции:

$\psi _{1}(\alpha )={\frac {\partial ^{2}\ln \Gamma (\alpha )}{\partial \alpha ^{2}}}=\,{\frac {\partial \,\psi (\alpha )}{\partial \alpha }}.$

Эти условия эквивалентны утверждению, что дисперсии логарифмически преобразованных переменных положительны, поскольку:

$\operatorname {var} [\ln(X)]=\operatorname {E} [\ln ^{2}(X)]-(\operatorname {E} [\ln(X)])^{2}=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )$

$\operatorname {var} [\ln(1-X)]=\operatorname {E} [\ln ^{2}(1-X)]-(\operatorname {E} [\ln(1-X)])^{2}=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )$

Поэтому условие отрицательной кривизны в максимуме эквивалентно утверждениям:

$\operatorname {var} [\ln(X)]>0$

$\operatorname {var} [\ln(1-X)]>0$

Альтернативно, условие отрицательной кривизны в максимуме также эквивалентно утверждению, что следующие логарифмические производные средних геометрических G X _и G ( _1−X) положительны, поскольку:

$\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )={\frac {\partial \ln G_{X}}{\partial \alpha }}>0$

$\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )={\frac {\partial \ln G_{(1-X)}}{\partial \beta }}>0$

Хотя эти наклоны действительно положительны, другие наклоны отрицательны:

${\frac {\partial \,\ln G_{X}}{\partial \beta }},{\frac {\partial \ln G_{(1-X)}}{\partial \alpha }}<0.$

Наклоны среднего и медианы по отношению к α и β демонстрируют схожее знаковое поведение.

Из условия, что в максимуме частная производная по параметру формы равна нулю, мы получаем следующую систему связанных уравнений оценки максимального правдоподобия (для среднего логарифмического правдоподобия), которую необходимо инвертировать, чтобы получить (неизвестное) оценки параметров формы ${\hat {\alpha }},{\hat {\beta }}$ в терминах (известного) среднего логарифмов выборок X ₁ , ..., X _N :

${\begin{aligned}{\hat {\operatorname {E} }}[\ln(X)]&=\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }})={\frac {1}{N}}\sum _{i=1}^{N}\ln X_{i}=\ln {\hat {G}}_{X}\\{\hat {\operatorname {E} }}[\ln(1-X)]&=\psi ({\hat {\beta }})-\psi ({\hat {\alpha }}+{\hat {\beta }})={\frac {1}{N}}\sum _{i=1}^{N}\ln(1-X_{i})=\ln {\hat {G}}_{(1-X)}\end{aligned}}$

где мы признаем $\log {\hat {G}}_{X}$ как логарифм выборочного среднего геометрического и $\log {\hat {G}}_{(1-X)}$ как логарифм выборочного среднего геометрического на основе (1 - X зеркального отображения X. ) , Для ${\hat {\alpha }}={\hat {\beta }}$, отсюда следует, что ${\hat {G}}_{X}={\hat {G}}_{(1-X)}$.

${\begin{aligned}{\hat {G}}_{X}&=\prod _{i=1}^{N}(X_{i})^{1/N}\\{\hat {G}}_{(1-X)}&=\prod _{i=1}^{N}(1-X_{i})^{1/N}\end{aligned}}$

Эти связанные уравнения, содержащие дигамма-функции оценок параметров формы. ${\hat {\alpha }},{\hat {\beta }}$ необходимо решать численными методами, как это сделано, например, Бекманом и др. Гнанадэсикан и др. дать численные решения для некоторых случаев. Н.Л.Джонсон и С.Коц предполагают, что для «не слишком малых» оценок параметров формы ${\hat {\alpha }},{\hat {\beta }}$, логарифмическое приближение дигамма-функции $\psi ({\hat {\alpha }})\approx \ln({\hat {\alpha }}-{\tfrac {1}{2}})$ может использоваться для получения начальных значений для итеративного решения, поскольку уравнения, полученные в результате этого приближения, могут быть решены точно:

$\ln {\frac {{\hat {\alpha }}-{\frac {1}{2}}}{{\hat {\alpha }}+{\hat {\beta }}-{\frac {1}{2}}}}\approx \ln {\hat {G}}_{X}$

$\ln {\frac {{\hat {\beta }}-{\frac {1}{2}}}{{\hat {\alpha }}+{\hat {\beta }}-{\frac {1}{2}}}}\approx \ln {\hat {G}}_{(1-X)}$

что приводит к следующему решению для начальных значений (оценочных параметров формы в терминах выборочных средних геометрических) для итеративного решения:

${\hat {\alpha }}\approx {\tfrac {1}{2}}+{\frac {{\hat {G}}_{X}}{2(1-{\hat {G}}_{X}-{\hat {G}}_{(1-X)})}}{\text{ if }}{\hat {\alpha }}>1$

${\hat {\beta }}\approx {\tfrac {1}{2}}+{\frac {{\hat {G}}_{(1-X)}}{2(1-{\hat {G}}_{X}-{\hat {G}}_{(1-X)})}}{\text{ if }}{\hat {\beta }}>1$

Альтернативно, оценки, полученные методом моментов, могут вместо этого использоваться в качестве начальных значений для итеративного решения связанных уравнений максимального правдоподобия в терминах дигамма-функций.

Если распределение требуется в известном интервале, отличном от [0, 1] со случайной величиной X , скажем, [ a , c ] со случайной величиной Y , тогда замените ln( X _i ) в первом уравнении на

$\ln {\frac {Y_{i}-a}{c-a}}$,

и заменим ln(1− X _i ) во втором уравнении на

$\ln {\frac {c-Y_{i}}{c-a}}$

(см. раздел «Альтернативные параметризации, четыре параметра» ниже).

Если известен один из параметров формы, задача значительно упрощается. Следующее логит- преобразование можно использовать для определения неизвестного параметра формы (для асимметричных случаев, таких как ${\hat {\alpha }}\neq {\hat {\beta }}$, в противном случае, если они симметричны, оба равных параметра известны, если известен один):

${\hat {\operatorname {E} }}\left[\ln \left({\frac {X}{1-X}}\right)\right]=\psi ({\hat {\alpha }})-\psi ({\hat {\beta }})={\frac {1}{N}}\sum _{i=1}^{N}\ln {\frac {X_{i}}{1-X_{i}}}=\ln {\hat {G}}_{X}-\ln \left({\hat {G}}_{(1-X)}\right)$

Это логит- преобразование представляет собой логарифм преобразования, которое делит переменную X на ее зеркальное отображение ( X /(1 - X ), что приводит к «перевернутому бета-распределению» или простому бета-распределению (также известному как бета-распределение второго рода или Тип VI Пирсона ) с носителем [0, +∞). Как обсуждалось ранее в разделе «Моменты логарифмически преобразованных случайных величин», логит- преобразование $\ln {\frac {X}{1-X}}$, изученный Джонсоном, расширяет конечный носитель [0, 1] на основе исходной переменной X до бесконечного носителя в обоих направлениях вещественной линии (−∞, +∞).

Если, например, ${\hat {\beta }}$ известен, неизвестный параметр ${\hat {\alpha }}$ можно получить с помощью обратного дигамма-функция правой части этого уравнения:

$\psi ({\hat {\alpha }})={\frac {1}{N}}\sum _{i=1}^{N}\ln {\frac {X_{i}}{1-X_{i}}}+\psi ({\hat {\beta }})$

${\hat {\alpha }}=\psi ^{-1}(\ln {\hat {G}}_{X}-\ln {\hat {G}}_{(1-X)}+\psi ({\hat {\beta }}))$

В частности, если один из параметров формы имеет значение единицы, например для ${\hat {\beta }}=1$ (распределение степенной функции с ограниченным носителем [0,1]), используя тождество ψ( x + 1) = ψ( x ) + 1/ x в уравнении $\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }})=\ln {\hat {G}}_{X}$, оценка максимального правдоподобия для неизвестного параметра ${\hat {\alpha }}$ является, точно:

${\hat {\alpha }}=-{\frac {1}{{\frac {1}{N}}\sum _{i=1}^{N}\ln X_{i}}}=-{\frac {1}{\ln {\hat {G}}_{X}}}$

Бета-версия имеет поддержку [0, 1], поэтому ${\hat {G}}_{X}<1$, и, следовательно, $(-\ln {\hat {G}}_{X})>0$, и поэтому ${\hat {\alpha }}>0.$

В заключение, оценки максимального правдоподобия параметров формы бета-распределения (в общем) являются сложной функцией выборочного среднего геометрического и выборочного среднего геометрического , основанного на (1-X) , зеркальном отображении X . Можно спросить: если дисперсия (помимо среднего) необходима для оценки двух параметров формы методом моментов, то почему (логарифмическая или геометрическая) дисперсия не необходима для оценки двух параметров формы методом максимального правдоподобия, поскольку для чего достаточно только геометрических средств? Ответ в том, что среднее значение не дает столько информации, сколько среднее геометрическое. Для бета-распределения с равными параметрами формы α = β среднее значение равно ровно 1/2, независимо от значения параметров формы и, следовательно, независимо от значения статистической дисперсии (дисперсии). С другой стороны, среднее геометрическое бета-распределения с равными параметрами формы α = β зависит от значения параметров формы и, следовательно, содержит больше информации. Кроме того, среднее геометрическое бета-распределения не удовлетворяет условиям симметрии, которым удовлетворяет среднее значение, поэтому, используя как среднее геометрическое, основанное на X и среднее геометрическое на основе (1 - X ), метод максимального правдоподобия способен обеспечить наилучшие оценки для обоих параметров α = β без необходимости использования дисперсии.

Можно выразить совместную логарифмическую вероятность на N iid наблюдений через достаточную статистику (средние геометрические выборки) следующим образом:

${\frac {\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N}}=(\alpha -1)\ln {\hat {G}}_{X}+(\beta -1)\ln {\hat {G}}_{(1-X)}-\ln \mathrm {B} (\alpha ,\beta ).$

Мы можем построить график совместного логарифма правдоподобия на N наблюдений для фиксированных значений выборочных средних геометрических значений, чтобы увидеть поведение функции правдоподобия в зависимости от параметров формы α и β. На таком графике средства оценки параметров формы ${\hat {\alpha }},{\hat {\beta }}$ соответствуют максимумам функции правдоподобия. См. прилагаемый график, который показывает, что все функции правдоподобия пересекаются при α = β = 1, что соответствует значениям параметров формы, которые дают максимальную энтропию (максимальная энтропия возникает для параметров формы, равных единице: равномерное распределение). Из графика видно, что функция правдоподобия дает резкие пики для значений оценщиков параметров формы, близких к нулю, но что для значений оценщиков параметров формы больше единицы функция правдоподобия становится совершенно плоской с менее выраженными пиками. Очевидно, что метод оценки параметра максимального правдоподобия для бета-распределения становится менее приемлемым для больших значений оценщиков параметра формы, поскольку неопределенность в определении пика увеличивается со значением оценщиков параметра формы. К тому же выводу можно прийти, заметив, что кривизна функции правдоподобия выражается через геометрические дисперсии

${\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \alpha ^{2}}}=-\operatorname {var} [\ln X]$

${\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{\partial \beta ^{2}}}=-\operatorname {var} [\ln(1-X)]$

Эти дисперсии (и, следовательно, кривизны) намного больше при малых значениях параметров формы α и β. Однако для значений параметров формы α, β > 1 дисперсии (и, следовательно, кривизны) выравниваются. Эквивалентно этот результат следует из границы Крамера-Рао , поскольку компоненты информационной матрицы Фишера для бета-распределения представляют собой эти логарифмические дисперсии. Граница Крамера – Рао утверждает, что дисперсия любой несмещенной оценки ${\hat {\alpha }}$ α ограничено обратной величиной информации Фишера :

$\mathrm {var} ({\hat {\alpha }})\geq {\frac {1}{\operatorname {var} [\ln X]}}\geq {\frac {1}{\psi _{1}({\hat {\alpha }})-\psi _{1}({\hat {\alpha }}+{\hat {\beta }})}}$

$\mathrm {var} ({\hat {\beta }})\geq {\frac {1}{\operatorname {var} [\ln(1-X)]}}\geq {\frac {1}{\psi _{1}({\hat {\beta }})-\psi _{1}({\hat {\alpha }}+{\hat {\beta }})}}$

поэтому дисперсия оценок увеличивается с увеличением α и β, поскольку логарифмические дисперсии уменьшаются.

Также можно выразить совместное логарифмическое правдоподобие на N iid наблюдений через выражения дигамма-функции для логарифмов выборочных средних геометрических значений следующим образом:

${\frac {\ln \,{\mathcal {L}}(\alpha ,\beta \mid X)}{N}}=(\alpha -1)(\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }}))+(\beta -1)(\psi ({\hat {\beta }})-\psi ({\hat {\alpha }}+{\hat {\beta }}))-\ln \mathrm {B} (\alpha ,\beta )$

это выражение идентично отрицательному значению перекрестной энтропии (см. раздел «Количество информации (энтропия)»). Следовательно, нахождение максимума совместной логарифмической вероятности параметров формы по наблюдениям N iid идентично нахождению минимума перекрестной энтропии для бета-распределения как функции параметров формы.

${\frac {\ln \,{\mathcal {L}}(\alpha ,\beta \mid X)}{N}}=-H=-h-D_{\mathrm {KL} }=-\ln \mathrm {B} (\alpha ,\beta )+(\alpha -1)\psi ({\hat {\alpha }})+(\beta -1)\psi ({\hat {\beta }})-(\alpha +\beta -2)\psi ({\hat {\alpha }}+{\hat {\beta }})$

с перекрестной энтропией, определяемой следующим образом:

$H=\int _{0}^{1}-f(X;{\hat {\alpha }},{\hat {\beta }})\ln(f(X;\alpha ,\beta ))\,{\rm {d}}X$

Четыре неизвестных параметра

Процедура аналогична той, которая применяется в случае двух неизвестных параметров. Если Y ₁ , ..., Y _N являются независимыми случайными величинами, каждая из которых имеет бета-распределение с четырьмя параметрами, совместная логарифмическая функция правдоподобия для N iid наблюдений равна:

${\begin{aligned}\ln \,{\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)&=\sum _{i=1}^{N}\ln \,{\mathcal {L}}_{i}(\alpha ,\beta ,a,c\mid Y_{i})\\&=\sum _{i=1}^{N}\ln \,f(Y_{i};\alpha ,\beta ,a,c)\\&=\sum _{i=1}^{N}\ln \,{\frac {(Y_{i}-a)^{\alpha -1}(c-Y_{i})^{\beta -1}}{(c-a)^{\alpha +\beta -1}\mathrm {B} (\alpha ,\beta )}}\\&=(\alpha -1)\sum _{i=1}^{N}\ln(Y_{i}-a)+(\beta -1)\sum _{i=1}^{N}\ln(c-Y_{i})-N\ln \mathrm {B} (\alpha ,\beta )-N(\alpha +\beta -1)\ln(c-a)\end{aligned}}$

Нахождение максимума по параметру формы включает в себя взятие частной производной по параметру формы и установку выражения, равного нулю, что дает оценку максимального правдоподобия параметров формы:

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha }}=\sum _{i=1}^{N}\ln(Y_{i}-a)-N(-\psi (\alpha +\beta )+\psi (\alpha ))-N\ln(c-a)=0$

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta }}=\sum _{i=1}^{N}\ln(c-Y_{i})-N(-\psi (\alpha +\beta )+\psi (\beta ))-N\ln(c-a)=0$

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial a}}=-(\alpha -1)\sum _{i=1}^{N}{\frac {1}{Y_{i}-a}}\,+N(\alpha +\beta -1){\frac {1}{c-a}}=0$

${\frac {\partial \ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial c}}=(\beta -1)\sum _{i=1}^{N}{\frac {1}{c-Y_{i}}}\,-N(\alpha +\beta -1){\frac {1}{c-a}}=0$

эти уравнения можно переформулировать в следующую систему из четырех связанных уравнений (первые два уравнения представляют собой средние геометрические, а вторые два уравнения представляют собой гармонические средние) с точки зрения оценок максимального правдоподобия для четырех параметров ${\hat {\alpha }},{\hat {\beta }},{\hat {a}},{\hat {c}}$:

${\frac {1}{N}}\sum _{i=1}^{N}\ln {\frac {Y_{i}-{\hat {a}}}{{\hat {c}}-{\hat {a}}}}=\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }})=\ln {\hat {G}}_{X}$

${\frac {1}{N}}\sum _{i=1}^{N}\ln {\frac {{\hat {c}}-Y_{i}}{{\hat {c}}-{\hat {a}}}}=\psi ({\hat {\beta }})-\psi ({\hat {\alpha }}+{\hat {\beta }})=\ln {\hat {G}}_{1-X}$

${\frac {1}{{\frac {1}{N}}\sum _{i=1}^{N}{\frac {{\hat {c}}-{\hat {a}}}{Y_{i}-{\hat {a}}}}}}={\frac {{\hat {\alpha }}-1}{{\hat {\alpha }}+{\hat {\beta }}-1}}={\hat {H}}_{X}$

${\frac {1}{{\frac {1}{N}}\sum _{i=1}^{N}{\frac {{\hat {c}}-{\hat {a}}}{{\hat {c}}-Y_{i}}}}}={\frac {{\hat {\beta }}-1}{{\hat {\alpha }}+{\hat {\beta }}-1}}={\hat {H}}_{1-X}$

с выборочными геометрическими средними:

${\hat {G}}_{X}=\prod _{i=1}^{N}\left({\frac {Y_{i}-{\hat {a}}}{{\hat {c}}-{\hat {a}}}}\right)^{\frac {1}{N}}$

${\hat {G}}_{(1-X)}=\prod _{i=1}^{N}\left({\frac {{\hat {c}}-Y_{i}}{{\hat {c}}-{\hat {a}}}}\right)^{\frac {1}{N}}$

Параметры ${\hat {a}},{\hat {c}}$ вложены в выражения среднего геометрического нелинейным образом (в степени 1/ N ). Это, как правило, исключает решение в замкнутой форме, даже для аппроксимации начального значения в целях итерации. Одной из альтернатив является использование в качестве начальных значений для итерации значений, полученных методом решения метода моментов для случая четырех параметров. Более того, выражения для гармонических средних четко определены только для ${\hat {\alpha }},{\hat {\beta }}>1$, что исключает решение максимального правдоподобия для параметров формы меньше единицы в случае с четырьмя параметрами. Информационная матрица Фишера для случая с четырьмя параметрами положительно определена только для α, β > 2 (более подробное обсуждение см. в разделе «Информационная матрица Фишера, случай с четырьмя параметрами»), для колоколообразных (симметричных или несимметричных) бета-распределений с перегибом точки, расположенные по обе стороны от моды. Следующие информационные компоненты Фишера (которые представляют собой ожидания кривизны логарифмической функции правдоподобия) имеют особенности при следующих значениях:

$\alpha =2:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial a^{2}}}\right]={\mathcal {I}}_{a,a}$

$\beta =2:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial c^{2}}}\right]={\mathcal {I}}_{c,c}$

$\alpha =2:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha \partial a}}\right]={\mathcal {I}}_{\alpha ,a}$

$\beta =1:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta \partial c}}\right]={\mathcal {I}}_{\beta ,c}$

(подробнее см. раздел «Информационная матрица Фишера»). Таким образом, невозможно строго выполнить оценку максимального правдоподобия для некоторых хорошо известных распределений, принадлежащих к семейству четырехпараметрических бета-распределений, таких как равномерное распределение (Beta (1, 1, a , c )) и арксинусное распределение . (Бета(1/2, 1/2, а , с )). Н.Л.Джонсон и С.Коц игнорировать уравнения для гармонических средних и вместо этого предложить: «Если a и c неизвестны, и оценки максимального правдоподобия a , c требуются , α и β, описанная выше процедура (для случая двух неизвестных параметров, с X, преобразованным как X = ( Y − a )/( c − a )) можно повторить, используя последовательность пробных значений a и c , пока пара ( a , c ), для которой максимальное правдоподобие (при данных a и c ) не станет максимально возможным, достигается» (где для ясности их обозначения параметров переведены в настоящие обозначения).

матрица

Пусть случайная величина X имеет плотность вероятности f ( x ; α ). Частная производная по (неизвестному и подлежащему оценке) параметру логарифмической функции правдоподобия называется оценкой . Второй момент партитуры называется информацией Фишера :

${\mathcal {I}}(\alpha )=\operatorname {E} \left[\left({\frac {\partial }{\partial \alpha }}\ln {\mathcal {L}}(\alpha \mid X)\right)^{2}\right],$

Ожидание нулю , оценки равно поэтому информация Фишера также является вторым моментом, сосредоточенным на среднем значении оценки: дисперсии оценки .

Если логарифмическая функция правдоподобия дважды дифференцируема по параметру α и при определенных условиях регулярности: тогда информацию Фишера можно также записать следующим образом (часто это более удобная форма для расчетов):

${\mathcal {I}}(\alpha )=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \alpha ^{2}}}\ln({\mathcal {L}}(\alpha \mid X))\right].$

Таким образом, информация Фишера представляет собой отрицательное математическое ожидание второй производной по отношению к параметру α логарифмической функции правдоподобия . Следовательно, информация Фишера является мерой кривизны логарифмической функции правдоподобия α. Низкая кривизна (и, следовательно, большой радиус кривизны ), более плоская логарифмическая кривая функции правдоподобия имеет низкую информацию Фишера; в то время как логарифмическая кривая функции правдоподобия с большой кривизной (и, следовательно, с низким радиусом кривизны ) имеет высокую информацию Фишера. Когда информационная матрица Фишера вычисляется при оценках параметров («наблюдаемая информационная матрица Фишера»), это эквивалентно замене истинной логарифмической поверхности правдоподобия аппроксимацией ряда Тейлора, с учетом квадратичных членов. Слово «информация» в контексте информации Фишера относится к информации о параметрах. Такая информация, как: оценка, достаточность и свойства дисперсий оценок. Граница Крамера -Рао утверждает, что обратная информация Фишера является нижней границей дисперсии любой оценки параметра α:

$\operatorname {var} [{\hat {\alpha }}]\geq {\frac {1}{{\mathcal {I}}(\alpha )}}.$

Точность, с которой можно оценить оценку параметра α, ограничена информацией Фишера логарифмической функции правдоподобия. Информация Фишера является мерой минимальной ошибки, связанной с оценкой параметра распределения, и ее можно рассматривать как меру разрешающей способности эксперимента, необходимой для различения двух альтернативных гипотез параметра.

Когда есть N параметров

${\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{N}\end{bmatrix}},$

тогда информация Фишера принимает форму размера N × N положительной полуопределенной симметричной матрицы , информационной матрицы Фишера, с типичным элементом:

$({\mathcal {I}}(\theta ))_{i,j}=\operatorname {E} \left[\left({\frac {\partial }{\partial \theta _{i}}}\ln {\mathcal {L}}\right)\left({\frac {\partial }{\partial \theta _{j}}}\ln {\mathcal {L}}\right)\right].$

При определенных условиях регулярности Информационная матрица Фишера также может быть записана в следующей форме, которая часто более удобна для вычислений:

$({\mathcal {I}}(\theta ))_{i,j}=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\ln({\mathcal {L}})\right]\,.$

Используя X ₁ , ..., X _{N ,} случайные величины N можно построить -мерную «коробку» со сторонами X ₁ , ..., X _N . Коста и Кавер показывают, что дифференциальная энтропия (Шеннона) h ( X ) связана с объемом типичного набора (имея энтропию выборки, близкую к истинной энтропии), тогда как информация Фишера связана с поверхностью этого типичного набора.

Два параметра

Для независимых случайных величин X ₁ , ..., X _N, каждая из которых имеет бета-распределение, параметризованное параметрами формы α и β , совместная логарифмическая функция правдоподобия для N iid наблюдений равна:

$\ln({\mathcal {L}}(\alpha ,\beta \mid X))=(\alpha -1)\sum _{i=1}^{N}\ln X_{i}+(\beta -1)\sum _{i=1}^{N}\ln(1-X_{i})-N\ln \mathrm {B} (\alpha ,\beta )$

следовательно, совместная логарифмическая функция правдоподобия по N iid наблюдениям равна

${\frac {1}{N}}\ln({\mathcal {L}}(\alpha ,\beta \mid X))=(\alpha -1){\frac {1}{N}}\sum _{i=1}^{N}\ln X_{i}+(\beta -1){\frac {1}{N}}\sum _{i=1}^{N}\ln(1-X_{i})-\,\ln \mathrm {B} (\alpha ,\beta ).$

В случае двух параметров информация Фишера имеет 4 компонента: 2 диагональных и 2 недиагональных. Поскольку информационная матрица Фишера симметрична, один из этих недиагональных компонентов независим. Следовательно, информационная матрица Фишера имеет 3 независимых компонента (2 диагональных и 1 недиагональный).

Арьял и Надараджа рассчитана информационная матрица Фишера для случая с четырьмя параметрами, из которой случай с двумя параметрами может быть получен следующим образом:

$-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\partial \alpha ^{2}}}=\operatorname {var} [\ln(X)]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\alpha ,\alpha }=\operatorname {E} \left[-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\partial \alpha ^{2}}}\right]=\ln \operatorname {var} _{GX}$

$-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\,\partial \beta ^{2}}}=\operatorname {var} [\ln(1-X)]=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\beta ,\beta }=\operatorname {E} \left[-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\partial \beta ^{2}}}\right]=\ln \operatorname {var} _{G(1-X)}$

$-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\,\partial \alpha \,\partial \beta }}=\operatorname {cov} [\ln X,\ln(1-X)]=-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\alpha ,\beta }=\operatorname {E} \left[-{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta \mid X)}{N\,\partial \alpha \,\partial \beta }}\right]=\ln \operatorname {cov} _{G{X,(1-X)}}$

Поскольку информационная матрица Фишера симметрична

${\mathcal {I}}_{\alpha ,\beta }={\mathcal {I}}_{\beta ,\alpha }=\ln \operatorname {cov} _{G{X,(1-X)}}$

Информационные компоненты Фишера равны логарифмической геометрической дисперсии и логарифмической геометрической ковариации. Следовательно, их можно выразить в виде тригамма-функций , обозначаемых ψ ₁ (α), второй из полигамма-функций , определяемой как производная дигамма- функции:

$\psi _{1}(\alpha )={\frac {d^{2}\ln \Gamma (\alpha )}{\partial \alpha ^{2}}}=\,{\frac {\partial \psi (\alpha )}{\partial \alpha }}.$

Эти производные также получены в разделе § Два неизвестных параметра , и в этом разделе также показаны графики логарифмической функции правдоподобия. § Геометрическая дисперсия и ковариация содержит графики и дальнейшее обсуждение компонентов информационной матрицы Фишера: логарифмических геометрических дисперсий и логарифмической геометрической ковариации как функции параметров формы α и β. § Моменты логарифмически преобразованных случайных величин содержит формулы для моментов логарифмически преобразованных случайных величин. Изображения для информационных компонентов Fisher ${\mathcal {I}}_{\alpha ,\alpha },{\mathcal {I}}_{\beta ,\beta }$ и ${\mathcal {I}}_{\alpha ,\beta }$ показаны в § Геометрическая дисперсия .

Представляет интерес определитель информационной матрицы Фишера (например, для расчета априорной вероятности Джеффриса). Из выражений для отдельных компонентов информационной матрицы Фишера следует, что определитель информационной матрицы Фишера (симметричной) для бета-распределения равен:

${\begin{aligned}\det({\mathcal {I}}(\alpha ,\beta ))&={\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,\beta }-{\mathcal {I}}_{\alpha ,\beta }{\mathcal {I}}_{\alpha ,\beta }\\[4pt]&=(\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta ))(\psi _{1}(\beta )-\psi _{1}(\alpha +\beta ))-(-\psi _{1}(\alpha +\beta ))(-\psi _{1}(\alpha +\beta ))\\[4pt]&=\psi _{1}(\alpha )\psi _{1}(\beta )-(\psi _{1}(\alpha )+\psi _{1}(\beta ))\psi _{1}(\alpha +\beta )\\[4pt]\lim _{\alpha \to 0}\det({\mathcal {I}}(\alpha ,\beta ))&=\lim _{\beta \to 0}\det({\mathcal {I}}(\alpha ,\beta ))=\infty \\[4pt]\lim _{\alpha \to \infty }\det({\mathcal {I}}(\alpha ,\beta ))&=\lim _{\beta \to \infty }\det({\mathcal {I}}(\alpha ,\beta ))=0\end{aligned}}$

Из критерия Сильвестра (проверка того, все ли диагональные элементы положительны) следует, что информационная матрица Фишера для случая с двумя параметрами является положительно определенной (при стандартном условии, что параметры формы положительны α > 0 и β > 0).

Четыре параметра

Информация Фишера I ( a , a ) для α = β в зависимости от диапазона ( c − a ) и показателя α = β

Информация Фишера I ( α , a ) для α = β , vs. диапазон ( c − a ) и показатель степени α = β

Если Y ₁ , ..., Y _N — независимые случайные величины, каждая из которых имеет бета-распределение с четырьмя параметрами: показателями α и β , а также a (минимум диапазона распределения) и c (максимум диапазона распределения) ) (раздел «Альтернативные параметризации», «Четыре параметра»), с функцией плотности вероятности :

$f(y;\alpha ,\beta ,a,c)={\frac {f(x;\alpha ,\beta )}{c-a}}={\frac {\left({\frac {y-a}{c-a}}\right)^{\alpha -1}\left({\frac {c-y}{c-a}}\right)^{\beta -1}}{(c-a)B(\alpha ,\beta )}}={\frac {(y-a)^{\alpha -1}(c-y)^{\beta -1}}{(c-a)^{\alpha +\beta -1}B(\alpha ,\beta )}}.$

Совместная логарифмическая функция правдоподобия по N iid наблюдениям равна:

${\frac {1}{N}}\ln({\mathcal {L}}(\alpha ,\beta ,a,c\mid Y))={\frac {\alpha -1}{N}}\sum _{i=1}^{N}\ln(Y_{i}-a)+{\frac {\beta -1}{N}}\sum _{i=1}^{N}\ln(c-Y_{i})-\ln \mathrm {B} (\alpha ,\beta )-(\alpha +\beta -1)\ln(c-a)$

Для случая с четырьмя параметрами информация Фишера имеет 4*4=16 компонентов. Он имеет 12 недиагональных компонентов = (всего 4 × 4 — 4 диагонали). Поскольку информационная матрица Фишера симметрична, половина этих компонентов (12/2=6) независимы. Следовательно, информационная матрица Фишера имеет 6 независимых недиагональных + 4 диагонали = 10 независимых компонентов. Арьял и Надараджа рассчитал информационную матрицу Фишера для случая с четырьмя параметрами следующим образом:

$-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha ^{2}}}=\operatorname {var} [\ln(X)]=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\alpha ,\alpha }=\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha ^{2}}}\right]=\ln(\operatorname {var_{GX}} )$

$-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta ^{2}}}=\operatorname {var} [\ln(1-X)]=\psi _{1}(\beta )-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\beta ,\beta }=\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta ^{2}}}\right]=\ln(\operatorname {var_{G(1-X)}} )$

$-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha \,\partial \beta }}=\operatorname {cov} [\ln X,(1-X)]=-\psi _{1}(\alpha +\beta )={\mathcal {I}}_{\alpha ,\beta }=\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha \,\partial \beta }}\right]=\ln(\operatorname {cov} _{G{X,(1-X)}})$

В приведенных выше выражениях использование X вместо Y в выражениях var[ln( X )] = ln(var _GX ) не является ошибкой . Выражения в терминах логарифмических геометрических дисперсий и логарифмической геометрической ковариации возникают как функции двухпараметрической параметризации X ~ Beta( α , β ), потому что при взятии частных производных по показателям ( α , β ) в случае с четырьмя параметрами , можно получить те же выражения, что и для случая с двумя параметрами: эти члены четырехпараметрической информационной матрицы Фишера не зависят от минимума a и максимума c диапазона распределения. Единственным ненулевым членом при двойном дифференцировании логарифмической функции правдоподобия по показателям α и β является вторая производная логарифма бета-функции: ln(B( α , β )). Этот член не зависит от минимума a и максимума c диапазона распределения. Двойное дифференцирование этого члена приводит к тригамма-функциям. Об этом также свидетельствуют разделы «Максимальное правдоподобие», «Два неизвестных параметра» и «Четыре неизвестных параметра».

Информация Фишера для N i.id образцов в N раз превышает индивидуальную информацию Фишера (уравнение 11.279, стр. 394 книги Cover and Thomas). ). (Арьял и Надараджа возьмите одно наблюдение, N = 1, чтобы вычислить следующие компоненты информации Фишера, что приводит к тому же результату, что и рассмотрение производных логарифма правдоподобия на N наблюдений. Более того, ниже ошибочное выражение для ${\mathcal {I}}_{a,a}$ в Арьяле и Надарадже исправлено.)

${\begin{aligned}\alpha >2:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial a^{2}}}\right]&={\mathcal {I}}_{a,a}={\frac {\beta (\alpha +\beta -1)}{(\alpha -2)(c-a)^{2}}}\\\beta >2:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial c^{2}}}\right]&={\mathcal {I}}_{c,c}={\frac {\alpha (\alpha +\beta -1)}{(\beta -2)(c-a)^{2}}}\\\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial a\,\partial c}}\right]&={\mathcal {I}}_{a,c}={\frac {(\alpha +\beta -1)}{(c-a)^{2}}}\\\alpha >1:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha \,\partial a}}\right]&={\mathcal {I}}_{\alpha ,a}={\frac {\beta }{(\alpha -1)(c-a)}}\\\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \alpha \,\partial c}}\right]&={\mathcal {I}}_{\alpha ,c}={\frac {1}{(c-a)}}\\\operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta \,\partial a}}\right]&={\mathcal {I}}_{\beta ,a}=-{\frac {1}{(c-a)}}\\\beta >1:\quad \operatorname {E} \left[-{\frac {1}{N}}{\frac {\partial ^{2}\ln {\mathcal {L}}(\alpha ,\beta ,a,c\mid Y)}{\partial \beta \,\partial c}}\right]&={\mathcal {I}}_{\beta ,c}=-{\frac {\alpha }{(\beta -1)(c-a)}}\end{aligned}}$

Две нижние диагональные записи информационной матрицы Фишера относительно параметра a (минимум диапазона распределения): ${\mathcal {I}}_{a,a}$, а по параметру c (максимум диапазона распределения): ${\mathcal {I}}_{c,c}$ определены только для показателей α > 2 и β > 2 соответственно. Компонент информационной матрицы Фишера ${\mathcal {I}}_{a,a}$ для минимума a приближается к бесконечности для показателя α, приближающегося к 2 сверху, и компонента информационной матрицы Фишера ${\mathcal {I}}_{c,c}$ для максимума c стремится к бесконечности для показателя β, приближающегося к 2 сверху.

Информационная матрица Фишера для случая четырех параметров не зависит от отдельных значений минимума a и максимума c , а только от общего диапазона ( c − a ). Более того, компоненты информационной матрицы Фишера, которые зависят от диапазона ( c − a ), зависят только через свою обратную величину (или квадрат обратной), так что информация Фишера уменьшается с увеличением диапазона ( c − a ).

На прилагаемых изображениях показаны информационные компоненты Fisher. ${\mathcal {I}}_{a,a}$ и ${\mathcal {I}}_{\alpha ,a}$. Изображения для информационных компонентов Fisher ${\mathcal {I}}_{\alpha ,\alpha }$ и ${\mathcal {I}}_{\beta ,\beta }$ показаны в § Геометрическая дисперсия . Все эти информационные компоненты Фишера имеют вид бассейна, «стенки» которого расположены при низких значениях параметров.

Следующие компоненты информации Фишера с четырьмя параметрами бета-распределения могут быть выражены через два параметра: X ~ Beta(α, β) ожидания преобразованного отношения ((1 − X )/ X ) и его зеркального отображения. ( X /(1 − X )), масштабируемый по диапазону ( c − a ), что может быть полезно для интерпретации:

${\mathcal {I}}_{\alpha ,a}={\frac {\operatorname {E} \left[{\frac {1-X}{X}}\right]}{c-a}}={\frac {\beta }{(\alpha -1)(c-a)}}{\text{ if }}\alpha >1$

${\mathcal {I}}_{\beta ,c}=-{\frac {\operatorname {E} \left[{\frac {X}{1-X}}\right]}{c-a}}=-{\frac {\alpha }{(\beta -1)(c-a)}}{\text{ if }}\beta >1$

Это также ожидаемые значения «обратного бета-распределения» или простого бета-распределения (также известного как бета-распределение второго рода или тип VI Пирсона ). и его зеркальное изображение, масштабированное по диапазону ( c − a ).

Кроме того, следующие компоненты информации Фишера могут быть выражены через гармонические (1/X) дисперсии или дисперсии, основанные на соотношении преобразованных переменных ((1-X)/X) следующим образом:

${\begin{aligned}\alpha >2:\quad {\mathcal {I}}_{a,a}&=\operatorname {var} \left[{\frac {1}{X}}\right]\left({\frac {\alpha -1}{c-a}}\right)^{2}=\operatorname {var} \left[{\frac {1-X}{X}}\right]\left({\frac {\alpha -1}{c-a}}\right)^{2}={\frac {\beta (\alpha +\beta -1)}{(\alpha -2)(c-a)^{2}}}\\\beta >2:\quad {\mathcal {I}}_{c,c}&=\operatorname {var} \left[{\frac {1}{1-X}}\right]\left({\frac {\beta -1}{c-a}}\right)^{2}=\operatorname {var} \left[{\frac {X}{1-X}}\right]\left({\frac {\beta -1}{c-a}}\right)^{2}={\frac {\alpha (\alpha +\beta -1)}{(\beta -2)(c-a)^{2}}}\\{\mathcal {I}}_{a,c}&=\operatorname {cov} \left[{\frac {1}{X}},{\frac {1}{1-X}}\right]{\frac {(\alpha -1)(\beta -1)}{(c-a)^{2}}}=\operatorname {cov} \left[{\frac {1-X}{X}},{\frac {X}{1-X}}\right]{\frac {(\alpha -1)(\beta -1)}{(c-a)^{2}}}={\frac {(\alpha +\beta -1)}{(c-a)^{2}}}\end{aligned}}$

Эти ожидания см. в разделе «Моменты линейно преобразованных, произведенных и инвертированных случайных величин».

Определитель информационной матрицы Фишера представляет интерес (например, для расчета априорной вероятности Джеффриса). Из выражений для отдельных компонент следует, что определитель (симметричной) информационной матрицы Фишера для бета-распределения с четырьмя параметрами равен:

${\begin{aligned}\det({\mathcal {I}}(\alpha ,\beta ,a,c))={}&-{\mathcal {I}}_{a,c}^{2}{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,\beta }+{\mathcal {I}}_{a,a}{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\alpha ,\beta }+{\mathcal {I}}_{a,c}^{2}{\mathcal {I}}_{\alpha ,\beta }^{2}-{\mathcal {I}}_{a,a}{\mathcal {I}}_{c,c}{\mathcal {I}}_{\alpha ,\beta }^{2}\\&{}-{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\beta ,a}+{\mathcal {I}}_{a,c}^{2}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,a}+2{\mathcal {I}}_{c,c}{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,\beta }{\mathcal {I}}_{\beta ,a}\\&{}-2{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\alpha ,\beta }{\mathcal {I}}_{\beta ,a}+{\mathcal {I}}_{\alpha ,c}^{2}{\mathcal {I}}_{\beta ,a}^{2}-{\mathcal {I}}_{c,c}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,a}^{2}+{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,a}^{2}{\mathcal {I}}_{\beta ,c}\\&{}-{\mathcal {I}}_{a,a}{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,c}-{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,\beta }{\mathcal {I}}_{\beta ,c}+{\mathcal {I}}_{a,a}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\alpha ,\beta }{\mathcal {I}}_{\beta ,c}\\&{}-{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\beta ,a}{\mathcal {I}}_{\beta ,c}+{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,a}{\mathcal {I}}_{\beta ,c}-{\mathcal {I}}_{c,c}{\mathcal {I}}_{\alpha ,a}^{2}{\mathcal {I}}_{\beta ,\beta }\\&{}+2{\mathcal {I}}_{a,c}{\mathcal {I}}_{\alpha ,a}{\mathcal {I}}_{\alpha ,c}{\mathcal {I}}_{\beta ,\beta }-{\mathcal {I}}_{a,a}{\mathcal {I}}_{\alpha ,c}^{2}{\mathcal {I}}_{\beta ,\beta }-{\mathcal {I}}_{a,c}^{2}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,\beta }+{\mathcal {I}}_{a,a}{\mathcal {I}}_{c,c}{\mathcal {I}}_{\alpha ,\alpha }{\mathcal {I}}_{\beta ,\beta }{\text{ if }}\alpha ,\beta >2\end{aligned}}$

Используя критерий Сильвестра (проверяя, все ли диагональные элементы положительны), и поскольку диагональные компоненты ${\mathcal {I}}_{a,a}$ и ${\mathcal {I}}_{c,c}$ имеют особенности при α=2 и β=2, то информационная матрица Фишера для четырехпараметрического случая положительно определена при α>2 и β>2. Поскольку при α > 2 и β > 2 бета-распределение имеет (симметричную или несимметричную) колоколообразную форму, отсюда следует, что информационная матрица Фишера положительно определена только для колоколообразных (симметричных или несимметричных) бета-распределений с точками перегиба, расположенными по обе стороны режима. Таким образом, важные хорошо известные распределения, принадлежащие к семейству бета-распределений с четырьмя параметрами, такие как параболическое распределение (Бета (2,2,a,c)) и равномерное распределение (Бета (1,1,a,c)) имеют Фишера информационные компоненты ( ${\mathcal {I}}_{a,a},{\mathcal {I}}_{c,c},{\mathcal {I}}_{\alpha ,a},{\mathcal {I}}_{\beta ,c}$), которые расширяются (стремятся к бесконечности) в случае с четырьмя параметрами (хотя все их информационные компоненты Фишера определены для случая с двумя параметрами). Четырехпараметрическое полукруговое распределение Вигнера (Beta(3/2,3/2, a , c )) и арксинусное распределение (Beta(1/2,1/2, a , c )) имеют отрицательные информационные детерминанты Фишера для четырех -параметрический случай.

Байесовский вывод

Основная статья: Байесовский вывод

$Beta(1,1)$: Плотность вероятности равномерного распределения была предложена Томасом Байесом для обозначения игнорирования априорных вероятностей в байесовском выводе .

Использование бета-распределений в байесовском выводе связано с тем, что они предоставляют семейство сопряженных априорных распределений вероятностей для биномиальных (включая Бернулли ) и геометрических распределений . Область бета-распределения можно рассматривать как вероятность, и фактически бета-распределение часто используется для описания распределения значения вероятности p :

$P(p;\alpha ,\beta )={\frac {p^{\alpha -1}(1-p)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}.$

Примерами бета-распределений, используемых в качестве априорных вероятностей для представления незнания априорных значений параметров в байесовском выводе, являются Бета (1,1), Бета (0,0) и Бета (1/2,1/2).

Правило наследования

Основная статья: Правило преемственности

Классическим применением бета-распределения является правило преемственности , введенное в 18 веке Пьером-Симоном Лапласом. в ходе лечения проблемы восхода солнца . Он утверждает, что при условии s успехов в n условно независимых испытаниях Бернулли с вероятностью p оценка ожидаемого значения в следующем испытании равна ${\frac {s+1}{n+2}}$. Эта оценка представляет собой ожидаемое значение апостериорного распределения по p, а именно Beta( s +1, n − s +1), которое определяется правилом Байеса , если предположить равномерную априорную вероятность по p (т. е. Beta(1, 1)) а затем замечает, что p обеспечил s успехов в n испытаниях. Правило преемственности Лапласа подверглось критике со стороны видных ученых. Р. Т. Кокс описал применение Лапласом правила последовательности к проблеме восхода солнца ( п. 89) как «пародия на правильное использование принципа». Кейнс замечает ( Гл.XXX, с. 382) «действительно, это настолько глупая теорема, что принимать ее в расчет постыдно». Карл Пирсон показал, что вероятность того, что следующие ( n + 1) испытания будут успешными после n успехов в n испытаниях, составляет только 50%, что было сочтено такими учеными, как Джеффрис, слишком низким и неприемлемым как представление научного процесса экспериментирования. проверить предложенный научный закон. Как отметил Джеффрис ( п. 128) (с указанием CD Broad ) Правило преемственности Лапласа устанавливает высокую вероятность успеха ((n+1)/(n+2)) в следующем испытании, но лишь умеренную вероятность (50%) того, что следующая выборка (n+1), сопоставимая по размеру, будет столь же успешным. Как отметил Перкс, «Само правило последовательности трудно принять. Оно присваивает вероятность следующему испытанию, что подразумевает предположение, что фактический наблюдаемый период является средним и что мы всегда находимся в конце среднего цикла. Было бы, можно было бы Думаю, было бы разумнее предположить, что мы находимся в середине среднего периода. Очевидно, что для обеих вероятностей необходимо более высокое значение, если они хотят согласовываться с разумным предположением». Эти проблемы с правилом преемственности Лапласа побудили Холдейна, Перкса, Джеффриса и других искать другие формы априорной вероятности (см. следующий § Байесовский вывод ). По словам Джейнса, Основная проблема с правилом преемственности заключается в том, что оно недействительно, когда s=0 или s=n (см. правило преемственности для анализа его действительности).

Априорная вероятность Байеса – Лапласа (Бета (1,1))

Бета-распределение достигает максимальной дифференциальной энтропии для Beta(1,1): однородной плотности вероятности, для которой все значения в области распределения имеют одинаковую плотность. Это равномерное распределение Beta(1,1) было предложено («с большим сомнением») Томасом Байесом . в качестве априорного распределения вероятностей, чтобы выразить незнание правильного априорного распределения. Это предварительное распределение было принято (видимо, из его сочинений, без особых сомнений). ) Пьера-Симона Лапласа , и поэтому оно было также известно как «правило Байеса-Лапласа» или «правило Лапласа» « обратной вероятности » в публикациях первой половины 20-го века. В конце 19-го века и в начале 20-го века ученые поняли, что предположение о равномерной «равной» плотности вероятности зависит от реальных функций (например, от того, является ли линейная или логарифмическая шкала наиболее подходящей) и используемых параметризаций. . поведение вблизи концов распределений с конечным носителем (например, вблизи x = 0, для распределения с начальным носителем при x В частности, особого внимания требовало = 0). Кейнс ( Гл.XXX, с. 381) раскритиковал использование байесовской равномерной априорной вероятности (Бета(1,1)), согласно которой все значения от нуля до единицы равновероятны, следующим образом: «Таким образом, опыт, если он что-то и показывает, показывает, что существует очень выраженная кластеризация статистических отношений в окрестностях нуля и единицы, для положительных теорий и для корреляций между положительными качествами в окрестности нуля, и для отрицательных теорий и для корреляций между отрицательными качествами в окрестности единицы».

Априорная вероятность Холдейна (Бета(0,0))

$Beta(0,0)$: априорная вероятность Холдейна, выражающая полное незнание априорной информации, когда мы даже не уверены, физически возможно, что эксперимент приведет к успеху или неудаче. При α, β → 0 бета-распределение приближается к двухточечному распределению Бернулли , в котором вся плотность вероятности сосредоточена на каждом конце, в точках 0 и 1, и ничего между ними. Подбрасывание монеты: на одной стороне монеты стоит 0, а на другой — 1.

Распределение Бета(0,0) было предложено Дж.Б.С. Холдейном . который предположил, что априорная вероятность, представляющая полную неопределенность, должна быть пропорциональна p ⁻¹ (1- п ) ⁻¹ . Функция р ⁻¹ (1- п ) ⁻¹ можно рассматривать как предел числителя бета-распределения, поскольку оба параметра формы стремятся к нулю: α, β → 0. Бета-функция (в знаменателе бета-распределения) приближается к бесконечности, для обоих параметров, стремящихся к нулю, α, β → 0. Следовательно, p ⁻¹ (1- п ) ⁻¹ разделенное на бета-функцию, приближается к двухточечному распределению Бернулли с равной вероятностью 1/2 на каждом конце, в точках 0 и 1, и ничего между ними, поскольку α, β → 0. Подбрасывание монеты: одна грань монеты в 0, а другая грань в 1. Априорное распределение вероятностей Холдейна Beta(0,0) является « неправильным априорным », поскольку его интегрирование (от 0 до 1) не может строго сходиться к 1 из-за особенностей на каждом конце. Однако это не проблема для вычисления апостериорных вероятностей, если только размер выборки не очень мал. Кроме того, Зельнер указывает, что в шкале логарифмических шансов ( логит -преобразование ln( p /1 − p )) априор Холдейна является равномерно плоским приором. Тот факт, что равномерная априорная вероятность для логит -преобразованной переменной ln( p /1 − p ) (с областью определения (−∞, ∞)) эквивалентна априорной вероятности Холдейна в области [0, 1], был указан Гарольдом Джеффрисом. в первом издании (1939 г.) его книги «Теория вероятностей» ( п. 123). Джеффрис пишет: «Конечно, если мы доведем правило Байеса-Лапласа до крайности, мы придем к результатам, которые не соответствуют чьему-либо образу мышления. Правило (Холдейна) d x /( x (1 − x )) тоже подходит. Совсем наоборот. Это привело бы к выводу, что если выборка относится к одному типу по какому-то свойству, существует вероятность 1, что вся совокупность принадлежит к этому типу». Тот факт, что «равномерность» зависит от параметризации, побудил Джеффриса искать форму априора, которая была бы инвариантной при различных параметризациях.

Априорная вероятность Джеффриса (Бета (1/2,1/2) для распределения Бернулли или для

Основная статья: Джеффрис приор

Априорная вероятность Джеффриса для бета-распределения: квадратный корень определителя информационной матрицы Фишера : $\scriptstyle {\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}={\sqrt {\psi _{1}(\alpha )\psi _{1}(\beta )-(\psi _{1}(\alpha )+\psi _{1}(\beta ))\psi _{1}(\alpha +\beta )}}$ является функцией тригамма-функции ψ ₁ параметров формы α, β

Апостериорные бета-плотности с выборками, имеющими успех = «s», неудачу = «f» из s /( s + f ) = 1/2 и s + f = {3,10,50}, на основе 3 различных априорных функций вероятности. : Холдейн (Бета(0,0), Джеффрис (Бета(1/2,1/2)) и Байес (Бета(1,1)).Изображение показывает, что между априорными значениями для апостериорного изображения с образцом имеется небольшая разница. размер 50 (с более выраженным пиком вблизи p = 1/2). Значительные различия появляются для очень маленьких размеров выборки (более плоское распределение для размера выборки 3).

Апостериорные бета-плотности с образцами, имеющими успех = «s», неудачу = «f» из s /( s + f ) = 1/4 и s + f ∈ {3,10,50}, на основе трех различных априорных функций вероятности. : Холдейн (Бета(0,0), Джеффрис (Бета(1/2,1/2)) и Байес (Бета(1,1)).Изображение показывает, что между априорными значениями для апостериорного изображения с образцом имеется небольшая разница. размер 50 (с более выраженным пиком вблизи p = 1/4). Значительные различия появляются для очень маленьких размеров выборки (очень асимметричное распределение для вырожденного случая размера выборки = 3, в этом вырожденном и маловероятном случае априорный результат Холдейна равен). обратная J-образная форма с модой при p = 0 вместо p = 1/4. Если имеется достаточно данных выборки , три априора Байеса (Бета (1,1)), Джеффриса (Бета (1/2,1). /2)) и Холдейна (Бета(0,0)) должны давать одинаковые апостериорные плотности вероятности .

Апостериорные бета-плотности с выборками, имеющими успех = s , неудачу = f из s /( s + f ) = 1/4 и s + f ∈ {4,12,40}, на основе трех различных априорных функций вероятности: Холдейн (бета-версия) (0,0), Джеффриса (Бета(1/2,1/2)) и Байеса (Бета(1,1)). На изображении видно, что между априорными значениями для апостериорного отчета имеется небольшая разница с размером выборки 40 (). с более выраженным пиком вблизи p = 1/4). Значительные различия появляются при очень небольших размерах выборки.

Гарольд Джеффрис предложил использовать неинформативную априорную вероятностную меру, которая должна быть инвариантной при перепараметризации : пропорционально квадратному корню из определителя матрицы Фишера информационной . Для распределения Бернулли это можно показать следующим образом: для монеты, которая является «орлом» с вероятностью p ∈ [0, 1] и «решкой» с вероятностью 1 − p , для заданного (H,T) ∈ { (0,1), (1,0)} вероятность равна p ^ЧАС (1 - п ) ^Т . Поскольку T = 1 − H , распределение Бернулли равно p ^ЧАС (1 - п ) ^{1 - Ч} . Учитывая p как единственный параметр, отсюда следует, что логарифмическое правдоподобие для распределения Бернулли равно

$\ln {\mathcal {L}}(p\mid H)=H\ln(p)+(1-H)\ln(1-p).$

Информационная матрица Фишера имеет только один компонент (он является скаляром, поскольку имеется только один параметр: p ), поэтому:

${\begin{aligned}{\sqrt {{\mathcal {I}}(p)}}&={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{dp}}\ln({\mathcal {L}}(p\mid H))\right)^{2}\right]}}\\[6pt]&={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{p}}-{\frac {1-H}{1-p}}\right)^{2}\right]}}\\[6pt]&={\sqrt {p^{1}(1-p)^{0}\left({\frac {1}{p}}-{\frac {0}{1-p}}\right)^{2}+p^{0}(1-p)^{1}\left({\frac {0}{p}}-{\frac {1}{1-p}}\right)^{2}}}\\&={\frac {1}{\sqrt {p(1-p)}}}.\end{aligned}}$

Аналогично для биномиального распределения с n испытаниями Бернулли можно показать, что

${\sqrt {{\mathcal {I}}(p)}}={\frac {\sqrt {n}}{\sqrt {p(1-p)}}}.$

Таким образом, для распределений Бернулли и биномиального распределения априор Джеффриса пропорционален $\scriptstyle {\frac {1}{\sqrt {p(1-p)}}}$, которое оказывается пропорциональным бета-распределению с доменной переменной x = p и параметрами формы α = β = 1/2, арксинусному распределению :

$Beta({\tfrac {1}{2}},{\tfrac {1}{2}})={\frac {1}{\pi {\sqrt {p(1-p)}}}}.$

В следующем разделе будет показано, что константа нормализации априорного значения Джеффриса не имеет значения для конечного результата, поскольку константа нормализации сокращается в теореме Байеса для апостериорной вероятности. Следовательно, бета(1/2,1/2) используется в качестве априора Джеффриса как для распределения Бернулли, так и для биномиального распределения. Как показано в следующем разделе, при использовании этого выражения в качестве априорной вероятности, умноженной на правдоподобие в теореме Байеса , апостериорная вероятность оказывается бета-распределением. Однако важно понимать, что априор Джеффриса пропорционален $\scriptstyle {\frac {1}{\sqrt {p(1-p)}}}$ для распределения Бернулли и биномиального распределения, но не для бета-распределения. Приоритет Джеффриса для бета-распределения определяется определителем информации Фишера для бета-распределения, который, как показано в § информационной матрице Фишера , является функцией тригамма-функции ψ ₁ параметров формы α и β следующим образом:

${\begin{aligned}{\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}&={\sqrt {\psi _{1}(\alpha )\psi _{1}(\beta )-(\psi _{1}(\alpha )+\psi _{1}(\beta ))\psi _{1}(\alpha +\beta )}}\\\lim _{\alpha \to 0}{\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}&=\lim _{\beta \to 0}{\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}=\infty \\\lim _{\alpha \to \infty }{\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}&=\lim _{\beta \to \infty }{\sqrt {\det({\mathcal {I}}(\alpha ,\beta ))}}=0\end{aligned}}$

Как обсуждалось ранее, априор Джеффриса для распределений Бернулли и биномиального распределения пропорционален арксинусному распределению Beta(1/2,1/2), одномерной кривой , которая выглядит как бассейн в зависимости от параметра p распределения Бернулли и биномиальные распределения. Стенки бассейна образуются за счет приближения p к особенностям на концах p → 0 и p → 1, где Beta(1/2,1/2) стремится к бесконечности. Предпосылка Джеффриса для бета-распределения представляет собой двумерную поверхность (встроенную в трехмерное пространство), которая выглядит как бассейн, только две стенки которого сходятся в углу α = β = 0 (и две другие стенки отсутствуют), как функция параметров формы α и β бета-распределения. Две прилегающие стенки этой двумерной поверхности образованы параметрами формы α и β, приближающимися к особенностям (тригамма-функции) при α, β → 0. Она не имеет стенок при α, β → ∞, поскольку в этом случае определитель информационной матрицы Фишера для бета-распределения приближается к нулю.

В следующем разделе будет показано, что априорная вероятность Джеффриса приводит к апостериорным вероятностям (при умножении на биномиальную функцию правдоподобия), которые являются промежуточными между результатами апостериорной вероятности априорных вероятностей Холдейна и Байеса.

Априорное значение Джеффриса может быть трудно получить аналитически, а в некоторых случаях оно просто не существует (даже для простых функций распределения, таких как асимметричное треугольное распределение ). Бергер, Бернардо и Сан, в статье 2009 г. определил эталонное априорное распределение вероятностей, которое (в отличие от априорного распределения Джеффриса) существует для асимметричного треугольного распределения . Они не могут получить выражение в замкнутой форме для своего эталонного априорного значения, но численные расчеты показывают, что оно почти идеально соответствует (правильному) априорному значению.

$\operatorname {Beta} ({\tfrac {1}{2}},{\tfrac {1}{2}})\sim {\frac {1}{\sqrt {\theta (1-\theta )}}}$

где θ — переменная вершины для асимметричного треугольного распределения с поддержкой [0, 1] (соответствует следующим значениям параметров в статье Википедии о треугольном распределении : вершина c = θ , левый конец a = 0 и правый конец b = 1). ). Бергер и др. также приведите эвристический аргумент в пользу того, что Beta(1/2,1/2) действительно может быть точной априорной ссылкой Бергера – Бернардо – Сана для асимметричного треугольного распределения. Таким образом, Beta(1/2,1/2) не только является априорным значением Джеффриса для распределений Бернулли и биномиального распределения, но также, по-видимому, является априорным эталоном Бергера–Бернардо–Сан для асимметричного треугольного распределения (для которого априорное значение Джеффриса не существует), распределение, используемое в управлении проектами и анализе PERT для описания стоимости и продолжительности задач проекта.

Кларк и Бэррон Шеннона докажите, что среди непрерывных положительных априоров априор Джеффриса (если он существует) асимптотически максимизирует взаимную информацию между выборкой размера n и параметром, и, следовательно, априор Джеффриса является наиболее неинформативным априором (измеряя информацию как информацию Шеннона). Доказательство основано на исследовании расхождения Кульбака–Лейблера между функциями плотности вероятности для iid случайных величин.

Влияние различных вариантов априорной вероятности на апостериорное

Если выборки взяты из совокупности случайной величины X, что приводит к s успехам и f неудачам в n испытаниях Бернулли n = s + f , то функция правдоподобия для параметров s и f при условии x = p (обозначение x = p в выражения ниже подчеркнут, что область x обозначает значение параметра p в биномиальном распределении), представляет собой следующее биномиальное распределение :

${\mathcal {L}}(s,f\mid x=p)={s+f \choose s}x^{s}(1-x)^{f}={n \choose s}x^{s}(1-x)^{n-s}.$

Если убеждения об априорной информации о вероятности достаточно хорошо аппроксимируются бета-распределением с параметрами α Prior и β Prior, тогда:

${\operatorname {PriorProbability} }(x=p;\alpha \operatorname {Prior} ,\beta \operatorname {Prior} )={\frac {x^{\alpha \operatorname {Prior} -1}(1-x)^{\beta \operatorname {Prior} -1}}{\mathrm {B} (\alpha \operatorname {Prior} ,\beta \operatorname {Prior} )}}$

Согласно теореме Байеса для непрерывного пространства событий, апостериорная плотность вероятности определяется произведением априорной вероятности и функции правдоподобия (с учетом доказательств s и f = n - s ), нормализованной так, что площадь под кривой равна один, а именно:

${\begin{aligned}&{\text{posterior probability density}}(x=p\mid s,n-s)\\[6pt]={}&{\frac {\operatorname {priorprobabilitydensity} (x=p;\alpha \operatorname {prior} ,\beta \operatorname {prior} ){\mathcal {L}}(s,f\mid x=p)}{\int _{0}^{1}{\text{prior probability density}}(x=p;\alpha \operatorname {prior} ,\beta \operatorname {prior} ){\mathcal {L}}(s,f\mid x=p)\,dx}}\\[6pt]={}&{\frac {{n \choose s}x^{s+\alpha \operatorname {prior} -1}(1-x)^{n-s+\beta \operatorname {prior} -1}/\mathrm {B} (\alpha \operatorname {prior} ,\beta \operatorname {prior} )}{\int _{0}^{1}\left({n \choose s}x^{s+\alpha \operatorname {prior} -1}(1-x)^{n-s+\beta \operatorname {prior} -1}/\mathrm {B} (\alpha \operatorname {prior} ,\beta \operatorname {prior} )\right)\,dx}}\\[6pt]={}&{\frac {x^{s+\alpha \operatorname {prior} -1}(1-x)^{n-s+\beta \operatorname {prior} -1}}{\int _{0}^{1}\left(x^{s+\alpha \operatorname {prior} -1}(1-x)^{n-s+\beta \operatorname {prior} -1}\right)\,dx}}\\[6pt]={}&{\frac {x^{s+\alpha \operatorname {prior} -1}(1-x)^{n-s+\beta \operatorname {prior} -1}}{\mathrm {B} (s+\alpha \operatorname {prior} ,n-s+\beta \operatorname {prior} )}}.\end{aligned}}$

коэффициент Биномиальный

${s+f \choose s}={n \choose s}={\frac {(s+f)!}{s!f!}}={\frac {n!}{s!(n-s)!}}$

появляется как в числителе, так и в знаменателе апостериорной вероятности, и не зависит от переменной интегрирования x , следовательно, сокращается и не имеет отношения к конечному результату. Аналогично, нормирующий коэффициент для априорной вероятности, бета-функция B(αPrior,βPrior), сокращается и не имеет значения для конечного результата. Тот же результат апостериорной вероятности можно получить, если использовать ненормализованное априорное значение.

$x^{\alpha \operatorname {prior} -1}(1-x)^{\beta \operatorname {prior} -1}$

потому что все нормализующие факторы компенсируются. Таким образом, некоторые авторы (включая самого Джеффриса) используют ненормализованную априорную формулу, поскольку константа нормализации уравновешивается. Числитель апостериорной вероятности в конечном итоге оказывается просто (ненормализованным) произведением априорной вероятности и функции правдоподобия, а знаменатель — ее интегралом от нуля до единицы. Бета-функция в знаменателе B( s + α Prior, n - s + β Prior) появляется как константа нормализации, гарантирующая, что общая апостериорная вероятность интегрируется до единицы.

Отношение s / n числа успехов к общему числу испытаний является достаточной статистикой в ​​биномиальном случае, что актуально для следующих результатов.

Для априорной вероятности Байеса (Бета (1,1)), апостериорная вероятность равна:

$\operatorname {posteriorprobability} (p=x\mid s,f)={\frac {x^{s}(1-x)^{n-s}}{\mathrm {B} (s+1,n-s+1)}},{\text{ with mean }}={\frac {s+1}{n+2}},{\text{ (and mode}}={\frac {s}{n}}{\text{ if }}0<s<n).$

Для априорной вероятности Джеффриса (Бета (1/2,1/2)), апостериорная вероятность равна:

$\operatorname {posteriorprobability} (p=x\mid s,f)={x^{s-{\tfrac {1}{2}}}(1-x)^{n-s-{\frac {1}{2}}} \over \mathrm {B} (s+{\tfrac {1}{2}},n-s+{\tfrac {1}{2}})},{\text{ with mean}}={\frac {s+{\tfrac {1}{2}}}{n+1}},{\text{ (and mode}}={\frac {s-{\tfrac {1}{2}}}{n-1}}{\text{ if }}{\tfrac {1}{2}}<s<n-{\tfrac {1}{2}}).$

а для априорной вероятности Холдейна (Бета (0,0)) апостериорная вероятность равна:

$\operatorname {posteriorprobability} (p=x\mid s,f)={\frac {x^{s-1}(1-x)^{n-s-1}}{\mathrm {B} (s,n-s)}},{\text{ with mean}}={\frac {s}{n}},{\text{ (and mode}}={\frac {s-1}{n-2}}{\text{ if }}1<s<n-1).$

Из приведенных выше выражений следует, что для s / n = 1/2) все три вышеуказанные априорные вероятности приводят к идентичному расположению апостериорной вероятности, среднее = мода = 1/2. Для s / n < 1/2 среднее значение апостериорных вероятностей с использованием следующих априорных значений таково: среднее значение для априора Байеса > среднее значение для априора Джеффриса > среднее значение для априора Холдейна. Для s / n > 1/2 порядок этих неравенств меняется на обратный, так что априорная вероятность Холдейна приводит к наибольшему апостериорному среднему. Априорная вероятность Холдейна s Бета(0,0) приводит к апостериорной плотности вероятности со средним значением (ожидаемое значение вероятности успеха в «следующем» испытании), идентичным отношению / n числа успехов к общему числу испытаний. Таким образом, априорный результат Холдейна дает апостериорную вероятность с ожидаемым значением в следующем испытании, равным максимальному правдоподобию. Априорная вероятность Байеса идентичной Beta(1,1) приводит к апостериорной плотности вероятности с модой, отношению s / n (максимальное правдоподобие).

В случае, если 100% испытаний были успешными s = n , априорная вероятность Байеса Beta(1,1) приводит к апостериорному ожидаемому значению, равному правилу последовательности ( n + 1)/( n + 2), в то время как априорная бета-версия Холдейна (0,0) дает апостериорное ожидаемое значение, равное 1 (абсолютная уверенность в успехе в следующем испытании). Априорная вероятность Джеффри приводит к апостериорному ожидаемому значению, равному ( n + 1/2)/( n + 1). льготы (стр. 303) отмечает: «Это обеспечивает новое правило последовательности и выражает «разумную» позицию, которую следует занять, а именно, что после непрерывной серии из n успехов мы предполагаем вероятность следующего испытания, эквивалентную предположению, что мы находимся примерно на середине среднего пробега, т.е. мы ожидаем неудачу один раз в (2 n + 2) испытаниях. Правило Байеса-Лапласа подразумевает, что мы находимся примерно в конце среднего пробега или что мы ожидаем неудачу. один раз в ( n + 2) испытаниях. Сравнение явно свидетельствует в пользу нового результата (того, что теперь называется априорным Джеффрисом) с точки зрения «разумности».

И наоборот, в случае, если 100% испытаний закончились неудачей ( s = 0), априорная вероятность Байеса Beta(1,1) приводит к апостериорному ожидаемому значению успеха в следующем испытании, равному 1/( n + 2), в то время как априорная бета-версия Холдейна (0,0) приводит к апостериорному ожидаемому значению успеха в следующем испытании, равному 0 (абсолютная уверенность в неудаче в следующем испытании). Априорная вероятность Джеффриса приводит к апостериорному ожидаемому значению успеха в следующем испытании, равному (1/2)/( n + 1), что Перкс (стр. 303) указывает: «это гораздо более отдаленный результат, чем результат Байеса – Лапласа 1/( n + 2)».

Джейнс вопросы (для равномерного априора Beta(1,1)) использование этих формул для случаев s = 0 или s = n , поскольку интегралы не сходятся (Beta(1,1) является несобственным априором для s = 0 или s = п ). На практике условия 0<s<n, необходимые для существования режима между обоими концами для априора Байеса, обычно выполняются, и поэтому априор Байеса (пока 0 < s < n ) приводит к апостериорной моде, расположенной между обоими концы домена.

Как отмечалось в разделе о правиле последовательности, К. Пирсон показал, что после n успехов в n испытаниях апостериорная вероятность (основанная на распределении Байеса-бета(1,1) в качестве априорной вероятности) того, что следующее ( n + 1) все испытания будут успешными, ровно 1/2, независимо от значения n . На основе бета-распределения Холдейна (0,0) в качестве априорной вероятности эта апостериорная вероятность равна 1 (абсолютная уверенность в том, что после n успехов в n испытаниях все следующие ( n + 1) испытаний будут успешными). льготы (стр. 303) показывает, что для того, что сейчас известно как априор Джеффриса, эта вероятность равна (( n + 1/2)/( n + 1))(( n + 3/2)/( n + 2) )...(2 n + 1/2)/(2 n + 1), что для n = 1, 2, 3 дает 15/24, 315/480, 9009/13440; быстро приближается к предельному значению $1/{\sqrt {2}}=0.70710678\ldots$ поскольку n стремится к бесконечности. Перкс отмечает, что то, что сейчас известно как априор Джеффриса: «явно более «разумно», чем результат Байеса-Лапласа или результат альтернативного правила (Холдейна), отвергнутого Джеффрисом, который дает уверенность в качестве вероятности. Он явно обеспечивает гораздо лучшее соответствие процессу индукции. Вопрос о том, является ли он «абсолютно» разумным для этой цели, т. е. достаточно ли он велик, без абсурдности достижения единства, — это вопрос, который должны решить другие. результат зависит от предположения о полном безразличии и отсутствии знаний до выборочного эксперимента».

Ниже приведены дисперсии апостериорного распределения, полученные с помощью этих трех априорных распределений вероятностей:

для априорной вероятности Байеса (Бета (1,1)), апостериорная дисперсия равна:

${\text{variance}}={\frac {(n-s+1)(s+1)}{(3+n)(2+n)^{2}}},{\text{ which for }}s={\frac {n}{2}}{\text{ results in variance}}={\frac {1}{12+4n}}$

для априорной вероятности Джеффриса (Бета (1/2,1/2)), апостериорная дисперсия равна:

${\text{variance}}={\frac {(n-s+{\frac {1}{2}})(s+{\frac {1}{2}})}{(2+n)(1+n)^{2}}},{\text{ which for }}s={\frac {n}{2}}{\text{ results in var}}={\frac {1}{8+4n}}$

а для априорной вероятности Холдейна (Бета (0,0)) апостериорная дисперсия равна:

${\text{variance}}={\frac {(n-s)s}{(1+n)n^{2}}},{\text{ which for }}s={\frac {n}{2}}{\text{ results in variance}}={\frac {1}{4+4n}}$

Итак, как заметил Сильви, для больших n дисперсия мала и, следовательно, апостериорное распределение сильно сконцентрировано, тогда как предполагаемое априорное распределение было очень размытым. Это соответствует тому, на что можно было бы надеяться, поскольку расплывчатое априорное знание преобразуется (посредством теоремы Байеса) в более точное апостериорное знание посредством информативного эксперимента. Для малых n априорное значение бета-версии Холдейна (0,0) приводит к наибольшей апостериорной дисперсии, тогда как априорное значение бета-версии Байеса (1,1) приводит к более концентрированному апостериорному отклонению. Предыдущая бета-версия Джеффри (1/2,1/2) приводит к апостериорному отклонению между двумя другими. По мере увеличения n дисперсия быстро уменьшается, так что апостериорная дисперсия для всех трех априорных значений сходится примерно к одному и тому же значению (приближаясь к нулевой дисперсии при n → ∞). Вспоминая предыдущий результат, что априорная вероятность Холдейна Бета(0,0) приводит к апостериорной плотности вероятности со средним (ожидаемым значением вероятности успеха в «следующем» испытании), идентичным отношению s/n числа успехов к общему числу испытаний, из приведенного выше выражения следует, что и Априорная бета-версия Холдейна (0,0) дает апостериорный результат с дисперсией , идентичной дисперсии, выраженной через макс. оценка правдоподобия s/n и размер выборки (в § Дисперсия ):

${\text{variance}}={\frac {\mu (1-\mu )}{1+\nu }}={\frac {(n-s)s}{(1+n)n^{2}}}$

со средним значением µ = s / n и размером выборки ν = n .

В байесовском выводе использование априорного распределения Бета ( α Приор, β Приор) перед биномиальным распределением эквивалентно добавлению ( α Приор - 1) псевдонаблюдений «успеха» и ( β Приор - 1) псевдонаблюдений «успеха». неудач» до фактического количества наблюдаемых успехов и неудач, а затем оцениваю параметр p биномиального распределения по доле успехов как в реальных, так и в псевдонаблюдениях. Равномерная априорная бета(1,1) не добавляет (или вычитает) никаких псевдонаблюдений, поскольку для Beta(1,1) следует, что ( α Prior − 1) = 0 и ( β Prior − 1) = 0. Априорное бета-тестирование Холдейна (0,0) вычитает одно псевдонаблюдение из каждого, а априорное бета-наблюдение Джеффри (1/2,1/2) вычитает 1/2 псевдонаблюдения успеха и такое же количество неудач. Это вычитание приводит к сглаживанию апостериорного распределения. Если доля успешных результатов не составляет 50% ( s / n ≠ 1/2), значения α Prior и β Prior меньше 1 (и, следовательно, отрицательные ( α Prior − 1) и ( β Prior − 1)) благоприятствуют разреженности, т.е. распределения, где параметр p ближе к 0 или 1. По сути, значения α Prior и β Prior от 0 до 1 при совместной работе действуют как параметр концентрации .

Прилагаемые графики показывают апостериорные функции плотности вероятности для размеров выборки n ∈ {3,10,50}, успехов s ∈ { n /2, n /4} и Beta( α Prior, β Prior) ∈ {Beta(0,0 ),Бета(1/2,1/2),Бета(1,1)}. Также показаны случаи для n = {4,12,40}, успеха s = { n /4} и Beta( α Prior, β Prior) ∈ {Beta(0,0), Beta(1/2,1/ 2),Бета(1,1)}. На первом графике показаны симметричные случаи для успехов s ∈ {n/2} со средним значением = mode = 1/2, а на втором графике показаны асимметричные случаи s ∈ { n /4}. Изображения показывают, что разница между априорными данными для апостериорной группы незначительна при размере выборки 50 (характеризуется более выраженным пиком вблизи p = 1/2). Значительные различия появляются для очень маленьких размеров выборки (в частности, для более плоского распределения для вырожденного случая размера выборки = 3). Таким образом, асимметричные случаи с успехами s = { n /4} демонстрируют больший эффект от выбора априора при небольшом размере выборки, чем симметричные случаи. Для симметричных распределений априорное бета-распределение Байеса (1,1) приводит к наиболее «остроконечным» и самым высоким апостериорным распределениям, а априорное бета-распределение Холдейна (0,0) приводит к самому плоскому и самому низкому пиковому распределению. Предыдущая бета-версия Джеффриса (1/2,1/2) находится между ними. Для почти симметричных, не слишком асимметричных распределений эффект априорных значений аналогичен. Для очень маленького размера выборки (в данном случае для размера выборки 3) и неравномерного распределения (в этом примере для s ∈ { n /4}) априор Холдейна может привести к обратному J-образному распределению с особенностью на левом конце. Однако это происходит только в вырожденных случаях (в этом примере n = 3 и, следовательно, s = 3/4 <1, вырожденное значение, поскольку s должно быть больше единицы, чтобы апостериорная часть Холдейна до того имела моду, расположенную между концы, и поскольку s = 3/4 не является целым числом, следовательно, оно нарушает первоначальное предположение о биномиальном распределении вероятности) и не является проблемой в общих случаях разумного размера выборки (таких, что условие 1 < s < n − 1, необходимое для существования режима между обоими концами, выполняется).

В главе 12 (стр. 385) своей книги Джейнс утверждает, что априорная бета-версия Холдейна (0,0) описывает априорное состояние знания при полном незнании , когда мы даже не уверены, физически возможно, что эксперимент приведет к успеху или неудаче, в то время как байесовский (равномерный) предыдущая бета(1,1) применяется, если известно, что возможны оба двоичных результата . Джейнс утверждает: « интерпретируйте априорное правило Байеса-Лапласа (Бета(1,1)) как описывающее не состояние полного невежества , а состояние знания, в котором мы наблюдали один успех и одну неудачу... однажды мы увидели хотя бы один успех и одна неудача, то мы знаем, что эксперимент является истинно бинарным в смысле физической возможности». Джейнс конкретно не обсуждается предыдущая бета-версия Джеффриса (1/2,1/2) (обсуждение Джейном «предшествующей бета-версии Джеффриса» на стр. 181, 423 и в главе 12 книги Джейнса). вместо этого относится к неправильному, ненормализованному предшествующему «1/ p   dp », введенному Джеффрисом в издании его книги 1939 года, за семь лет до этого он представил то, что сейчас известно как априорный инвариант Джеффриса: квадратный корень из определителя информационной матрицы Фишера. «1/p» — это априорный инвариант Джеффриса (1946) для экспоненциального распределения , а не для распределения Бернулли или биномиального распределения ). Однако из приведенного выше обсуждения следует, что априорная бета-версия Джеффриса (1/2,1/2) представляет собой состояние знаний, промежуточное между бета-версией Холдейна (0,0) и априорной бета-версией Байеса (1,1).

Точно так же Карл Пирсон в своей книге 1892 года «Грамматика науки» (стр. 144 издания 1900 года) утверждал, что единый априор Байеса (Бета (1,1) не является априором полного незнания и что его следует использовать, когда априорная информация оправдывает «равномерное распределение нашего незнания»». К. Пирсон писал: «Однако единственное предположение, которое мы, по-видимому, сделали, состоит в том, что, ничего не зная о природе, следует считать рутину и аномию (от греческого ανομία, а именно: а- «без» и nomos «закон»). такое же вероятное явление. Но даже это предположение не имело на самом деле оснований, поскольку оно предполагает знание природы, которым мы не обладаем. Мы используем наш опыт строения и действия монет в целом, чтобы утверждать, что орел и решка. одинаково вероятны, но мы не имеем права утверждать до опыта, что, поскольку мы ничего не знаем о природе, рутина и нарушение одинаково вероятны, по нашему незнанию, мы должны до опыта считать, что природа может состоять из всякой рутины, из всех аномий (безнормальности). ), или смесь того и другого в любой пропорции, и что все это одинаково вероятно. Какая из этих конституций после опыта является наиболее вероятной, очевидно, зависит от того, каким был этот опыт».

Если имеется достаточно данных выборки , а апостериорная мода вероятности не расположена на одном из крайних значений области ( x = 0 или x = 1), три априора Байеса (Бета(1,1)), Джеффриса (Бета (1/2,1/2)) и Холдейна (Бета(0,0)) должны давать аналогичные апостериорные плотности вероятности . В противном случае, как отмечают Гельман и др. (стр. 65) отмечают: «если доступно так мало данных, что выбор неинформативного априорного распределения имеет значение, следует поместить соответствующую информацию в априорное распределение», или, как Бергер (стр. 125) указывает, что «когда разные разумные априорные положения дают существенно разные ответы, может ли быть правильным утверждать, что существует единственный ответ? Не лучше ли было бы признать, что существует научная неопределенность, при которой вывод зависит от предшествующих убеждений?» ?».

Возникновение и применение

Статистика заказов

Основная статья: Статистика заказов

Бета-распределение имеет важное применение в теории статистики порядка . Основной результат состоит в том, что распределение k -й наименьшей выборки размера n из непрерывного равномерного распределения имеет бета-распределение. Этот результат суммируется как:

$U_{(k)}\sim \operatorname {Beta} (k,n+1-k).$

Исходя из этого и применения теории, связанной с преобразованием интеграла вероятности распределение любой статистики отдельного порядка из любого непрерывного распределения . , можно получить

Субъективная логика

Основная статья: Субъективная логика

В стандартной логике предложения считаются либо истинными, либо ложными. Напротив, субъективная логика предполагает, что люди не могут с абсолютной уверенностью определить, является ли утверждение о реальном мире абсолютно истинным или ложным. В субъективной логике оценки апостериорные вероятности бинарных событий могут быть представлены бета-распределениями.

Вейвлет-анализ

Основная статья: Бета-вейвлет

Вейвлет , которая начинается — это волнообразное колебание с амплитудой с нуля, увеличивается, а затем снова уменьшается до нуля. Обычно его можно представить как «краткое колебание», которое быстро затухает. Вейвлеты можно использовать для извлечения информации из самых разных типов данных, включая, помимо прочего, аудиосигналы и изображения. Таким образом, вейвлеты специально создаются так, чтобы иметь определенные свойства, которые делают их полезными для обработки сигналов . Вейвлеты локализованы как по времени, так и по частоте, тогда как стандартное преобразование Фурье локализовано только по частоте. Следовательно, стандартные преобразования Фурье применимы только к стационарным процессам , а вейвлеты применимы к нестационарным процессам . Непрерывные вейвлеты могут быть построены на основе бета-распределения. Бета-вейвлеты можно рассматривать как мягкую разновидность вейвлетов Хаара , форма которых точно настраивается двумя параметрами формы α и β.

генетика

Основная статья: Модель Болдинга – Николса

Дополнительная информация: F-статистика , индекс фиксации и коэффициент связи.

Модель Болдинга-Николса представляет собой двухпараметрическую параметризацию бета-распределения, используемую в популяционной генетике . Это статистическое описание частот аллелей в компонентах подразделенной популяции:

${\begin{aligned}\alpha &=\mu \nu ,\\\beta &=(1-\mu )\nu ,\end{aligned}}$

где $\nu =\alpha +\beta ={\frac {1-F}{F}}$ и $0<F<1$; здесь F — генетическое расстояние (Райта) между двумя популяциями.

проектами: моделирование стоимости задач

Бета-распределение можно использовать для моделирования событий, которые должны происходить в интервале, определяемом минимальным и максимальным значением. По этой причине бета-распределение — наряду с треугольным распределением — широко используется в PERT , методе критического пути (CPM), совместном моделировании графика затрат (JCSM) и других системах управления/контроля проектов для описания времени завершения и стоимости. задачи. широко используются сокращенные вычисления : В управлении проектами для оценки среднего и стандартного отклонения бета-распределения

${\begin{aligned}\mu (X)&={\frac {a+4b+c}{6}}\\[8pt]\sigma (X)&={\frac {c-a}{6}}\end{aligned}}$

где a – минимум, c – максимум, b – наиболее вероятное значение ( режим для α > 1 и β > 1).

Приведенная выше оценка среднего $\mu (X)={\frac {a+4b+c}{6}}$ известна как PERT трехточечная оценка и точна для любого из следующих значений β (для произвольного α в этих диапазонах):

β = α > 1 (симметричный случай) со стандартным отклонением $\sigma (X)={\frac {c-a}{2{\sqrt {1+2\alpha }}}}$, асимметрия = 0 и избыточный эксцесс = ${\frac {-6}{3+2\alpha }}$

или

β = 6 − α для 5 > α > 1 (асимметричный случай) со стандартным отклонением

$\sigma (X)={\frac {(c-a){\sqrt {\alpha (6-\alpha )}}}{6{\sqrt {7}}}},$

асимметрия ${}={\frac {(3-\alpha ){\sqrt {7}}}{2{\sqrt {\alpha (6-\alpha )}}}}$, и избыточный эксцесс ${}={\frac {21}{\alpha (6-\alpha )}}-3$

Приведенная выше оценка стандартного отклонения σ ( X ) = ( c − a )/6 точна для любого из следующих значений α и β :

α = β = 4 (симметричный) с асимметрией = 0 и избыточным эксцессом = −6/11.

β = 6 − α и $\alpha =3-{\sqrt {2}}$ (правосторонний, положительный перекос) с асимметрией ${}={\frac {1}{\sqrt {2}}}$, и избыточный эксцесс = 0

β = 6 − α и $\alpha =3+{\sqrt {2}}$ (левосторонний, отрицательный перекос) с асимметрией ${}={\frac {-1}{\sqrt {2}}}$, и избыточный эксцесс = 0

В противном случае это могут быть плохие аппроксимации для бета-распределений с другими значениями α и β, демонстрирующие средние ошибки 40% в среднем и 549% в дисперсии.

Генерация случайной переменной

Дополнительная информация: Генерация неоднородных случайных величин.

Если X и Y независимы, при этом $X\sim \Gamma (\alpha ,\theta )$ и $Y\sim \Gamma (\beta ,\theta )$ затем

${\frac {X}{X+Y}}\sim \mathrm {B} (\alpha ,\beta ).$

Таким образом, один из алгоритмов генерации бета-вариантов состоит в том, чтобы сгенерировать ${\frac {X}{X+Y}}$, где X — гамма-переменная с параметрами (α, 1), а Y — независимая гамма-переменная с параметрами (β, 1). На самом деле здесь ${\frac {X}{X+Y}}$ и $X+Y$ независимы, и $X+Y\sim \Gamma (\alpha +\beta ,\theta )$. Если $Z\sim \Gamma (\gamma ,\theta )$ и $Z$ не зависит от $X$ и $Y$, затем ${\frac {X+Y}{X+Y+Z}}\sim \mathrm {B} (\alpha +\beta ,\gamma )$ и ${\frac {X+Y}{X+Y+Z}}$ не зависит от ${\frac {X}{X+Y}}$. Это показывает, что произведение независимых $\mathrm {B} (\alpha ,\beta )$ и $\mathrm {B} (\alpha +\beta ,\gamma )$ случайные величины – это $\mathrm {B} (\alpha ,\beta +\gamma )$ случайная величина.

Кроме того, статистика k -го порядка из n равномерно распределенных переменных равна $\mathrm {B} (k,n+1-k)$, поэтому альтернативой, если α и β являются маленькими целыми числами, является создание равномерных переменных α + β − 1 и выбор α-й наименьшей.

Другой способ создания бета-распределения — использование модели урны Полиа . Согласно этому методу, начинают с «урны» с α «черными» шарами и β «белыми» шарами и равномерно рисуют с заменой. В каждой попытке добавляется дополнительный шар в зависимости от цвета последнего выпавшего шара. Асимптотически пропорция черных и белых шаров будет распределяться в соответствии с бета-распределением, где каждое повторение эксперимента будет давать разное значение.

Также возможно использовать выборку обратного преобразования .

к бета

Бета-дистрибутив $\mathrm {B} (\alpha ,\beta )$ с α ~ β и α и β >> 1 примерно нормально со средним значением 1/2 и дисперсией 1/(4(2 α + 1)). Если α ≥ β, нормальное приближение можно улучшить, взяв кубический корень из логарифма обратной величины. $\mathrm {B} (\alpha ,\beta )$

История

Томас Байес в посмертной статье опубликованный в 1763 году Ричардом Прайсом , получил бета-распределение как плотность вероятности успеха в испытаниях Бернулли (см. § Приложения, Байесовский вывод ), но в статье не анализируется ни один из моментов бета-распределения и не обсуждаются какие-либо его характеристики.

Карл Пирсон проанализировал бета-распределение как решение типа I распределений Пирсона.

Первое систематическое современное обсуждение бета-распределения принадлежит, вероятно, Карлу Пирсону . В бумагах Пирсона бета-распределение представлено как решение дифференциального уравнения: распределение Пирсона типа I , которому оно по сути идентично, за исключением произвольного сдвига и масштабирования (бета-распределение и распределение Пирсона типа I всегда можно выровнять путем правильного выбора параметров). Фактически, в нескольких английских книгах и журнальных статьях за несколько десятилетий до Второй мировой войны бета-распределение было принято называть распределением Пирсона типа I. Уильям П. Элдертон в своей монографии 1906 года «Частотные кривые и корреляция». далее анализируется бета-распределение как распределение типа I Пирсона, включая полное обсуждение метода моментов для случая четырех параметров и диаграммы (то, что Элдертон называет) U-образными, J-образными, скрученными J-образными, «взведенными» -шляпной формы, горизонтальные и угловые прямолинейные корпуса. Элдертон писал: «Я главным образом в долгу перед профессором Пирсоном, но это такая задолженность, за которую невозможно выразить официальную благодарность». Элдертон в своей монографии 1906 года. предоставляет впечатляющий объем информации о бета-распределении, включая уравнения происхождения распределения, выбранного в качестве моды, а также других распределений Пирсона: типов от I до VII. Элдертон также включил ряд приложений, в том числе одно приложение («II») по бета- и гамма-функциям. В более поздних изданиях Элдертон добавил уравнения происхождения распределения, выбранного в качестве среднего, и анализ распределений Пирсона с VIII по XII.

Как заметили Боумен и Шентон «У Фишера и Пирсона были разногласия в подходе к оценке (параметров), в частности, в отношении моментов (метода Пирсона) и максимального правдоподобия (метода Фишера) в случае бета-распределения». Также, по мнению Боумана и Шентона, «случай, когда модель типа I (бета-распределение) оказалась в центре разногласий, был чистой случайностью. Трудно было бы найти более сложную модель с четырьмя параметрами». За длительным публичным конфликтом Фишера с Карлом Пирсоном можно следить в ряде статей в престижных журналах. Например, по поводу оценки четырех параметров бета-распределения и критики Фишером метода моментов Пирсона как произвольного см. статью Пирсона «Метод моментов и метод максимального правдоподобия». (опубликовано через три года после его выхода на пенсию из Университетского колледжа в Лондоне, где его должность была разделена между Фишером и сыном Пирсона Эгоном), в которой Пирсон пишет: «Я читал (статью Кошая в Журнале Королевского статистического общества, 1933 г.), которая, насколько насколько мне известно, это единственный опубликованный в настоящее время случай применения метода профессора Фишера. К моему удивлению, этот метод основан на сначала вычислении констант частотной кривой с помощью метода моментов (Пирсона), а затем наложении на них с помощью метода моментов. то, что Фишер называет «методом максимального правдоподобия», является дальнейшим приближением для получения того, чего он придерживается, он, таким образом, получит «более эффективные значения» констант кривой».

Трактат Дэвида и Эдвардса по истории статистики цитирует первую современную трактовку бета-распределения, сделанную в 1911 году: используя обозначение бета, ставшее стандартным, благодаря Коррадо Джини , итальянскому статистику , демографу и социологу , разработавшему коэффициент Джини . Н.Л.Джонсон и С.Коц в своей обширной и очень информативной монографии. о ведущих исторических деятелях в области статистических наук Коррадо Джини. как «ранний байесианец... который занимался проблемой выявления параметров начального бета-распределения, выделяя методы, которые предвосхитили появление так называемого эмпирического байесовского подхода».

Внешние ссылки

• «Бета-распределение» , Фиона Маклахлан, Демонстрационный проект Wolfram , 2007 г.
• Бета-дистрибутив – обзор и пример , xycoon.com
• Бета-распространение , Brighton-webs.co.uk
• Видео о бета-раздаче , exstrom.com
• «Бета-распределение» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Бета-распределение» . Математический мир .
• Статистика Гарвардского университета 110 Лекция 23 Бета-распределение, профессор Джо Блицштейн