Масштабированное обратное распределение хи-квадрат

Масштабированный обратный хи-квадрат

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	$\nu >0\,$ $\tau ^{2}>0\,$
Поддерживать	$x\in (0,\infty )$
PDF	${\frac {(\tau ^{2}\nu /2)^{\nu /2}}{\Gamma (\nu /2)}}~{\frac {\exp \left[{\frac {-\nu \tau ^{2}}{2x}}\right]}{x^{1+\nu /2}}}$
CDF	$\Gamma \left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)\left/\Gamma \left({\frac {\nu }{2}}\right)\right.$
Иметь в виду	${\frac {\nu \tau ^{2}}{\nu -2}}$ для $\nu >2\,$
Режим	${\frac {\nu \tau ^{2}}{\nu +2}}$
Дисперсия	${\frac {2\nu ^{2}\tau ^{4}}{(\nu -2)^{2}(\nu -4)}}$для $\nu >4\,$
асимметрия	${\frac {4}{\nu -6}}{\sqrt {2(\nu -4)}}$для $\nu >6\,$
Избыточный эксцесс	${\frac {12(5\nu -22)}{(\nu -6)(\nu -8)}}$для $\nu >8\,$
Энтропия	${\frac {\nu }{2}}\!+\!\ln \left({\frac {\tau ^{2}\nu }{2}}\Gamma \left({\frac {\nu }{2}}\right)\right)$ $\!-\!\left(1\!+\!{\frac {\nu }{2}}\right)\psi \left({\frac {\nu }{2}}\right)$
МГФ	${\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2\tau ^{2}\nu t}}\right)$
CF	${\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-i\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2i\tau ^{2}\nu t}}\right)$

Масштабированное обратное распределение хи-квадрат $\psi \,{\mbox{inv-}}\chi ^{2}(\nu )$, где $\psi$ - параметр масштаба, равный одномерному обратному распределению Уишарта. ${\mathcal {W}}^{-1}(\psi ,\nu )$ со степенями свободы $\nu$.

Это семейство масштабированных обратных распределений хи-квадрат связано с обратным распределением хи-квадрат и с распределением хи-квадрат :

Если $X\sim \psi \,{\mbox{inv-}}\chi ^{2}(\nu )$ затем $X/\psi \sim {\mbox{inv-}}\chi ^{2}(\nu )$ а также $\psi /X\sim \chi ^{2}(\nu )$ и $1/X\sim \psi ^{-1}\chi ^{2}(\nu )$.

Вместо $\psi$однако чаще всего используется масштабированное обратное распределение хи-квадрат.параметризуется параметром масштаба $\tau ^{2}=\psi /\nu$ и распределение $\nu \tau ^{2}\,{\mbox{inv-}}\chi ^{2}(\nu )$ обозначается ${\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$.

С точки зрения $\tau ^{2}$ указанные выше соотношения можно записать следующим образом:

Если $X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$ затем ${\frac {X}{\nu \tau ^{2}}}\sim {\mbox{inv-}}\chi ^{2}(\nu )$ а также ${\frac {\nu \tau ^{2}}{X}}\sim \chi ^{2}(\nu )$ и $1/X\sim {\frac {1}{\nu \tau ^{2}}}\chi ^{2}(\nu )$.

Это семейство масштабированных обратных распределений хи-квадрат представляет собой репараметризацию обратного гамма-распределения .

В частности, если

$X\sim \psi \,{\mbox{inv-}}\chi ^{2}(\nu )={\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$ затем $X\sim {\textrm {Inv-Gamma}}\left({\frac {\nu }{2}},{\frac {\psi }{2}}\right)={\textrm {Inv-Gamma}}\left({\frac {\nu }{2}},{\frac {\nu \tau ^{2}}{2}}\right)$

Любая форма может использоваться для представления максимального распределения энтропии для фиксированного первого обратного момента. $(E(1/X))$ и первый логарифмический момент $(E(\ln(X))$.

Масштабированное обратное распределение хи-квадрат также находит особое применение в байесовской статистике . В частности, масштабированное обратное распределение хи-квадрат можно использовать в качестве сопряженного априора для дисперсии параметра нормального распределения . Тот же априор в альтернативной параметризации определяется выражением обратное гамма-распределение .

Характеристика

Функция плотности вероятности масштабированного обратного распределения хи-квадрат распространяется на область $x>0$ и есть

$f(x;\nu ,\tau ^{2})={\frac {(\tau ^{2}\nu /2)^{\nu /2}}{\Gamma (\nu /2)}}~{\frac {\exp \left[{\frac {-\nu \tau ^{2}}{2x}}\right]}{x^{1+\nu /2}}}$

где $\nu$ - параметр степеней свободы и $\tau ^{2}$ — параметр масштаба . Кумулятивная функция распределения равна

$F(x;\nu ,\tau ^{2})=\Gamma \left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)\left/\Gamma \left({\frac {\nu }{2}}\right)\right.$

$=Q\left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)$

где $\Gamma (a,x)$ – неполная гамма-функция , $\Gamma (x)$ и функция гамма - $Q(a,x)$ представляет собой регуляризованную гамма-функцию . Характеристическая функция ​

$\varphi (t;\nu ,\tau ^{2})=$

${\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-i\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2i\tau ^{2}\nu t}}\right),$

где $K_{\frac {\nu }{2}}(z)$ — модифицированная функция Бесселя второго рода .

Оценка параметров

максимального правдоподобия Оценка $\tau ^{2}$ является

$\tau ^{2}=n/\sum _{i=1}^{n}{\frac {1}{x_{i}}}.$

Оценка максимального правдоподобия ${\frac {\nu }{2}}$ можно найти с помощью метода Ньютона :

$\ln \left({\frac {\nu }{2}}\right)-\psi \left({\frac {\nu }{2}}\right)={\frac {1}{n}}\sum _{i=1}^{n}\ln \left(x_{i}\right)-\ln \left(\tau ^{2}\right),$

где $\psi (x)$ это дигамма-функция . Первоначальную оценку можно найти, взяв формулу для среднего значения и решив ее для $\nu .$ Позволять ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$ быть выборочным средним. Тогда первоначальная оценка $\nu$ дается:

${\frac {\nu }{2}}={\frac {\bar {x}}{{\bar {x}}-\tau ^{2}}}.$

Байесовская оценка дисперсии нормального распределения

Масштабированное обратное распределение хи-квадрат имеет второе важное применение: байесовскую оценку дисперсии нормального распределения.

Согласно теореме Байеса , апостериорное распределение вероятностей интересующих величин пропорционально произведению априорного распределения величин и функции правдоподобия :

$p(\sigma ^{2}|D,I)\propto p(\sigma ^{2}|I)\;p(D|\sigma ^{2})$

где D представляет данные, а I представляет любую исходную информацию об σ. ² что, возможно, у нас уже есть.

Самый простой сценарий возникает, если среднее значение µ уже известно; или, альтернативно, если это условное распределение σ ² искомое значение для конкретного предполагаемого значения µ.

Тогда член правдоподобия L (σ ² | D ) знак равно п ( D |σ ² ) имеет привычный вид

${\mathcal {L}}(\sigma ^{2}|D,\mu )={\frac {1}{\left({\sqrt {2\pi }}\sigma \right)^{n}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]$

Объединив это с априорным изменением масштаба p(σ ² | я ) = 1/с ² , который, как можно утверждать (например, вслед за Джеффрисом ), является наименее информативным из возможных априорных значений для σ ² в этой задаче дает комбинированную апостериорную вероятность

$p(\sigma ^{2}|D,I,\mu )\propto {\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]$

Эту форму можно признать формой масштабированного обратного распределения хи-квадрат с параметрами ν = n и τ. ² = с ² = (1/ n ) Σ (x _i -μ) ²

Гельман и др. отмечают, что повторное появление этого распределения, ранее наблюдавшегося в контексте выборки, может показаться примечательным; но, учитывая выбор приора, «результат неудивителен».

В частности, выбор масштабно-инвариантного приора для σ ² приводит к тому, что вероятность отношения σ ² / с ² имеет ту же форму (независимо от обусловливающей переменной), когда обусловлено s ² как при условии σ ² :

$p({\tfrac {\sigma ^{2}}{s^{2}}}|s^{2})=p({\tfrac {\sigma ^{2}}{s^{2}}}|\sigma ^{2})$

В случае теории выборки, обусловленной σ ² , распределение вероятностей для (1/s ² ) представляет собой масштабированное обратное распределение хи-квадрат; и поэтому распределение вероятностей для σ ² обусловленный s ² , учитывая априорное распределение, не зависящее от масштаба, также является масштабированным обратным распределением хи-квадрат.

Использовать в качестве информативного априора

Если больше известно о возможных значениях σ ² , распределение из масштабированного семейства обратных хи-квадрат, например Scale-inv-χ ² ( п ₀ , с ₀ ² ) может быть удобной формой для представления более информативного априора для σ ² , как будто из результата n ₀ предыдущих наблюдений (хотя n ₀ не обязательно должно быть целым числом):

$p(\sigma ^{2}|I^{\prime },\mu )\propto {\frac {1}{\sigma ^{n_{0}+2}}}\;\exp \left[-{\frac {n_{0}s_{0}^{2}}{2\sigma ^{2}}}\right]$

Такое априорное распределение привело бы к апостериорному распределению

$p(\sigma ^{2}|D,I^{\prime },\mu )\propto {\frac {1}{\sigma ^{n+n_{0}+2}}}\;\exp \left[-{\frac {ns^{2}+n_{0}s_{0}^{2}}{2\sigma ^{2}}}\right]$

которое само по себе является масштабированным обратным распределением хи-квадрат. Таким образом, масштабированные обратные распределения хи-квадрат представляют собой удобное сопряженное априорное семейство для σ ² оценка.

Оценка дисперсии, когда среднее значение неизвестно

Если среднее значение неизвестно, то наиболее неинформативным априорным значением, которое можно принять за него, является, возможно, трансляционно-инвариантное априорное значение p (μ| I ) ∝ const., которое дает следующее совместное апостериорное распределение для μ и σ ² ,

${\begin{aligned}p(\mu ,\sigma ^{2}\mid D,I)&\propto {\frac {1}{\sigma ^{n+2}}}\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]\\&={\frac {1}{\sigma ^{n+2}}}\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\exp \left[-{\frac {n(\mu -{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\end{aligned}}$

Маргинальное апостериорное распределение σ ² получается из совместного апостериорного распределения путем интегрирования по μ,

${\begin{aligned}p(\sigma ^{2}|D,I)\;\propto \;&{\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\;\int _{-\infty }^{\infty }\exp \left[-{\frac {n(\mu -{\bar {x}})^{2}}{2\sigma ^{2}}}\right]d\mu \\=\;&{\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\;{\sqrt {2\pi \sigma ^{2}/n}}\\\propto \;&(\sigma ^{2})^{-(n+1)/2}\;\exp \left[-{\frac {(n-1)s^{2}}{2\sigma ^{2}}}\right]\end{aligned}}$

Это снова масштабированное обратное распределение хи-квадрат с параметрами $\scriptstyle {n-1}\;$ и $\scriptstyle {s^{2}=\sum (x_{i}-{\bar {x}})^{2}/(n-1)}$.

Связанные дистрибутивы

• Если $X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$ затем $kX\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,k\tau ^{2})\,$
• Если $X\sim {\mbox{inv-}}\chi ^{2}(\nu )\,$ ( Распределение обратного хи-квадрата ) тогда $X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,1/\nu )\,$
• Если $X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$ затем ${\frac {X}{\tau ^{2}\nu }}\sim {\mbox{inv-}}\chi ^{2}(\nu )\,$ ( Распределение обратного хи-квадрата )
• Если $X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})$ затем $X\sim {\textrm {Inv-Gamma}}\left({\frac {\nu }{2}},{\frac {\nu \tau ^{2}}{2}}\right)$ ( Обратное гамма-распределение )
• Масштабированное обратное распределение хи-квадрат является частным случаем распределения Пирсона 5-го типа.

Ссылки

• Гельман А. и др. (1995), Байесовский анализ данных , стр. 474–475; также стр. 47, 480