Обобщенное нормальное распределение

Обобщенное нормальное распределение или обобщенное распределение Гаусса ( GGD ) представляет собой одно из двух семейств параметрических непрерывных распределений вероятностей на реальной линии. Оба семейства добавляют параметр формы к нормальному распределению . Чтобы различать эти два семейства, ниже они называются «симметричными» и «асимметричными»; однако это не стандартная номенклатура.

Симметричная версия

Симметричная обобщенная норма

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	$\mu \,$ местоположение ( реальное ) $\alpha \,$ масштаб (положительный, реальный ) $\beta \,$ форма (положительная, реальная )
Поддерживать	$x\in (-\infty ;+\infty )\!$
PDF	${\frac {\beta }{2\alpha \Gamma (1/\beta )}}\;e^{-(|x-\mu |/\alpha )^{\beta }}$ $\Gamma$ обозначает гамма-функцию
CDF	${\frac {1}{2}}+{\text{sign}}(x-\mu ){\frac {1}{2\Gamma (1/\beta )}}\gamma \left(1/\beta ,\left|{\frac {x-\mu }{\alpha }}\right|^{\beta }\right)$ где $\beta$ параметр формы, $\alpha$ является параметром масштаба и $\gamma$ – ненормированная неполная нижняя гамма-функция .
Квантиль	${\text{sign}}(p-0.5)\left[\alpha ^{\beta }F^{-1}\left(2|p-0.5|;{\frac {1}{\beta }}\right)\right]^{1/\beta }+\mu$ где $F^{-1}\left(p;a\right)$ - квантильная функция гамма-распределения.
Иметь в виду	$\mu \,$
медиана	$\mu \,$
Режим	$\mu \,$
Дисперсия	${\frac {\alpha ^{2}\Gamma (3/\beta )}{\Gamma (1/\beta )}}$
асимметрия	0
Избыточный эксцесс	${\frac {\Gamma (5/\beta )\Gamma (1/\beta )}{\Gamma (3/\beta )^{2}}}-3$
Энтропия	${\frac {1}{\beta }}-\log \left[{\frac {\beta }{2\alpha \Gamma (1/\beta )}}\right]$

Симметричное обобщенное нормальное распределение , также известное как экспоненциальное распределение степени или обобщенное распределение ошибок , представляет собой параметрическое семейство симметричных распределений . Оно включает в себя все нормальные распределения и распределения Лапласа , а в качестве предельных случаев — все непрерывные равномерные распределения на ограниченных интервалах вещественной прямой.

Это семейство включает нормальное распределение, когда $\textstyle \beta =2$ (со средним $\textstyle \mu$ и дисперсия $\textstyle {\frac {\alpha ^{2}}{2}}$) и включает распределение Лапласа, когда $\textstyle \beta =1$. Как $\textstyle \beta \rightarrow \infty$, плотность сходится поточечно к однородной плотности на $\textstyle (\mu -\alpha ,\mu +\alpha )$.

Это семейство допускает хвосты, которые либо тяжелее обычного (когда $\beta <2$) или светлее обычного (когда $\beta >2$). Это полезный способ параметризации континуума симметричных платикуртических плотностей, отходящих от нормальных ( $\textstyle \beta =2$) до однородной плотности ( $\textstyle \beta =\infty$) и континуум симметричных лептокуртических плотностей, начиная с Лапласа ( $\textstyle \beta =1$) до нормальной плотности ( $\textstyle \beta =2$).Параметр формы $\beta$ также контролируется острота Помимо хвостов, .

Оценка параметров

оценивание параметров методом максимального правдоподобия и методом моментов . Изучено Оценки не имеют замкнутого вида и должны быть получены численно. Также были предложены оценки, не требующие численного расчета.

Обобщенная нормальная логарифмическая функция правдоподобия имеет бесконечно много непрерывных производных (т.е. принадлежит классу C ^∞ ) гладких функций только если $\textstyle \beta$ является положительным, четным целым числом. В противном случае функция имеет $\textstyle \lfloor \beta \rfloor$ непрерывные производные. В результате стандартные результаты о непротиворечивости и асимптотической нормальности максимального правдоподобия оценок $\beta$ применять только тогда, когда $\textstyle \beta \geq 2$.

Оценщик максимального правдоподобия

Можно аппроксимировать обобщенное нормальное распределение, используя приближенный метод максимального правдоподобия . С $\mu$ изначально установлен образец первого момента $m_{1}$, $\textstyle \beta$ оценивается с помощью итеративной процедуры Ньютона-Рафсона , начиная с первоначального предположения $\textstyle \beta =\textstyle \beta _{0}$,

$\beta _{0}={\frac {m_{1}}{\sqrt {m_{2}}}},$

где

$m_{1}={1 \over N}\sum _{i=1}^{N}|x_{i}|,$

– первый статистический момент абсолютных значений и $m_{2}$ – второй статистический момент . Итерация

$\beta _{i+1}=\beta _{i}-{\frac {g(\beta _{i})}{g'(\beta _{i})}},$

где

$g(\beta )=1+{\frac {\psi (1/\beta )}{\beta }}-{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |}{\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}+{\frac {\log({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta })}{\beta }},$

и

${\begin{aligned}g'(\beta )={}&-{\frac {\psi (1/\beta )}{\beta ^{2}}}-{\frac {\psi '(1/\beta )}{\beta ^{3}}}+{\frac {1}{\beta ^{2}}}-{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }(\log |x_{i}-\mu |)^{2}}{\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}\\[6pt]&{}+{\frac {\left(\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |\right)^{2}}{\left(\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)^{2}}}+{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |}{\beta \sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}\\[6pt]&{}-{\frac {\log \left({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)}{\beta ^{2}}},\end{aligned}}$

и где $\psi$ и $\psi '$ — это дигамма-функция и тригамма-функция .

Учитывая значение для $\textstyle \beta$, можно оценить $\mu$ найдя минимум:

$\min _{\mu }=\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }$

Окончательно $\textstyle \alpha$ оценивается как

$\alpha =\left({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)^{1/\beta }.$

Для $\beta \leq 1$медиана является более подходящей оценкой $\mu$ . Один раз $\mu$ оценивается, $\beta$ и $\alpha$ можно оценить, как описано выше.

Приложения

Симметричное обобщенное нормальное распределение использовалось при моделировании, когда концентрация значений вокруг среднего значения и поведение хвоста представляют особый интерес. Другие семейства распределений можно использовать, если основное внимание уделяется другим отклонениям от нормальности. Если основной интерес представляет симметрия распределения, можно использовать косо нормальное семейство или асимметричную версию обобщенного нормального семейства, обсуждаемую ниже. Если основной интерес представляет поведение хвоста, можно использовать семейство Стьюдента , которое аппроксимирует нормальное распределение по мере того, как степени свободы растут до бесконечности. Распределение t, в отличие от этого обобщенного нормального распределения, имеет более тяжелые хвосты, чем нормальное, без образования точки возврата в начале координат. Оно находит применение в физике плазмы под названием «распределение Лэнгдона», возникающее в результате обратного тормозного излучения.

Характеристики

Моменты

Позволять $X_{\beta }$ быть нулевым средним обобщенным гауссовским распределением формы $\beta$ и параметр масштабирования $\alpha$ . Моменты $X_{\beta }$ существуют и конечны для любого k, большего −1. Для любого неотрицательного целого числа k простые центральные моменты равны

$\operatorname {E} \left[X_{\beta }^{k}\right]={\begin{cases}0&{\text{if }}k{\text{ is odd,}}\\\alpha ^{k}\Gamma \left({\frac {k+1}{\beta }}\right){\Big /}\,\Gamma \left({\frac {1}{\beta }}\right)&{\text{if }}k{\text{ is even.}}\end{cases}}$

Подключение к стабильному распределению подсчета

С точки зрения распределения стабильного количества , $\beta$ можно рассматривать как параметр устойчивости Леви. Это распределение можно разложить до интеграла от плотности ядра, где ядро ​​представляет собой либо распределение Лапласа , либо распределение Гаусса :

${\frac {1}{2}}{\frac {1}{\Gamma ({\frac {1}{\beta }}+1)}}e^{-z^{\beta }}={\begin{cases}\displaystyle \int _{0}^{\infty }{\frac {1}{\nu }}\left({\frac {1}{2}}e^{-|z|/\nu }\right){\mathfrak {N}}_{\beta }(\nu )\,d\nu ,&1\geq \beta >0;{\text{or }}\\\displaystyle \int _{0}^{\infty }{\frac {1}{s}}\left({\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}(z/s)^{2}}\right)V_{\beta }(s)\,ds,&2\geq \beta >0;\end{cases}}$

где ${\mathfrak {N}}_{\beta }(\nu )$ - стабильное распределение количества и $V_{\beta }(s)$ это стабильное распределение объемов .

Связь с положительно определенными функциями

Функция плотности вероятности симметричного обобщенного нормального распределения является положительно определенной функцией для $\beta \in (0,2]$.

Бесконечная делимость

Симметричное обобщенное распределение Гаусса является бесконечно делимым тогда и только тогда, когда $\beta \in (0,1]\cup \{2\}$.

Обобщения

Многомерное обобщенное нормальное распределение, т.е. произведение $n$ экспоненциальные распределения мощности с одинаковыми $\beta$ и $\alpha$ параметров – единственная плотность вероятности, которую можно записать в виде $p(\mathbf {x} )=g(\|\mathbf {x} \|_{\beta })$ и имеет независимые маргиналы. Результаты для частного случая многомерного нормального распределения первоначально приписывались Максвеллу .

Асимметричная версия

Асимметричная обобщенная норма

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	$\xi \,$ местоположение ( реальное ) $\alpha \,$ масштаб (положительный, реальный ) $\kappa \,$ форма ( настоящая )
Поддерживать	$x\in (-\infty ,\xi +\alpha /\kappa ){\text{ if }}\kappa >0$ $x\in (-\infty ,\infty ){\text{ if }}\kappa =0$ $x\in (\xi +\alpha /\kappa ,+\infty ){\text{ if }}\kappa <0$
PDF	${\frac {\phi (y)}{\alpha -\kappa (x-\xi )}}$, где $y={\begin{cases}-{\frac {1}{\kappa }}\log \left[1-{\frac {\kappa (x-\xi )}{\alpha }}\right]&{\text{if }}\kappa \neq 0\\{\frac {x-\xi }{\alpha }}&{\text{if }}\kappa =0\end{cases}}$ $\phi$ это стандартный обычный pdf
CDF	$\Phi (y)$, где $y={\begin{cases}-{\frac {1}{\kappa }}\log \left[1-{\frac {\kappa (x-\xi )}{\alpha }}\right]&{\text{if }}\kappa \neq 0\\{\frac {x-\xi }{\alpha }}&{\text{if }}\kappa =0\end{cases}}$ $\Phi$ стандартный нормальный CDF
Иметь в виду	$\xi -{\frac {\alpha }{\kappa }}\left(e^{\kappa ^{2}/2}-1\right)$
медиана	$\xi \,$
Дисперсия	${\frac {\alpha ^{2}}{\kappa ^{2}}}e^{\kappa ^{2}}\left(e^{\kappa ^{2}}-1\right)$
асимметрия	${\frac {3e^{\kappa ^{2}}-e^{3\kappa ^{2}}-2}{(e^{\kappa ^{2}}-1)^{3/2}}}{\text{ sign}}(\kappa )$
Избыточный эксцесс	$e^{4\kappa ^{2}}+2e^{3\kappa ^{2}}+3e^{2\kappa ^{2}}-6$

Не путать с перекосом нормального распределения .

Асимметричное обобщенное нормальное распределение — это семейство непрерывных распределений вероятностей, в которых параметр формы может использоваться для введения асимметрии или асимметрии. Когда параметр формы равен нулю, получается нормальное распределение. Положительные значения параметра формы дают смещенные влево распределения, ограниченные вправо, а отрицательные значения параметра формы дают смещенные вправо распределения, ограниченные влево. Только когда параметр формы равен нулю, функция плотности для этого распределения положительна по всей действительной линии: в этом случае распределение является нормальным распределением , в противном случае распределения являются смещенными и, возможно, обратными логнормальными распределениями .

Оценка параметров

Параметры можно оценить с помощью оценки максимального правдоподобия или метода моментов. Оценки параметров не имеют замкнутого вида, поэтому для расчета оценок необходимо использовать численные расчеты. Поскольку пространство выборки (набор действительных чисел, плотность которых отлична от нуля) зависит от истинного значения параметра, некоторые стандартные результаты о производительности оценок параметров не будут автоматически применяться при работе с этим семейством.

Приложения

Асимметричное обобщенное нормальное распределение можно использовать для моделирования значений, которые могут быть нормально распределены или могут быть скошены вправо или влево относительно нормального распределения. Асимметричное нормальное распределение — это еще одно распределение, которое полезно для моделирования отклонений от нормальности из-за асимметрии. Другие распределения, используемые для моделирования асимметричных данных, включают гамма-распределение , логнормальное распределение и распределение Вейбулла , но они не включают нормальное распределение как особые случаи.

Расхождение Кульбака-Лейблера между двумя PDF-файлами

Дивергенция Кульбака-Лейблера (KLD) — это метод, используемый для вычисления расхождения или сходства между двумя функциями плотности вероятности.

Позволять $P(x)$ и $Q(x)$ два обобщенных распределения Гаусса с параметрами $\alpha _{1},\beta _{1},\mu _{1}$ и $\alpha _{2},\beta _{2},\mu _{2}$с учетом ограничения $\mu _{1}=\mu _{2}=0$. Тогда это расхождение определяется выражением:

$KLD_{pdf}(P(x)||Q(x))=-{\frac {1}{\beta _{1}}}+{\frac {({\frac {\alpha _{1}}{\alpha _{2}}})^{\beta _{2}}\Gamma ({\frac {1+\beta _{2}}{\beta _{1}}})}{\Gamma ({\frac {1}{\beta _{1}}})}}+\log \left({\frac {\alpha _{2}\Gamma (1+{\frac {1}{\beta _{2}}})}{\alpha _{1}\Gamma (1+{\frac {1}{\beta _{1}}})}}\right)$

Другие распределения, относящиеся к нормальному

Два описанных здесь обобщенных нормальных семейства, как и семейство косых нормалей , представляют собой параметрические семейства, которые расширяют нормальное распределение путем добавления параметра формы. Из-за центральной роли нормального распределения в вероятности и статистике многие распределения можно охарактеризовать с точки зрения их связи с нормальным распределением. Например, логарифмически нормальное , свернутое нормальное и обратное нормальное распределения определяются как преобразования нормально распределенных значений, но в отличие от обобщенных нормальных и косонормальных семейств они не включают нормальные распределения как особые случаи.

На самом деле все распределения с конечной дисперсией в пределе тесно связаны с нормальным распределением. Распределение Стьюдента, распределение Ирвина-Холла и распределение Бейтса также расширяют нормальное распределение и включают в предел нормальное распределение. Таким образом, нет веской причины отдавать предпочтение «обобщенному» нормальному распределению типа 1, например, комбинации Стьюдента-t и нормализованному расширенному распределению Ирвина-Холла – это могло бы включать, например, треугольное распределение (которое не может быть смоделировано обобщенным гауссовым распределением). тип 1).

Симметричное распределение, которое может моделировать как хвост (длинный и короткий) , так и полностью независимо поведение центра (например, плоское, треугольное или гауссово), например, используя X = IH/chi.

Распределение Тьюки g и h также допускает отклонение от нормальности как из-за асимметрии, так и из-за «жирных хвостов»<ref>Распределение Тьюки g и h Юань Ян, Марк Дж. ДжентонЗначение, том 16, выпуск 3, июнь 2019 г., страницы 12–13, https://doi.org/10.1111/j.1740-9713.2019.01273.x , https://academic.oup.com/jrssig/article/ 03.16.12/7037766?login=false <ref>.

См. также

• Комплексное нормальное распределение
• Искажение нормального распределения