Обобщенное распределение Парето

Эта статья посвящена особому семейству непрерывных распределений, называемому обобщенным распределением Парето. Чтобы узнать об иерархии обобщенных распределений Парето, см. Распределение Парето .

Обобщенное распределение Парето

Функция плотности вероятности Функции распределения GPD для $\mu =0$ и разные значения $\sigma$ и $\xi$
Кумулятивная функция распределения
Параметры	$\mu \in (-\infty ,\infty )\,$ местоположение ( реальное ) $\sigma \in (0,\infty )\,$ масштаб (реальный) $\xi \in (-\infty ,\infty )\,$ форма (настоящая)
Поддерживать	$x\geqslant \mu \,\;(\xi \geqslant 0)$ $\mu \leqslant x\leqslant \mu -\sigma /\xi \,\;(\xi <0)$
PDF	$(1+\xi z)^{-(1/\xi +1)}$ где $z={\frac {x-\mu }{\sigma }}$
CDF	$1-(1+\xi z)^{-1/\xi }\,$
Иметь в виду	$\mu +{\frac {\sigma }{1-\xi }}\,\;(\xi <1)$
медиана	$\mu +{\frac {\sigma (2^{\xi }-1)}{\xi }}$
Режим	$\mu$
Дисперсия	${\frac {\sigma ^{2}}{(1-\xi )^{2}(1-2\xi )}}\,\;(\xi <1/2)$
асимметрия	${\frac {2(1+\xi ){\sqrt {1-2\xi }}}{(1-3\xi )}}\,\;(\xi <1/3)$
Избыточный эксцесс	${\frac {3(1-2\xi )(2\xi ^{2}+\xi +3)}{(1-3\xi )(1-4\xi )}}-3\,\;(\xi <1/4)$
Энтропия	$\log(\sigma )+\xi +1$
МГФ	$e^{\theta \mu }\,\sum _{j=0}^{\infty }\left[{\frac {(\theta \sigma )^{j}}{\prod _{k=0}^{j}(1-k\xi )}}\right],\;(k\xi <1)$
CF	$e^{it\mu }\,\sum _{j=0}^{\infty }\left[{\frac {(it\sigma )^{j}}{\prod _{k=0}^{j}(1-k\xi )}}\right],\;(k\xi <1)$
Метод моментов	$\xi ={\frac {1}{2}}\left(1-{\frac {(E[X]-\mu )^{2}}{V[X]}}\right)$ $\sigma =(E[X]-\mu )(1-\xi )$
Ожидаемый дефицит	${\begin{cases}\mu +\sigma \left[{\frac {(1-p)^{-\xi }}{1-\xi }}+{\frac {(1-p)^{-\xi }-1}{\xi }}\right]&,\xi \neq 0\\\mu +\sigma [1-\ln(1-p)]&,\xi =0\end{cases}}$

В статистике обобщенное распределение Парето (GPD) представляет собой семейство непрерывных распределений вероятностей . Его часто используют для моделирования хвостов другого распределения. Задается тремя параметрами: местоположение $\mu$, шкала $\sigma$и форма $\xi$. Иногда он определяется только масштабом и формой. а иногда только по параметру формы. В некоторых ссылках параметр формы указывается как $\kappa =-\xi \,$.

Определение

Стандартная кумулятивная функция распределения (cdf) GPD определяется формулой

$F_{\xi }(z)={\begin{cases}1-\left(1+\xi z\right)^{-1/\xi }&{\text{for }}\xi \neq 0,\\1-e^{-z}&{\text{for }}\xi =0.\end{cases}}$

где поддержка $z\geq 0$ для $\xi \geq 0$ и $0\leq z\leq -1/\xi$ для $\xi <0$. Соответствующая функция плотности вероятности (pdf) равна

$f_{\xi }(z)={\begin{cases}(1+\xi z)^{-{\frac {\xi +1}{\xi }}}&{\text{for }}\xi \neq 0,\\e^{-z}&{\text{for }}\xi =0.\end{cases}}$

Характеристика

Соответствующее семейство распределений в масштабе местоположения получается путем замены аргумента z на ${\frac {x-\mu }{\sigma }}$ и соответствующим образом отрегулировать поддержку.

Кумулятивная распределения функция $X\sim GPD(\mu ,\sigma ,\xi )$ ( $\mu \in \mathbb {R}$, $\sigma >0$, и $\xi \in \mathbb {R}$) является

$F_{(\mu ,\sigma ,\xi )}(x)={\begin{cases}1-\left(1+{\frac {\xi (x-\mu )}{\sigma }}\right)^{-1/\xi }&{\text{for }}\xi \neq 0,\\1-\exp \left(-{\frac {x-\mu }{\sigma }}\right)&{\text{for }}\xi =0,\end{cases}}$

где поддержка $X$ является $x\geqslant \mu$ когда $\xi \geqslant 0\,$, и $\mu \leqslant x\leqslant \mu -\sigma /\xi$ когда $\xi <0$.

Функция плотности вероятности (pdf) $X\sim GPD(\mu ,\sigma ,\xi )$ является

$f_{(\mu ,\sigma ,\xi )}(x)={\frac {1}{\sigma }}\left(1+{\frac {\xi (x-\mu )}{\sigma }}\right)^{\left(-{\frac {1}{\xi }}-1\right)}$,

опять же, для $x\geqslant \mu$ когда $\xi \geqslant 0$, и $\mu \leqslant x\leqslant \mu -\sigma /\xi$ когда $\xi <0$.

PDF-файл является решением следующего дифференциального уравнения :

$\left\{{\begin{array}{l}f'(x)(-\mu \xi +\sigma +\xi x)+(\xi +1)f(x)=0,\\f(0)={\frac {\left(1-{\frac {\mu \xi }{\sigma }}\right)^{-{\frac {1}{\xi }}-1}}{\sigma }}\end{array}}\right\}$

Особые случаи

• Если форма $\xi$ и расположение $\mu$ оба равны нулю, GPD эквивалентен экспоненциальному распределению .
• С формой $\xi =-1$, GPD эквивалентен непрерывному равномерному распределению $U(0,\sigma )$.
• С формой $\xi >0$ и расположение $\mu =\sigma$, GPD эквивалентен распределению Парето с масштабом $x_{m}=\sigma /\xi$ и форма $\alpha =1/\xi$.
• Если $X$ $\sim$ $GPD$ $($$\mu =0$, $\sigma$, $\xi$ $)$, затем $Y=\log(X)\sim exGPD(\sigma ,\xi )$ [1] . (exGPD означает возведенное в степень обобщенное распределение Парето .)
• GPD аналогичен распределению Берра .

Генерация обобщенных случайных величин Парето

Генерация случайных величин GPD

Если U распределено равномерно на(0, 1], тогда

$X=\mu +{\frac {\sigma (U^{-\xi }-1)}{\xi }}\sim GPD(\mu ,\sigma ,\xi \neq 0)$

и

$X=\mu -\sigma \ln(U)\sim GPD(\mu ,\sigma ,\xi =0).$

Обе формулы получены путем обращения CDF.

В Matlab Статистика Toolbox вы можете легко использовать команду «gprnd» для генерации обобщенных случайных чисел Парето.

GPD как экспоненциально-гамма-смесь

Случайная величина GPD также может быть выражена как экспоненциальная случайная величина с параметром скорости распределения гамма-распределения.

$X|\Lambda \sim \operatorname {Exp} (\Lambda )$

и

$\Lambda \sim \operatorname {Gamma} (\alpha ,\beta )$

затем

$X\sim \operatorname {GPD} (\xi =1/\alpha ,\ \sigma =\beta /\alpha )$

Однако обратите внимание: поскольку параметры гамма-распределения должны быть больше нуля, мы получаем дополнительные ограничения: $\xi$ должен быть положительным.

В дополнение к этому смешанному (или составному) выражению обобщенное распределение Парето также может быть выражено как простое соотношение. Конкретно, для $Y\sim {\text{Exponential}}(1)$ и $Z\sim {\text{Gamma}}(1/\xi ,1)$, у нас есть $\mu +\sigma {\frac {Y}{\xi Z}}\sim {\text{GPD}}(\mu ,\sigma ,\xi )$. Это следствие смеси после схватывания $\beta =\alpha$ и учитывая, что скоростные параметры экспоненциального и гамма-распределения являются просто обратными мультипликативными константами.

Возведенное в степень обобщенное распределение Парето

Возведенное в степень обобщенное распределение Парето (exGPD)

PDF-файл $exGPD(\sigma ,\xi )$ (показательное обобщенное распределение Парето) для разных значений $\sigma$ и $\xi$.

Если $X\sim GPD$ $($$\mu =0$, $\sigma$, $\xi$ $)$, затем $Y=\log(X)$ распределяется согласно возведенному в степень обобщенному распределению Парето , обозначаемому $Y$ $\sim$ $exGPD$ $($$\sigma$, $\xi$ $)$.

Функция плотности вероятности (pdf) $Y$ $\sim$ $exGPD$ $($$\sigma$, $\xi$ $)\,\,(\sigma >0)$ является

$g_{(\sigma ,\xi )}(y)={\begin{cases}{\frac {e^{y}}{\sigma }}{\bigg (}1+{\frac {\xi e^{y}}{\sigma }}{\bigg )}^{-1/\xi -1}\,\,\,\,{\text{for }}\xi \neq 0,\\{\frac {1}{\sigma }}e^{y-e^{y}/\sigma }\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0,\end{cases}}$

где поддержка $-\infty <y<\infty$ для $\xi \geq 0$, и $-\infty <y\leq \log(-\sigma /\xi )$ для $\xi <0$.

Для всех $\xi$, $\log \sigma$ становится параметром местоположения. См. правую панель PDF-файла, когда форма $\xi$ является положительным.

exGPD всех имеет конечные моменты всех порядков для $\sigma >0$ и $-\infty <\xi <\infty$.

Дисперсия ​ ​ $exGPD(\sigma ,\xi )$ как функция $\xi$. Обратите внимание, что дисперсия зависит только от $\xi$. Красная пунктирная линия представляет дисперсию, оцененную на уровне $\xi =0$, то есть, $\psi '(1)=\pi ^{2}/6$.

Момент -генерирующая функция $Y\sim exGPD(\sigma ,\xi )$ является

$M_{Y}(s)=E[e^{sY}]={\begin{cases}-{\frac {1}{\xi }}{\bigg (}-{\frac {\sigma }{\xi }}{\bigg )}^{s}B(s+1,-1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,\infty ),\xi <0,\\{\frac {1}{\xi }}{\bigg (}{\frac {\sigma }{\xi }}{\bigg )}^{s}B(s+1,1/\xi -s)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,1/\xi ),\xi >0,\\\sigma ^{s}\Gamma (1+s)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}s\in (-1,\infty ),\xi =0,\end{cases}}$

где $B(a,b)$ и $\Gamma (a)$ обозначают бета-функцию и гамма-функцию соответственно.

Ожидаемая стоимость ​ $Y$ $\sim$ $exGPD$ $($$\sigma$, $\xi$ $)$ зависит от масштаба $\sigma$ и форма $\xi$ параметры, в то время как $\xi$ участвует через дигамму-функцию :

$E[Y]={\begin{cases}\log \ {\bigg (}-{\frac {\sigma }{\xi }}{\bigg )}+\psi (1)-\psi (-1/\xi +1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi <0,\\\log \ {\bigg (}{\frac {\sigma }{\xi }}{\bigg )}+\psi (1)-\psi (1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi >0,\\\log \sigma +\psi (1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0.\end{cases}}$

Обратите внимание, что для фиксированного значения $\xi \in (-\infty ,\infty )$, $\log \ \sigma$ играет роль параметра местоположения в возведенном в степень обобщенном распределении Парето.

Дисперсия ​ ​ $Y$ $\sim$ $exGPD$ $($$\sigma$, $\xi$ $)$ зависит от параметра формы $\xi$ только через полигамма-функцию 1-го порядка (также называемую тригамма-функцией ):

$Var[Y]={\begin{cases}\psi '(1)-\psi '(-1/\xi +1)\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi <0,\\\psi '(1)+\psi '(1/\xi )\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi >0,\\\psi '(1)\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\text{for }}\xi =0.\end{cases}}$

На правой панели изображена дисперсия как функция $\xi$. Обратите внимание, что $\psi '(1)=\pi ^{2}/6\approx 1.644934$.

Обратите внимание, что роль параметра масштаба $\sigma$ и параметр формы $\xi$ под $Y\sim exGPD(\sigma ,\xi )$ раздельно интерпретируются, что может привести к надежной эффективной оценке $\xi$ чем использовать $X\sim GPD(\sigma ,\xi )$ [2] . Роли этих двух параметров связаны друг с другом в соответствии с $X\sim GPD(\mu =0,\sigma ,\xi )$ (по крайней мере, до второго центрального момента); см. формулу дисперсии $Var(X)$ при этом участвуют оба параметра.

Оценщик Хилла

Предположим, что $X_{1:n}=(X_{1},\cdots ,X_{n})$ являются $n$ наблюдения (не обязательно iid) из неизвестного распределения с тяжелым хвостом $F$ так что его распределение хвостов регулярно меняется в зависимости от индекса хвоста $1/\xi$ (следовательно, соответствующий параметр формы равен $\xi$). Более конкретно, распределение хвоста описывается как

${\bar {F}}(x)=1-F(x)=L(x)\cdot x^{-1/\xi },\,\,\,\,\,{\text{for some }}\xi >0,\,\,{\text{where }}L{\text{ is a slowly varying function.}}$

особый интерес представляет В теории экстремальных значений оценка параметра формы $\xi$, особенно когда $\xi$ положительно (так называемое распределение с тяжелым хвостом).

Позволять $F_{u}$ — их условная избыточная функция распределения. Теорема Пикандса-Балкемы-де Хаана (Pickands, 1975; Balkema and de Haan, 1974) утверждает, что для большого класса основных функций распределения $F$и большой $u$, $F_{u}$ хорошо аппроксимируется обобщенным распределением Парето (GPD), что побудило методы пика над порогом (POT) оценить $\xi$: GPD играет ключевую роль в подходе POT.

Известным оценщиком, использующим методологию POT, является оценщик Хилла . Техническая формулировка оценки Хилла следующая. Для $1\leq i\leq n$, писать $X_{(i)}$ для $i$-th по величине значение $X_{1},\cdots ,X_{n}$. Затем, с этими обозначениями, оценка Хилла (см. стр. 190 ссылки 5 Эмбрехта и др. [3] ), основанная на $k$ Статистика высшего порядка определяется как

${\widehat {\xi }}_{k}^{\text{Hill}}={\widehat {\xi }}_{k}^{\text{Hill}}(X_{1:n})={\frac {1}{k-1}}\sum _{j=1}^{k-1}\log {\bigg (}{\frac {X_{(j)}}{X_{(k)}}}{\bigg )},\,\,\,\,\,\,\,\,{\text{for }}2\leq k\leq n.$

На практике оценка Хилла используется следующим образом. Сначала вычислите оценщик ${\widehat {\xi }}_{k}^{\text{Hill}}$ в каждом целом числе $k\in \{2,\cdots ,n\}$, а затем постройте упорядоченные пары $\{(k,{\widehat {\xi }}_{k}^{\text{Hill}})\}_{k=2}^{n}$. Затем выберите из набора оценщиков Хилла $\{{\widehat {\xi }}_{k}^{\text{Hill}}\}_{k=2}^{n}$ которые примерно постоянны по отношению к $k$: эти стабильные значения считаются разумными оценками параметра формы $\xi$. Если $X_{1},\cdots ,X_{n}$ являются iid, то оценка Хилла является последовательной оценкой параметра формы $\xi$ [4] .

Обратите внимание, что оценка Хилла ${\widehat {\xi }}_{k}^{\text{Hill}}$ использует логарифмическое преобразование для наблюдений $X_{1:n}=(X_{1},\cdots ,X_{n})$. ( оценщик Пиканда ${\widehat {\xi }}_{k}^{\text{Pickand}}$ также использовал логарифмическое преобразование, но немного по-другому. [5] .)

См. также

• Распределение заусенцев
• Распределение Парето
• Обобщенное распределение экстремальных значений
• Возведенное в степень обобщенное распределение Парето
• Теорема Пиканда – Балкемы – де Хаана

Дальнейшее чтение

• Пикандс, Джеймс (1975). «Статистический вывод с использованием статистики крайнего порядка» (PDF) . Анналы статистики . 3 с : 119–131. дои : 10.1214/aos/1176343003 .
• Балкема, А.; Де Хаан, Лоуренс (1974). «Остаточная продолжительность жизни в пожилом возрасте» . Анналы вероятности . 2 (5): 792–804. дои : 10.1214/aop/1176996548 .
• Ли, Сеюн; Ким, JHK (2018). «Возведенное в степень обобщенное распределение Парето: свойства и приложения к теории экстремальных значений». Коммуникации в статистике - теория и методы . 48 (8): 1–25. arXiv : 1708.01686 . дои : 10.1080/03610926.2018.1441418 . S2CID   88514574 .
• Н.Л. Джонсон; С. Коц; Н. Балакришнан (1994). Непрерывные одномерные распределения. Том 1, второе издание . Нью-Йорк: Уайли. ISBN  978-0-471-58495-7 . Глава 20, раздел 12: Обобщенные распределения Парето.
• Барри С. Арнольд (2011). «Глава 7: Парето и обобщенные распределения Парето» . В Дуангкамоне Чотикапаниче (ред.). Моделирование распределений и кривых Лоренца . Нью-Йорк: Спрингер. ISBN  9780387727967 .
• Арнольд, Британская Колумбия; Лагуна, Л. (1977). Об обобщенных распределениях Парето с применением к данным о доходах . Эймс, Айова: Университет штата Айова, факультет экономики.

Внешние ссылки

• Mathworks: обобщенное распределение Парето