Распределение с тяжелым хвостом

В вероятностей теории распределения с тяжелыми хвостами — это распределения вероятностей, хвосты которых не ограничены экспоненциально: то есть у них более тяжелые хвосты, чем у экспоненциального распределения . Во многих приложениях интерес представляет правый хвост распределения, но распределение может иметь тяжелый левый хвост или оба хвоста могут быть тяжелыми.

Существует три важных подкласса распределений с толстым хвостом: распределения с толстым хвостом , распределения с длинным хвостом и субэкспоненциальные распределения . На практике все часто используемые распределения с тяжелым хвостом относятся к субэкспоненциальному классу, введенному Йозефом Тойгельсом .

До сих пор существуют некоторые разногласия по поводу использования термина « тяжелохвостый» . Используются еще два определения. Некоторые авторы используют этот термин для обозначения тех распределений, у которых не все степенные моменты конечны; и некоторые другие к тем распределениям, которые не имеют конечной дисперсии . Определение, данное в этой статье, является наиболее общим в использовании и включает в себя все распределения, охватываемые альтернативными определениями, а также такие распределения, как логарифмически нормальное , которые обладают всеми своими степенными моментами, но которые обычно считаются распределениями с тяжелым хвостом. . (Иногда термин «тяжелый хвост» используется для любого распределения, которое имеет более тяжелые хвосты, чем нормальное распределение.)

Определения

Определение распределения с тяжелым хвостом

что распределение случайной величины X с функцией распределения F имеет тяжелый (правый) хвост, если производящая функция момента X Говорят , , M _X ( t ), бесконечна для всех t > 0.

Это означает

$\int _{-\infty }^{\infty }e^{tx}\,dF(x)=\infty \quad {\mbox{for all }}t>0.$

Это также записывается в терминах хвостовой функции распределения

${\overline {F}}(x)\equiv \Pr[X>x]\,$

как

$\lim _{x\to \infty }e^{tx}{\overline {F}}(x)=\infty \quad {\mbox{for all }}t>0.\,$

Определение распределения с длинным хвостом

Говорят , что распределение случайной величины X с функцией распределения F имеет длинный правый хвост. если для всех t > 0,

$\lim _{x\to \infty }\Pr[X>x+t\mid X>x]=1,\,$

или эквивалентно

${\overline {F}}(x+t)\sim {\overline {F}}(x)\quad {\mbox{as }}x\to \infty .\,$

Это имеет интуитивную интерпретацию для правостороннего и длиннохвостого распределенного количества: если количество с длинным хвостом превышает некоторый высокий уровень, вероятность того, что оно превысит любой другой более высокий уровень, приближается к 1.

Все распределения с длинным хвостом имеют тяжелый хвост, но обратное неверно, и можно построить распределения с тяжелым хвостом, которые не являются длиннохвостыми.

Субэкспоненциальные распределения

Субэкспоненциальность определяется в терминах свертки вероятностных распределений . Для двух независимых, одинаково распределенных случайных величин $X_{1},X_{2}$ с общей функцией распределения $F$, свертка $F$ сам с собой, написано $F^{*2}$ и называется квадратом свертки, определяется с использованием интегрирования Лебега – Стилтьеса следующим образом:

$\Pr[X_{1}+X_{2}\leq x]=F^{*2}(x)=\int _{0}^{x}F(x-y)\,dF(y),$

и n -кратная свертка $F^{*n}$ определяется индуктивно по правилу:

$F^{*n}(x)=\int _{0}^{x}F(x-y)\,dF^{*n-1}(y).$

Хвостовая функция распределения ${\overline {F}}$ определяется как ${\overline {F}}(x)=1-F(x)$.

Распределение $F$ на положительной полуоси субэкспоненциально если

${\overline {F^{*2}}}(x)\sim 2{\overline {F}}(x)\quad {\mbox{as }}x\to \infty .$

Это подразумевает что для любого $n\geq 1$,

${\overline {F^{*n}}}(x)\sim n{\overline {F}}(x)\quad {\mbox{as }}x\to \infty .$

Вероятностная интерпретация это то, что на сумму $n$ независимые случайные величины $X_{1},\ldots ,X_{n}$ с общим распространением $F$,

$\Pr[X_{1}+\cdots +X_{n}>x]\sim \Pr[\max(X_{1},\ldots ,X_{n})>x]\quad {\text{as }}x\to \infty .$

Это часто называют принципом одиночного большого прыжка. или принцип катастрофы.

Распределение $F$ на всей вещественной линии субэкспоненциально, если распределение $FI([0,\infty ))$ является. Здесь $I([0,\infty ))$ – индикаторная функция положительной полупрямой. Альтернативно, случайная величина $X$ поддерживаемая на действительной прямой, является субэкспоненциальной тогда и только тогда, когда $X^{+}=\max(0,X)$ является субэкспоненциальным.

Все субэкспоненциальные распределения являются длиннохвостыми, но можно построить примеры распределений с длинным хвостом, которые не являются субэкспоненциальными.

Распространенные распределения с тяжелым хвостом

Все широко используемые распределения с тяжелым хвостом являются субэкспоненциальными.

К односторонним относятся:

• распределение Парето ;
• Логнормальное распределение ;
• распределение Леви ;
• распределение Вейбулла с параметром формы больше 0, но меньше 1;
• распределение Берра ;
• лог -логистическое распределение ;
• лог- гамма-распределение ;
• распределение Фреше ;
• q -гауссово распределение ;
• логарифмическое распределение Коши , иногда описываемое как имеющее «сверхтяжелый хвост», поскольку оно демонстрирует логарифмическое затухание , приводящее к более тяжелому хвосту, чем распределение Парето.

К двусторонним относятся:

• Распределение Коши само по себе является частным случаем как стабильного распределения, так и t-распределения;
• Семейство устойчивых распределений , за исключением особого случая нормального распределения внутри этого семейства. Некоторые стабильные распределения являются односторонними (или поддерживаются полупрямой), см., например, распределение Леви . См. также финансовые модели с длиннохвостыми распределениями и кластеризацией волатильности .
• Т -распределение .
• Косое логнормальное каскадное распределение.

Связь с распределениями с толстым хвостом

Распределение с толстым хвостом — это распределение, для которого функция плотности вероятности при больших x стремится к нулю как степень $x^{-a}$. Поскольку такая степень всегда ограничена снизу функцией плотности вероятности экспоненциального распределения, распределения с толстым хвостом всегда имеют тяжелый хвост. Однако у некоторых распределений есть хвост, который стремится к нулю медленнее, чем экспоненциальная функция (это означает, что они имеют «тяжелый хвост»), но быстрее, чем степень (то есть они не имеют «толстый хвост»). Примером является логнормальное распределение. . Однако многие другие распределения с толстым хвостом, такие как логарифмическое распределение и распределение Парето , также имеют толстый хвост.

Оценка хвостового индекса

Есть параметрические и непараметрические подходы к задаче оценки хвостового индекса.

Чтобы оценить хвостовой индекс с использованием параметрического подхода, некоторые авторы используют распределение GEV или распределение Парето ; они могут применить оценку максимального правдоподобия (MLE).

Оценщик индекса хвоста Пиканда

С $(X_{n},n\geq 1)$ случайная последовательность независимых и одинаковых функций плотности $F\in D(H(\xi ))$, Область максимального притяжения обобщенной плотности экстремальных значений $H$, где $\xi \in \mathbb {R}$. Если $\lim _{n\to \infty }k(n)=\infty$ и $\lim _{n\to \infty }{\frac {k(n)}{n}}=0$, то Пикандса равна оценка индекса хвоста

$\xi _{(k(n),n)}^{\text{Pickands}}={\frac {1}{\ln 2}}\ln \left({\frac {X_{(n-k(n)+1,n)}-X_{(n-2k(n)+1,n)}}{X_{(n-2k(n)+1,n)}-X_{(n-4k(n)+1,n)}}}\right),$

где $X_{(n-k(n)+1,n)}=\max \left(X_{n-k(n)+1},\ldots ,X_{n}\right)$. Эта оценка сходится по вероятности к $\xi$.

Оценщик хвостового индекса Хилла

Позволять $(X_{t},t\geq 1)$ быть последовательностью независимых и одинаково распределенных случайных величин с функцией распределения $F\in D(H(\xi ))$, максимальная область притяжения обобщенного распределения экстремальных значений $H$, где $\xi \in \mathbb {R}$. Пример пути: ${X_{t}:1\leq t\leq n}$ где $n$ это размер выборки. Если $\{k(n)\}$ является последовательностью промежуточного порядка, т.е. $k(n)\in \{1,\ldots ,n-1\},$, $k(n)\to \infty$ и $k(n)/n\to 0$, то оценка индекса хвоста Хилла равна

$\xi _{(k(n),n)}^{\text{Hill}}=\left({\frac {1}{k(n)}}\sum _{i=n-k(n)+1}^{n}\ln(X_{(i,n)})-\ln(X_{(n-k(n)+1,n)})\right)^{-1},$

где $X_{(i,n)}$ это $i$ -го статистика порядка $X_{1},\dots ,X_{n}$.Эта оценка сходится по вероятности к $\xi$, и является асимптотически нормальным при условии $k(n)\to \infty$ ограничено на основе свойства регулярной вариации более высокого порядка . Согласованность и асимптотическая нормальность распространяются на большой класс зависимых и гетерогенных последовательностей. независимо от того, $X_{t}$ наблюдается, или вычисленный остаток, или отфильтрованные данные из большого класса моделей и оценщиков, включая модели с неправильным определением и модели с зависимыми ошибками. Обратите внимание, что в оценщиках хвостового индекса Пиканда и Хилла обычно используется логарифм порядковой статистики.

Оценка отношения хвостового индекса

Оценка отношения (RE-оценка) хвостового индекса была введена Голди. и Смит. Он построен аналогично оценщику Хилла, но использует неслучайный «параметр настройки».

Сравнение оценок типа Хилла и типа RE можно найти у Новака.

Программное обеспечение

• aest Архивировано 25 ноября 2020 г. в Wayback Machine , инструмент C для оценки индекса тяжелого хвоста.

Оценка плотности «тяжелых хвостов»

Непараметрические подходы к оценке функций плотности вероятности с тяжелым и сверхтяжелым хвостом приведены в Маркович. Это подходы, основанные на переменной полосе пропускания и ядрах с длинным хвостом; по предварительным данным преобразуются к новой случайной величине на конечных или бесконечных интервалах, что более удобно для оценки, а затем обратное преобразование полученной оценки плотности; и «подход объединения», который обеспечивает определенную параметрическую модель хвоста плотности и непараметрическую модель для аппроксимации режима плотности. Непараметрические оценщики требуют соответствующего выбора параметров настройки (сглаживания), таких как полоса пропускания ядерных оценщиков и ширина интервала гистограммы. Хорошо известными методами такого выбора, основанными на данных, являются перекрестная проверка и ее модификации, методы, основанные на минимизации среднеквадратической ошибки (MSE), ее асимптотики и их верхних границ. Метод неточности, который использует известные непараметрические статистики, такие как статистики Колмогорова-Смирнова, фон Мизеса и Андерсона-Дарлинга, в качестве метрики в пространстве функций распределения (ФР) и квантилей более поздних статистических данных в качестве известной неопределенности или значения невязки. нашел в. Bootstrap — еще один инструмент для поиска параметров сглаживания с использованием аппроксимации неизвестного MSE с помощью различных схем выбора повторных выборок, см., например,

См. также

• Лептокуртическое распределение
• Обобщенное распределение экстремальных значений
• Обобщенное распределение Парето
• Выброс
• Длинный хвост
• Степенной закон
• Семь состояний случайности
• Распределение с толстым хвостом
  • Распространение Талеба и распространение Святого Грааля