Квантильная функция

В вероятности и статистике выводит функция квантиля значение случайной величины так, что ее вероятность меньше или равна входному значению вероятности. Интуитивно понятно, что функция квантиля связывает с диапазоном на уровне вероятностного входа и ниже вероятность того, что случайная величина реализуется в этом диапазоне для некоторого распределения вероятностей. Ее также называют процентильной функцией (после процентиля ), процентной функцией , обратной кумулятивной функцией распределения (после кумулятивной функции распределения или cdf) или обратной функцией распределения .

Определение

Строго монотонная функция распределения

По отношению к непрерывной и строго монотонной кумулятивной функции распределения $F_{X}\colon \mathbb {R} \to [0,1]$ случайной величины X функция квантиля $Q\colon [0,1]\to \mathbb {R}$ сопоставляет свой вход p с пороговым значением x так, что вероятность того, что X меньше или равна x , равна p . С точки зрения функции распределения F функция квантиля Q возвращает значение x такое, что

F_{X}(x):=\Pr(X\leq x)=p\,,

который можно записать как обратный cdf

Q(p)=F_{X}^{-1}(p)\,.

Общая функция распределения

В общем случае функций распределения, которые не являются строго монотонными и, следовательно, не допускают обратного cdf , квантиль представляет собой (потенциально) многозначный функционал функции распределения $F$ , заданный интервалом ^[1]

Q(p)\ =\ {\boldsymbol {\biggl [}}\ \sup \left\{x\colon F(x)<p\right\}\ {\boldsymbol {,}}\ \sup \left\{x\colon F(x)\leq p\right\}\ {\boldsymbol {\biggr ]}}~.

Часто стандартно выбирают наименьшее значение, которое эквивалентно можно записать как (с использованием непрерывности справа $F$ )

Q(p)\ =\ \inf \left\{\ x\in \mathbb {R} \ :\ p\leq F(x)\ \right\}~.

Здесь мы фиксируем тот факт, что функция квантиля возвращает минимальное значение $x$ среди всех тех значений, значение cdf которых превышает $p$ , что эквивалентно предыдущему утверждению о вероятности в особом случае, когда распределение непрерывно. Заметим, что функцию инфимума можно заменить функцией минимума, поскольку функция распределения непрерывна справа и слабо монотонно возрастает.

Квантиль — это единственная функция, удовлетворяющая неравенствам Галуа.

Q(p)\leq x\quad

тогда и только тогда, когда

\quad p\leq F(x)~.

Если функция $F$ непрерывна и строго монотонно возрастает, то неравенства можно заменить равенствами, и мы имеем:

Q=F^{-1}

В общем, даже несмотря на то, что функция распределения $F$ может не иметь левой или правой инверсии , функция квантиля $Q$ ведет себя как «почти наверняка левая инверсия» для функции распределения в том смысле, что

Q{\bigl (}\ F(X)\ {\bigr )}=X\quad

почти наверняка.

Простой пример

Например, кумулятивная функция распределения Экспоненты( λ ) (т.е. интенсивность λ и ожидаемое значение ( среднее значение ) 1/ λ ) равна

F(x;\lambda )={\begin{cases}1-e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}

Функция квантиля для Exponential( λ ) получается путем нахождения значения Q, для которого $1-e^{-\lambda Q}=p$ :

Q(p;\lambda )={\frac {-\ln(1-p)}{\lambda }},\!

для 0 ≤ p <1. Таким образом, квартилями являются:

первый квартиль (р = 1/4): $-\ln(3/4)/\lambda \,$
медиана (р = 2/4): $-\ln(1/2)/\lambda \,$
третий квартиль (р = 3/4): $-\ln(1/4)/\lambda .\,$

Приложения

Квантильные функции используются как в статистических приложениях, так и в методах Монте-Карло .

Функция квантиля — это один из способов задания распределения вероятностей, а также альтернатива функции плотности вероятности (pdf) или функции массы вероятности , кумулятивной функции распределения (cdf) и характеристической функции . Функция квантиля Q распределения вероятностей является обратной функцией его кумулятивной функции распределения F . Производная функции квантиля, а именно функция плотности квантиля , является еще одним способом задания распределения вероятностей. Это обратная величина PDF-файла, составленного с помощью функции квантиля.

Рассмотрим статистическое приложение, в котором пользователю необходимо знать ключевые процентные точки данного распределения. Например, им требуются медиана и квартили 25% и 75%, как в приведенном выше примере, или уровни 5%, 95%, 2,5%, 97,5% для других приложений, таких как оценка статистической значимости наблюдения, распределение которого известно; см. запись квантиля . До популяризации компьютеров книги нередко имели приложения со статистическими таблицами, определяющими функцию квантиля. ^[2] Статистические применения квантильных функций широко обсуждаются Гилкристом. ^[3]

В симуляциях Монте-Карло используются функции квантилей для получения неоднородных случайных или псевдослучайных чисел для использования в различных типах симуляционных расчетов. Выборку из заданного распределения в принципе можно получить, применив функцию квантиля к выборке из равномерного распределения. Требования к методам моделирования, например, в современных вычислительных финансах , сосредотачивают все большее внимание на методах, основанных на функциях квантилей, поскольку они хорошо работают с многомерными методами, основанными либо на методах копулы , либо на методах квази-Монте-Карло. ^[4] и методы Монте-Карло в финансах .

Расчет

Для оценки квантильных функций часто используются численные методы , такие как экспоненциальное распределение, приведенное выше, которое является одним из немногих распределений, где выражение в замкнутой форме можно найти (другие включают униформу , Вейбулла , лямбду Тьюки (которая включает логистическую ) и лог-логистика ). Когда сам cdf имеет выражение в замкнутой форме, всегда можно использовать числовой алгоритм поиска корня, такой как метод деления пополам, для инвертирования cdf. Другие методы основаны на аппроксимации обратного результата с помощью методов интерполяции. ^[5]^[6] Дополнительные алгоритмы вычисления функций квантилей приведены в «Численные рецепты» серии книг . Алгоритмы распространенных распределений встроены во многие пакеты статистического программного обеспечения . Общие методы численного расчета функций квантиля для общих классов распределений можно найти в следующих библиотеках:

Библиотека C УНУ.РАН ^[7]
R библиотека Рунуран ^[8]
Выборка подпакета Python в scipy.stats ^[9]^[10]

Квантильные функции также можно охарактеризовать как решения нелинейных обыкновенных уравнений и уравнений в частных производных . обыкновенные дифференциальные уравнения для случаев нормального , Стьюдентского , бета- и гамма- распределений. Даны и решены ^[11]

Нормальное распределение

Нормальное распределение, возможно, является наиболее важным случаем. Поскольку нормальное распределение представляет собой семейство масштабов местоположения , его функция квантиля для произвольных параметров может быть получена путем простого преобразования функции квантиля стандартного нормального распределения, известной как функция пробита . К сожалению, эта функция не имеет представления в замкнутой форме с использованием основных алгебраических функций; в результате обычно используются приблизительные представления. Тщательные составные рациональные и полиномиальные аппроксимации были даны Вичурой. ^[12] и Аклам. ^[13] Некомпозитные рациональные аппроксимации были разработаны Шоу. ^[14]

Обыкновенное дифференциальное уравнение для нормального квантиля

Может быть задано нелинейное обыкновенное дифференциальное уравнение для нормального квантиля w ( p ). Это

{\frac {d^{2}w}{dp^{2}}}=w\left({\frac {dw}{dp}}\right)^{2}

с центральными (начальными) условиями

w\left(1/2\right)=0,\,

w'\left(1/2\right)={\sqrt {2\pi }}.\,

Это уравнение можно решить несколькими методами, включая метод классического степенного ряда . На основе этого могут быть получены решения сколь угодно высокой точности (см. Steinbrecher and Shaw, 2008).

Стьюдента t -распределение

Исторически это был один из наиболее трудноразрешимых случаев, поскольку наличие параметра ν, степеней свободы, затрудняет использование рациональных и других приближений. Простые формулы существуют, когда ν = 1, 2, 4, и проблема может быть сведена к решению многочлена, когда ν четно. В других случаях квантильные функции могут быть представлены в виде степенных рядов. ^[15] Простые случаи заключаются в следующем:

ν = 1 (распределение Коши)

Q(p)=\tan(\pi (p-1/2))\!

п = 2: $Q(p)=2(p-1/2){\sqrt {\frac {2}{\alpha }}}\!$

п = 4: $Q(p)=\operatorname {sign} (p-1/2)\,2\,{\sqrt {q-1}}\!$

где

q={\frac {\cos \left({\frac {1}{3}}\arccos \left({\sqrt {\alpha }}\,\right)\right)}{\sqrt {\alpha }}}\!

и

\alpha =4p(1-p).\!

В приведенном выше примере функция «знак» равна +1 для положительных аргументов, −1 для отрицательных аргументов и нулю в нуле. Ее не следует путать с тригонометрической функцией синуса.

Квантильные смеси

Аналогично смесям плотностей распределения можно определить как смеси квантилей.

Q(p)=\sum _{i=1}^{m}a_{i}Q_{i}(p)

,

где $Q_{i}(p)$ , $i=1,\ldots ,m$ являются квантильными функциями и $a_{i}$ , $i=1,\ldots ,m$ — параметры модели. Параметры $a_{i}$ необходимо выбрать так, чтобы $Q(p)$ является квантильной функцией.Две четырехпараметрические смеси квантилей, смесь квантилей с нормальным полиномом и смесь квантилей с полиномом Коши, представлены Карваненом. ^[16]

Нелинейные дифференциальные уравнения для функций квантиля

Нелинейное обыкновенное дифференциальное уравнение, данное для нормального распределения, является частным случаем уравнения, доступного для любой функции квантиля, у которой существует вторая производная. В общем случае можно дать уравнение для квантиля Q ( p ). Это

{\frac {d^{2}Q}{dp^{2}}}=H(Q)\left({\frac {dQ}{dp}}\right)^{2}

дополнен подходящими граничными условиями, где

H(x)=-{\frac {f'(x)}{f(x)}}=-{\frac {d}{dx}}\ln f(x)

и ƒ ( x ) — функция плотности вероятности. Формы этого уравнения и его классический анализ с помощью рядов и асимптотических решений для случаев нормального распределения, распределения Стьюдента, гамма- и бета-распределения были разъяснены Стейнбрехером и Шоу (2008). Такие решения обеспечивают точные эталоны, а в случае Student — подходящую серию для живого использования по методу Монте-Карло.

См. также

Ссылки

^ Эм, В.; Гнейтинг, Т.; Джордан, А.; Крюгер, Ф. (2016). «О квантилях и ожиданиях: последовательные оценочные функции, представления Шоке и рейтинги прогнозов» . JR Стат. Соц. Б. 78 (3): 505–562. arXiv : 1503.08195 . дои : 10.1111/rssb.12154 .
^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 24 марта 2012 года . Проверено 25 марта 2012 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )
^ Гилкрист, В. (2000). Статистическое моделирование с использованием квантильных функций . Тейлор и Фрэнсис. ISBN 1-58488-174-7 .
^ Джекель, П. (2002). Методы Монте-Карло в финансах .
^ Хёрманн, Вольфганг; Лейдольд, Йозеф (2003). «Непрерывная генерация случайных величин путем быстрой числовой инверсии» . ACM-транзакции по моделированию и компьютерному моделированию . 13 (4): 347–362. дои : 10.1145/945511.945517 . Проверено 17 июня 2024 г. - через WU Vienna.
^ Дерфлингер, Герхард; Хёрманн, Вольфганг; Лейдольд, Йозеф (2010). «Генерация случайных величин путем числовой инверсии, когда известна только плотность». ACM-транзакции по моделированию и компьютерному моделированию . 20 (4): 1–25. дои : 10.1145/1842722.1842723 . Искусство. № 18.
^ «UNU.RAN — Универсальные генераторы неравномерных случайных чисел» .
^ «Runuran: R-интерфейс к генераторам случайных величин UNU.RAN» . 17 января 2023 г.
^ «Генератор случайных чисел (Scipy.stats.sampling) — Руководство по SciPy v1.13.0» .
^ Баумгартен, Кристоф; Патель, Тирт (2022). «Автоматическая генерация случайных величин в Python». Материалы 21-й конференции «Питон в науке» . стр. 46–51. дои : 10.25080/majora-212e5952-007 .
^ Штайнбрехер, Г.; Шоу, WT (2008). «Квантильная механика». Европейский журнал прикладной математики . 19 (2): 87–112. дои : 10.1017/S0956792508007341 . S2CID 6899308 .
^ Вичура, MJ (1988). «Алгоритм AS241: Процентные точки нормального распределения». Прикладная статистика . 37 (3). Издательство Блэквелл: 477–484. дои : 10.2307/2347330 . JSTOR 2347330 .
^ Алгоритм вычисления обратной нормальной функции кумулятивного распределения. Архивировано 5 мая 2007 г., в Wayback Machine.
^ Вычислительные финансы: дифференциальные уравнения для переработки Монте-Карло
^ Шоу, WT (2006). «Выборочное Т-распределение Стьюдента - использование обратной кумулятивной функции распределения». Журнал вычислительных финансов . 9 (4): 37–73. дои : 10.21314/JCF.2006.150 .
^ Карванен, Дж. (2006). «Оценка квантильных смесей с помощью L-моментов и обрезанных L-моментов». Вычислительная статистика и анализ данных . 51 (2): 947–956. дои : 10.1016/j.csda.2005.09.014 .

Дальнейшее чтение

Абернати, Роджер В. и Смит, Роберт П. (1993) * «Применение разложения в ряды к обратному бета-распределению для нахождения процентилей F-распределения» , ACM Trans. Математика. Программное обеспечение , 9 (4), 478–480 дои : 10.1145/168173.168387
Уточнение нормального квантиля
Новые методы управления распределением T «студентов»
Алгоритм ACM 396: t-квантили Стьюдента

[1] Эм, В.; Гнейтинг, Т.; Джордан, А.; Крюгер, Ф. (2016). «О квантилях и ожиданиях: последовательные оценочные функции, представления Шоке и рейтинги прогнозов» . JR Стат. Соц. Б. 78 (3): 505–562. arXiv : 1503.08195 . дои : 10.1111/rssb.12154 .

[2] «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 24 марта 2012 года . Проверено 25 марта 2012 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )

[3] Гилкрист, В. (2000). Статистическое моделирование с использованием квантильных функций . Тейлор и Фрэнсис. ISBN 1-58488-174-7 .

[4] Джекель, П. (2002). Методы Монте-Карло в финансах .

[5] Хёрманн, Вольфганг; Лейдольд, Йозеф (2003). «Непрерывная генерация случайных величин путем быстрой числовой инверсии» . ACM-транзакции по моделированию и компьютерному моделированию . 13 (4): 347–362. дои : 10.1145/945511.945517 . Проверено 17 июня 2024 г. - через WU Vienna.

[6] Дерфлингер, Герхард; Хёрманн, Вольфганг; Лейдольд, Йозеф (2010). «Генерация случайных величин путем числовой инверсии, когда известна только плотность». ACM-транзакции по моделированию и компьютерному моделированию . 20 (4): 1–25. дои : 10.1145/1842722.1842723 . Искусство. № 18.

[7] «UNU.RAN — Универсальные генераторы неравномерных случайных чисел» .

[8] «Runuran: R-интерфейс к генераторам случайных величин UNU.RAN» . 17 января 2023 г.

[9] «Генератор случайных чисел (Scipy.stats.sampling) — Руководство по SciPy v1.13.0» .

[10] Баумгартен, Кристоф; Патель, Тирт (2022). «Автоматическая генерация случайных величин в Python». Материалы 21-й конференции «Питон в науке» . стр. 46–51. дои : 10.25080/majora-212e5952-007 .

[11] Штайнбрехер, Г.; Шоу, WT (2008). «Квантильная механика». Европейский журнал прикладной математики . 19 (2): 87–112. дои : 10.1017/S0956792508007341 . S2CID 6899308 .

[12] Вичура, MJ (1988). «Алгоритм AS241: Процентные точки нормального распределения». Прикладная статистика . 37 (3). Издательство Блэквелл: 477–484. дои : 10.2307/2347330 . JSTOR 2347330 .

[13] Алгоритм вычисления обратной нормальной функции кумулятивного распределения. Архивировано 5 мая 2007 г., в Wayback Machine.

[14] Вычислительные финансы: дифференциальные уравнения для переработки Монте-Карло

[15] Шоу, WT (2006). «Выборочное Т-распределение Стьюдента - использование обратной кумулятивной функции распределения». Журнал вычислительных финансов . 9 (4): 37–73. дои : 10.21314/JCF.2006.150 .

[16] Карванен, Дж. (2006). «Оценка квантильных смесей с помощью L-моментов и обрезанных L-моментов». Вычислительная статистика и анализ данных . 51 (2): 947–956. дои : 10.1016/j.csda.2005.09.014 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

v т и Теория вероятностных распределений
функция массы вероятности (pmf) функция плотности вероятности (pdf) кумулятивная функция распределения (cdf) функция квантиля
сырой момент центральный момент иметь в виду дисперсия стандартное отклонение асимметрия эксцесс L-момент
производящая момент функция (мгс) характеристическая функция вероятностная функция (pgf) накапливающийся объединение