Квантильная функция
В вероятности и статистике выводит функция квантиля значение случайной величины так, что ее вероятность меньше или равна входному значению вероятности. Интуитивно понятно, что функция квантиля связывает с диапазоном на уровне вероятностного входа и ниже вероятность того, что случайная величина реализуется в этом диапазоне для некоторого распределения вероятностей. Ее также называют процентильной функцией (после процентиля ), процентной функцией , обратной кумулятивной функцией распределения (после кумулятивной функции распределения или cdf) или обратной функцией распределения .
Определение
[ редактировать ]Строго монотонная функция распределения
[ редактировать ]По отношению к непрерывной и строго монотонной кумулятивной функции распределения случайной величины X функция квантиля сопоставляет свой вход p с пороговым значением x так, что вероятность того, что X меньше или равна x , равна p . С точки зрения функции распределения F функция квантиля Q возвращает значение x такое, что
который можно записать как обратный cdf
Общая функция распределения
[ редактировать ]В общем случае функций распределения, которые не являются строго монотонными и, следовательно, не допускают обратного cdf , квантиль представляет собой (потенциально) многозначный функционал функции распределения F , заданный интервалом [1]
Часто стандартно выбирают наименьшее значение, которое эквивалентно можно записать как (с использованием непрерывности справа F )
Здесь мы фиксируем тот факт, что функция квантиля возвращает минимальное значение x среди всех тех значений, значение cdf которых превышает p , что эквивалентно предыдущему утверждению о вероятности в особом случае, когда распределение непрерывно. Заметим, что функцию инфимума можно заменить функцией минимума, поскольку функция распределения непрерывна справа и слабо монотонно возрастает.
Квантиль — это единственная функция, удовлетворяющая неравенствам Галуа.
- тогда и только тогда, когда
Если функция F непрерывна и строго монотонно возрастает, то неравенства можно заменить равенствами, и мы имеем:
В общем, даже несмотря на то, что функция распределения F может не иметь левой или правой инверсии , функция квантиля Q ведет себя как «почти наверняка левая инверсия» для функции распределения в том смысле, что
- почти наверняка.
Простой пример
[ редактировать ]Например, кумулятивная функция распределения Экспоненты( λ ) (т.е. интенсивность λ и ожидаемое значение ( среднее значение ) 1/ λ ) равна
Функция квантиля для Exponential( λ ) получается путем нахождения значения Q, для которого :
для 0 ≤ p <1. Таким образом, квартилями являются:
- первый квартиль (р = 1/4)
- медиана (р = 2/4)
- третий квартиль (р = 3/4)
Приложения
[ редактировать ]Квантильные функции используются как в статистических приложениях, так и в методах Монте-Карло .
Функция квантиля — это один из способов задания распределения вероятностей, а также альтернатива функции плотности вероятности (pdf) или функции массы вероятности , кумулятивной функции распределения (cdf) и характеристической функции . Функция квантиля Q распределения вероятностей является обратной функцией его кумулятивной функции распределения F . Производная функции квантиля, а именно функция плотности квантиля , является еще одним способом задания распределения вероятностей. Это обратная величина PDF-файла, составленного с помощью функции квантиля.
Рассмотрим статистическое приложение, в котором пользователю необходимо знать ключевые процентные точки данного распределения. Например, им требуются медиана и квартили 25% и 75%, как в приведенном выше примере, или уровни 5%, 95%, 2,5%, 97,5% для других приложений, таких как оценка статистической значимости наблюдения, распределение которого известно; см. запись квантиля . До популяризации компьютеров книги нередко имели приложения со статистическими таблицами, определяющими функцию квантиля. [2] Статистические применения квантильных функций широко обсуждаются Гилкристом. [3]
В симуляциях Монте-Карло используются функции квантилей для получения неоднородных случайных или псевдослучайных чисел для использования в различных типах симуляционных расчетов. Выборку из заданного распределения в принципе можно получить, применив функцию квантиля к выборке из равномерного распределения. Требования к методам моделирования, например, в современных вычислительных финансах , сосредотачивают все большее внимание на методах, основанных на функциях квантилей, поскольку они хорошо работают с многомерными методами, основанными либо на методах копулы , либо на методах квази-Монте-Карло. [4] и методы Монте-Карло в финансах .
Расчет
[ редактировать ]Для оценки квантильных функций часто используются численные методы , такие как экспоненциальное распределение, приведенное выше, которое является одним из немногих распределений, где выражение в замкнутой форме можно найти (другие включают униформу , Вейбулла , лямбду Тьюки (которая включает логистическую ) и лог-логистика ). Когда сам cdf имеет выражение в замкнутой форме, всегда можно использовать числовой алгоритм поиска корня, такой как метод деления пополам, для инвертирования cdf. Другие методы основаны на аппроксимации обратного результата с помощью методов интерполяции. [5] [6] Дополнительные алгоритмы вычисления функций квантилей приведены в «Численные рецепты» серии книг . Алгоритмы распространенных распределений встроены во многие пакеты статистического программного обеспечения . Общие методы численного расчета функций квантилей для общих классов распределений можно найти в следующих библиотеках:
- Библиотека C УНУ.РАН [7]
- R библиотека Рунуран [8]
- Выборка подпакета Python в scipy.stats [9] [10]
Квантильные функции также можно охарактеризовать как решения нелинейных обыкновенных уравнений и уравнений в частных производных . обыкновенные дифференциальные уравнения для случаев нормального , Стьюдентского , бета- и гамма- распределений. Даны и решены [11]
Нормальное распределение
[ редактировать ]Нормальное распределение, возможно, является наиболее важным случаем. Поскольку нормальное распределение представляет собой семейство масштабов местоположения , его функция квантиля для произвольных параметров может быть получена путем простого преобразования функции квантиля стандартного нормального распределения, известной как функция пробита . К сожалению, эта функция не имеет представления в замкнутой форме с использованием основных алгебраических функций; в результате обычно используются приблизительные представления. Тщательные сложные рациональные и полиномиальные аппроксимации были даны Вичурой. [12] и Аклам. [13] Некомпозитные рациональные аппроксимации были разработаны Шоу. [14]
Обыкновенное дифференциальное уравнение для нормального квантиля
[ редактировать ]Может быть задано нелинейное обыкновенное дифференциальное уравнение для нормального квантиля w ( p ). Это
с центральными (начальными) условиями
Это уравнение можно решить несколькими методами, включая метод классического степенного ряда . На основе этого могут быть получены решения сколь угодно высокой точности (см. Steinbrecher and Shaw, 2008).
Стьюдента t -распределение
[ редактировать ]Исторически это был один из наиболее трудноразрешимых случаев, поскольку наличие параметра ν, степеней свободы, затрудняет использование рациональных и других приближений. Простые формулы существуют, когда ν = 1, 2, 4, и проблема может быть сведена к решению многочлена, когда ν четно. В других случаях квантильные функции могут быть представлены в виде степенных рядов. [15] Простые случаи заключаются в следующем:
- ν = 1 (распределение Коши)
- п = 2
- п = 4
где
и
В приведенном выше примере функция «знак» равна +1 для положительных аргументов, −1 для отрицательных аргументов и нулю в нуле. Ее не следует путать с тригонометрической функцией синуса.
Квантильные смеси
[ редактировать ]Аналогично смесям плотностей распределения можно определить как смеси квантилей.
- ,
где , являются квантильными функциями и , — параметры модели. Параметры необходимо выбрать так, чтобы является квантильной функцией. Две четырехпараметрические смеси квантилей, смесь квантилей с нормальным полиномом и смесь квантилей с полиномом Коши, представлены Карваненом. [16]
Нелинейные дифференциальные уравнения для функций квантиля
[ редактировать ]Нелинейное обыкновенное дифференциальное уравнение, данное для нормального распределения, является частным случаем уравнения, доступного для любой функции квантиля, у которой существует вторая производная. В общем случае можно дать уравнение для квантиля Q ( p ). Это
дополнен подходящими граничными условиями, где
и ƒ ( x ) — функция плотности вероятности. Формы этого уравнения и его классический анализ с помощью рядов и асимптотических решений для случаев нормального распределения, распределения Стьюдента, гамма- и бета-распределения были разъяснены Стейнбрехером и Шоу (2008). Такие решения обеспечивают точные эталоны, а в случае Student — подходящую серию для живого использования по методу Монте-Карло.
См. также
[ редактировать ]- Выборка обратного преобразования
- Процентный пункт
- Интегральное преобразование вероятности
- Квантиль
- Распределение рангов и размеров
Ссылки
[ редактировать ]- ^ Эм, В.; Гнейтинг, Т.; Джордан, А.; Крюгер, Ф. (2016). «О квантилях и ожиданиях: последовательные оценочные функции, представления Шоке и рейтинги прогнозов» . JR Стат. Соц. Б. 78 (3): 505–562. arXiv : 1503.08195 . дои : 10.1111/rssb.12154 .
- ^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 24 марта 2012 года . Проверено 25 марта 2012 г.
{{cite web}}
: CS1 maint: архивная копия в заголовке ( ссылка ) - ^ Гилкрист, В. (2000). Статистическое моделирование с использованием квантильных функций . Тейлор и Фрэнсис. ISBN 1-58488-174-7 .
- ^ Джекель, П. (2002). Методы Монте-Карло в финансах .
- ^ Хёрманн, Вольфганг; Лейдольд, Йозеф (2003). «Непрерывная генерация случайных величин путем быстрой числовой инверсии» . ACM-транзакции по моделированию и компьютерному моделированию . 13 (4): 347–362. дои : 10.1145/945511.945517 . Проверено 17 июня 2024 г. - через WU Vienna.
- ^ Дерфлингер, Герхард; Хёрманн, Вольфганг; Лейдольд, Йозеф (2010). «Генерация случайных величин путем числовой инверсии, когда известна только плотность». ACM-транзакции по моделированию и компьютерному моделированию . 20 (4): 1–25. дои : 10.1145/1842722.1842723 . Искусство. № 18.
- ^ «UNU.RAN — Универсальные генераторы неравномерных случайных чисел» .
- ^ «Runuran: R-интерфейс к генераторам случайных величин UNU.RAN» . 17 января 2023 г.
- ^ «Генератор случайных чисел (Scipy.stats.sampling) — Руководство по SciPy v1.13.0» .
- ^ Баумгартен, Кристоф; Патель, Тирт (2022). «Автоматическая генерация случайных величин в Python». Материалы 21-й конференции «Питон в науке» . стр. 46–51. дои : 10.25080/majora-212e5952-007 .
- ^ Штайнбрехер, Г.; Шоу, WT (2008). «Квантильная механика». Европейский журнал прикладной математики . 19 (2): 87–112. дои : 10.1017/S0956792508007341 . S2CID 6899308 .
- ^ Вичура, MJ (1988). «Алгоритм AS241: Процентные точки нормального распределения». Прикладная статистика . 37 (3). Издательство Блэквелл: 477–484. дои : 10.2307/2347330 . JSTOR 2347330 .
- ^ Алгоритм вычисления обратной нормальной функции кумулятивного распределения. Архивировано 5 мая 2007 г., в Wayback Machine.
- ^ Вычислительные финансы: дифференциальные уравнения для переработки Монте-Карло
- ^ Шоу, WT (2006). «Выборочное Т-распределение Стьюдента - использование обратной кумулятивной функции распределения». Журнал вычислительных финансов . 9 (4): 37–73. дои : 10.21314/JCF.2006.150 .
- ^ Карванен, Дж. (2006). «Оценка квантильных смесей с помощью L-моментов и обрезанных L-моментов». Вычислительная статистика и анализ данных . 51 (2): 947–956. дои : 10.1016/j.csda.2005.09.014 .
Дальнейшее чтение
[ редактировать ]- Абернати, Роджер В. и Смит, Роберт П. (1993) * «Применение разложения в ряды к обратному бета-распределению для нахождения процентилей F-распределения» , ACM Trans. Математика. Программное обеспечение , 9 (4), 478–480 дои : 10.1145/168173.168387
- Уточнение нормального квантиля
- Новые методы управления распределением T «студентов»
- Алгоритм ACM 396: t-квантили Стьюдента