Квантильно-параметрическое распределение

Квантильно -параметризованное распределение (QPD) — это распределение вероятностей, которое напрямую параметризуется данными. Они были созданы для удовлетворения потребности в простых в использовании непрерывных распределениях вероятностей, достаточно гибких, чтобы отражать широкий спектр неопределенностей, например, тех, которые обычно встречаются в бизнесе, экономике, технике и науке. Поскольку QPD напрямую параметризуются данными, у них есть практическое преимущество, заключающееся в том, что они позволяют избежать промежуточного этапа оценки параметров — трудоемкого процесса, который обычно требует нелинейных итерационных методов для оценки параметров распределения вероятностей на основе данных. Некоторые QPD обладают практически неограниченной гибкостью формы, а также моментами замкнутой формы.

История

Разработка квантильно-параметризованных распределений была вдохновлена ​​практической потребностью в гибких непрерывных распределениях вероятностей, которые легко адаптировать к данным. Исторически Пирсон и Джонсон семейства распределений использовались, когда требовалась гибкость формы. Это связано с тем, что оба семейства могут сопоставить первые четыре момента (среднее значение, дисперсию, асимметрию и эксцесс) любого набора данных. Однако во многих случаях эти распределения либо сложно подогнать под данные, либо они недостаточно гибки, чтобы соответствующим образом подогнать данные.

Например, бета-распределение — это гибкое распределение Пирсона, которое часто используется для моделирования процентной доли населения. Однако если характеристики этой совокупности таковы, что желаемая кумулятивная функция распределения (CDF) должна проходить через определенные конкретные точки CDF, может не быть бета-распределения, отвечающего этой потребности. Поскольку бета-распределение имеет только два параметра формы, оно, как правило, не может соответствовать даже трем заданным точкам CDF. Более того, бета-параметры, наилучшим образом соответствующие таким данным, можно найти только нелинейными итерационными методами.

Специалисты по анализу решений , нуждающиеся в распределениях, которые можно легко параметризовать тремя или более точками CDF (например, потому, что такие точки были указаны в результате процесса выявления экспертов ), первоначально изобрели для этой цели распределения, параметризованные квантилем. Килин и Паули (2011) дал первоначальное определение. Впоследствии Килин (2016) разработал металогические распределения — семейство распределений, параметризованных квантилем, которые имеют практически неограниченную гибкость формы, простые уравнения и моменты замкнутой формы.

Определение

Килин и Паули определить параметризованное квантилем распределение как распределение, функция квантиля которого (обратный CDF) может быть записана в виде

$F^{-1}(y)=\left\{{\begin{array}{cl}L_{0}&{\text{for }}y=0\\\sum _{i=1}^{n}a_{i}g_{i}(y)&{\text{for }}0<y<1\\L_{1}&{\mbox{for }}y=1\end{array}}\right.$

где

${\begin{array}{rcl}L_{0}&=&\lim _{y\rightarrow 0^{+}}F^{-1}(y)\\L_{1}&=&\lim _{y\rightarrow 1^{-}}F^{-1}(y)\end{array}}$

и функции $g_{i}(y)$ являются непрерывно дифференцируемыми и линейно независимыми базисными функциями. Здесь, по сути, $L_{0}$ и $L_{1}$ — нижняя и верхняя границы (если они существуют) случайной величины с функцией квантиля $F^{-1}(y)$. Эти распределения называются квантильно-параметризованными, поскольку для заданного набора пар квантилей $\{(x_{i},y_{i})\mid i=1,\ldots ,n\}$, где $x_{i}=F^{-1}(y_{i})$и набор $n$ базисные функции $g_{i}(y)$, коэффициенты $a_{i}$ можно определить, решив систему линейных уравнений. Если кто-то желает использовать больше пар квантилей, чем базисные функции, то коэффициенты $a_{i}$ может быть выбран так, чтобы минимизировать сумму квадратов ошибок между указанными квантилями $x_{i}$ и $F^{-1}(y_{i})$. Килин и Паули проиллюстрируйте эту концепцию для конкретного выбора базисных функций, который является обобщением функции квантиля нормального распределения , $x=\mu +\sigma \Phi ^{-1}(y)$, для которого среднее $\mu$ и стандартное отклонение $\sigma$ являются линейными функциями кумулятивной вероятности $y$:

$\mu (y)=a_{1}+a_{4}y$

$\sigma (y)=a_{2}+a_{3}y$

Результатом является распределение с четырьмя параметрами, которое можно точно подогнать к набору из четырех пар квантиль/вероятность или к любому числу таких пар с помощью линейного метода наименьших квадратов . Килин и Паули назовите это простым Q-нормальным распределением. Некоторые перекошенные и симметричные файлы Simple Q-Normal PDF показаны на рисунках ниже.

Симметричные простые Q-нормальные PDF-файлы

Искаженные простые Q-Normal PDF-файлы

Характеристики

QPD, соответствующие определению Килина и Паули, обладают следующими свойствами.

Функция плотности вероятности

Дифференциация $x=F^{-1}(y)=\sum _{i=1}^{n}a_{i}g_{i}(y)$ относительно $y$ урожайность $dx/dy$. обратная этой величине, $dy/dx$, — функция плотности вероятности (PDF)

$f(y)=\left(\sum _{i=1}^{n}a_{i}{{dg_{i}(y)} \over {dy}}\right)^{-1}$

где $0<y<1$. Обратите внимание, что эта PDF выражается как функция кумулятивной вероятности. $y$ скорее, чем $x$. Чтобы построить его, как показано на рисунках, измените $y\in (0,1)$ параметрически. Сюжет $x=F^{-1}(y)$ по горизонтальной оси и $f(y)$ на вертикальной оси.

Технико-экономическое обоснование

Функция формы $F^{-1}(y)$ является допустимым распределением вероятностей тогда и только тогда, когда $f(y)>0$ для всех $y\in (0,1)$. Это подразумевает ограничение осуществимости набора коэффициентов ${\boldsymbol {a}}=(a_{1},\ldots ,a_{n})\in \mathbb {R} ^{n}$:

$\sum _{i=1}^{n}a_{i}{{dg_{i}(y)} \over {dy}}>0$ для всех $y\in (0,1)$

В практических приложениях осуществимость обычно следует проверять, а не предполагать.

Выпуклость

Набор допустимых коэффициентов QPD $S_{\boldsymbol {a}}=\{{\boldsymbol {a}}\in \mathbb {R} ^{n}\mid \sum _{i=1}^{n}a_{i}dg_{i}(y)/dy>0$ для всех $y\in (0,1)\}$ является выпуклым . Поскольку выпуклая оптимизация требует выпуклых допустимых множеств, это свойство упрощает приложения оптимизации, включающие QPD.

Подгонка к данным

Коэффициенты ${\boldsymbol {a}}$ может быть определена по данным линейным методом наименьших квадратов . Данный $m$ точки данных $(x_{i},y_{i})$ которые предназначены для характеристики CDF QPD, и $m\times n$ матрица ${\boldsymbol {Y}}$ элементы которого состоят из $g_{j}(y_{i})$, тогда, пока ${\boldsymbol {Y}}^{T}{\boldsymbol {Y}}$ обратим, вектор-столбец коэффициентов ${\boldsymbol {a}}$ может быть определен как ${\boldsymbol {a}}=({\boldsymbol {Y}}^{T}{\boldsymbol {Y}})^{-1}{\boldsymbol {Y}}^{T}{\boldsymbol {x}}$, где $m\geq n$ и вектор-столбец ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})$. Если $m=n$, это уравнение сводится к ${\boldsymbol {a}}={\boldsymbol {Y}}^{-1}{\boldsymbol {x}}$, где результирующий CDF проходит точно по всем точкам данных. Альтернативный метод, реализованный в виде линейной программы, определяет коэффициенты путем минимизации суммы абсолютных расстояний между CDF и данными, на которые распространяются ограничения осуществимости.

Гибкость формы

QPD с $n$ термины, где $n\geq 2$, имеет $n-2$ параметры формы. Таким образом, КФД могут быть гораздо более гибкими, чем распределения Пирсона , которые имеют не более двух параметров формы. десятичленные металогические распределения, Например, было показано, что параметризованные 105 точками CDF из 30 традиционных исходных распределений (включая нормальное, распределение Стьюдента, логнормальное, гамма, бета и экстремальное значение), аппроксимируют каждое такое исходное распределение в пределах K – S. расстояние 0,001 или меньше.

Преобразования

Преобразования КПД подчиняются общему свойству функций квантиля: для любой функции квантиля $x=Q(y)$ и повышение функции $t(x),x=t^{-1}(Q(y))$ является квантильной функцией . Например, функция квантиля нормального распределения , $x=\mu +\sigma \Phi ^{-1}(y)$, является КПД по определению Килина и Паули. Натуральный логарифм, $t(x)=\ln(x-b_{l})$, является возрастающей функцией, поэтому $x=b_{l}+e^{\mu +\sigma \Phi ^{-1}(y)}$ - функция квантиля логнормального распределения с нижней границей $b_{l}$. Важно отметить, что это преобразование преобразует неограниченную КФД в полуограниченную КФД. Аналогично, применяя это логарифмическое преобразование к неограниченному металогическому распределению дает полуограниченное (логарифмическое) металогическое распределение ; аналогично, применяя логит-преобразование, $t(x)=\ln((x-b_{l})/(b_{u}-x))$, дает ограниченное (логит) металогическое распределение с нижней и верхней границей $b_{l}$ и $b_{u}$, соответственно. Более того, рассматривая $t(x)$ быть $F^{-1}(y)$ распределено, где $F^{-1}(y)$ представляет собой любую QPD, соответствующую определению Килина и Паули, преобразованная переменная сохраняет вышеуказанные свойства осуществимости, выпуклости и соответствия данным. Такие преобразованные QPD имеют большую гибкость формы, чем лежащие в их основе $F^{-1}(y)$, который имеет $n-2$ параметры формы; преобразование журнала имеет $n-1$ параметры формы, а логит-преобразование имеет $n$ параметры формы. Более того, такие преобразованные QPD имеют тот же набор допустимых коэффициентов, что и базовый непреобразованный QPD.

Моменты

The $k^{th}$ момент КПД равен:

$E[x^{k}]=\int _{0}^{1}\left(\sum _{i=1}^{n}a_{i}g_{i}(y)\right)^{k}dy$

Существуют ли такие моменты в замкнутой форме, зависит от выбора базисных функций КФД. $g_{i}(y)$. Неограниченное металогическое распределение и полиномиальные КФД являются примерами КФД, для которых моменты существуют в замкнутой форме как функции коэффициентов $a_{i}$.

Моделирование

Поскольку функция квантиля $x=F^{-1}(y)$ выражается в закрытой форме, QPD Килина и Паули облегчают моделирование методом Монте-Карло . Подставляя в равномерно распределенные случайные выборки $y$ производит случайные выборки $x$ в закрытой форме, тем самым устраняя необходимость инвертировать CDF, выраженный как $y=F(x)$.

Связанные дистрибутивы

Следующие распределения вероятностей являются QPD согласно определению Килина и Паули:

• Квантильная функция нормального распределения , $x=\mu +\sigma \Phi ^{-1}(y)$.
• Квантильная функция распределения Гамбеля , $x=\mu -\beta \ln(-\ln(y))$.
• Квантильная функция распределения Коши , $x=x_{0}+\gamma \tan[\pi (y-0.5)]$.
• Квантильная функция логистического распределения , $x=\mu +s\ln(y/(1-y))$.
• Неограниченное металогическое распределение , которое представляет собой разложение в степенной ряд $\mu$ и $s$ параметры логистической квантильной функции.
• Полуограниченное и ограниченное металогическое распределение , которые являются логарифмическим и логит-преобразованием соответственно неограниченного металогового распределения.
• , Неограниченные, полуограниченные и ограниченные металогические распределения SPT (триплет симметричных процентилей) которые параметризуются тремя точками CDF и дополнительными верхними и нижними границами.
• Простое Q-нормальное распределение
• Метараспределения, включая метанормальные
• Квантильные функции, выраженные как полиномиальные функции кумулятивной вероятности $y$, включая Чебышева . полиномиальные функции

Подобно металогическим распределениям SPT, квантильно-параметризованные распределения Джонсона (JQPD) параметризуются тремя квантилями. JQPD не соответствуют определению QPD Килина и Паули, а имеют свои собственные свойства. JQPD осуществимы для всех наборов параметров SPT, которые соответствуют правилам вероятности .

Приложения

Первоначально QPD применялись аналитиками решений, желающими удобно преобразовать оцененные экспертами квантили (например, 10-й, 50-й и 90-й квантили) в плавные непрерывные распределения вероятностей. QPD также использовались для подбора выходных данных моделирования, чтобы представить эти результаты (как CDF, так и PDF) в виде непрерывных распределений в закрытой форме. При таком использовании они обычно более стабильны и плавны, чем гистограммы. Аналогичным образом, поскольку QPD могут накладывать меньше ограничений по форме, чем традиционные распределения, они использовались для соответствия широкому диапазону эмпирических данных, чтобы представить эти наборы данных как непрерывные распределения (например, прямо отражая бимодальность, которая может существовать в данных). ). Квантильная параметризация позволяет представить QPD в закрытой форме известных распределений, чьи CDF в противном случае не имеют выражения в закрытой форме. Килин и др. (2019) примените это к сумме независимых одинаково распределенных логнормальных распределений, где квантили суммы могут быть определены с помощью большого количества симуляций. Девять таких квантилей используются для параметризации полуограниченного металогического распределения, которое проходит точно через каждый из этих девяти квантилей. QPD также применялись для оценки рисков воздействия астероидов. кибербезопасность, отклонения в прогнозах добычи нефти на месторождениях по сравнению с наблюдаемой добычей постфактум, и будущие прогнозы численности населения Канады, основанные на объединении вероятностных взглядов нескольких экспертов. См. дистрибутивы металогов и Килин (2016). для дополнительных приложений дистрибутива металога.

Внешние ссылки

• Дистрибутивы Metalog, www.metalogs.org