Квантильная регрессия

Квантильная регрессия — это тип регрессионного анализа, используемый в статистике и эконометрике. В то время как метод наименьших квадратов оценивает условное среднее переменной ответа по значениям переменных-предсказателей, квантильная регрессия оценивает условную медиану (или другие квантили ) переменной ответа. Квантильная регрессия — это расширение линейной регрессии, используемое, когда условия линейной регрессии не выполняются.

Пример квантильной регрессии

Преимущества и применение

Одним из преимуществ квантильной регрессии по сравнению с обычной регрессией по методу наименьших квадратов является то, что оценки квантильной регрессии более устойчивы к выбросам в измерениях ответа. Однако основная привлекательность квантильной регрессии выходит за рамки этого и полезна, когда интерес представляют условные квантильные функции. различные меры центральной тенденции и статистической дисперсии . Для более всестороннего анализа взаимосвязи между переменными можно использовать

В экологии квантильная регрессия была предложена и использована как способ обнаружения более полезных прогностических связей между переменными в тех случаях, когда взаимосвязь отсутствует или имеется лишь слабая взаимосвязь между средними значениями таких переменных. Необходимость и успех квантильной регрессии в экологии объясняются сложностью взаимодействия между различными факторами, приводящей к получению данных с неодинаковым изменением одной переменной для разных диапазонов другой переменной.

Другое применение квантильной регрессии находится в областях диаграмм роста, где процентильные кривые обычно используются для выявления аномального роста.

История

Идея оценки наклона медианной регрессии, основная теорема о минимизации суммы абсолютных отклонений и геометрический алгоритм построения медианной регрессии были предложены в 1760 году Руджером Йосипом Бошковичем , католическим священником-иезуитом из Дубровника. Он интересовался эллиптичностью Земли, опираясь на предположение Исаака Ньютона о том, что ее вращение может привести к ее выпуклости на экваторе с соответствующим уплощением на полюсах. Наконец он разработал первую геометрическую процедуру определения экватора вращающейся планеты на основе трех наблюдений особенностей поверхности. Что еще более важно для квантильной регрессии, он смог разработать первые доказательства наименьшего абсолютного критерия и опередил метод наименьших квадратов, введенный Лежандром в 1805 году. на пятьдесят лет

Другие мыслители начали развивать идею Бошковича, например Пьер-Симон Лаплас , который разработал так называемый «метод ситуации». Это привело к появлению Фрэнсиса Эджворта . медианы множественного числа - геометрический подход к медианной регрессии - и признан предшественником симплексного метода . Работы Бошковича, Лапласа и Эджворта были признаны прелюдией к Роджера Кенкера вкладу в квантильную регрессию.

Вычисления медианной регрессии для больших наборов данных довольно утомительны по сравнению с методом наименьших квадратов, по этой причине исторически он не пользовался популярностью среди статистиков до широкого распространения компьютеров во второй половине 20-го века.

Справочная информация: квантили

Квантильная регрессия выражает условные квантили зависимой переменной как линейную функцию объясняющих переменных. Решающим для практичности квантильной регрессии является то, что квантили могут быть выражены как решение задачи минимизации, как мы покажем в этом разделе, прежде чем обсуждать условные квантили в следующем разделе.

Квантиль случайной величины

Основная статья: Квантильная функция

Позволять $Y$ быть действительной случайной величиной с кумулятивной функцией распределения $F_{Y}(y)=P(Y\leq y)$. $\tau$й квантиль Y определяется выражением

$q_{Y}(\tau )=F_{Y}^{-1}(\tau )=\inf \left\{y:F_{Y}(y)\geq \tau \right\}$

где $\tau \in (0,1).$

Определим функцию потерь как $\rho _{\tau }(m)=m(\tau -\mathbb {I} _{(m<0)})$, где $\mathbb {I}$ является индикаторной функцией .Конкретный квантиль можно найти, минимизировав ожидаемые потери $Y-u$ относительно $u$: (стр. 5–6):

$q_{Y}(\tau )={\underset {u}{\mbox{arg min}}}E(\rho _{\tau }(Y-u))={\underset {u}{\mbox{arg min}}}{\biggl \{}(\tau -1)\int _{-\infty }^{u}(y-u)dF_{Y}(y)+\tau \int _{u}^{\infty }(y-u)dF_{Y}(y){\biggr \}}.$

Это можно показать, вычислив производную ожидаемых потерь по отношению к $u$ применив правило интеграла Лейбница , установив его равным 0 и позволив $q_{\tau }$ быть решением

$0=(1-\tau )\int _{-\infty }^{q_{\tau }}dF_{Y}(y)-\tau \int _{q_{\tau }}^{\infty }dF_{Y}(y).$

Это уравнение сводится к

$0=F_{Y}(q_{\tau })-\tau ,$

а затем

$F_{Y}(q_{\tau })=\tau .$

Если решение $q_{\tau }$ не единственное, то нам нужно взять наименьшее такое решение, чтобы получитьтот $\tau$й квантиль случайной величины Y .

Пример

Позволять $Y$ быть дискретной случайной величиной, принимающей значения $y_{i}=i$ с $i=1,2,\dots ,9$ с равными вероятностями. Задача — найти медиану Y, а значит и значение $\tau =0.5$ выбран. Тогда ожидаемая потеря $Y-u$ является

$L(u)=E(\rho _{\tau }(Y-u))={\frac {(\tau -1)}{9}}\sum _{y_{i}<u}$$(y_{i}-u)$$+{\frac {\tau }{9}}\sum _{y_{i}\geq u}$$(y_{i}-u)$$={\frac {0.5}{9}}{\Bigl (}$$-$$\sum _{y_{i}<u}$$(y_{i}-u)$$+\sum _{y_{i}\geq u}$$(y_{i}-u)$${\Bigr )}.$

С ${0.5/9}$ является константой, ее можно вынести из функции ожидаемых потерь (это верно только в том случае, если $\tau =0.5$). Тогда при u =3

$L(3)\propto \sum _{i=1}^{2}$$-(i-3)$$+\sum _{i=3}^{9}$$(i-3)$$=[(2+1)+(0+1+2+...+6)]=24.$

Предположим, что u увеличено на 1 единицу. Тогда ожидаемый убыток изменится на $(3)-(6)=-3$ при изменении u на 4. Если u = 5, ожидаемая потеря равна

$L(5)\propto \sum _{i=1}^{4}i+\sum _{i=0}^{4}i=20,$

и любое изменение в u увеличит ожидаемые потери. Таким образом, u =5 — медиана. В таблице ниже показаны ожидаемые потери (деленные на ${0.5/9}$) для разных значений u .

в	1	2	3	4	5	6	7	8	9
Ожидаемый убыток	36	29	24	21	20	21	24	29	36

Интуиция

Учитывать $\tau =0.5$ и пусть q — начальное предположение для $q_{\tau }$. Ожидаемый убыток, оцененный как q, равен

$L(q)=-0.5\int _{-\infty }^{q}(y-q)dF_{Y}(y)+0.5\int _{q}^{\infty }(y-q)dF_{Y}(y).$

Чтобы минимизировать ожидаемые потери, мы перемещаем значение q немного , чтобы увидеть, вырастут или упадут ожидаемые потери.Предположим, мы увеличиваем q на 1 единицу. Тогда изменение ожидаемых потерь будет равно

$\int _{-\infty }^{q}1dF_{Y}(y)-\int _{q}^{\infty }1dF_{Y}(y).$

Первый член уравнения $F_{Y}(q)$ и второй член уравнения $1-F_{Y}(q)$. Следовательно, изменение функции ожидаемых потерь отрицательно тогда и только тогда, когда $F_{Y}(q)<0.5$, то есть тогда и только тогда, когда q меньше медианы. Аналогично, если мы уменьшим q на 1 единицу, изменение функции ожидаемых потерь будет отрицательным тогда и только тогда, когда q больше медианы.

Чтобы минимизировать функцию ожидаемых потерь, мы будем увеличивать (уменьшать) L ( q ), если q меньше (больше), чем медиана, до тех пор, пока q не достигнет медианы. Идея минимизации состоит в том, чтобы подсчитать количество точек (взвешенных по плотности), которые больше или меньше q , а затем переместить q в точку, где q больше, чем $100\tau$% баллов.

Выборочный квантиль

The $\tau$ Квантиль выборки можно получить, используя оценку выборки важности и решая следующую задачу минимизации:

${\hat {q}}_{\tau }={\underset {q\in \mathbb {R} }{\mbox{arg min}}}\sum _{i=1}^{n}\rho _{\tau }(y_{i}-q),$

$={\underset {q\in \mathbb {R} }{\mbox{arg min}}}\left[(\tau -1)\sum _{y_{i}<q}(y_{i}-q)+\tau \sum _{y_{i}\geq q}(y_{i}-q)\right]$,

где функция $\rho _{\tau }$ — наклоненная функция абсолютного значения. Интуиция та же, что и для квантиля населения.

Условный квантиль и квантильная регрессия

The $\tau$-й условный квантиль $Y$ данный $X$ это $\tau$-й квантиль Условное распределение вероятностей $Y$ данный $X$,

$Q_{Y|X}(\tau )=\inf \left\{y:F_{Y|X}(y)\geq \tau \right\}$.

Мы используем капитал $Q$ для обозначения условного квантиля, чтобы указать, что это случайная величина.

В квантильной регрессии для $\tau$-й квантиль, мы предполагаем, что $\tau$условный квантиль задается как линейная функция объясняющих переменных:

$Q_{Y|X}(\tau )=X\beta _{\tau }$.

Учитывая функцию распределения $Y$, $\beta _{\tau }$ можно получить, решив

$\beta _{\tau }={\underset {\beta \in \mathbb {R} ^{k}}{\mbox{arg min}}}E(\rho _{\tau }(Y-X\beta )).$

Решение выборочного аналога дает оценку $\beta$.

${\hat {\beta _{\tau }}}={\underset {\beta \in \mathbb {R} ^{k}}{\mbox{arg min}}}\sum _{i=1}^{n}(\rho _{\tau }(Y_{i}-X_{i}\beta )).$

Обратите внимание, что когда $\tau =0.5$, функция потерь $\rho _{\tau }$ пропорциональна функции абсолютного значения, и, таким образом, медианная регрессия аналогична линейная регрессия по наименьшим абсолютным отклонениям .

Вычисление оценок параметров регрессии

Математические формы, возникающие в результате квантильной регрессии, отличаются от форм, возникающих в методе наименьших квадратов . Метод наименьших квадратов приводит к рассмотрению проблем в пространстве внутреннего произведения , включающих проекцию на подпространства, и, таким образом, проблема минимизации квадратов ошибок может быть сведена к проблеме численной линейной алгебры . Квантильная регрессия не имеет такой структуры, и вместо этого проблему минимизации можно переформулировать как линейного программирования. задачу

${\underset {\beta ,u^{+},u^{-}\in \mathbb {R} ^{k}\times \mathbb {R} _{+}^{2n}}{\min }}\left\{\tau 1_{n}^{'}u^{+}+(1-\tau )1_{n}^{'}u^{-}|X\beta +u^{+}-u^{-}=Y\right\},$

где

$u_{j}^{+}=\max(u_{j},0)$ ,    $u_{j}^{-}=-\min(u_{j},0).$

Симплексные методы или методы внутренней точки можно применить для решения задачи линейного программирования.

Асимптотические свойства

Для $\tau \in (0,1)$, при некоторых условиях регулярности, ${\hat {\beta }}_{\tau }$ нормально асимптотически :

${\sqrt {n}}({\hat {\beta }}_{\tau }-\beta _{\tau }){\overset {d}{\rightarrow }}N(0,\tau (1-\tau )D^{-1}\Omega _{x}D^{-1}),$

где

$D=E(f_{Y}(X\beta )XX^{\prime })$ и $\Omega _{x}=E(X^{\prime }X).$

Прямая оценка асимптотической дисперсионно-ковариационной матрицы не всегда является удовлетворительной. Выводы о параметрах квантильной регрессии можно сделать с помощью тестов ранжирования регрессии или методов начальной загрузки.

Эквивариантность

Дополнительную инвариантной информацию об инвариантности см. в оценке или см. эквивалентность .

Масштабная эквивалентность

Для любого $a>0$ и $\tau \in [0,1]$

${\hat {\beta }}(\tau ;aY,X)=a{\hat {\beta }}(\tau ;Y,X),$

${\hat {\beta }}(\tau ;-aY,X)=-a{\hat {\beta }}(1-\tau ;Y,X).$

Эквивариантность сдвига

Для любого $\gamma \in R^{k}$ и $\tau \in [0,1]$

${\hat {\beta }}(\tau ;Y+X\gamma ,X)={\hat {\beta }}(\tau ;Y,X)+\gamma .$

Эквивариантность репараметризации проекта

Позволять $A$ быть любым $p\times p$ невырожденная матрица и $\tau \in [0,1]$

${\hat {\beta }}(\tau ;Y,XA)=A^{-1}{\hat {\beta }}(\tau ;Y,X).$

Инвариантность к монотонным преобразованиям

Если $h$ является неубывающей функцией на $\mathbb {R}$ следующее свойство инвариантности , применяется :

$h(Q_{Y|X}(\tau ))\equiv Q_{h(Y)|X}(\tau ).$

Пример (1):

Если $W=\exp(Y)$ и $Q_{Y|X}(\tau )=X\beta _{\tau }$, затем $Q_{W|X}(\tau )=\exp(X\beta _{\tau })$. Средняя регрессия не обладает тем же свойством, поскольку $\operatorname {E} (\ln(Y))\neq \ln(\operatorname {E} (Y)).$

Вывод

Интерпретация параметров уклона

Линейная модель $Q_{Y|X}(\tau )=X\beta _{\tau }$ неверно определяет истинное систематическое отношение $Q_{Y|X}(\tau )=f(X,\tau )$ когда $f(\cdot ,\tau )$ является нелинейным. Однако, $Q_{Y|X}(\tau )=X\beta _{\tau }$ минимизирует взвешенное расстояние до $f(X,\tau )$ среди линейных моделей. Кроме того, параметры наклона $\beta _{\tau }$ линейной модели можно интерпретировать как средневзвешенные производные $\nabla f(X,\tau )$ так что $\beta _{\tau }$ можно использовать для причинно-следственных выводов. В частности, гипотеза $H_{0}:\nabla f(x,\tau )=0$ для всех $x$ подразумевает гипотезу $H_{0}:\beta _{\tau }=0$, что можно проверить с помощью оценщика ${\hat {\beta _{\tau }}}$ и его предельное распространение.

Хорошая посадка

Степень соответствия квантильной регрессии для $\tau$ Квантиль можно определить как: $R^{2}(\tau )=1-{\frac {{\hat {V}}_{\tau }}{{\tilde {V}}_{\tau }}},$где ${\hat {V}}_{\tau }$ представляет собой сумму квадратов условного квантиля, а ${\tilde {V}}_{\tau }$ представляет собой сумму квадратов безусловного квантиля.

Варианты

Байесовские методы квантильной регрессии

Поскольку квантильная регрессия обычно не предполагает параметрического правдоподобия для условных распределений Y | X, байесовские методы работают с рабочим правдоподобием. Удобным выбором является асимметричное правдоподобие Лапласа: потому что мода результирующего апостериора при плоском априоре представляет собой обычные оценки квантильной регрессии. Однако апостериорный вывод следует интерпретировать с осторожностью. Ян, Ван и Хэ предоставил поправку на апостериорную дисперсию для достоверного вывода. Кроме того,Ян и Он показал, что можно получить асимптотически действительный апостериорный вывод, если в качестве рабочего правдоподобия выбрано эмпирическое правдоподобие.

Методы машинного обучения для квантильной регрессии

Помимо простой линейной регрессии, существует несколько методов машинного обучения, которые можно расширить до квантильной регрессии. Переключение с квадратичной ошибки на наклонную функцию потери абсолютного значения (также известную как потеря пинбола) . ) позволяет алгоритмам обучения на основе градиентного спуска изучать указанный квантиль вместо среднего значения. Это означает, что мы можем применить все алгоритмы нейронных сетей и глубокого обучения к квантильной регрессии. которая затем называется непараметрической квантильной регрессией. Алгоритмы обучения на основе деревьев также доступны для квантильной регрессии (см., например, Леса квантильной регрессии, как простое обобщение случайных лесов ).

Цензурированная квантильная регрессия

Если переменная ответа подвергается цензуре, условное среднее невозможно идентифицировать без дополнительных предположений о распределении, но условный квантиль часто можно идентифицировать. О недавних работах по цензурированной квантильной регрессии см.: Portnoy. и Ван и Ван

Пример (2):

Позволять $Y^{c}=\max(0,Y)$ и $Q_{Y|X}=X\beta _{\tau }$. Затем $Q_{Y^{c}|X}(\tau )=\max(0,X\beta _{\tau })$. Это модель квантильной регрессии с цензурой: оценочные значения можно получить без каких-либо предположений о распределении, но за счет вычислительных сложностей, некоторых из них можно избежать, используя в качестве приближения простую трехэтапную процедуру цензурированной квантильной регрессии.

Для случайной цензуры переменных ответа используется цензурированная квантильная регрессия Портного (2003). обеспечивает последовательные оценки всех идентифицируемых квантильных функций на основе соответствующего повторного взвешивания каждой подвергнутой цензуре точки.

Цензурированная квантильная регрессия тесно связана с анализом выживания .

Изображение двух оценок Каплана – Мейера вероятностей выживания. $S(t)=1-F(t)$ двух групп пациентов в зависимости от времени $t$, где $F(t)$ – функция распределения смертей. $\tau$ квантиль смертей $t_{\tau }=F^{-1}(\tau )$, где $F^{-1}$ – квантильная функция смертности. Цензурированная квантильная регрессия может использоваться для индивидуальной оценки этих условных квантилей, тогда как анализ выживания оценивает (условную) функцию выживания.

Гетероскедастические ошибки

Чтобы быть эффективными, потери квантильной регрессии необходимо адаптировать при наличии гетероскедастических ошибок .

Реализации

Многочисленные пакеты статистического программного обеспечения включают реализации квантильной регрессии:

• Матлаба Функция quantreg
• у Гретл есть quantreg команда.
• R предлагает несколько пакетов, реализующих квантильную регрессию, в первую очередь quantreg Роджер Кенкер , но и gbm, quantregForest, qrnn и qgam
• Питон , через Scikit-garden и statsmodels
• SAS через proc quantreg (версия 9.2) и proc quantselect (см. 9.3).
• Стата , через чай qreg команда.
• Вопал Ваббит , через --loss_function quantile.
• Математика Пакет QuantileRegression.m размещен в проекте MathematicaForPrediction на GitHub.
• языка Wolfram Функция QuantileRegression размещен в репозитории функций Wolfram.

См. также

• Регрессия наименьших абсолютных отклонений
• Конформное предсказание

Литература

• Ангрист, Джошуа Д .; Пишке, Йорн-Штеффен (2009). «Квантильная регрессия» . В основном безобидная эконометрика: спутник эмпирика . Издательство Принстонского университета. стр. 269–291. ISBN  978-0-691-12034-8 .
• Кенкер, Роджер (2005). Квантильная регрессия . Издательство Кембриджского университета. ISBN  978-0-521-60827-5 .