Probit model

В статистике пробит- модель — это тип регрессии , где зависимая переменная может принимать только два значения, например, женат или не женат. Это слово представляет комбинацию слов собой + «вероятность un it » . Цель модели — оценить вероятность того, что наблюдение с определенными характеристиками попадет в определенную из категорий; более того, классификация наблюдений на основе их предсказанных вероятностей является разновидностью модели бинарной классификации .

Пробит - модель — это популярная спецификация модели двоичного отклика . По существу, он решает тот же набор проблем, что и логистическая регрессия, используя аналогичные методы. При рассмотрении в рамках обобщенной линейной модели пробит-модель использует функцию пробит- связи . Чаще всего его оценивают с помощью процедуры максимального правдоподобия , такая оценка называется пробит-регрессией .

Концептуальная основа

Предположим, что переменная ответа Y является двоичной , то есть может иметь только два возможных результата , которые мы обозначим как 1 и 0. Например, Y может обозначать наличие/отсутствие определенного условия, успех/отказ какого-либо устройства, ответ да/ нет в опросе и т. д. У нас также есть вектор регрессоров X влияют на результат Y. , которые, как предполагается , В частности, мы предполагаем, что модель имеет вид

$P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),$

где P - вероятность и $\Phi$ — кумулятивная функция распределения ( CDF ) стандартного нормального распределения . Параметры β обычно оцениваются по принципу максимального правдоподобия .

Можно мотивировать пробит-модель как модель скрытой переменной . Предположим, существует вспомогательная случайная величина

$Y^{\ast }=X^{T}\beta +\varepsilon ,$

где е ~ N (0, 1). Тогда Y можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

$Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}$

Использование стандартного нормального распределения не приводит к потере общности по сравнению с использованием нормального распределения с произвольным средним значением и стандартным отклонением, поскольку добавление фиксированной суммы к среднему значению может быть компенсировано вычитанием той же суммы из точки пересечения и умножением стандартное отклонение на фиксированную сумму можно компенсировать путем умножения весов на ту же сумму.

Чтобы убедиться в эквивалентности двух моделей, обратите внимание, что

${\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}$

Оценка модели

Оценка максимального правдоподобия

Предположим, набор данных $\{y_{i},x_{i}\}_{i=1}^{n}$ содержит n независимых статистических единиц, соответствующих приведенной выше модели.

Для одного наблюдения, зависящего от вектора входных данных этого наблюдения, мы имеем:

$P(y_{i}=1|x_{i})=\Phi (x_{i}'\beta )$

$P(y_{i}=0|x_{i})=1-\Phi (x_{i}'\beta )$

где $x_{i}$ представляет собой вектор $K\times 1$ входы и $\beta$ это $K\times 1$ вектор коэффициентов.

Вероятность единичного наблюдения $(y_{i},x_{i})$ тогда

${\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}$

Фактически, если $y_{i}=1$, затем ${\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )$, и если $y_{i}=0$, затем ${\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )$.

Поскольку наблюдения независимы и одинаково распределены, то вероятность всей выборки или совместное правдоподобие будет равна произведению правдоподобий отдельных наблюдений:

${\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)$

Таким образом, совместная логарифмическая функция правдоподобия равна

$\ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}$

Оценщик ${\hat {\beta }}$ которая максимизирует эту функцию, будет непротиворечивой , асимптотически нормальной и эффективной при условии, что $\operatorname {E} [XX^{\operatorname {T} }]$ существует и не является единственным. Можно показать, что эта логарифмическая функция правдоподобия глобально вогнута по $\beta$, и поэтому стандартные численные алгоритмы оптимизации быстро сходятся к уникальному максимуму.

Асимптотическое распределение для ${\hat {\beta }}$ дается

${\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),$

где

$\Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },$

и $\varphi =\Phi '$ — это функция плотности вероятности ( PDF ) стандартного нормального распределения.

Также доступны полупараметрические и непараметрические методы максимального правдоподобия для пробит-типа и других связанных моделей.

Метод минимального хи-квадрата Берксона

Основная статья: Минимальная оценка хи-квадрат

Этот метод можно применять только тогда, когда имеется много наблюдений переменной отклика. $y_{i}$ имеющие одинаковое значение вектора регрессоров $x_{i}$ (такую ​​ситуацию можно назвать «много наблюдений на ячейку»). Более конкретно модель можно сформулировать следующим образом.

Предположим, среди n наблюдений $\{y_{i},x_{i}\}_{i=1}^{n}$ существует только T различных значений регрессоров, которые можно обозначить как $\{x_{(1)},\ldots ,x_{(T)}\}$. Позволять $n_{t}$ быть числом наблюдений с $x_{i}=x_{(t)},$ и $r_{t}$ количество таких наблюдений с $y_{i}=1$. Мы предполагаем, что на каждую «ячейку» действительно приходится «много» наблюдений: для каждой $t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0$.

Обозначим

${\hat {p}}_{t}=r_{t}/n_{t}$

${\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}$

Тогда хи-квадрат Берксона минимальная оценка является обобщенной оценкой наименьших квадратов в регрессии $\Phi ^{-1}({\hat {p}}_{t})$ на $x_{(t)}$ с гирями ${\hat {\sigma }}_{t}^{-2}$:

${\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})$

Можно показать, что эта оценка непротиворечива (при n → ∞ и фиксированном T ), асимптотически нормальна и эффективна. Его преимуществом является наличие замкнутой формулы для оценки. Однако имеет смысл проводить этот анализ только тогда, когда отдельные наблюдения недоступны, а только их агрегированные данные. $r_{t}$, $n_{t}$, и $x_{(t)}$ (например, при анализе поведения избирателей).

Выборка Гиббса

Выборка Гиббса пробит-модели возможна, поскольку в моделях регрессии обычно используются нормальные априорные распределения весов, и это распределение сопряжено с нормальным распределением ошибок (и, следовательно, скрытых переменных Y ^* ). Модель можно описать как

${\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}$

Отсюда мы можем определить необходимые полные условные плотности:

${\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}$

Результат для ${\boldsymbol {\beta }}$ приведен в статье о байесовской линейной регрессии , хотя и указан в других обозначениях.

Единственная сложность заключается в последних двух уравнениях. Обозначения $[y_{i}^{\ast }<0]$ — это скобка Айверсона , которую иногда пишут ${\mathcal {I}}(y_{i}^{\ast }<0)$ или подобное. Это указывает на то, что распределение необходимо усечь в пределах заданного диапазона и соответствующим образом изменить масштаб. В данном конкретном случае возникает усеченное нормальное распределение . Выборка из этого распределения зависит от того, насколько она усечена. Если остается большая часть исходной массы, выборку можно легко выполнить с помощью выборки с отбраковкой — просто выберите число из неусеченного распределения и отклоните его, если оно выходит за пределы ограничения, налагаемого усечением. Однако если отбор проб осуществляется лишь из небольшой доли исходной массы (например, если отбор проб осуществляется из одного из хвостов нормального распределения, например, если $\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}$ составляет около 3 или более, и желательна отрицательная выборка), тогда это будет неэффективно и возникает необходимость прибегнуть к другим алгоритмам выборки. Общая выборка из усеченного нормального может быть достигнута с использованием аппроксимации нормального CDF и пробит-функции , а R имеет функцию rtnorm() для генерации усеченно-нормальных выборок.

Оценка модели

Пригодность оцененной бинарной модели можно оценить, подсчитав количество истинных наблюдений, равное 1, и число, равное нулю, для которых модель присваивает правильную прогнозируемую классификацию, обрабатывая любую оцененную вероятность выше 1/2 (или ниже 1/ 2) как присвоение предсказания 1 (или 0). см . в разделе Логистическая регрессия § Модель Подробности .

Производительность при неправильной спецификации

Рассмотрим формулировку пробит-модели со скрытыми переменными. Когда дисперсия ​ $\varepsilon$ при условии $x$ не является постоянной величиной, а зависит от $x$, то возникает проблема гетероскедастичности . Например, предположим $y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon$ и $\varepsilon \mid x\sim N(0,x_{1}^{2})$ где $x_{1}$ является непрерывной положительной объясняющей переменной. В условиях гетероскедастичности пробит-оценка для $\beta$ обычно противоречиво, и большинство тестов на коэффициенты недействительны. Что еще более важно, оценка для $P(y=1\mid x)$ тоже становится противоречивым. Чтобы решить эту проблему, исходную модель необходимо преобразовать так, чтобы она была гомоскедастической. Например, в том же примере $1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]$ можно переписать как $1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]$, где $\varepsilon /x_{1}\mid x\sim N(0,1)$. Поэтому, $P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})$ и зарабатываем прибыль $(1,1/x_{1})$ генерирует непротиворечивую оценку условной вероятности $P(y=1\mid x).$

Когда предположение о том, что $\varepsilon$ нормально распределена, не выполняется, то возникает проблема неправильной спецификации функциональной формы : если модель по-прежнему оценивается как пробит-модель, оценки коэффициентов $\beta$ противоречивы. Например, если $\varepsilon$ следует логистическому распределению в истинной модели, но модель оценивается по пробиту, оценки обычно будут меньше истинного значения. поскольку оценки частичных эффектов Однако противоречивость оценок коэффициентов практически не имеет значения , $\partial P(y=1\mid x)/\partial x_{i'}$, будет близок к оценкам, данным истинной логит-моделью.

Чтобы избежать проблемы неправильной спецификации распределения, можно принять общее предположение о распределении для термина ошибки, так что в модель можно включить множество различных типов распределения. Затраты — более тяжелые вычисления и более низкая точность при увеличении количества параметров. В большинстве случаев на практике, когда форма распределения определена неправильно, оценки коэффициентов противоречивы, но оценки условной вероятности и частных эффектов по-прежнему очень хороши.

Можно также использовать полупараметрические или непараметрические подходы, например, с помощью методов локального правдоподобия или непараметрических методов квазиправдоподобия, которые позволяют избежать предположений о параметрической форме индексной функции и устойчивы к выбору функции связи (например, пробит или логит).

История

Модель пробита обычно приписывают Честеру Блиссу , который ввел термин «пробит» в 1934 году. и Джону Гаддуму (1933), который систематизировал более ранние работы. Однако базовая модель восходит к закону Вебера-Фехнера Густава Фехнера , опубликованному Фехнером (1860 г.) , и неоднократно открывалась заново до 1930-х годов; см. Finney (1971 , глава 3.6) и Aitchison & Brown (1957 , глава 1.2).

Быстрый метод вычисления оценок максимального правдоподобия для пробит-модели был предложен Рональдом Фишером в качестве приложения к работе Блисса в 1935 году.

См. также

• Обобщенная линейная модель
• Ограниченная зависимая переменная
• Логит-модель
• Полиномиальный пробит
• Многомерные пробит- модели
• Упорядоченный пробит и упорядоченная логит- модель
• Разделение (статистика)
• Модель Тобита

Ссылки

• Эйчисон, Джон; Браун, Джеймс Алан Калверт (1957). Логнормальное распределение: с особым упором на его использование в экономике . Университетское издательство. ISBN  978-0-521-04011-2 .
• Крамер, Дж. С. (2002). Истоки логистической регрессии (PDF) (Технический отчет). Том. 119. Институт Тинбергена. стр. 167–178. дои : 10.2139/ssrn.360300 .
  • Опубликовано в: Крамер, Дж. С. (2004). «Ранние истоки логит-модели». Исследования по истории и философии науки. Часть C: Исследования по истории и философии биологических и биомедицинских наук . 35 (4): 613–626. дои : 10.1016/j.shpsc.2004.09.003 .
• Фехнер, Густав Теодор (1860). психофизики ​Том 2. Лейпциг: Брейткопф и Хертель. Элементы
• Финни, диджей (1971). Пробитный анализ .

Дальнейшее чтение

• Альберт, Дж. Х.; Чиб, С. (1993). «Байесовский анализ данных бинарных и полихотомических ответов». Журнал Американской статистической ассоциации . 88 (422): 669–679. дои : 10.1080/01621459.1993.10476321 . JSTOR   2290350 .
• Амемия, Такеши (1985). «Модели качественного реагирования» . Продвинутая эконометрика . Оксфорд: Бэзил Блэквелл. стр. 267–359. ISBN  0-631-13345-3 .
• Гурьеру, Кристиан (2000). «Простая дихотомия» . Эконометрика качественных зависимых переменных . Нью-Йорк: Издательство Кембриджского университета. стр. 6–37. ISBN  0-521-58985-1 .
• Ляо, Тим Футинг (1994). Интерпретация вероятностных моделей: логит, пробит и другие обобщенные линейные модели . Мудрец. ISBN  0-8039-4999-5 .
• МакКаллах, Питер ; Джон Нелдер (1989). Обобщенные линейные модели . Лондон: Чепмен и Холл. ISBN  0-412-31760-5 .

Внешние ссылки

• СМИ, связанные с моделью Probit, на Викискладе?
• по эконометрике (тема: Модель Probit) на YouTube Лекция Марка Тома