Порядковая регрессия

В статистике . порядковая регрессия , также называемая порядковой классификацией , представляет собой тип регрессионного анализа , используемый для прогнозирования порядковой переменной , то есть переменной, значение которой существует в произвольном масштабе, где существенен только относительный порядок между различными значениями Ее можно считать промежуточной задачей между регрессией и классификацией . ^[1]^[2] Примерами порядковой регрессии являются упорядоченный логит и упорядоченный пробит . Порядковая регрессия часто встречается в социальных науках , например, при моделировании человеческих уровней предпочтений (по шкале, скажем, от 1–5 от «очень плохо» до «отлично»), а также при поиске информации . В машинном обучении порядковую регрессию можно также назвать ранжирующим обучением . ^[3]^[а]

Линейные модели для порядковой регрессии

Порядковую регрессию можно выполнить с использованием обобщенной линейной модели (GLM), которая соответствует как вектору коэффициентов, так и набору пороговых значений для набора данных. Предположим, у вас есть набор наблюдений, представленный $длины p$ векторами $от x 1$ до $x n$ , с соответствующими ответами $от y 1$ до $y n$ , где каждый $y i$ является порядковой переменной в масштабе $1, ..., K$ . Для простоты и без ограничения общности будем считать, $что y$ — неубывающий вектор, т. е. $\leq$ . К этим данным аппроксимируют $длины p$ коэффициентов $вектор w$ и набор порогов $θ 1, ..., θ K -1$ со свойством, что $θ 1 < θ 2 < ... < θ K -1$ . Этот набор порогов делит линию действительных чисел на $K$ непересекающихся сегментов, соответствующих $K$ уровням ответа.

Теперь модель можно сформулировать как

\Pr(y\leq i\mid \mathbf {x} )=\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )

или кумулятивная вероятность того, что ответ $y$ не превышает $i,$ определяется функцией $σ$ ( функцией обратной связи ), примененной к линейной функции от $x$ . существует несколько вариантов $Для σ$ ; логистическая функция

\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-(\theta _{i}-\mathbf {w} \cdot \mathbf {x} )}}}

дает упорядоченную логит- модель, а использование функции пробит дает упорядоченную модель пробита . Третий вариант — использовать показательную функцию.

\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )=1-\exp(-\exp(\theta _{i}-\mathbf {w} \cdot \mathbf {x} ))

что дает модель пропорциональных рисков . ^[4]

Модель скрытой переменной

Пробит-версию приведенной выше модели можно оправдать, если предположить существование действительной скрытой переменной (ненаблюдаемой величины) $y*$ , определяемой выражением ^[5]

y^{*}=\mathbf {w} \cdot \mathbf {x} +\varepsilon

где $ε$ с обычно распределяется нулевым средним значением и единичной дисперсией обусловленной x $.$ , Переменная отклика $y$ является результатом «неполного измерения» $y*$ , при котором определяется только интервал, в который $попадает y*$ :

y={\begin{cases}1&{\text{if}}~~y^{*}\leq \theta _{1},\\2&{\text{if}}~~\theta _{1}<y^{*}\leq \theta _{2},\\3&{\text{if}}~~\theta _{2}<y^{*}\leq \theta _{3}\\\vdots \\K&{\text{if}}~~\theta _{K-1}<y^{*}.\end{cases}}

Определив $θ 0 = -\infty$ и $θ K = \infty$ , вышесказанное можно резюмировать как $y = k$ тогда и только тогда, когда $θ k -1 < y * \leq θ k$ .

Из этих предположений можно вывести условное распределение $y$ как ^[5]

{\begin{aligned}P(y=k\mid \mathbf {x} )&=P(\theta _{k-1}<y^{*}\leq \theta _{k}\mid \mathbf {x} )\\&=P(\theta _{k-1}<\mathbf {w} \cdot \mathbf {x} +\varepsilon \leq \theta _{k})\\&=\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} )-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} )\end{aligned}}

где $Φ$ — кумулятивная функция распределения стандартного нормального распределения, берущая на себя роль функции обратной связи $σ$ . Логарифмическое правдоподобие модели для одного обучающего примера $x i$ , $y i$ теперь можно выразить как ^[5]

\log {\mathcal {L}}(\mathbf {w} ,\mathbf {\theta } \mid \mathbf {x} _{i},y_{i})=\sum _{k=1}^{K}[y_{i}=k]\log[\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} _{i})-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} _{i})]

(с использованием скобки Айверсона $[y i = k]$ ). Логарифмическое правдоподобие упорядоченной логит-модели аналогично, с использованием логистической функции вместо $Φ$ . ^[6]

Альтернативные модели

В машинном обучении были предложены альтернативы моделям порядковой регрессии со скрытыми переменными. Первым результатом стал PRank, вариант алгоритма перцептрона , который находил несколько параллельных гиперплоскостей, разделяющих различные ранги; его выходом является весовой вектор $w$ и отсортированный вектор $K -1$ порогов $θ$ , как в упорядоченных моделях логит/пробит. Правило прогнозирования для этой модели состоит в том, чтобы вывести наименьший ранг $k$ такой, что $wx < θ k$ . ^[7]

Другие методы основаны на принципе обучения с большим запасом, который также лежит в основе машин опорных векторов . ^[8]^[9]

Другой подход предложен Ренни и Сребро, которые, понимая, что «даже простая оценка вероятности предиктора не является простой задачей» в моделях упорядоченной логит- и пробит-модели, предлагают подбирать модели порядковой регрессии путем адаптации общих функций потерь из классификации ( такие как потеря шарнира и потеря журнала ) в порядковом случае. ^[10]

Программное обеспечение

ORCA (алгоритмы порядковой регрессии и классификации) — это платформа Octave/MATLAB, включающая широкий набор методов порядковой регрессии. ^[11]

Пакеты R, предоставляющие методы порядковой регрессии, включают MASS. ^[12] и Порядковый номер. ^[13]

См. также

Логистическая регрессия

Примечания

^ Не путать с обучением ранжированию .

Ссылки

^ Уиншип, Кристофер; Маре, Роберт Д. (1984). «Модели регрессии с порядковыми переменными» (PDF) . Американский социологический обзор . 49 (4): 512–525. дои : 10.2307/2095465 . JSTOR 2095465 .
^ Гутьеррес, Пенсильвания; Перес-Ортис, М.; Санчес-Монедеро, Дж.; Фернандес-Наварро, Ф.; Эрвас-Мартинес, К. (январь 2016 г.). «Методы порядковой регрессии: опрос и экспериментальное исследование». Транзакции IEEE по знаниям и инженерии данных . 28 (1): 127–146. дои : 10.1109/TKDE.2015.2457911 . hdl : 10396/14494 . ISSN 1041-4347 .
^ Шашуа, Амнон; Левин, Анат (2002). Принцип ранжирования с большой маржой: два подхода . НИПС .
^ МакКаллах, Питер (1980). «Модели регрессии для порядковых данных». Журнал Королевского статистического общества . Серия Б (Методическая). 42 (2): 109–142.
^ Jump up to: ^а ^б ^с Вулдридж, Джеффри М. (2010). Эконометрический анализ перекрестных и панельных данных . МТИ Пресс. стр. 655–657. ISBN 9780262232586 .
^ Агрести, Алан (23 октября 2010 г.). «Моделирование порядковых категориальных данных» (PDF) . Проверено 23 июля 2015 г.
^ Краммер, Коби; Певец Йорам (2001). Пранк с рейтингом . НИПС.
^ Чу, Вэй; Кирти, С. Сатья (2007). «Поддержка векторной порядковой регрессии». Нейронные вычисления . 19 (3): 792–815. CiteSeerX 10.1.1.297.3637 . дои : 10.1162/neco.2007.19.3.792 . ПМИД 17298234 .
^ Хербрих, Ральф; Грепель, Торе; Обермайер, Клаус (2000). «Границы рангов с большой маржой для порядковой регрессии» . Достижения в области классификаторов с большой маржой . МТИ Пресс. стр. 115–132.
^ Ренни, Джейсон DM; Сребро, Натан (2005). Функции потерь для уровней предпочтений: регрессия с дискретными упорядоченными метками (PDF) . Учеб. IJCAI по достижениям в области обработки предпочтений. Междисциплинарный семинар
^ orca: Алгоритмы порядковой регрессии и классификации , AYRNA, 21 ноября 2017 г. , получено 21 ноября 2017 г.
^ «Современная прикладная статистика с S, 4-е изд.» . www.stats.ox.ac.uk . Проверено 15 июля 2020 г.
^ Кристенсен, Руне Хаубо Б. (05 июня 2020 г.), runehaubo/ordinal , получено 15 июля 2020 г.

Дальнейшее чтение

Агрести, Алан (2010). Анализ порядковых категориальных данных . Хобокен, Нью-Джерси: Уайли. ISBN 978-0470082898 .
Грин, Уильям Х. (2012). Эконометрический анализ (Седьмое изд.). Бостон: Pearson Education. стр. 824–842. ISBN 978-0-273-75356-8 .
Хардин, Джеймс; Хильбе, Джозеф (2007). Обобщенные линейные модели и расширения (2-е изд.). Колледж-Стейшн: Stata Press. ISBN 978-1-59718-014-6 .

[4] Не путать с обучением ранжированию .

[1] Уиншип, Кристофер; Маре, Роберт Д. (1984). «Модели регрессии с порядковыми переменными» (PDF) . Американский социологический обзор . 49 (4): 512–525. дои : 10.2307/2095465 . JSTOR 2095465 .

[2] Гутьеррес, Пенсильвания; Перес-Ортис, М.; Санчес-Монедеро, Дж.; Фернандес-Наварро, Ф.; Эрвас-Мартинес, К. (январь 2016 г.). «Методы порядковой регрессии: опрос и экспериментальное исследование». Транзакции IEEE по знаниям и инженерии данных . 28 (1): 127–146. дои : 10.1109/TKDE.2015.2457911 . hdl : 10396/14494 . ISSN 1041-4347 .

[3] Шашуа, Амнон; Левин, Анат (2002). Принцип ранжирования с большой маржой: два подхода . НИПС .

[mccullagh-5] МакКаллах, Питер (1980). «Модели регрессии для порядковых данных». Журнал Королевского статистического общества . Серия Б (Методическая). 42 (2): 109–142.

[wooldridge-6] Jump up to: ^а ^б ^с Вулдридж, Джеффри М. (2010). Эконометрический анализ перекрестных и панельных данных . МТИ Пресс. стр. 655–657. ISBN 9780262232586 .

[7] Агрести, Алан (23 октября 2010 г.). «Моделирование порядковых категориальных данных» (PDF) . Проверено 23 июля 2015 г.

[8] Краммер, Коби; Певец Йорам (2001). Пранк с рейтингом . НИПС.

[9] Чу, Вэй; Кирти, С. Сатья (2007). «Поддержка векторной порядковой регрессии». Нейронные вычисления . 19 (3): 792–815. CiteSeerX 10.1.1.297.3637 . дои : 10.1162/neco.2007.19.3.792 . ПМИД 17298234 .

[10] Хербрих, Ральф; Грепель, Торе; Обермайер, Клаус (2000). «Границы рангов с большой маржой для порядковой регрессии» . Достижения в области классификаторов с большой маржой . МТИ Пресс. стр. 115–132.

[11] Ренни, Джейсон DM; Сребро, Натан (2005). Функции потерь для уровней предпочтений: регрессия с дискретными упорядоченными метками (PDF) . Учеб. IJCAI по достижениям в области обработки предпочтений. Междисциплинарный семинар

[12] orca: Алгоритмы порядковой регрессии и классификации , AYRNA, 21 ноября 2017 г. , получено 21 ноября 2017 г.

[13] «Современная прикладная статистика с S, 4-е изд.» . www.stats.ox.ac.uk . Проверено 15 июля 2020 г.

[14] Кристенсен, Руне Хаубо Б. (05 июня 2020 г.), runehaubo/ordinal , получено 15 июля 2020 г.

[1]

[2]

[3]

[а]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]