Полиномиальная логистическая регрессия

«Мультиномиальная регрессия» перенаправляется сюда. Для получения информации о соответствующей процедуре пробита см. Полиномиальный пробит .

В статистике полиномиальная логистическая регрессия — это метод классификации , который обобщает логистическую регрессию на многоклассовые задачи , то есть с более чем двумя возможными дискретными результатами. То есть это модель, которая используется для прогнозирования вероятностей различных возможных результатов категориально распределенной зависимой переменной с учетом набора независимых переменных (которые могут быть вещественными, двоичными, категориальными и т. д.). ).

Полиномиальная логистическая регрессия известна под множеством других названий, включая политомическую LR , мультиклассовый LR , softmax регрессия , полиномиальный логит ( mlogit ), классификатор максимальной энтропии ( MaxEnt ) и модель условной максимальной энтропии .

Фон

Полиномиальная логистическая регрессия используется, когда зависимая переменная рассматриваемая является номинальной (эквивалентно категориальной , что означает, что она попадает в любую из множества категорий, которые не могут быть упорядочены каким-либо значимым образом) и для которой существует более двух категорий. Вот некоторые примеры:

• Какую специальность выберет студент колледжа, учитывая его оценки, симпатии и антипатии и т. д.?
• Какая группа крови у человека, учитывая результаты различных диагностических тестов?
• Имя какого человека было произнесено в приложении для набора номера на мобильном телефоне без помощи рук, учитывая различные свойства речевого сигнала?
• За какого кандидата проголосует человек с учетом конкретных демографических характеристик?
• В какой стране фирма разместит офис, учитывая характеристики фирмы и различных стран-кандидатов?

Это все проблемы статистической классификации . Все они имеют общую прогнозируемую зависимую переменную , которая происходит из одного из ограниченного набора элементов, которые не могут быть осмысленно упорядочены, а также набор независимых переменных (также известных как функции, объяснители и т. д.), которые используются прогнозировать зависимую переменную. Полиномиальная логистическая регрессия — это частное решение задач классификации, в котором используется линейная комбинация наблюдаемых признаков и некоторых параметров, специфичных для задачи, для оценки вероятности каждого конкретного значения зависимой переменной. Наилучшие значения параметров для конкретной задачи обычно определяются на основе некоторых данных обучения (например, некоторых людей, для которых известны как результаты диагностических тестов, так и группы крови, или некоторых примеров произнесения известных слов).

Предположения

Полиномиальная логистическая модель предполагает, что данные зависят от конкретного случая; то есть каждая независимая переменная имеет одно значение для каждого случая. Как и в случае с другими видами регрессии, нет необходимости, чтобы независимые переменные были статистически независимы друг от друга (в отличие, например, от наивного классификатора Байеса ); однако предполагается, что коллинеарность относительно низкая, поскольку в противном случае становится трудно различить влияние нескольких переменных.

Если для моделирования выбора используется полиномиальный логит, он опирается на предположение о независимости нерелевантных альтернатив (IIA), что не всегда желательно. Это предположение утверждает, что вероятность предпочтения одного класса другому не зависит от наличия или отсутствия других «нерелевантных» альтернатив. Например, относительная вероятность поехать на работу на машине или автобусе не изменится, если в качестве дополнительной возможности добавить велосипед. выбор K Это позволяет моделировать альтернатив как набор K -1 независимых бинарных вариантов выбора, в которых одна альтернатива выбирается как «ось», а другая K -1 сравнивается с ней по одной. Гипотеза IIA является основной гипотезой теории рационального выбора; однако многочисленные исследования в области психологии показывают, что люди часто нарушают это предположение, делая выбор. Пример проблемного случая: выбор включает в себя автомобиль и синий автобус. Предположим, что отношение шансов между ними составляет 1:1. Теперь, если введен вариант красного автобуса, человек может быть безразличен между красным и синим автобусом и, следовательно, может показать соотношение шансов «автомобиль: синий автобус: красный автобус». 1:0,5:0,5, таким образом сохраняя соотношение автомобиль:любой автобус 1:1, в то время как измененное соотношение автомобиль:синий автобус составляет 1:0,5. Здесь вариант с красным автобусом на самом деле не имел значения, потому что красный автобус был идеальная замена синему автобусу.

Если для моделирования выбора используется полиномиальный логит, в некоторых ситуациях он может налагать слишком большие ограничения на относительные предпочтения между различными альтернативами. Это особенно важно учитывать, если анализ направлен на то, чтобы предсказать, как изменится выбор, если одна альтернатива исчезнет (например, если один политический кандидат выйдет из гонки из трех кандидатов). Другие модели, такие как вложенный логит или полиномиальный пробит, могут использоваться в таких случаях, поскольку они допускают нарушение IIA.

Модель

См. Также: Логистическая регрессия.

Введение

Существует несколько эквивалентных способов описания математической модели, лежащей в основе полиномиальной логистической регрессии. Это может затруднить сравнение различных трактовок предмета в разных текстах. В статье о логистической регрессии представлен ряд эквивалентных формулировок простой логистической регрессии, многие из которых имеют аналоги в полиномиальной логит-модели.

Идея всех них, как и во многих других методах статистической классификации , заключается в построении линейной предикторной функции , которая строит оценку из набора весов, которые линейно комбинируются с объясняющими переменными (признаками) данного наблюдения с использованием скалярного произведения. :

$\operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},$

где X _i — вектор объясняющих переменных, описывающих наблюдение i , β _k — вектор весов (или коэффициентов регрессии ), соответствующий результату k , а Score( X _i , k ) — это балл, связанный с отнесением наблюдения i к категории k . В теории дискретного выбора , где наблюдения представляют людей, а результаты представляют выбор, оценка считается полезностью, связанной с тем, что человек i выбирает результат k . Прогнозируемый результат – тот, который наберет наибольшее количество баллов.

Отличие полиномиальной логит-модели от множества других методов, моделей, алгоритмов и т. д. с той же базовой установкой ( алгоритм перцептрона , машины опорных векторов , линейный дискриминантный анализ и т. д.) заключается в процедуре определения (обучения) оптимальных весов. /коэффициенты и способ интерпретации оценки. В частности, в полиномиальной логит-модели оценка может быть напрямую преобразована в значение вероятности, указывающее вероятность того, что наблюдение i выберет результат k с учетом измеренных характеристик наблюдения. Это обеспечивает принципиальный способ включения прогноза конкретной полиномиальной логит-модели в более крупную процедуру, которая может включать в себя несколько таких прогнозов, каждый из которых имеет возможность ошибки. Без таких средств объединения прогнозов ошибки имеют тенденцию умножаться. Например, представьте себе большую прогнозирующую модель , которая разбита на ряд подмоделей, где прогноз данной подмодели используется в качестве входных данных для другой подмодели, а этот прогноз, в свою очередь, используется в качестве входных данных для третьей подмодели и т. д. Если каждая подмодель имеет точность прогнозов 90% и имеется пять подмоделей последовательно, то общая модель имеет только 0,9. ⁵ = точность 59%. Если каждая подмодель имеет точность 80%, то общая точность падает до 0,8. ⁵ = точность 33%. Эта проблема известна как распространение ошибок и является серьезной проблемой в реальных моделях прогнозирования, которые обычно состоят из множества частей. Прогнозирование вероятностей каждого возможного результата, а не просто создание единственного оптимального прогноза, является одним из способов решения этой проблемы.

Настраивать

Базовая настройка такая же, как и в логистической регрессии , с той лишь разницей, что зависимые переменные являются категориальными , а не бинарными , т. е. существует K возможных результатов, а не только два. Следующее описание несколько сокращено; Для получения более подробной информации обратитесь к статье о логистической регрессии .

Точки данных

В частности, предполагается, что у нас есть серия из N наблюдаемых точек данных. Каждая точка данных i (в диапазоне от 1 до N ) состоит из набора M объясняющих переменных x _1,i ... x _M,i (также известных как независимые переменные , переменные-предсказатели, признаки и т. д.) и связанного с ними категориального значения. результат Y _i (также известный как зависимая переменная , переменная отклика), который может принимать одно из K возможных значений. группы крови и т. д.) и часто описываются математически путем произвольного присвоения каждому числа от 1 до K. Эти возможные значения представляют собой логически отдельные категории (например, различные политические партии , Объясняющие переменные и результат представляют собой наблюдаемые свойства точек данных и часто считаются возникающими в результате наблюдений за N «экспериментами», хотя «эксперимент» может состоять не более чем в сборе данных. Целью полиномиальной логистической регрессии является построение модели, объясняющей взаимосвязь между объясняющими переменными и результатом, чтобы результат нового «эксперимента» можно было правильно предсказать для новой точки данных, для которой объясняющие переменные, но не результат доступен. При этом модель пытается объяснить относительное влияние различных объясняющих переменных на результат.

Несколько примеров:

• Наблюдаемые исходы представляют собой различные варианты заболевания, такого как гепатит (возможно, включая «отсутствие заболевания» и/или другие связанные заболевания) у набора пациентов, а объясняющие переменные могут быть характеристиками пациентов, которые считаются соответствующими (пол, раса). , возраст, артериальное давление , результаты различных тестов функции печени и т. д.). Цель состоит в том, чтобы предсказать, какое заболевание вызывает наблюдаемые симптомы, связанные с печенью, у нового пациента.
• Наблюдаемые результаты — это партия, выбранная группой людей на выборах, а объясняющие переменные — это демографические характеристики каждого человека (например, пол, раса, возраст, доход и т. д.). Цель состоит в том, чтобы предсказать вероятный голос нового избирателя с заданными характеристиками.

Линейный предиктор

Как и в других формах линейной регрессии, в полиномиальной логистической регрессии используется функция линейного предиктора. $f(k,i)$ чтобы предсказать вероятность того, что наблюдение i имеет результат k следующей формы:

$f(k,i)=\beta _{0,k}+\beta _{1,k}x_{1,i}+\beta _{2,k}x_{2,i}+\cdots +\beta _{M,k}x_{M,i},$

где $\beta _{m,k}$ — коэффициент регрессии , связанный с m -й объясняющей переменной и k -м результатом. Как поясняется в статье о логистической регрессии , коэффициенты регрессии и объясняющие переменные обычно группируются в векторы размера M+1 , так что предикторную функцию можно записать более компактно:

$f(k,i)={\boldsymbol {\beta }}_{k}\cdot \mathbf {x} _{i},$

где ${\boldsymbol {\beta }}_{k}$ — набор коэффициентов регрессии, связанных с результатом k , и $\mathbf {x} _{i}$ (вектор-строка) — это набор объясняющих переменных, связанных с наблюдением i .

Как набор независимых бинарных регрессий.

Чтобы прийти к полиномиальной логит-модели, можно представить для K возможных результатов запуск K независимых моделей бинарной логистической регрессии, в которых один результат выбирается в качестве «опорной точки», а затем другие K -1 исходы отдельно регрессируются относительно опорной точки. исход. Если результат K (последний результат) выбран в качестве опорного, уравнения регрессии K -1 будут следующими:

$\ln {\frac {\Pr(Y_{i}=k)}{\Pr(Y_{i}=K)}}\,=\,{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}\;\;\;\;,\;\;k<K$.

Эта формулировка также известна как аддитивное логарифмическое преобразование, обычно используемое при композиционном анализе данных. В других приложениях это называется «относительным риском».

Если возвести в степень обе стороны и найти вероятности, мы получим:

$\Pr(Y_{i}=k)\,=\,{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;\;\;\;,\;\;k<K$

Используя тот факт, что сумма всех K вероятностей должна равняться единице, мы находим:

$\Pr(Y_{i}=K)\,=\,1-\sum _{j=1}^{K-1}\Pr(Y_{i}=j)\,=\,1-\sum _{j=1}^{K-1}{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}\;\;\Rightarrow \;\;\Pr(Y_{i}=K)\,=\,{\frac {1}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}$.

Мы можем использовать это, чтобы найти другие вероятности:

$\Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k<K$.

Тот факт, что мы используем множественные регрессии, показывает, почему модель опирается на предположение о независимости нерелевантных альтернатив, описанных выше.

Оценка коэффициентов

Неизвестные параметры в каждом векторе β _k обычно оцениваются совместно с помощью максимальной апостериорной оценки (MAP), которая является расширением метода максимального правдоподобия с использованием регуляризации весов для предотвращения патологических решений (обычно это квадрат регуляризирующей функции, что эквивалентно помещению априорное Гаусса распределение с нулевым средним по весам, но возможны и другие распределения). Решение обычно находится с использованием итеративной процедуры, такой как обобщенное итеративное масштабирование . итеративно перевзвешенный метод наименьших квадратов (IRLS), с помощью алгоритмов оптимизации на основе градиента, таких как L-BFGS , или с помощью специализированных алгоритмов спуска по координатам .

В виде лог-линейной модели

Формулировку бинарной логистической регрессии как лог-линейной модели можно напрямую распространить на многофакторную регрессию. То есть мы моделируем логарифм вероятности увидеть данный результат, используя линейный предиктор, а также дополнительный коэффициент нормализации , логарифм статистической суммы :

$\ln \Pr(Y_{i}=k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}-\ln Z\;\;\;\;,\;\;k\leq K$.

Как и в двоичном случае, нам понадобится дополнительный член $-\ln Z$ чтобы гарантировать, что весь набор вероятностей образует распределение вероятностей , т. е. чтобы все они в сумме давали единицу:

$\sum _{k=1}^{K}\Pr(Y_{i}=k)=1$

Причина, по которой нам нужно добавить член для обеспечения нормализации, а не умножать, как обычно, заключается в том, что мы взяли логарифм вероятностей. Возведение в степень обеих частей превращает аддитивный член в мультипликативный множитель, так что вероятность является просто мерой Гиббса :

$\Pr(Y_{i}=k)={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;\;\;\;,\;\;k\leq K$.

Величина Z называется статистической суммой распределения. Мы можем вычислить значение статистической суммы, применив приведенное выше ограничение, которое требует, чтобы сумма всех вероятностей была равна 1:

$1=\sum _{k=1}^{K}\Pr(Y_{i}=k)\;=\;\sum _{k=1}^{K}{\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;=\;{\frac {1}{Z}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}$

Поэтому:

$Z=\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}$

Обратите внимание, что этот фактор является «постоянным» в том смысле, что он не является функцией Y _i , которая является переменной, по которой определяется распределение вероятностей. Однако он определенно не является постоянным по отношению к объясняющим переменным или, что особенно важно, по отношению к неизвестным коэффициентам регрессии β _k , которые нам нужно будет определить с помощью какой-либо процедуры оптимизации .

Полученные уравнения для вероятностей имеют вид

$\Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k\leq K$.

Или вообще:

$\Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}$

Следующая функция:

$\operatorname {softmax} (k,x_{1},\ldots ,x_{n})={\frac {e^{x_{k}}}{\sum _{i=1}^{n}e^{x_{i}}}}$

называется функцией softmax . Причина в том, что эффект возведения значений в степень $x_{1},\ldots ,x_{n}$ заключается в преувеличении различий между ними. Как результат, $\operatorname {softmax} (k,x_{1},\ldots ,x_{n})$ будет возвращать значение, близкое к 0, всякий раз, когда $x_{k}$ значительно меньше максимального из всех значений и возвращает значение, близкое к 1 при применении к максимальному значению, если только оно не очень близко к следующему по величине значению. Таким образом, функцию softmax можно использовать для построения взвешенного среднего , которое ведет себя как гладкая функция (которую удобно дифференцировать и т. д.) и которая аппроксимирует индикаторную функцию

$f(k)={\begin{cases}1\;{\textrm {if}}\;k=\operatorname {\arg \max } (x_{1},\ldots ,x_{n}),\\0\;{\textrm {otherwise}}.\end{cases}}$

Таким образом, мы можем записать уравнения вероятностей в виде

$\Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\ldots ,{\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i})$

Таким образом, функция softmax служит эквивалентом логистической функции в бинарной логистической регрессии.

Обратите внимание, что не все из $\beta _{k}$ векторы коэффициентов однозначно идентифицируются . Это связано с тем, что сумма всех вероятностей должна быть равна 1, что делает одну из них полностью определенной, как только известны все остальные. В результате остаются только $k-1$ отдельно определяемые вероятности и, следовательно, $k-1$ отдельно идентифицируемые векторы коэффициентов. Один из способов убедиться в этом — отметить, что если мы добавим постоянный вектор ко всем векторам коэффициентов, уравнения будут идентичны:

${\begin{aligned}{\frac {e^{({\boldsymbol {\beta }}_{c}+C)\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{({\boldsymbol {\beta }}_{k}+C)\cdot \mathbf {X} _{i}}}}&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{C\cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{e^{C\cdot \mathbf {X} _{i}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\end{aligned}}$

В результате принято устанавливать $C=-{\boldsymbol {\beta }}_{K}$ (или, альтернативно, один из других векторов коэффициентов). По сути, мы устанавливаем константу так, чтобы один из векторов стал равен 0, а все остальные векторы преобразуются в разность между этими векторами и вектором, который мы выбрали. Это эквивалентно «повороту» вокруг одного из вариантов K и изучению того, насколько лучше или хуже все остальные варианты K -1 по сравнению с выбором, вокруг которого мы вращаемся. Математически преобразуем коэффициенты следующим образом:

${\begin{aligned}{\boldsymbol {\beta }}'_{k}&={\boldsymbol {\beta }}_{k}-{\boldsymbol {\beta }}_{K}\;\;\;,\;k<K\\{\boldsymbol {\beta }}'_{K}&=0\end{aligned}}$

Это приводит к следующим уравнениям:

$\Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}'_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}'_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k\leq K$

За исключением простых символов на коэффициентах регрессии, это точно такое же, как и форма модели, описанной выше, с точки зрения K независимых двусторонних регрессий -1.

Как модель со скрытыми переменными

Также возможно сформулировать полиномиальную логистическую регрессию как модель скрытой переменной, следуя модели двусторонней скрытой переменной, описанной для бинарной логистической регрессии. Эта формулировка распространена в теории моделей дискретного выбора и упрощает сравнение полиномиальной логистической регрессии с соответствующей полиномиальной пробит- моделью, а также расширяет ее на более сложные модели.

Представьте, что для каждой точки данных i и возможного результата k=1,2,...,K существует непрерывная скрытая переменная Y _i,k ^* (т.е. ненаблюдаемая случайная величина ), которая распределяется следующим образом:

$Y_{i,k}^{\ast }={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k}\;\;\;\;,\;\;k\leq K$

где $\varepsilon _{k}\sim \operatorname {EV} _{1}(0,1),$ типа 1 т.е. стандартное распределение экстремальных значений .

Эту скрытую переменную можно рассматривать как полезность, связанную с точкой данных i, выбирающей результат k , где существует некоторая случайность в фактической величине полученной полезности, которая учитывает другие немоделированные факторы, влияющие на выбор. Значение фактической переменной $Y_{i}$ затем определяется неслучайным образом на основе этих скрытых переменных (т. е. случайность переносится из наблюдаемых результатов в скрытые переменные), где результат k выбирается тогда и только тогда, когда соответствующая полезность (значение $Y_{i,k}^{\ast }$) больше, чем полезности всех остальных вариантов, т. е. если полезность, связанная с результатом k, является максимальной из всех полезностей. Поскольку скрытые переменные непрерывны , вероятность того, что две из них будут иметь одно и то же значение, равна 0, поэтому мы игнорируем этот сценарий. То есть:

${\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}Y_{i,1}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,1}^{\ast }>Y_{i,K}^{\ast })\\\Pr(Y_{i}=2)&=\Pr(Y_{i,2}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,2}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,2}^{\ast }>Y_{i,K}^{\ast })\\\cdots &\\\Pr(Y_{i}=K)&=\Pr(Y_{i,K}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,K}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,K}^{\ast }>Y_{i,K-1}^{\ast })\\\end{aligned}}$

Или эквивалентно:

$\Pr(Y_{i}=k)\;=\;\Pr(\max(Y_{i,1}^{\ast },Y_{i,2}^{\ast },\ldots ,Y_{i,K}^{\ast })=Y_{i,k}^{\ast })\;\;\;\;,\;\;k\leq K$

Давайте более подробно рассмотрим первое уравнение, которое можно записать следующим образом:

${\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,k}^{\ast }\ \forall \ k=2,\ldots ,K)\\&=\Pr(Y_{i,1}^{\ast }-Y_{i,k}^{\ast }>0\ \forall \ k=2,\ldots ,K)\\&=\Pr({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-({\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k})>0\ \forall \ k=2,\ldots ,K)\\&=\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{k})\cdot \mathbf {X} _{i}>\varepsilon _{k}-\varepsilon _{1}\ \forall \ k=2,\ldots ,K)\end{aligned}}$

Здесь нужно осознать несколько вещей:

1. В общем, если $X\sim \operatorname {EV} _{1}(a,b)$ и $Y\sim \operatorname {EV} _{1}(a,b)$ затем $X-Y\sim \operatorname {Logistic} (0,b).$ То есть разница двух независимых одинаково распределенных переменных с распределением экстремальных значений соответствует логистическому распределению , где первый параметр неважен. Это понятно, поскольку первый параметр является параметром местоположения , т. е. он сдвигает среднее значение на фиксированную величину, и если оба значения смещаются на одну и ту же величину, их разница остается той же самой. Это означает, что все реляционные утверждения, лежащие в основе вероятности данного выбора, включают логистическое распределение, что делает первоначальный выбор распределения экстремальных значений, который казался довольно произвольным, несколько более понятным.
2. Вторым параметром в распределении экстремальных значений или логистическом распределении является параметр масштаба , такой, что если $X\sim \operatorname {Logistic} (0,1)$ затем $bX\sim \operatorname {Logistic} (0,b).$ Это означает, что эффект использования переменной ошибки с произвольным параметром масштаба вместо шкалы 1 можно компенсировать простым умножением всех векторов регрессии на один и тот же масштаб. Вместе с предыдущим пунктом это показывает, что использование стандартного распределения экстремальных значений (местоположение 0, масштаб 1) для переменных ошибки не влечет за собой потери общности по сравнению с использованием произвольного распределения экстремальных значений. Фактически, модель неидентифицируема (нет единого набора оптимальных коэффициентов), если используется более общее распределение.
3. Поскольку используются только разности векторов коэффициентов регрессии, добавление произвольной константы ко всем векторам коэффициентов не влияет на модель. Это означает, что, как и в лог-линейной модели, только K -1 векторов коэффициентов идентифицируемы, а последнему можно присвоить произвольное значение (например, 0).

На самом деле нахождение значений вышеупомянутых вероятностей довольно сложно и представляет собой проблему вычисления статистики определенного порядка (первого, т.е. максимального) набора значений. Однако можно показать, что полученные выражения такие же, как и в приведенных выше формулировках, т.е. они эквивалентны.

Оценка перехвата

При использовании полиномиальной логистической регрессии одна категория зависимой переменной выбирается в качестве эталонной категории. Отдельные отношения шансов определяются для всех независимых переменных для каждой категории зависимой переменной, за исключением эталонной категории, которая исключается из анализа. Экспоненциальный коэффициент бета представляет собой изменение шансов нахождения зависимой переменной в определенной категории по сравнению с эталонной категорией, связанное с изменением на одну единицу соответствующей независимой переменной.

Функция правдоподобия

Наблюдаемые значения $y_{i}\in {0,1,\dots K}$ для $i=1,\dots ,n$ объясняемых переменных рассматриваются как реализации стохастически независимых, категориально распределенных случайных величин. $Y_{1},\dots ,Y_{n}$.

Функция правдоподобия для этой модели определяется следующим образом:

$L=\prod _{i=1}^{n}P(Y_{i}=y_{i})=\prod _{i=1}^{n}\left(\prod _{j=1}^{K}P(Y_{i}=j)^{\delta _{j,y_{i}}}\right),$ где индекс $i$ обозначает наблюдения от 1 до n и индекс $j$ обозначает классы от 1 до K. $\delta _{j,y_{i}}={\begin{cases}1{\text{ for }}j=y_{i}\\0{\text{ otherwise}}\end{cases}}$ это дельта Кронекера.

Таким образом, отрицательная логарифмическая функция правдоподобия представляет собой хорошо известную перекрестную энтропию: $-\log L=-\sum _{i=1}^{n}\sum _{j=1}^{K}\delta _{j,y_{i}}\log(P(Y_{i}=j)).$

Применение в обработке естественного языка

При обработке естественного языка полиномиальные LR-классификаторы обычно используются в качестве альтернативы наивным классификаторам Байеса , поскольку они не предполагают статистическую независимость случайных величин (обычно называемых признаками ), которые служат предикторами. Однако обучение в такой модели происходит медленнее, чем в простом классификаторе Байеса, и поэтому может оказаться неприемлемым, если необходимо изучить очень большое количество классов. В частности, обучение в классификаторе Наивного Байеса представляет собой простой вопрос подсчета количества совместных совпадений признаков и классов, в то время как в классификаторе с максимальной энтропией веса, которые обычно максимизируются с использованием максимальной апостериорной оценки (MAP), должны обучаться с помощью итеративной процедуры; см. #Оценка коэффициентов .

См. также

• Логистическая регрессия
• Полиномиальный пробит