Логит

График logit( x ) в области от 0 до 1, где основание логарифма равно e .

В статистике логит связанной ( / ˈ l oʊ dʒ ɪ t / LOH -jit ) функция является функцией квантиля, со стандартным логистическим распределением . Он имеет множество применений в анализе данных и машинном обучении, особенно в преобразовании данных .

Математически логит является обратной стандартной логистической функцией. $\sigma (x)=1/(1+e^{-x})$ , поэтому логит определяется как

\operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad {\text{for}}\quad p\in (0,1).

По этой причине логит также называют логарифмом шансов , поскольку он равен логарифму шансов . ${\frac {p}{1-p}}$ где $р$ — вероятность. Таким образом, логит — это тип функции, которая отображает значения вероятности из $(0,1)$ к действительным числам в $(-\infty ,+\infty )$ , ^{[ 1 ]} аналогично функции пробит .

Определение

Если $p$ — вероятность , то $p /(1 - p)$ — соответствующие шансы ; логит $вероятности -$ это логарифм шансов, т.е.:

\operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).

Основание используемой функции логарифма не имеет большого значения в настоящей статье, если оно больше 1, но натуральный логарифм с основанием $e$ наиболее часто используется . Выбор базы соответствует выбору логарифмической единицы для значения: база 2 соответствует шеннону , база $е$ — « нат », а база 10 — хартли ; эти единицы особенно используются в теоретико-информационных интерпретациях. Для каждого выбора базы функция logit принимает значения от отрицательной до положительной бесконечности.

любого «Логистическая» функция числа $\alpha$ определяется обратным $логитом$ :

\operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}

Разница между $логитами$ двух вероятностей представляет собой логарифм отношения шансов ( $R$ ), что обеспечивает сокращение для записи правильной комбинации отношений шансов только путем сложения и вычитания :

\ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.

История

Было исследовано несколько подходов для адаптации методов линейной регрессии к области, где выходными данными является значение вероятности. $(0,1)$ , вместо любого действительного числа $(-\infty ,+\infty )$ . Во многих случаях такие усилия были сосредоточены на моделировании этой проблемы путем картирования диапазона $(0,1)$ к $(-\infty ,+\infty )$ а затем запускаем линейную регрессию для этих преобразованных значений. ^{[ 2 ]}

В 1934 году Честер Иттнер Блисс использовал кумулятивную функцию нормального распределения для выполнения этого отображения и назвал свою модель пробитом , что означает « вероятность без нее ». Однако это более затратно в вычислительном отношении. ^{[ 2 ]}

В 1944 году Джозеф Берксон использовал журнал шансов и назвал эту функцию logit , сокращение от « log istic un it », следуя аналогии с пробитом:

«Я использую этот термин [логит] для $\ln p/q$ вслед за Блиссом, назвавшим аналогичную функцию, линейную на ⁠ $x$ ⁠ для нормальной кривой «пробит».
— Джозеф Берксон (1944) ^{[ 3 ]}

Логарифмические коэффициенты широко использовались Чарльзом Сандерсом Пирсом (конец 19 века). ^{[ 4 ]} Г. А. Барнард в 1949 году ввёл широко используемый термин «логарифм шансов» ; ^{[ 5 ]}^{[ 6 ]} лог-шанс события — это логит вероятности события. ^{[ 7 ]} Барнард также ввел термин «лоды» как абстрактную форму «логарифма шансов». ^{[ 8 ]} но предположил, что «на практике обычно следует использовать термин «шансы», поскольку он более знаком в повседневной жизни». ^{[ 9 ]}

Использование и свойства

Логит в логистической регрессии является частным случаем функции связи в обобщенной линейной модели : это каноническая функция связи для распределения Бернулли .
Более абстрактно, логит — это естественный параметр биномиального распределения ; см. Экспоненциальное семейство § Биномиальное распределение .
Логит-функция является отрицательной производной двоичной функции энтропии .
Логит также занимает центральное место в вероятностной Раша модели измерения . , которая, помимо других областей, находит применение в психологической и образовательной оценке
Функцию обратного логита (т. е. логистическую функцию ) также иногда называют функцией выхода . ^{[ 10 ]}
В эпидемиологии болезней растений логистические модели, модели Гомпертца и мономолекулярные модели известны под общим названием модели семейства Ричардса.
Функция логарифма шансов вероятностей часто используется в алгоритмах оценки состояния. ^{[ 11 ]} из-за его численного преимущества в случае малых вероятностей. Вместо умножения очень маленьких чисел с плавающей запятой, вероятности логарифмических шансов можно просто суммировать для вычисления совместной вероятности (логарифмических шансов). ^{[ 12 ]}^{[ 13 ]}

Сравнение с пробитом

Сравнение логит-функции с масштабированным пробитом (т.е. обратным CDF нормального распределения ), сравнение $\operatorname {logit} (x)$ против. ${\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}$ , что делает наклоны одинаковыми в начале $координат y$ .

С $функцией логит$ (и моделью логит ) тесно связаны пробит-функция и пробит-модель . Логит $квантильными$ и $пробит$ являются сигмовидными функциями с областью значений от 0 до 1, что делает их обе функциями , то есть обратными кумулятивной функции распределения (CDF) распределения вероятностей . Фактически, $логит$ — это функция квантиля логистического распределения , а $пробит$ — функция квантиля нормального распределения . Пробит $-$ функция обозначается $\Phi ^{-1}(x)$ , где $\Phi (x)$ — это CDF стандартного нормального распределения, как только что упоминалось:

\Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.

Как показано на графике справа, $функции логит$ и $пробит$ очень похожи, когда $функция пробит$ масштабируется так, что ее наклон при $y = 0$ соответствует наклону $логит$ . В результате пробит-модели иногда используются вместо логит-моделей, поскольку для некоторых приложений (например, в теории ответа на задание ) реализация проще. ^{[ 14 ]}

См. также

Сигмовидная функция , обратная логит-функции
Дискретный выбор двоичного логита, полиномиального логита, условного логита, вложенного логита, смешанного логита, разнесенного логита и упорядоченного логита.
Ограниченная зависимая переменная
Логит-анализ в маркетинге
Полиномиальный логит
Оги , кривая аналогичной формы
Персептрон
Probit , еще одна функция с тем же доменом и диапазоном, что и logit.
Ридит подсчет очков
Преобразование данных (статистика)
Арксин (преобразование)
Быстрая модель

Ссылки

^ «Логит/Пробит» (PDF) .
^ Jump up to: ^а ^б Крамер, Дж. С. (2003). «Истоки и развитие логит-модели» (PDF) . Кембриджский университет.
^ Берксон 1944 , с. 361, сноска 2.
^ Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN 978-0-674-40340-6 .
^ Хильбе, Джозеф М. (2009), Модели логистической регрессии , CRC Press, стр. 3, ISBN 9781420075779 .
^ Барнард 1949 , с. 120.
^ Крамер, Дж.С. (2003), Логит-модели из экономики и других областей , издательство Кембриджского университета, стр. 13, ISBN 9781139438193 .
^ Барнард 1949 , с. 120 128.
^ Барнард 1949 , с. 136.
^ «R: Обратная логит-функция» . Архивировано из оригинала 6 июля 2011 г. Проверено 18 февраля 2011 г.
^ Трун, Себастьян (2003). «Изучение сеточных карт занятости с помощью моделей прямых датчиков». Автономные роботы . 15 (2): 111–127. дои : 10.1023/А:1025584807625 . ISSN 0929-5593 . S2CID 2279013 .
^ Стайлер, Алекс (2012). «Статистические методы в робототехнике» (PDF) . п. 2 . Проверено 26 января 2017 г.
^ Дикманн, Дж.; Аппенродт, Н.; Клаппштайн, Дж.; Блохер, HL; Мюнцигер, М.; Сайлер, А.; Хан, М.; Бренк, К. (01 января 2015 г.). «Заставить Берту видеть еще больше: вклад радара» . Доступ IEEE . 3 : 1233–1247. Бибкод : 2015IEEA...3.1233D . дои : 10.1109/ACCESS.2015.2454533 . ISSN 2169-3536 .
^ Альберт, Джеймс Х. (2016). «Логит, пробит и другие функции ответа». Справочник по теории реагирования на предметы . Том. Два. Чепмен и Холл. стр. 3–22. дои : 10.1201/b19166-1 . ISBN 978-1-315-37364-5 .

Берксон, Джозеф (1944). «Применение логистической функции к биоанализу». Журнал Американской статистической ассоциации . 39 (227 (сентябрь)): 357–365. дои : 10.2307/2280041 . JSTOR 2280041 .
Барнард, Джордж Альфред (1949). «Статистический вывод». Журнал Королевского статистического общества . Б. 11 (2): 115–149. дои : 10.1111/j.2517-6161.1949.tb00028.x . JSTOR 2984075 .

Внешние ссылки

Какая функция связи — Logit, Probit или Cloglog? 12.04.2023

Дальнейшее чтение

Эштон, Уинифред Д. (1972). Логит-преобразование: с особым акцентом на его использование в биоанализе . Статистические монографии и курсы Гриффина. Том. 32. Чарльз Гриффин. ISBN 978-0-85264-212-2 .

[1] «Логит/Пробит» (PDF) .

[Cramer2003-2] Jump up to: ^а ^б Крамер, Дж. С. (2003). «Истоки и развитие логит-модели» (PDF) . Кембриджский университет.

[FOOTNOTEBerkson1944p._361,_footnote_2-3] Берксон 1944 , с. 361, сноска 2.

[4] Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN 978-0-674-40340-6 .

[5] Хильбе, Джозеф М. (2009), Модели логистической регрессии , CRC Press, стр. 3, ISBN 9781420075779 .

[FOOTNOTEBarnard1949120-6] Барнард 1949 , с. 120.

[7] Крамер, Дж.С. (2003), Логит-модели из экономики и других областей , издательство Кембриджского университета, стр. 13, ISBN 9781139438193 .

[FOOTNOTEBarnard1949120,128-8] Барнард 1949 , с. 120 128.

[FOOTNOTEBarnard1949136-9] Барнард 1949 , с. 136.

[10] «R: Обратная логит-функция» . Архивировано из оригинала 6 июля 2011 г. Проверено 18 февраля 2011 г.

[11] Трун, Себастьян (2003). «Изучение сеточных карт занятости с помощью моделей прямых датчиков». Автономные роботы . 15 (2): 111–127. дои : 10.1023/А:1025584807625 . ISSN 0929-5593 . S2CID 2279013 .

[12] Стайлер, Алекс (2012). «Статистические методы в робототехнике» (PDF) . п. 2 . Проверено 26 января 2017 г.

[13] Дикманн, Дж.; Аппенродт, Н.; Клаппштайн, Дж.; Блохер, HL; Мюнцигер, М.; Сайлер, А.; Хан, М.; Бренк, К. (01 января 2015 г.). «Заставить Берту видеть еще больше: вклад радара» . Доступ IEEE . 3 : 1233–1247. Бибкод : 2015IEEA...3.1233D . дои : 10.1109/ACCESS.2015.2454533 . ISSN 2169-3536 .

[14] Альберт, Джеймс Х. (2016). «Логит, пробит и другие функции ответа». Справочник по теории реагирования на предметы . Том. Два. Чепмен и Холл. стр. 3–22. дои : 10.1201/b19166-1 . ISBN 978-1-315-37364-5 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]