Условная логистическая регрессия

Условная логистическая регрессия — это расширение логистической регрессии , которое позволяет учитывать стратификацию и сопоставление . Основная область его применения — наблюдательные исследования и, в частности, эпидемиология . Его разработали в 1978 году Норман Бреслоу , Николас Дэй , Кэтрин Халворсен , Росс Л. Прентис и К. Сабай. Это наиболее гибкая и общая процедура для сопоставления данных.

Фон

В наблюдательных исследованиях используется стратификация или сопоставление как способ контроля искажающих результатов .

Логистическая регрессия может учитывать стратификацию, имея разные постоянные члены для каждой страты. Обозначим $Y_{i\ell }\in \{0,1\}$ метка (например, статус дела) $\ell$е наблюдение $i$слой и $X_{i\ell }\in \mathbb {R} ^{p}$ значения соответствующих предикторов. Затем мы принимаем вероятность одного наблюдения за

$\mathbb {P} (Y_{i\ell }=1|X_{i\ell })={\frac {\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i\ell })}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i\ell })}}$

где $\alpha _{i}$ является постоянным термином для $i$й слой. Параметры в этой модели можно оценить, используя оценку максимального правдоподобия .

Например, рассмотрим оценку влияния физических упражнений на риск сердечно-сосудистых заболеваний. Если люди, которые больше занимаются спортом, моложе, имеют лучший доступ к медицинскому обслуживанию или имеют другие различия, которые улучшают их здоровье, то логистическая регрессия заболеваемости сердечно-сосудистыми заболеваниями по количеству минут, потраченных на тренировки, может переоценить влияние физических упражнений на здоровье. Чтобы решить эту проблему, мы можем группировать людей по демографическим характеристикам, таким как возраст и почтовый индекс места их проживания. Каждый слой $\ell$ это группа людей со схожей демографией. Вектор $X_{i\ell }$ содержит информацию об интересующей переменной (в данном случае о минутах, потраченных на тренировку) для отдельных $i$ в слое $\ell$. Значение $\alpha _{i}$ Влияние демографии на заболеваемость сердечно-сосудистыми заболеваниями $Y_{i\ell }$, который предполагается одинаковым для всех людей в страте. Вектор ${\boldsymbol {\beta }}$ (который в этом примере является просто скаляром) представляет собой интересующую величину — влияние физических упражнений на сердечно-сосудистые заболевания. Мы также можем включить управляющие переменные в $X_{i\ell }$.

Мотивация

Описанная выше логистическая регрессия работает удовлетворительно, когда количество слоев невелико по сравнению с объемом данных. Если мы сохраним фиксированное количество страт и увеличим объем данных, оценки параметров модели ( $\alpha _{i}$ для каждого слоя и вектора ${\boldsymbol {\beta }}$) сходятся к своим истинным значениям.

Однако патологическое поведение возникает, когда у нас много маленьких слоев, поскольку количество параметров растет с объемом данных. Например, если каждая страта содержит две точки данных, то количество параметров в модели с $N$ точки данных $N/2+p$, поэтому количество параметров имеет тот же порядок, что и количество точек данных. В этих условиях, когда мы увеличиваем объем данных, асимптотические результаты, на которых основана оценка максимального правдоподобия, становятся недействительными, а полученные оценки являются смещенными. Условная логистическая регрессия решает эту проблему. Фактически, можно показать, что безусловный анализ данных совпадающих пар приводит к оценке отношения шансов , которое представляет собой квадрат правильного условного отношения.

Помимо тестов, основанных на логистической регрессии, до условной логистической регрессии существовало несколько других тестов для сопоставленных данных, как показано в связанных тестах . Однако они не позволяли анализировать непрерывные предикторы с произвольным размером страты. Всем этим процедурам также не хватает гибкости условной логистической регрессии и, в частности, возможности контроля ковариат.

Условная вероятность

Условная логистическая регрессия использует подход условного правдоподобия, который имеет дело с вышеуказанным патологическим поведением, обуславливая количество случаев в каждом слое. Это избавляет от необходимости оценивать параметры страты.

Когда слои представляют собой пары, где первое наблюдение является случаем, а второе — контролем, это можно увидеть следующим образом.

${\begin{aligned}&\mathbb {P} (Y_{i1}=1,Y_{i2}=0|X_{i1},X_{i2},Y_{i1}+Y_{i2}=1)\\&={\frac {\mathbb {P} (Y_{i1}=1|X_{i1})\mathbb {P} (Y_{i2}=0|X_{i2})}{\mathbb {P} (Y_{i1}=1|X_{i1})\mathbb {P} (Y_{i2}=0|X_{i2})+\mathbb {P} (Y_{i1}=0|X_{i1})\mathbb {P} (Y_{i2}=1|X_{i2})}}\\[6pt]\ &={\frac {{\frac {\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i1})}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i1})}}\times {\frac {1}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i2})}}}{{\frac {\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i1})}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i1})}}\times {\frac {1}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i2})}}+{\frac {1}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i1})}}\times {\frac {\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i2})}{1+\exp(\alpha _{i}+{\boldsymbol {\beta }}^{\top }X_{i2})}}}}\\[6pt]\ &={\frac {\exp({\boldsymbol {\beta }}^{\top }X_{i1})}{\exp({\boldsymbol {\beta }}^{\top }X_{i1})+\exp({\boldsymbol {\beta }}^{\top }X_{i2})}}.\\[6pt]\end{aligned}}$

При аналогичных вычислениях условная вероятность возникновения страты размером $m$, с $k$ в таких случаях первые наблюдения

$\mathbb {P} (Y_{ij}=1{\text{ for }}j\leq k,Y_{ij}=0{\text{ for }}k<j\leq m|X_{i1},...,X_{im},\sum _{j=1}^{m}Y_{ij}=k)={\frac {\exp(\sum _{j=1}^{k}{\boldsymbol {\beta }}^{\top }X_{ij})}{\sum _{J\in {\mathcal {C}}_{k}^{m}}\exp(\sum _{j\in J}{\boldsymbol {\beta }}^{\top }X_{ij})}},$

где ${\mathcal {C}}_{k}^{m}$ представляет собой набор всех подмножеств размера $k$ из набора $\{1,...,m\}$.

Полная условная логарифмическая вероятность представляет собой просто сумму логарифмических вероятностей для каждого слоя. Затем оценщик определяется как $\beta$ это максимизирует вероятность условного журнала.

Выполнение

Условная логистическая регрессия доступна в R как функция clogit в survival упаковка. Это в survival пакет, поскольку вероятность логарифма условной логистической модели такая же, как логарифмическая вероятность модели Кокса с определенной структурой данных.

Он также доступен в Python через statsmodels пакет, начиная с версии 0.14.

Связанные тесты

• Тест парных разностей позволяет проверить связь между бинарным результатом и непрерывным предиктором, принимая во внимание парность.
• Тест Кохрана-Мантела-Хэнзеля позволяет проверить связь между бинарным результатом и бинарным предиктором, принимая во внимание стратификацию с произвольным размером страты. Когда условия его применения проверены, он идентичен тесту оценки условной логистической регрессии .