Разбавление регрессии

Иллюстрация разбавления регрессии (или систематической ошибки затухания) диапазоном оценок регрессии в моделях ошибок в переменных . Две линии регрессии (красные) ограничивают диапазон возможностей линейной регрессии. Пологий наклон получается, когда независимая переменная (или предиктор) находится на абсциссе (ось X). Более крутой наклон получается, когда независимая переменная находится на ординате (ось Y). По соглашению, если независимая переменная отложена по оси X, получается более пологий наклон. Зеленые контрольные линии представляют собой средние значения в произвольных интервалах вдоль каждой оси. Обратите внимание, что более крутые оценки зеленой и красной регрессии более согласуются с меньшими ошибками в переменной оси Y.

Разбавление регрессии также известное как затухание регрессии , — это смещение наклона линейной регрессии , к нулю (занижение ее абсолютного значения), вызванное ошибками в независимой переменной .

Рассмотрите возможность построения прямой линии для связи переменной результата y с переменной-предиктором x и оценки наклона линии. Статистическая изменчивость, ошибка измерения или случайный шум в переменной y вызывают неопределенность в расчетном наклоне, но не смещение : в среднем процедура вычисляет правильный наклон. Однако изменчивость, ошибка измерения или случайный шум переменной x вызывают погрешность оценки наклона (а также неточность). Чем больше отклонение в измерении x , тем ближе расчетный наклон должен приближаться к нулю, а не к истинному значению.

Предположим, что зеленые и синие точки данных собирают одни и те же данные, но с ошибками (+1 или -1 по оси X) для зеленых точек. Минимизация ошибки по оси Y приводит к меньшему наклону зеленых точек, даже если они представляют собой просто зашумленную версию одних и тех же данных.

Может показаться нелогичным, что шум в переменной-предикторе x вызывает смещение, а шум в выходной переменной y – нет. Напомним, что линейная регрессия не симметрична: линия наилучшего соответствия для прогнозирования y по x (обычная линейная регрессия) не совпадает с линией наилучшего соответствия для прогнозирования x по y .

Коррекция наклона

Наклон регрессии и другие коэффициенты регрессии можно уменьшить следующим образом.

Случай фиксированной x переменной

Случай, когда x фиксирован, но измеряется с шумом, известен как функциональная модель или функциональное соотношение . Это можно исправить, используя общий метод наименьших квадратов. и модели ошибок в переменных в целом.

Случай случайно распределенной x переменной

Случай, когда переменная x возникает случайным образом, известен как структурная модель или структурная взаимосвязь . Например, в медицинском исследовании пациенты набираются в качестве выборки из популяции, и их характеристики, такие как артериальное давление, можно рассматривать как возникающие из случайной выборки .

При определенных предположениях (обычно предположениях о нормальном распределении ) существует известное соотношение между истинным наклоном и ожидаемым расчетным наклоном. Фрост и Томпсон (2000) рассматривают несколько методов оценки этого отношения и, следовательно, корректировки расчетного наклона. Термин «коэффициент разбавления регрессии» , хотя он и не определен всеми авторами одинаково, используется для этого общего подхода, в котором подбирается обычная линейная регрессия, а затем применяется коррекция. Ответ Лонгфорда (2001) на Frost & Thompson отсылает читателя к другим методам, расширяющим модель регрессии для признания изменчивости переменной x, чтобы не возникало систематической ошибки. Фуллер (1987) является одним из стандартных источников для оценки и коррекции разбавления регрессии.

Хьюз (1993) показывает, что методы коэффициента разбавления регрессии примерно применимы в моделях выживания. Рознер (1992) показывает, что методы соотношений примерно применимы к моделям логистической регрессии. Кэрролл и др. (1995) дают более подробную информацию о разбавлении регрессии в нелинейных моделях, представляя методы коэффициента разбавления регрессии как простейший случай методов калибровки регрессии , в которые также могут быть включены дополнительные ковариаты.

В общем, методы структурной модели требуют некоторой оценки изменчивости переменной x. Это потребует повторных измерений переменной x у одних и тех же людей либо в рамках дополнительного исследования основного набора данных, либо в отдельном наборе данных. Без этой информации внести исправление будет невозможно.

Несколько x переменных

Случай множественных переменных-предикторов, подверженных изменчивости (возможно, коррелирующей ), был хорошо изучен для линейной регрессии и для некоторых моделей нелинейной регрессии. Другие нелинейные модели, такие как модели пропорциональных рисков для анализа выживаемости , рассматривались только с одним предиктором, подверженным изменчивости.

Корреляционная коррекция

Чарльз Спирмен разработал в 1904 году процедуру коррекции корреляций для разбавления регрессии. т. е. «избавить коэффициент корреляции от ослабляющего эффекта ошибки измерения ».

В измерениях и статистике эту процедуру также называют ослаблением корреляции или ослаблением корреляции . Коррекция гарантирует, что коэффициент корреляции Пирсона между единицами данных (например, людьми) между двумя наборами переменных оценивается таким образом, чтобы учитывать ошибку, содержащуюся при измерении этих переменных.

Формулировка

Позволять $\beta$ и $\theta$ быть истинными значениями двух атрибутов некоторого человека или статистической единицы . Эти значения являются переменными в силу предположения, что они различаются для разных статистических единиц генеральной совокупности . Позволять ${\hat {\beta }}$ и ${\hat {\theta }}$ быть оценками $\beta$ и $\theta$ полученные либо непосредственно путем наблюдения с ошибкой, либо в результате применения модели измерения, такой как модель Раша . Кроме того, пусть

${\hat {\beta }}=\beta +\epsilon _{\beta },\quad \quad {\hat {\theta }}=\theta +\epsilon _{\theta },$

где $\epsilon _{\beta }$ и $\epsilon _{\theta }$ – ошибки измерения, связанные с оценками ${\hat {\beta }}$ и ${\hat {\theta }}$.

Предполагаемая корреляция между двумя наборами оценок равна

$\operatorname {corr} ({\hat {\beta }},{\hat {\theta }})={\frac {\operatorname {cov} ({\hat {\beta }},{\hat {\theta }})}{{\sqrt {\operatorname {var} [{\hat {\beta }}]\operatorname {var} [{\hat {\theta }}}}]}}$

$={\frac {\operatorname {cov} (\beta +\epsilon _{\beta },\theta +\epsilon _{\theta })}{\sqrt {\operatorname {var} [\beta +\epsilon _{\beta }]\operatorname {var} [\theta +\epsilon _{\theta }]}}},$

что, предполагая, что ошибки не коррелируют друг с другом и с истинными значениями атрибута, дает

$\operatorname {corr} ({\hat {\beta }},{\hat {\theta }})={\frac {\operatorname {cov} (\beta ,\theta )}{\sqrt {(\operatorname {var} [\beta ]+\operatorname {var} [\epsilon _{\beta }])(\operatorname {var} [\theta ]+\operatorname {var} [\epsilon _{\theta }])}}}$

$={\frac {\operatorname {cov} (\beta ,\theta )}{\sqrt {(\operatorname {var} [\beta ]\operatorname {var} [\theta ])}}}.{\frac {\sqrt {\operatorname {var} [\beta ]\operatorname {var} [\theta ]}}{\sqrt {(\operatorname {var} [\beta ]+\operatorname {var} [\epsilon _{\beta }])(\operatorname {var} [\theta ]+\operatorname {var} [\epsilon _{\theta }])}}}$

$=\rho {\sqrt {R_{\beta }R_{\theta }}},$

где $R_{\beta }$ – индекс разделения множества оценок $\beta$, что аналогично альфе Кронбаха ; то есть, с точки зрения классической теории тестов , $R_{\beta }$ аналогичен коэффициенту надежности. В частности, индекс разделения задается следующим образом:

$R_{\beta }={\frac {\operatorname {var} [\beta ]}{\operatorname {var} [\beta ]+\operatorname {var} [\epsilon _{\beta }]}}={\frac {\operatorname {var} [{\hat {\beta }}]-\operatorname {var} [\epsilon _{\beta }]}{\operatorname {var} [{\hat {\beta }}]}},$

где среднеквадратическая стандартная ошибка оценки человека дает оценку дисперсии ошибок, $\epsilon _{\beta }$. Стандартные ошибки обычно возникают как побочный продукт процесса оценки (см. Оценка модели Раша ).

Таким образом, неослабленная оценка корреляции между двумя наборами оценок параметров равна

$\rho ={\frac {{\mbox{corr}}({\hat {\beta }},{\hat {\theta }})}{\sqrt {R_{\beta }R_{\theta }}}}.$

То есть оценка ослабленной корреляции получается путем деления корреляции между оценками на среднее геометрическое индексов разделения двух наборов оценок. Выражаясь в терминах классической теории тестов, корреляция делится на среднее геометрическое коэффициентов надежности двух тестов.

Даны две случайные величины $X^{\prime }$ и $Y^{\prime }$ измеряется как $X$ и $Y$ с измеренной корреляцией $r_{xy}$ и известная надежность для каждой переменной, $r_{xx}$ и $r_{yy}$, предполагаемая корреляция между $X^{\prime }$ и $Y^{\prime }$ с поправкой на затухание

$r_{x'y'}={\frac {r_{xy}}{\sqrt {r_{xx}r_{yy}}}}$.

влияет на корреляцию X и Y. Насколько хорошо измеряются переменные , Поправка на затухание говорит нам, какой должна быть предполагаемая корреляция, если бы можно было измерить X' и Y' с абсолютной надежностью.

Таким образом, если $X$ и $Y$ считаются несовершенными измерениями базовых переменных $X'$ и $Y'$ с независимыми ошибками, то $r_{x'y'}$ оценивает истинную корреляцию между $X'$ и $Y'$.

Применимость

Поправка на разбавление регрессии необходима при статистическом выводе на основе коэффициентов регрессии . Однако в приложениях прогнозного моделирования коррекция не является ни необходимой, ни целесообразной. При обнаружении изменений необходима коррекция.

Чтобы понять это, рассмотрим погрешность измерения следующим образом. Пусть y будет переменной результата, x будет истинной переменной-предиктором, а w будет приблизительным наблюдением x . Фрост и Томпсон предполагают, например, что x может быть истинным долговременным артериальным давлением пациента, а w может быть артериальным давлением, наблюдаемым во время одного конкретного визита в клинику. Разбавление регрессии возникает, если нас интересует взаимосвязь между y и x , но мы оцениваем взаимосвязь между y и w . Поскольку w измеряется с изменчивостью, наклон линии регрессии y по w меньше, чем линия регрессии y по x .Стандартные методы могут без предвзятости провести регрессию y по w. Смещение существует только в том случае, если мы затем используем регрессию y на w как приближение к регрессии y на x. В этом примере, если предположить, что измерения артериального давления у будущих пациентов будут аналогичным образом различаться, наша линия регрессии y на w (наблюдаемое артериальное давление) дает несмещенные прогнозы.

Примером обстоятельств, при которых желательна коррекция, является прогнозирование изменений. Предположим, что изменение x известно при некоторых новых обстоятельствах: для оценки вероятного изменения выходной переменной y наклон регрессии y по x необходим , а не y по w . Это возникает в эпидемиологии . Продолжая пример, в котором x обозначает артериальное давление, возможно, крупное клиническое исследование позволило оценить изменение артериального давления при новом лечении; тогда возможное влияние на y при новом подходе следует оценить по наклону регрессии y на x .

Еще одним обстоятельством является прогнозное моделирование, при котором будущие наблюдения также являются переменными, но не (в использованной выше фразе) «подобно переменными». Например, если текущий набор данных включает артериальное давление, измеренное с большей точностью, чем обычно в клинической практике. Один конкретный пример этого возник при разработке уравнения регрессии на основе клинического исследования, в котором артериальное давление было средним из шести измерений, для использования в клинической практике, где артериальное давление обычно представляет собой одно измерение.

Все эти результаты могут быть продемонстрированы математически в случае простой линейной регрессии, предполагающей нормальное распределение повсюду (структура Фроста и Томпсона).

Обсуждалось, что плохо выполненная поправка на разбавление регрессии, особенно если она выполняется без проверки основных допущений, может нанести больший ущерб оценке, чем отсутствие поправки.

Дальнейшее чтение

Разбавление регрессии впервые было упомянуто под названием «аттенюация» Спирменом ( 1904). Те, кто ищет понятную математическую трактовку, могут начать с Фроста и Томпсона (2000).

См. также

• Модели ошибок в переменных
• Квантование (обработка сигналов) – распространенный источник ошибок в объясняющих или независимых переменных.