Смещение (статистика)

Чтобы узнать о других значениях, см. Предвзятость (значения) .

Статистическая предвзятость в математической области статистики — это систематическая тенденция, при которой методы, используемые для сбора данных и создания статистики, представляют неточное, искаженное или предвзятое изображение реальности. Статистическая погрешность существует на многих этапах процесса сбора и анализа данных, включая: источник данных, методы, используемые для сбора данных, выбранный оценщик и методы, используемые для анализа данных. Аналитики данных могут принимать различные меры на каждом этапе процесса, чтобы уменьшить влияние статистической предвзятости в своей работе. Понимание источника статистической погрешности может помочь оценить, близки ли наблюдаемые результаты к реальности. Утверждалось, что проблемы статистической систематической ошибки тесно связаны с проблемами статистической достоверности .

Статистическая погрешность может иметь серьезные последствия в реальном мире, поскольку данные используются для принятия решений в самых разных процессах в обществе. Данные используются для обоснования законотворчества, регулирования отрасли, тактики корпоративного маркетинга и распределения, а также институциональной политики в организациях и на рабочих местах. Таким образом, могут возникнуть серьезные последствия, если статистическая погрешность не будет учитываться и контролироваться. Например, если фармацевтическая компания желает изучить влияние лекарства на простуду, но выборка данных включает только мужчин, любые выводы, сделанные на основе этих данных, будут смещены в сторону того, как лекарство влияет на мужчин, а не на людей в целом. Это означает, что информация будет неполной и бесполезной для принятия решения о том, готово ли лекарство к выпуску среди широкой публики. В этом случае смещение можно устранить путем расширения выборки. Эта ошибка выборки — лишь один из способов искажения данных.

Смещение можно отличить от других статистических ошибок, таких как точность (неисправность/неадекватность инструмента), отсутствие данных или ошибки в транскрипции (опечатки). Систематическая ошибка подразумевает, что выбор данных мог быть искажен критериями сбора. При сборе данных возникают и другие формы предвзятости по вине человека, такие как предвзятость ответов , когда участники дают неточные ответы на вопрос. Предвзятость не исключает существования каких-либо других ошибок. Возможно наличие плохо спроектированного образца, неточного измерительного прибора и опечаток при одновременной регистрации данных. В идеале все факторы контролируются и учитываются.

Также полезно признать, что термин «ошибка» конкретно относится к результату, а не к процессу ( ошибкам отклонения или принятия проверяемой гипотезы ) или к явлению случайных ошибок . термины «недостаток» или «ошибка» Рекомендуется использовать , чтобы отличать процедурные ошибки от этих специально определенных терминов, основанных на результатах.

Смещение оценщика

Основная статья: Смещение оценщика

Статистическая погрешность – это особенность статистического метода или его результатов, при которой значение результатов отличается от истинного основного количественного параметра оцениваемого ожидаемое . Смещение оценки параметра не следует путать со степенью точности, поскольку степень точности является мерой ошибки выборки. Смещение определяется следующим образом: пусть $T$ быть статистикой, используемой для оценки параметра $\theta$, и разреши $\operatorname {E} (T)$ обозначают ожидаемое значение $T$. Затем,

$\operatorname {bias} (T,\theta )=\operatorname {bias} (T)=\operatorname {E} (T)-\theta$

называется смещением статистики $T$ (по отношению к $\theta$). Если $\operatorname {bias} (T,\theta )=0$, затем $T$ называется несмещенной оценкой $\theta$; в противном случае говорят, что это смещенная оценка $\theta$.

Смещение статистики $T$ всегда относительно параметра $\theta$ он используется для оценки, но параметр $\theta$ часто опускается, когда из контекста ясно, что именно оценивается.

Типы

Статистическая погрешность возникает на всех этапах анализа данных. Следующие источники систематической ошибки будут перечислены на каждом этапе отдельно.

Выбор данных

Систематическая ошибка отбора предполагает, что отдельные лица будут выбраны для исследования с большей вероятностью, чем другие, что приводит к смещению выборки . Это также можно назвать эффектом отбора, смещением выборки и смещением Берксона .

• Смещение спектра возникает в результате оценки диагностических тестов на необъективных выборках пациентов, что приводит к переоценке чувствительности и специфичности теста. Например, высокая распространенность заболевания в исследуемой популяции увеличивает прогностическую ценность положительных результатов, что приводит к смещению между прогностическими значениями и реальными.
• Предвзятость выбора наблюдателя возникает, когда представленные доказательства были предварительно отфильтрованы наблюдателями, что является так называемым антропным принципом . Собранные данные фильтруются не только по плану эксперимента, но и по необходимому предварительному условию, что кто-то должен проводить исследование. Примером может служить воздействие Земли в прошлом. Событие удара могло привести к исчезновению разумных животных, или в то время разумных животных не существовало. Таким образом, некоторые ударные события не наблюдались, но они могли произойти в прошлом.
• Предвзятость добровольцев возникает, когда добровольцы имеют характеристики, существенно отличающиеся от целевой группы исследования. Исследования показали, что волонтеры, как правило, происходят из семей с более высоким социально-экономическим статусом. Более того, другое исследование показывает, что женщины с большей вероятностью будут добровольно участвовать в учебе, чем мужчины.
• Предвзятость финансирования может привести к выбору результатов, тестовых образцов или процедур тестирования в пользу финансового спонсора исследования.
• Систематическая ошибка отсева возникает из-за потери участников, например, потери последующего наблюдения во время исследования.
• Предвзятость воспоминаний возникает из-за различий в точности или полноте воспоминаний участников о прошлых событиях; например, пациенты не могут вспомнить, сколько именно сигарет они выкурили на прошлой неделе, что приводит к завышению или недооценке.

Проверка гипотез

Ошибки типа I и типа II при проверке статистических гипотез приводят к неверным результатам. Ошибка I рода возникает, когда нулевая гипотеза верна, но отвергается. Например, предположим, что нулевая гипотеза состоит в том, что если средний предел скорости движения колеблется от 75 до 85 км/ч, это не считается превышением скорости. С другой стороны, если средняя скорость выходит за пределы этого диапазона, это считается превышением скорости. Если кто-то получает билет со средней скоростью движения 7 км/ч, лицо, принимающее решение, допустило ошибку I рода. Другими словами, средняя скорость движения соответствует нулевой гипотезе, но отвергается. Напротив, ошибка второго рода возникает, когда нулевая гипотеза неверна, но принимается.

Смещение при проверке гипотез возникает, когда мощность (дополнение коэффициента ошибок типа II) при некоторой альтернативе ниже верхней границы коэффициента ошибок типа I (который обычно представляет собой уровень значимости, $\alpha$). Аналогично, если ни один процент отклонений ни для одной альтернативы не ниже, чем процент отклонений в любой точке набора нулевых гипотез, тест считается несмещенным.

Выбор оценщика

Смещение оценщика — это разница между ожидаемым значением оценщика и истинным значением оцениваемого параметра. Хотя несмещенная оценка теоретически предпочтительнее, чем смещенная оценка, на практике часто используются смещенные оценки с небольшими смещениями. Смещенная оценка может быть более полезной по нескольким причинам. Во-первых, несмещенная оценка может не существовать без дополнительных предположений. Во-вторых, иногда трудно вычислить несмещенную оценку. В-третьих, смещенная оценка может иметь более низкое значение среднеквадратической ошибки.

• Смещенная оценка лучше, чем любая несмещенная оценка, возникающая из распределения Пуассона . Значение смещенной оценки всегда положительное, а ее среднеквадратическая ошибка меньше, чем у несмещенной, что делает смещенную оценку более точной.

• Смещение пропущенной переменной — это смещение, которое появляется в оценках параметров в регрессионном анализе, когда предполагаемая спецификация опускает независимую переменную, которая должна быть в модели.

Методы анализа

• Ошибка обнаружения возникает, когда явление с большей вероятностью будет наблюдаться для определенной группы субъектов исследования. Например, синдром, включающий ожирение и диабет, может означать, что врачи с большей вероятностью будут искать диабет у пациентов с ожирением, чем у более худых пациентов, что приводит к росту заболеваемости диабетом среди пациентов с ожирением из-за неравномерных усилий по выявлению диабета.
• В образовательном измерении предвзятость определяется как «систематические ошибки в содержании теста, его проведении и/или процедурах выставления оценок, которые могут привести к тому, что некоторые участники теста получат более низкие или более высокие баллы, чем того заслуживают их истинные способности». Источник систематической ошибки не имеет отношения к признаку, для измерения которого предназначен тест.
• Предвзятость наблюдателя возникает, когда исследователь подсознательно влияет на эксперимент из-за когнитивной предвзятости , когда суждение может повлиять на то, как проводится эксперимент / как записываются результаты.

Интерпретация

Систематическая ошибка в отчетности предполагает неравномерность доступности данных, в результате чего с большей вероятностью будут сообщаться о наблюдениях определенного типа.

предвзятости

В зависимости от типа существующей систематической ошибки исследователи и аналитики могут предпринять различные шаги для уменьшения систематической ошибки в наборе данных. Для всех упомянутых выше типов предвзятости предусмотрены соответствующие меры, которые можно принять для уменьшения или устранения их воздействия.

Предвзятость следует учитывать на каждом этапе процесса сбора данных, начиная с четко определенных параметров исследования и рассмотрения команды, которая будет проводить исследование. Предвзятость наблюдателя может быть уменьшена за счет применения слепого или двойного слепого метода. Предотвращение хакерских атак имеет важное значение для процесса сбора точных данных. Один из способов проверить наличие систематической ошибки в результатах — это повторный анализ с различными независимыми переменными, чтобы увидеть, происходит ли данное явление в зависимых переменных. Осторожное использование формулировок в отчетах может уменьшить количество вводящих в заблуждение фраз, таких как обсуждение результата, «приближающегося» к статистической значимости по сравнению с фактически достигнутым.

См. также

• Правдивость
• Систематическая ошибка

Внешние ссылки

• «Каталог предвзятостей» — это проект Центра доказательной медицины, который каталогизирует предвзятости, влияющие на данные о здоровье.