Обоснованность статистического вывода

Валидность статистических выводов — это степень, в которой выводы о взаимосвязи между переменными, основанные на данных, являются правильными или «разумными». Вначале речь шла исключительно о том, верен ли статистический вывод о взаимосвязи переменных, но сейчас наблюдается движение к переходу к «разумным» выводам, использующим: количественные, статистические и качественные данные. ^[1] По сути, могут возникнуть два типа ошибок: тип I (обнаружение различий или корреляций, когда их нет) и тип II (отсутствие различий или корреляций, когда они существуют). Валидность статистических выводов касается качеств исследования, которые делают ошибки такого типа более вероятными. Обоснованность статистических выводов предполагает обеспечение использования адекватных процедур выборки, соответствующих статистических тестов и надежных процедур измерения. ^[2]^[3]^[4]

Распространенные угрозы

Наиболее распространенными угрозами достоверности статистических выводов являются:

Низкая статистическая мощность

Мощность — это вероятность правильного отклонения нулевой гипотезы , когда она ложна (обратная коэффициенту ошибок типа II). Эксперименты с малой мощностью имеют более высокую вероятность ошибочного отклонения нулевой гипотезы, то есть совершения ошибки второго рода и вывода об отсутствии обнаруживаемого эффекта при наличии следствия (например, существует реальная ковариация между причиной и следствием). ). Низкая мощность возникает, когда размер выборки исследования слишком мал с учетом других факторов (небольшой размер эффекта , большая вариабельность группы, ненадежные измерения и т. д.).

Нарушенные предположения тестовой статистики

Большинство статистических тестов (особенно статистических выводов ) включают предположения о данных, которые делают анализ пригодным для проверки гипотезы . Нарушение допущений статистических тестов может привести к неверным выводам о причинно-следственной связи. Надежность . теста показывает, насколько он чувствителен к нарушениям Нарушение допущений может сделать тесты более или менее склонными к ошибкам I или II рода .

Дноуглубительные работы и проблема частоты ошибок

Каждая проверка гипотезы включает в себя установленный риск ошибки типа I (коэффициент альфа). Если исследователь ищет или « копается » в своих данных, проверяя множество различных гипотез, чтобы найти значительный эффект, он увеличивает частоту ошибок первого рода. Чем больше исследователь неоднократно проверяет данные, тем выше вероятность обнаружить ошибку I рода и сделать неправильный вывод о существовании связи.

Ненадежность мер

Если зависимая и/или независимая переменная(и) измеряется ненадежно ( т.е. с большой погрешностью измерения ), можно сделать неправильные выводы.

Ограничение диапазона

Ограничение диапазона, например эффекты пола и потолка или эффекты выбора , уменьшают мощность эксперимента и увеличивают вероятность ошибки второго рода. ^[5] Это связано с тем, что корреляции ослабляются (ослабляются) из-за уменьшения изменчивости (см., например, уравнение для коэффициента корреляции момента произведения Пирсона , которое использует дисперсию оценок при своей оценке).

Неоднородность исследуемых единиц

Большая гетерогенность лиц, участвующих в исследовании, также может повлиять на интерпретацию результатов, увеличивая дисперсию результатов или скрывая истинные взаимосвязи (см. также ошибку выборки ). Это скрывает возможные взаимодействия между характеристиками единиц и причинно-следственными связями.

Угрозы внутренней валидности

Любой эффект, который может повлиять на внутреннюю достоверность исследования, может исказить результаты и повлиять на достоверность полученных статистических выводов. Эти угрозы внутренней валидности включают ненадежность реализации лечения (отсутствие стандартизации ) или неспособность контролировать посторонние переменные .

См. также

Ссылки

^ Козби, Пол К. (2009). Методы поведенческих исследований (10-е изд.). Бостон: Высшее образование Макгроу-Хилла.
^ Коэн, Р.Дж.; Свердлик, М.Э. (2004). Психологическое тестирование и оценка (6-е издание) . Сидней: МакГроу-Хилл.
^ Кук, Т.Д.; Кэмпбелл, DT; Дэй, А. (1979). Квази-эксперименты: проблемы проектирования и анализа полевых условий . Хоутон Миффлин .
^ Шадиш, В.; Кук, Т.Д.; Кэмпбелл, DT (2006). Экспериментальные и квазиэкспериментальные планы обобщенного причинно-следственного вывода . Хоутон Миффлин .
^ Сакетт, PR; Ливенс, Ф.; Берри, СМ; Ландерс, Р.Н. (2007). «Предостережение о влиянии ограничения диапазона на взаимные корреляции предикторов» (PDF) . Журнал прикладной психологии . 92 (2): 538–544. дои : 10.1037/0021-9010.92.2.538 . ПМИД 17371098 .

[Cozby-1] Козби, Пол К. (2009). Методы поведенческих исследований (10-е изд.). Бостон: Высшее образование Макгроу-Хилла.

[Cohen-2] Коэн, Р.Дж.; Свердлик, М.Э. (2004). Психологическое тестирование и оценка (6-е издание) . Сидней: МакГроу-Хилл.

[Cook-3] Кук, Т.Д.; Кэмпбелл, DT; Дэй, А. (1979). Квази-эксперименты: проблемы проектирования и анализа полевых условий . Хоутон Миффлин .

[Shadish-4] Шадиш, В.; Кук, Т.Д.; Кэмпбелл, DT (2006). Экспериментальные и квазиэкспериментальные планы обобщенного причинно-следственного вывода . Хоутон Миффлин .

[Sackett-5] Сакетт, PR; Ливенс, Ф.; Берри, СМ; Ландерс, Р.Н. (2007). «Предостережение о влиянии ограничения диапазона на взаимные корреляции предикторов» (PDF) . Журнал прикладной психологии . 92 (2): 538–544. дои : 10.1037/0021-9010.92.2.538 . ПМИД 17371098 .

[1]

[2]

[3]

[4]

[5]