Внутренняя валидность

Внутренняя валидность — это степень, в которой доказательства подтверждают утверждение о причине и следствии в контексте конкретного исследования. Это одно из наиболее важных свойств научных исследований и важная концепция в рассуждениях о доказательствах в целом. Внутренняя валидность определяется тем, насколько хорошо исследование может исключить альтернативные объяснения своих результатов (обычно источники систематических ошибок или «предвзятости»). Она контрастирует с внешней валидностью , степенью, в которой результаты могут обосновать выводы о других контекстах (то есть степенью, в которой результаты могут быть обобщены ). Как внутреннюю, так и внешнюю валидность можно описать с помощью качественных или количественных форм причинной записи .

Подробности

Говорят, что выводы обладают внутренней достоверностью, если причинно-следственная связь между двумя переменными . должным образом продемонстрирована ^[1]^[2] Действительный причинно-следственный вывод может быть сделан при соблюдении трех критериев:

«причина» предшествует «следствию» во времени (временной приоритет),
«причина» и «следствие» имеют тенденцию возникать вместе (ковариация), и
нет никаких правдоподобных альтернативных объяснений наблюдаемой ковариации (неложности). ^[2]

В условиях научных экспериментов исследователи часто изменяют состояние одной переменной ( независимой переменной ), чтобы увидеть, какое влияние она оказывает на вторую переменную ( зависимую переменную ). ^[3] Например, исследователь может манипулировать дозировкой определенного препарата среди разных групп людей, чтобы увидеть, какое влияние оно оказывает на здоровье. В этом примере исследователь хочет сделать причинно-следственный вывод, а именно, что разные дозы препарата могут быть ответственны за наблюдаемые изменения или различия. Когда исследователь может с уверенностью приписать наблюдаемые изменения или различия в зависимой переменной независимой переменной (то есть, когда исследователь наблюдает связь между этими переменными и может исключить другие объяснения или конкурирующие гипотезы ), тогда говорят, что причинный вывод быть внутренне действительным. ^[4]

Однако во многих случаях размер эффектов, обнаруживаемых в зависимой переменной, может зависеть не только от

изменения независимой переменной,
мощность и инструментов и статистических процедур, используемых для измерения и обнаружения эффектов,
выбор статистических методов (см.: Достоверность статистических выводов ).

Скорее, ряд переменных или обстоятельств, неконтролируемых (или неконтролируемых), может привести к дополнительным или альтернативным объяснениям (а) обнаруженных эффектов и/или (б) величины обнаруженных эффектов. Таким образом, внутренняя валидность — это скорее вопрос степени, а не «или-или», и именно поэтому исследовательские планы, отличные от настоящих экспериментов, также могут давать результаты с высокой степенью внутренней валидности.

Чтобы сделать выводы с высокой степенью внутренней валидности, при планировании исследования могут быть приняты меры предосторожности. Как правило, выводы, основанные на прямом манипулировании независимой переменной, обладают большей внутренней достоверностью, чем выводы, основанные на ассоциации, наблюдаемой без манипуляций.

Если рассматривать только внутреннюю валидность, то тщательно контролируемые истинные экспериментальные планы (т.е. со случайным отбором, случайным распределением в контрольную или экспериментальную группы, надежные инструменты, надежные процессы манипуляции и защиту от мешающих факторов) могут быть «золотым стандартом» научных исследований. . Однако сами методы, используемые для повышения внутренней достоверности, могут также ограничивать обобщаемость или внешнюю достоверность результатов. Например, изучение поведения животных в зоопарке может облегчить получение обоснованных причинно-следственных выводов в этом контексте, но эти выводы могут не распространяться на поведение животных в дикой природе. В общем, типичный лабораторный эксперимент по изучению определенного процесса может не учитывать многие переменные, которые обычно сильно влияют на этот процесс в природе.

Примеры угроз

Чтобы вспомнить восемь таких угроз внутренней валидности, используйте аббревиатуру мнемоническую ЭТОТ БЕСПОРЯДОК . ^[5] что означает:

Тестирование,
История,
Смена инструмента,
Статистическая регрессия к среднему значению,
Созревание,
Экспериментальная смертность,
Выбор и
Селекционное взаимодействие.

Неоднозначный временной приоритет

Если неизвестно, какая переменная изменилась первой, может быть сложно определить, какая переменная является причиной, а какая — следствием.

Сбивающий с толку

Основная угроза достоверности причинно-следственных выводов сбивает с толку : изменения зависимой переменной скорее можно отнести к вариациям третьей переменной, которая связана с манипулируемой переменной. Там, где ложные связи нельзя исключить , могут быть разработаны гипотезы, конкурирующие с исходным причинным выводом.

Предвзятость выбора

Смещение отбора относится к проблеме, заключающейся в том, что во время предварительного тестирования между группами существуют различия, которые могут взаимодействовать с независимой переменной и, таким образом, быть «ответственными» за наблюдаемый результат. Исследователи и участники привносят в эксперимент множество характеристик, как приобретенных, так и присущих. Например, пол, вес, цвет волос, глаз и кожи, личность, умственные способности и физические способности, а также такие установки, как мотивация или готовность участвовать.

Если на этапе отбора исследования неравное количество испытуемых имеют схожие предметные переменные, возникает угроза внутренней валидности. Например, исследователь создал две тестовые группы: экспериментальную и контрольную. Субъекты в обеих группах не одинаковы по независимой переменной, но схожи по одной или нескольким переменным, связанным с субъектом.

Самостоятельный выбор также оказывает негативное влияние на интерпретативную силу зависимой переменной. Это часто происходит в онлайн-опросах, где представители определенной демографической группы чаще принимают участие в тестировании, чем представители других демографических групп.

История

События вне исследования/эксперимента или между повторными измерениями зависимой переменной могут повлиять на реакцию участников на экспериментальные процедуры. Часто это крупномасштабные события (стихийное бедствие, политические изменения и т. д.), которые влияют на отношение и поведение участников так, что становится невозможным определить, вызвано ли какое-либо изменение зависимых показателей независимой переменной или историческим событием. .

Созревание

Субъекты меняются в ходе эксперимента или даже между измерениями. Например, маленькие дети могут повзрослеть, и их способность концентрироваться может измениться по мере их взросления. Как постоянные изменения, такие как физический рост, так и временные, такие как усталость, дают «естественные» альтернативные объяснения; таким образом, они могут изменить реакцию субъекта на независимую переменную. Таким образом, по завершении исследования исследователь, возможно, не сможет определить, связана ли причина расхождения со временем или с независимой переменной.

Повторное тестирование (также называемое эффектами тестирования)

Повторное измерение участников может привести к систематической ошибке. Участники могут помнить правильные ответы или быть приучены знать, что их проверяют. Повторное прохождение (одных и аналогичных) тестов интеллекта обычно приводит к увеличению баллов, но вместо того, чтобы прийти к выводу, что базовые навыки изменились навсегда, эта угроза внутренней валидности обеспечивает хорошую конкурирующую гипотезу.

Смена инструмента (инструментальность)

Инструмент, используемый в процессе тестирования, может изменить эксперимент. Это также относится к тому, что наблюдатели стали более сконцентрированными или подготовленными или бессознательно изменили критерии, которые они используют для вынесения суждений. Это также может быть проблемой, если показатели самоотчета предоставляются в разное время. В этом случае воздействие можно смягчить за счет использования ретроспективного предварительного тестирования. Если происходят какие-либо изменения в инструментах, это влияет на внутреннюю достоверность основного вывода, поскольку легко доступны альтернативные объяснения.

Регрессия к среднему значению

Ошибка такого типа возникает, когда испытуемые выбираются на основе экстремальных оценок (одни из которых далеки от среднего) во время теста. Например, когда детей с худшими показателями по чтению отбирают для участия в курсе чтения, улучшения в конце курса могут быть связаны с регрессом к среднему значению, а не с эффективностью курса. Если бы дети прошли тестирование еще раз перед началом курса, они, скорее всего, в любом случае получили бы более высокие оценки.Аналогичным образом, крайние выбросы отдельных оценок с большей вероятностью будут зафиксированы в одном случае тестирования, но, скорее всего, при повторном тестировании они превратятся в более нормальное распределение.

Смертность/дифференциальная истощение

Эта ошибка возникает, если выводы сделаны на основе только тех участников, которые участвовали от начала до конца. Однако участники могли выйти из исследования до его завершения, а может быть, даже из-за самого исследования, программы или эксперимента. Например, процент членов группы, бросивших курить после тестирования, оказался намного выше в группе, прошедшей программу обучения отказу от курения, чем в контрольной группе. Однако в экспериментальной группе программу завершили только 60%. Если это сокращение систематически связано с какой-либо особенностью исследования, введением независимой переменной, инструментарием или если выбывание приводит к значимой систематической ошибке между группами, возможен целый класс альтернативных объяснений, которые объясняют наблюдаемые различия.

Взаимодействие отбора и созревания

Это происходит, когда взаимодействуют переменные, связанные с предметом, цвет волос, цвет кожи и т. д., и переменные, связанные со временем, возраст, физический размер и т. д. Если при тестировании возникает расхождение между двумя группами, то расхождение может быть связано с возрастными различиями в возрастных категориях.

Диффузия

Если эффекты лечения распространяются от групп лечения к контрольным группам, может наблюдаться отсутствие различий между экспериментальной и контрольной группами. Однако это не означает, что независимая переменная не оказывает никакого влияния или что между зависимой и независимой переменной нет никакой связи.

Компенсаторное соперничество/обиженная деморализация

Поведение в контрольных группах может измениться в результате исследования. Например, члены контрольной группы могут прилагать дополнительные усилия, чтобы увидеть, что ожидаемое превосходство экспериментальной группы не продемонстрировано. Опять же, это не означает, что независимая переменная не оказала никакого влияния или что между зависимой и независимой переменной нет связи. И наоборот, на изменения зависимой переменной может повлиять только деморализованная контрольная группа, работающая менее усердно или мотивированно, а не независимая переменная.

Предвзятость экспериментатора

Предвзятость экспериментатора возникает, когда люди, проводящие эксперимент, непреднамеренно влияют на результат, неосознанно ведя себя иначе, чем члены контрольной и экспериментальной групп. Устранить возможность предвзятости экспериментатора можно за счет использования дизайна двойного слепого исследования, в котором экспериментатор не знает, к какому состоянию принадлежит участник.

Проблема взаимной внутренней достоверности

Эксперименты, имеющие высокую внутреннюю валидность, могут давать явления и результаты, не имеющие отношения к реальной жизни, что приводит к проблеме взаимной внутренней валидности. ^[6]^[7] Оно возникает, когда исследователи используют экспериментальные результаты для разработки теорий, а затем используют эти теории для разработки экспериментов по проверке теорий. Эта взаимная обратная связь между экспериментами и теориями может привести к появлению теорий, которые объясняют явления и результаты только в искусственных лабораторных условиях, но не в реальной жизни.

См. также

Ссылки

^ Брюэр, М. (2000). Дизайн исследования и вопросы достоверности. В Рейс Х. и Джадд К. (ред.) Справочник по методам исследования в социальной психологии и психологии личности. Кембридж: Издательство Кембриджского университета.
^ Jump up to: ^а ^б Шадиш В., Кук Т. и Кэмпбелл Д. (2002). Экспериментальные и квазиэкспериментальные планы для обобщенного причинного вывода Бостон: Houghton Mifflin.
^ Левин, Г. и Паркинсон, С. (1994). Экспериментальные методы в психологии. Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.
^ Либерт, RM и Либерт, LL (1995). Наука и поведение: введение в методы психологического исследования. Энглвуд Клиффс, Нью-Джерси: Прентис Холл.
^ Вортман, премьер-министр (1983). «Оценочное исследование - методологическая перспектива». Ежегодный обзор психологии . 34 : 223–260. дои : 10.1146/annurev.ps.34.020183.001255 .
^ Шрам, Артур (1 июня 2005 г.). «Искусственность: противоречие между внутренней и внешней обоснованностью экономических экспериментов» . Журнал экономической методологии . 12 (2): 225–237. дои : 10.1080/13501780500086081 . ISSN 1350-178X . S2CID 145588503 .
^ Лин, Хаус; Вернер, Кейтлин М.; Инцлихт, Майкл (16 февраля 2021 г.). «Обещания и опасности экспериментирования: проблема взаимной внутренней достоверности» . Перспективы психологической науки . 16 (4): 854–863. дои : 10.1177/1745691620974773 . ISSN 1745-6916 . ПМИД 33593177 . S2CID 231877717 .

Внешние ссылки

Внутренняя валидность (методы социальных исследований)
Внутренняя валидность

[1] Брюэр, М. (2000). Дизайн исследования и вопросы достоверности. В Рейс Х. и Джадд К. (ред.) Справочник по методам исследования в социальной психологии и психологии личности. Кембридж: Издательство Кембриджского университета.

[Shadish-2] Jump up to: ^а ^б Шадиш В., Кук Т. и Кэмпбелл Д. (2002). Экспериментальные и квазиэкспериментальные планы для обобщенного причинного вывода Бостон: Houghton Mifflin.

[3] Левин, Г. и Паркинсон, С. (1994). Экспериментальные методы в психологии. Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.

[4] Либерт, RM и Либерт, LL (1995). Наука и поведение: введение в методы психологического исследования. Энглвуд Клиффс, Нью-Джерси: Прентис Холл.

[5] Вортман, премьер-министр (1983). «Оценочное исследование - методологическая перспектива». Ежегодный обзор психологии . 34 : 223–260. дои : 10.1146/annurev.ps.34.020183.001255 .

[6] Шрам, Артур (1 июня 2005 г.). «Искусственность: противоречие между внутренней и внешней обоснованностью экономических экспериментов» . Журнал экономической методологии . 12 (2): 225–237. дои : 10.1080/13501780500086081 . ISSN 1350-178X . S2CID 145588503 .

[7] Лин, Хаус; Вернер, Кейтлин М.; Инцлихт, Майкл (16 февраля 2021 г.). «Обещания и опасности экспериментирования: проблема взаимной внутренней достоверности» . Перспективы психологической науки . 16 (4): 854–863. дои : 10.1177/1745691620974773 . ISSN 1745-6916 . ПМИД 33593177 . S2CID 231877717 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]