Эффект снижения

Эффект снижения может возникнуть, когда научные утверждения со временем получают все меньше поддержки. Этот термин был впервые описан парапсихологом Джозефом Бэнксом Райном в 1930-х годах для описания исчезновения экстрасенсорного восприятия (ЭСВ) в психических экспериментах, проводимых Райном в ходе обучения или во времени. В более общем смысле Кронбах в своей обзорной научной статье «За пределами двух дисциплин научной психологии» назвал это явление «распадом обобщений». Этот термин снова был использован в статье Джона Лерера в 2010 году, опубликованной в The New Yorker .

Примеры

В своей статье Лерер приводит несколько примеров, где якобы проявляется эффект спада. В первом примере, разработка антипсихотических препаратов второго поколения, показано, что первые испытания продемонстрировали резкое уменьшение психиатрических симптомов у субъектов. Однако после повторных испытаний этот эффект снизился, и в конечном итоге не удалось документально подтвердить, что эти препараты имели лучший эффект, чем антипсихотики первого поколения.

Хорошо известный пример эффекта снижения можно увидеть в ранних экспериментах, проведенных профессором Джонатаном Шулером по изучению влияния вербализации на невербальное познание. В первой серии исследований Скулер обнаружил доказательства того, что словесное повторение ранее увиденных лиц или цветов заметно ухудшает последующее узнавание. Это явление называется словесным осенением . Хотя эффекты вербального затенения неоднократно наблюдались Скулером, а также другими исследователями, оказалось, что их довольно сложно воспроизвести. Эффекты вербального затенения в различных областях первоначально было легко обнаружить, но затем стало все труднее воспроизвести, что указывает на эффект снижения этого явления. Скулер теперь стал одним из наиболее выдающихся исследователей, изучающих эффект спада. Он утверждал, что устранение эффекта снижения может потребовать серьезного пересмотра научного процесса, в соответствии с которым ученые регистрируют свои протоколы перед проведением исследования, а затем, независимо от результата, сообщают о своих выводах в хранилище с открытым доступом (например, «Project Implicit» Брэйна Носека). ). Скулер в настоящее время работает с Фондом Фетцера над организацией крупной встречи ученых из различных дисциплин для рассмотрения альтернативных объяснений эффекта снижения и подходов к его строгому решению.

В 1991 году датский зоолог Андерс Мёллер обнаружил связь между симметрией и сексуальным предпочтением самок птиц в природе. Это вызвало огромный интерес к этой теме, и было опубликовано множество последующих исследований. Через три года после первоначального открытия 90% исследований подтвердили гипотезу Мёллера. Однако тот же результат был опубликован только в четырех из восьми исследовательских работ в 1995 году и только в трети в последующие три года.

Эффект снижения закисления океана влияет на поведение рыб. сила эффекта снизилась на порядок За десятилетие исследований на эту тему . Эффект снижения в этой области, по-видимому, обусловлен предвзятостью публикаций , базой цитирования, размерами выборки и отдельными исследователями, публикующими большие размеры эффекта .

В исследовании, опубликованном в 2022 году, сообщается, пожалуй, об одном из самых ярких примеров эффекта упадка в области экологии: масштабы эффекта опубликованных исследований, проверяющих влияние закисления океана на поведение рыб, снизились на порядок за десятилетие исследований по эта тема.

Пояснения

Эффект спада имеет разные типы, каждый из которых имеет разные причины.

Ложное срабатывание

Если первоначальная публикация является ложноположительной, т. е. нулевая гипотеза верна, но сделанная первоначальная публикация ошибочно отвергла ее, то последующие попытки репликации обязательно обнаружат, что размер эффекта существенно не отличается от нуля. Это самый простой тип эффекта снижения.

Например, статистически значимые явления в парапсихологии являются ложноположительными, как и облегченное общение. При увеличении количества экспериментальных данных предполагаемые эффекты этих явлений становятся ближе к нулю, что дает эффект снижения.

Недостаточная спецификация

Если бы первоначальная публикация обнаружила реальный эффект, но не выявила определенные важные переменные, то размер эффекта мог бы быть меньше.

Конкретно рассмотрим этот пример. Эффект $Y$ зависит от $X,Z$ в соответствии с $Y=X+Z+\epsilon$ где $\epsilon \sim {\mathcal {N}}(0,1)$ представляет собой стандартный гауссовский шум. Предположим, что в первоначальной публикации из-за постановки эксперимента $Z=X$, поэтому первоначальная публикация ошибочно подумала, что $Y=2X+\epsilon$.

При попытке репликации неконтролируемая переменная $Z$ больше не коррелирует с $X$, но изменяется независимо в зависимости от $Z\sim {\mathcal {N}}(0,1)$. Теперь репликация обнаруживает, что $Y=X+\epsilon '$ где $\epsilon '\sim {\mathcal {N}}(0,2)$. Таким образом, коэффициент регрессии $Y$ над $X$ снизился на 50%.

Реальный пример — препарат Тимолол для лечения глаукомы . Его эффект неуклонно снижается. Это было объяснено тем, что в ранних исследованиях участвовали пациенты с поздней стадией глаукомы, тогда как в более поздних исследованиях использовались пациенты с менее поздней стадией. Поскольку у менее больных пациентов меньше возможностей для улучшения, величина эффекта тимолола уменьшилась.

Регрессия к среднему значению

Одним из объяснений эффекта является регрессия к среднему значению , также известная как «раздутое снижение». Это статистическое явление, происходящее, когда переменная является экстремальной в первых экспериментах, а в последующих экспериментах имеет тенденцию регрессировать к среднему значению, хотя это не объясняет, почему последовательные результаты снижаются линейно, а не колеблются относительно истинного среднего значения, как можно было бы ожидать. .

Это особенно вероятно, когда первоначальное исследование было прекращено досрочно, когда «размер эффекта явно достаточно велик». Если остановить сбор данных, как только размер эффекта превысит порог, превышающий истинный размер эффекта, то последующие репликации обязательно будут регрессировать к среднему значению.

Недостаточные исследования

Взаимодействие между размером выборки, размером эффекта и статистической мощностью. Показаны распределения выборочных средних при нулевой (θ=0) и альтернативной гипотезах. Заштрихованная красная область представляет значимость (α), постоянную на уровне 0,05, а заштрихованная зеленая область представляет статистическую мощность (1-β). По мере увеличения размера выборки распределения сужаются, что приводит к более четкому разделению между гипотезами и более высокой степенью мощности. Аналогичным образом, больший размер эффекта увеличивает расстояние между распределениями, что приводит к большей мощности.

Если истинный размер эффекта невелик, но первоначальное исследование имеет низкую мощность (т. е. небольшой размер выборки), то нулевая гипотеза будет отклонена только в том случае, если оценка эффекта далека от нуля, как показано на рисунке. Это означает, что последующие повторы с большими размерами выборки обнаружат оценки эффекта, которые ближе к истинному эффекту, который ближе к нулю, чем первоначальная оценка.

Предвзятость публикации

Другой причиной может быть предвзятость публикаций : ученые и научные журналы предпочитают публиковать положительные результаты экспериментов и испытаний, а не нулевые результаты, особенно с новыми идеями. В результате журналы могут отказаться публиковать статьи, не доказывающие, что идея работает. Позже, когда идея будет принята, журналы могут отказаться публиковать статьи, поддерживающие ее.

Эффект экспериментатора

Основные статьи: Эффект ожидания наблюдателя и предвзятость наблюдателя

В ходе дебатов, последовавших за оригинальной статьей, Лерер ответил на некоторые вопросы, заявив, что научные наблюдения могут формироваться ожиданиями и желаниями человека, иногда даже неосознанно, создавая тем самым предвзятость в сторону желаемого результата. Это известно как эффект экспериментатора. Например, в парапсихологии «эффект экспериментатора» используется для объяснения того, как экспериментатор, который не верит в пси , не обнаружит никаких доказательств существования пси, в то время как тот же эксперимент будет проведен экспериментом, который действительно верит в пси.

Существенным фактором, способствующим эффекту снижения, также может быть размер выборки научных исследований, поскольку меньший размер выборки, скорее всего, даст более экстремальные результаты, предполагающие значительный прорыв, но также и более высокую вероятность ошибки. Типичными примерами этого эффекта являются опросы общественного мнения, где опросы, включающие большее количество людей, ближе к реальности, чем опросы с небольшим числом респондентов. Это предположение, по-видимому, не объясняет наблюдаемое снижение с течением времени независимо от размера выборки. Исследователь Джон Иоаннидис предлагает некоторое объяснение. Он утверждает, что ранние исследования обычно небольшие и более склонны к весьма положительным результатам, подтверждающим первоначальную идею, включая ранние подтверждающие исследования. Позже, когда проводятся более масштабные исследования, они часто демонстрируют регресс к среднему значению и неспособность повторить ранние преувеличенные результаты.

Подлинный упадок

Репортаж передачи Национального общественного радио "On The Media" за 2012 год. охваченные ученые, которые изучают другой вариант: что сам акт наблюдения за Вселенной меняет Вселенную, и что повторные измерения могут фактически сделать предыдущие результаты недействительными. Другими словами, антипсихотические препараты изначально работали , но чем больше мы измеряли их эффективность, тем больше менялись законы, регулирующие эти препараты, и они переставали быть эффективными. Автор научной фантастики Джефф Райман исследует эту идею и ее возможные последствия в своем рассказе 2012 года « Что мы нашли »: который получил премию Nebula за лучшую новеллету в 2012 году.

Другая причина некоторых эффектов снижения может заключаться в том, что некоторые исследователи склонны публиковать данные о более крупных размерах эффекта, чем другие. Например, наряду с предвзятостью публикаций и эффектом размера выборки, эффект снижения закисления океана влияет на поведение рыб. во многом было обусловлено выдающимися величинами эффекта, о которых сообщили два конкретных исследователя из одной и той же лаборатории, которые в настоящее время находятся под следствием по поводу потенциальных научных нарушений и фабрикации данных .

Противоречивые мнения

Некоторые комментаторы оспорили точку зрения Ионы Лерера о том, что эффект упадка является проблемной стороной явления, изложенную в его статье в журнале New Yorker . «Эффект снижения вызывает беспокойство, потому что он напоминает нам, как трудно что-либо доказать. Нам нравится притворяться, что наши эксперименты определяют для нас истину. Но часто это не так. Тот факт, что идея верна, не означает, что она может быть верной. быть доказанной. И то, что идея может быть доказана, не означает, что она верна. Когда эксперименты завершены, нам все равно придется выбирать, во что верить».

Стивен Новелла также оспаривает точку зрения Лерера на эффект упадка, утверждая, что Лерер концентрируется на новых открытиях на переднем крае научных исследований и применяет выводы ко всем областям науки. Новелла отмечает, что большинство примеров, использованных Лерером, взяты из медицины, психологии и экологии, научных областей, наиболее подверженных влиянию сложного человеческого аспекта, и что в других областях науки, таких как физика, не так уж много свидетельств эффекта упадка.

Другой ученый, Пол Закари Майерс , также оспаривает точку зрения Лерера о том, что эффект спада является удивительным явлением в науке, утверждая, что: «Это совсем не удивительно. Это то, чего мы ожидаем, и есть много очень веских причин для такого изменения». ."

Заявления Лерера о сложности чего-либо доказать и предвзятости публикации находят поддержку у Джерри А. Койна . Койн считает, что в области генетики и эволюционной биологии почти не повторяются исследования, и существует премиальная мотивация для публикации положительных результатов научных исследований. Однако он также оспаривает подход Лерера к применению выводов во всех областях науки, заявляя, что в физике, химии или молекулярной биологии предыдущие результаты постоянно повторяются другими для продвижения в своих собственных исследованиях.

Критика

Одна из проблем заключается в том, что некоторые Высказывалось мнение, что статья Лерера может еще больше подогреть скептицизм людей в отношении академической науки. Долгое время считалось, что статья Лерера первоначально намекала на то, что академическая наука не так строга, как людям хотелось бы верить. Особенно окончание статьи расстроило многих ученых и вызвало широкую критику статьи. Лерер заканчивает статью словами: «То, что идея верна, не означает, что ее можно доказать. И то, что идея может быть доказана, не означает, что она верна. верить». Это расстроило ученых научного сообщества. Многие ответили Лереру и поставили под сомнение его планы. Некоторые охарактеризовали утверждение Лерера как «абсурдное», в то время как другие утверждают, что Лерер пытается использовать предвзятость публикации как оправдание своего неверия ни во что.

В ответ на многочисленные комментарии, полученные Лерером после публикации статьи, Лерер опубликовал комментарий в своем блоге The Frontal Cortex: где он отрицал, что каким-либо образом неявно подвергал сомнению науку и научные методы. В том же комментарии в блоге Лерер заявил, что он не ставит под сомнение фундаментальные научные теории, такие как теория эволюции путем естественного отбора и глобального потепления, назвав их «двумя наиболее надежными и широко проверенными теориями современной науки».

Дальнейшее разъяснение было опубликовано в качестве последующей заметки в The New Yorker . В этой заметке, озаглавленной «Еще мысли об эффекте упадка», Лерер пытается главным образом ответить критикам, приводя примеры, когда научные исследования как терпели неудачу, так и добивались успеха. В качестве примера Лерер использует Ричарда Фейнмана в вступительную речь в качестве отправной точки Калифорнийском технологическом институте в 1974 году. В своей вступительной речи Фейнман использовал Роберта Милликена и Харви Флетчера с эксперимент каплей масла , чтобы измерить заряд электрона, чтобы проиллюстрировать, как избирательное освещение может исказить научные результаты. С другой стороны, Фейнман находит утешение в том, что другие ученые будут повторять эксперименты других ученых и, следовательно, в конечном итоге истина победит.

Лерер еще раз использует последующую заметку, чтобы отрицать, что его первоначальным намерением была поддержка людей, отрицающих хорошо проверенные научные теории, такие как естественный отбор и изменение климата. Вместо этого он желает, чтобы «мы потратили больше времени на размышления о ценности антипсихотиков второго поколения или достоверности последних исследований генных ассоциаций». В других частях последующей заметки Лерер кратко обсуждает некоторые творческие отзывы, которые он получил, чтобы уменьшить предвзятость публикации. Он не дает явной поддержки какой-либо конкретной идее. Последующая статья заканчивается тем, что Лерер еще раз заявляет, что эффект снижения является проблемой современной науки, но наука в конечном итоге найдет инструмент для решения этой проблемы.

См. также

• Наука о культе груза
• Эффект сотой обезьяны
• Кризис репликации