Кризис репликации

Иоаннидис (2005): « Почему большинство опубликованных результатов исследований ложны ».

Кризис репликации Продолжается методологический кризис, при котором результаты многих научных исследований трудно или невозможно воспроизвести . Поскольку воспроизводимость эмпирических результатов является неотъемлемой частью научного метода , такие неудачи подрывают доверие к теориям, основанным на них, и потенциально ставят под сомнение существенные части научных знаний.

Кризис репликации часто обсуждается в контексте психологии и медицины , где были предприняты значительные усилия для повторного исследования классических результатов, чтобы определить, надежны ли они, и, если они окажутся неправильными, причины неудачи. Данные убедительно свидетельствуют о том, что другие естественные и социальные науки . это затронуло и

Термин «кризис репликации» был придуман в начале 2010-х годов. как часть растущего осознания проблемы. Рассмотрение причин и средств лечения привело к возникновению новой научной дисциплины — метанауки . который использует методы эмпирического исследования для изучения практики эмпирических исследований.

Соображения относительно воспроизводимости можно разделить на две категории. Воспроизводимость в узком смысле означает повторное изучение и проверку анализа данного набора данных. Репликация означает повторение эксперимента или исследования для получения новых независимых данных с целью достижения тех же или аналогичных выводов.

Фон

Репликация

Репликацию называют «краеугольным камнем науки». Ученый по вопросам гигиены окружающей среды Стефан Шмидт начал обзор 2009 года с такого описания репликации:

Репликация — одна из центральных проблем любой эмпирической науки. Подтверждение результатов или гипотез методом повторения лежит в основе любой научной концепции. Повторный эксперимент, призванный продемонстрировать, что те же результаты могут быть получены в любом другом месте любым другим исследователем, задуман как операционализация объективности. Это доказательство того, что эксперимент отражает знание, которое можно отделить от конкретных обстоятельств (таких как время, место или люди), при которых оно было получено.

Но существует ограниченный консенсус относительно того, как определять репликацию и потенциально связанные с ней концепции. Выделено несколько типов репликации:

1. Прямая или точная репликация , при которой экспериментальная процедура повторяется как можно точнее.
2. Систематическое повторение , при котором экспериментальная процедура в значительной степени повторяется с некоторыми преднамеренными изменениями.
3. Концептуальная репликация , при которой открытие или гипотеза проверяются с использованием другой процедуры. Концептуальная репликация позволяет проверить обобщаемость и достоверность результата или гипотезы.

Воспроизводимость также можно отличить от репликации , поскольку она относится к воспроизведению одних и тех же результатов с использованием одного и того же набора данных. Воспроизводимость такого типа является причиной того, что многие исследователи предоставляют свои данные другим для тестирования.

Кризис репликации не обязательно означает, что эти области ненаучны. Скорее, этот процесс является частью научного процесса, в котором отсекаются старые идеи или те идеи, которые не выдерживают тщательного изучения. хотя этот процесс обрезки не всегда эффективен.

Гипотеза обычно считается подтвержденной, если результаты соответствуют предсказанному образцу и этот образец результатов оказывается статистически значимым . Результаты считаются значимыми, если относительная частота наблюдаемой закономерности падает ниже произвольно выбранного значения (т.е. уровня значимости ) при предположении, что нулевая гипотеза верна. В целом это отвечает на вопрос о том, насколько маловероятными были бы результаты, если бы на уровне статистической совокупности не существовало различий . Если вероятность, связанная со статистикой теста, превышает выбранное критическое значение , результаты считаются статистически значимыми. Соответствующая вероятность превышения критического значения обозначается как p <0,05, где p (обычно называемое « p -значением ») — уровень вероятности. Это должно привести к тому, что 5% подтвержденных гипотез окажутся ложноположительными (неправильная гипотеза будет ошибочно признана правильной), при условии, что исследования соответствуют всем статистическим предположениям. В некоторых полях используются меньшие значения p, например p < 0,01 (вероятность ложноположительного результата 1%) или p < 0,001 (вероятность ложноположительного результата 0,1%). Но меньшая вероятность ложноположительного результата часто требует большего размера выборки или большей вероятности ложноотрицательного результата (правильная гипотеза ошибочно оказывается неверной) . Хотя тестирование p -значения является наиболее часто используемым методом, это не единственный метод.

Статистика

Некоторые термины, обычно используемые при обсуждении кризиса репликации, имеют технически точные значения, которые представлены здесь.

В наиболее распространенном случае проверки нулевой гипотезы есть две гипотезы: нулевая гипотеза. $H_{0}$ и альтернативная гипотеза $H_{1}$. Нулевая гипотеза обычно имеет форму «X и Y статистически независимы ». Например, нулевая гипотеза может заключаться в том, что «прием препарата X не меняет показатель выздоровления от болезни Y в течение 1 года», а альтернативная гипотеза состоит в том, что он действительно меняется.

Поскольку проверка полной статистической независимости затруднена, полную нулевую гипотезу часто упрощают до упрощенной нулевой гипотезы «размер эффекта равен 0», где « размер эффекта » — это действительное число, равное 0, если полная нулевая гипотеза верна, и чем больше размер эффекта, тем в большей степени ложна нулевая гипотеза. Например, если X является двоичным, то размер эффекта можно определить как изменение ожидания Y при изменении X: $$({\text{effect size}})=\mathbb {E} [Y|X=1]-\mathbb {E} [Y|X=0]$$Обратите внимание, что размер эффекта, определенный выше, может быть равен нулю, даже если X и Y не являются независимыми, например, когда $Y\sim {\mathcal {N}}(0,1+X)$. Поскольку разные определения «размера эффекта» отражают разные способы зависимости X и Y, существует много разных определений размера эффекта.

На практике размеры эффекта невозможно наблюдать напрямую, их необходимо измерять с помощью статистических оценок . Например, приведенное выше определение размера эффекта часто измеряется с помощью оценщика Коэна . Один и тот же размер эффекта может иметь несколько оценок, поскольку они имеют компромисс между эффективностью , смещением , дисперсией и т. д. Это еще больше увеличивает количество возможных статистических величин, которые можно вычислить на одном наборе данных. Когда для статистического тестирования используется оценщик размера эффекта, он называется тестовой статистикой .

Иллюстрация 4 возможных результатов проверки нулевой гипотезы: ложноотрицательный, истинно отрицательный, ложноположительный, истинно положительный. На этой иллюстрации проверка гипотезы представляет собой односторонний пороговый тест.

нулевой гипотезы Проверка — это процедура принятия решения, которая принимает некоторые данные и выводит либо $H_{0}$ или $H_{1}$. Если он выводит $H_{1}$Обычно это формулируется как «имеется статистически значимый эффект» или «нулевая гипотеза отвергается».

Часто статистический тест представляет собой (односторонний) пороговый тест , который структурирован следующим образом:

1. Сбор данных $D$.
2. Вычислить тестовую статистику $t[D]$ для данных.
3. Сравните статистику теста с критическим значением / порогом $t_{\text{threshold}}$. Если $t[D]>t_{\text{threshold}}$, затем выведите $H_{1}$, иначе, вывод $H_{0}$.

Двусторонний пороговый тест аналогичен, но с двумя порогами, так что на выходе $H_{1}$ если либо $t[D]<t_{\text{threshold}}^{-}$ или $t[D]>t_{\text{threshold}}^{+}$

Существует 4 возможных результата проверки нулевой гипотезы: ложноотрицательный, истинно отрицательный, ложноположительный, истинно положительный. Ложноотрицательный результат означает, что $H_{0}$ верно, но результат теста $H_{1}$; истинно отрицательный означает, что $H_{0}$ верно, и результат теста $H_{0}$, и т. д.

	Вероятность отклонения $H_{0}$	Вероятность не отклонить $H_{0}$
Если $H_{0}$ это правда	а	1-а
Если $H_{1}$ это правда	1-б (силовой)	б

Взаимодействие между размером выборки, размером эффекта и статистической мощностью. Показаны распределения выборочных средних при нулевой (θ=0) и альтернативной гипотезах. Заштрихованная красная область представляет значимость (α), постоянную на уровне 0,05, а заштрихованная зеленая область представляет статистическую мощность (1-β). По мере увеличения размера выборки распределения сужаются, что приводит к более четкому разделению между гипотезами и более высокой степенью мощности. Аналогичным образом, больший размер эффекта увеличивает расстояние между распределениями, что приводит к большей мощности.

Уровень значимости , уровень ложных срабатываний или альфа-уровень — это вероятность того, что альтернатива окажется верной, когда нулевая гипотеза верна: $$({\text{significance}}):=\alpha :=Pr({\text{find }}H_{1}|H_{0})$$Например, если тест является односторонним пороговым тестом, то $\alpha =Pr_{D\sim H_{0}}(t[D]>t_{\text{threshold}})$ где $D\sim H_{0}$ означает «данные взяты из $H_{0}$".

Статистическая мощность , истинно положительный показатель, — это вероятность того, что альтернатива окажется верной, когда альтернативная гипотеза верна: $$({\text{power}}):=1-\beta :=Pr({\text{find }}H_{1}|H_{1})$$где $\beta$ также называется ложноотрицательным показателем. Например, если тест является односторонним пороговым тестом, то $1-\beta =Pr_{D\sim H_{1}}(t[D]>t_{\text{threshold}})$.

Учитывая статистический тест и набор данных $D$, соответствующее значение p представляет собой вероятность того, что тестовая статистика будет, по крайней мере, столь же экстремальной, при условии, что $H_{0}$. Например, для одностороннего порогового теста: $$p[D]=Pr_{D'\sim H_{0}}(t[D']>t[D])$$Если нулевая гипотеза верна, то значение p распределяется равномерно по $[0,1]$. В противном случае он обычно достигает максимума $p=0.0$ и примерно экспоненциально, хотя точная форма распределения значений p зависит от альтернативной гипотезы.

Поскольку значение p распределено равномерно на $[0,1]$ при условии нулевой гипотезы можно построить статистический тест с любым уровнем значимости $\alpha$ просто вычислив значение p, а затем выведя $H_{1}$ если $p[D]<\alpha$. Обычно это формулируется так: «нулевая гипотеза отвергается на уровне значимости». $\alpha$", или " $H_{1}\;(p<\alpha )$«, например, «курение коррелирует с раком (p <0,001)».

История

Начало репликационного кризиса можно отнести к ряду событий начала 2010-х годов. Философ науки и социальный эпистемолог Фелипе Ромеро выделил четыре события, которые можно считать предвестниками продолжающегося кризиса:

• Споры вокруг исследований социального прайминга: в начале 2010-х годов было проведено известное исследование «пожилые люди ходят» социальный психолог Джон Барг и его коллеги не смогли воспроизвести результат в двух прямых повторах. Этот эксперимент был частью серии из трех исследований, которые на протяжении многих лет широко цитировались, регулярно преподавались на университетских курсах и послужили вдохновением для большого количества концептуальных повторений. Неспособность повторить исследование привела к многочисленным спорам и жарким дебатам с участием первоначальных авторов. Примечательно, что многие из концептуальных копий первоначальных исследований также не удалось воспроизвести в последующих прямых репликациях.
• Споры вокруг экспериментов по экстрасенсорному восприятию: Социальный психолог Дэрил Бем провел серию экспериментов, предположительно доказывающих противоречивый феномен экстрасенсорного восприятия . Бема подвергли резкой критике за методологию своего исследования, и при повторном анализе данных не было обнаружено никаких доказательств существования экстрасенсорного восприятия. Эксперимент также не удалось повторить в последующих прямых репликациях. По словам Ромеро, сообщество особенно расстроило то, что многие ошибочные процедуры и статистические инструменты, использованные в исследованиях Бема, были частью обычной исследовательской практики в психологии.
• Amgen и Bayer сообщают об отсутствии воспроизводимости биомедицинских исследований: ученые из биотехнологических компаний Amgen и Bayer Healthcare сообщили о тревожно низких показателях репликации (11–20%) важных результатов доклинических онкологических исследований.
• Публикация исследований по хакингу и сомнительным исследовательским практикам : с конца 2000-х годов ряд исследований в области метанауки показал, как широко распространенные практики во многих научных областях, такие как использование гибкости процесса сбора данных и отчетности, могут значительно повысить вероятность ложноположительных результатов. Эти исследования показали, что значительная часть опубликованной литературы в нескольких научных областях может представлять собой невоспроизводимые исследования.

Эта серия событий породила большой скептицизм по поводу достоверности существующих исследований в свете широко распространенных методологических ошибок и неспособности воспроизвести результаты. Это побудило видных учёных объявить о «кризисе доверия» в психологии и других областях. и последовавшая за этим ситуация стала известна как «кризис репликации».

Хотя начало кризиса репликации можно отнести к началу 2010-х годов, некоторые авторы отмечают, что опасения по поводу воспроизводимости и исследовательской практики в социальных науках были выражены гораздо раньше. Ромеро отмечает, что авторы выражали обеспокоенность по поводу отсутствия прямых повторов в психологических исследованиях конца 1960-х — начала 1970-х годов. Он также пишет, что в некоторых исследованиях 1990-х годов уже сообщалось, что редакторы и рецензенты журналов, как правило, предвзято относятся к публикации повторных исследований.

В социальных науках блог Data Colada (трое авторов которого в 2014 году ввели термин « p-хакинг ») считается вкладом в начало кризиса репликации.

Профессор Университета Вирджинии и когнитивный психолог Барбара А. Спеллман написала, что многие критические замечания в отношении исследовательской практики и опасения по поводу воспроизводимости исследований не новы. Она сообщает, что между концом 1950-х и 1990-ми годами ученые уже выражали обеспокоенность по поводу возможного кризиса репликации. подозрительно высокий процент положительных результатов, сомнительные исследовательские практики (QRP), последствия предвзятости публикаций, проблемы со статистической мощностью, и плохие стандарты отчетности.

Спеллман также называет причины, по которым повторение этой критики и опасений в последние годы привело к полномасштабному кризису и угрозе статус-кво. Во-первых, технологические усовершенствования облегчили проведение и распространение повторных исследований, а также анализ большого количества литературы по системным проблемам. Во-вторых, растущий размер и разнообразие исследовательского сообщества облегчили работу его авторитетных членов для более тщательного изучения другими членами сообщества, с ними незнакомыми. По мнению Спеллмана, эти факторы в сочетании со все более ограниченными ресурсами и несогласованными стимулами для занятий научной работой привели к кризису в психологии и других областях.

По словам Эндрю Гельмана , работы Пола Миля, Джейкоба Коэна, Тверски и Канемана в 1960-70-х годах были ранними предупреждениями о кризисе репликации. Обсуждая истоки проблемы, Канеман сам отмечал исторические прецеденты неудач в репликации подсознательного восприятия и уменьшения диссонанса .

На это неоднократно указывалось, начиная с 1962 г. что большинство психологических исследований имеют низкую мощность (истинно положительный показатель), но низкая мощность сохранялась в течение 50 лет, что указывает на структурную и постоянную проблему в психологических исследованиях.

Распространенность

В психологии

Сочетание нескольких факторов поставило психологию в центр разговора. Некоторые области психологии, когда-то считавшиеся солидными, такие как социальная подготовка и истощение эго , попали под пристальное внимание из-за неудачных попыток репликации. Большое внимание уделялось социальной психологии . хотя другие области психологии, такие как клиническая психология , психология развития , и образовательные исследования также были замешаны.

В августе 2015 года было опубликовано первое открытое эмпирическое исследование воспроизводимости в психологии под названием « Проект воспроизводимости: психология» . Под руководством психолога Брайана Носека исследователи переделали 100 исследований по психологической науке из трёх высокорейтинговых журналов по психологии ( «Журнал личности и социальной психологии» , «Журнал экспериментальной психологии: обучение, память и познание» и «Психологическая наука» ). 97 первоначальных исследований имели значительные эффекты, но из этих 97 только 36% повторов дали значимые результаты ( значение p ниже 0,05). Средний размер эффекта в повторениях был примерно вдвое меньше эффектов, о которых сообщалось в первоначальных исследованиях. В той же статье были рассмотрены показатели воспроизводимости и величины эффекта по журналам и дисциплинам. Коэффициент повторения исследования составил 23% для « Журнала личности и социальной психологии» , 48% для «Журнала экспериментальной психологии: обучение, память и познание » и 38% для «Психологической науки» . Исследования в области когнитивной психологии имели более высокий уровень репликации (50%), чем исследования в области социальной психологии (25%).

Из 64% нерепликаций только 25% опровергли первоначальный результат (при статистической значимости). Остальные 49% не дали окончательных результатов, не подтверждая и не опровергая первоначальный результат. Это связано с тем, что многие репликации были недостаточно мощными: выборка была в 2,5 раза меньше исходной.

Исследование, опубликованное в 2018 году в журнале Nature Human Behavior, воспроизвело 21 социальную и поведенческую научную статью из журнала Nature and Science , обнаружив, что только около 62% из них смогли успешно воспроизвести оригинальные результаты.

Аналогичным образом, в исследовании, проведенном под эгидой Центра открытой науки , группа из 186 исследователей из 60 различных лабораторий (представляющих 36 разных национальностей с шести разных континентов) повторила 28 классических и современных открытий в области психологии. В центре внимания исследования было не только то, повторяются ли выводы оригинальных статей, но и степень, в которой результаты различаются в зависимости от вариаций в выборках и контекстах. В целом, 50% из 28 результатов не удалось повторить, несмотря на огромные размеры выборки. Но если результат повторялся, то он воспроизводился в большинстве образцов. Если результат не был воспроизведен, значит, он не смог воспроизвестися с небольшими вариациями в разных образцах и контекстах. Эти данные не согласуются с предлагаемым объяснением того, что неудачи в воспроизведении в психологии, вероятно, связаны с изменениями в выборке между исходным и повторным исследованием.

Результаты исследования 2022 года показывают, что многие более ранние ( мозга исследования фенотипа «исследования ассоциаций всего мозга» (BWAS)) привели к неверным выводам, поскольку для повторения таких исследований требуются образцы от тысяч людей из-за небольшой величины эффекта .

В медицине

Результаты проекта «Воспроизводимость: биология рака» предполагают, что большинство исследований в области исследования рака не могут быть воспроизведены.

Из 49 медицинских исследований с 1990 по 2003 год, получивших более 1000 цитирований, 92% обнаружили, что изучаемые методы лечения эффективны. Из этих исследований 16% противоречили последующим исследованиям, 16% обнаружили более сильные эффекты, чем последующие исследования, 44% были повторены, а 24% остались практически неоспоримыми. Анализ, проведенный в 2011 году исследователями фармацевтической компании Bayer, показал, что не более четверти собственных результатов Bayer повторяют первоначальные результаты. Но анализ результатов Байера показал, что повторяющиеся результаты часто могут быть успешно использованы в клинических целях.

В статье 2012 года К. Гленн Бегли , консультант по биотехнологиям, работающий в Amgen , и Ли Эллис, медицинский исследователь из Техасского университета, обнаружили, что только 11% из 53 доклинических исследований рака имели повторы, которые могли подтвердить выводы оригинальные исследования. В конце 2021 года проект «Проект воспроизводимости: биология рака» изучил 53 ведущие статьи о раке, опубликованные в период с 2010 по 2012 год, и показал, что среди исследований, которые предоставили достаточно информации для переделки, размеры эффекта были в среднем на 85% меньше, чем первоначальные результаты. Опрос исследователей рака показал, что половина из них не смогла воспроизвести опубликованный результат. По оценкам другого отчета, почти половина рандомизированных контролируемых исследований содержала ошибочные данные (на основе анализа анонимных данных отдельных участников (IPD) из более чем 150 исследований).

По другим дисциплинам

В экономике

Экономика отстала от других социальных наук и психологии в своих попытках оценить скорость повторения и увеличить количество исследований, пытающихся повторить. Исследование 2016 года, опубликованное в журнале Science, воспроизвело 18 экспериментальных исследований, опубликованных в двух ведущих экономических журналах, The American Economic Review и Quarterly Journal of Economics , в период с 2011 по 2014 год. Было обнаружено, что около 39% из них не смогли воспроизвести исходные результаты. Около 20% исследований, опубликованных в The American Economic Review, противоречат другим исследованиям, несмотря на то, что они основаны на тех же или похожих наборах данных. Исследование эмпирических данных, опубликованное в журнале Strategic Management Journal, показало, что около 30% из 27 повторно протестированных статей показали статистически незначимые результаты для ранее значимых результатов, тогда как около 4% показали статистически значимые результаты для ранее незначимых результатов.

В управлении водными ресурсами

Исследование, проведенное в журнале Scientific Data в 2019 году , с уверенностью 95% подсчитало, что из 1989 статей по водным ресурсам и управлению, опубликованных в 2017 году, результаты исследования могут быть воспроизведены только в 0,6–6,8%, даже если каждая из этих статей предоставит достаточную информацию, которая позволит для репликации.

По полям

Опрос, проведенный в 2016 году журналом Nature среди 1576 исследователей, которые заполнили краткую онлайн-анкету о воспроизводимости, показал, что более 70% исследователей пытались, но не смогли воспроизвести результаты экспериментов другого ученого (в том числе 87% химиков , 77% биологов , 69% физиков) . инженеров исследователей - , 67% медиков , 64% учёных, занимающихся землей и окружающей средой , и 62% всех остальных), и более половины не смогли воспроизвести свои собственные эксперименты. Но менее чем с 20% связались с другими исследователями, которые не смогли воспроизвести их работу. Опрос показал, что менее 31% исследователей считают, что неспособность воспроизвести результаты означает, что первоначальный результат, вероятно, неверен, хотя 52% согласны с тем, что существует серьезный кризис репликации. Большинство исследователей заявили, что по-прежнему доверяют опубликованной литературе. В 2010 году Фанелли (2010) обнаружили, что 91,5% психиатрических/психологических исследований подтвердили эффекты, которые они искали, и пришли к выводу, что вероятность этого события (положительный результат) была примерно в пять раз выше, чем в таких областях, как астрономия или геонауки . Фанелли утверждал, что это происходит потому, что исследователи «мягких» наук меньше ограничивают свои сознательные и бессознательные предубеждения.

Ранний анализ экспертной оценки без учета результатов , на которую меньше влияет предвзятость публикаций, показал, что 61% слепых исследований в биомедицине и психологии привели к нулевым результатам , в отличие от примерно 5–20% в более ранних исследованиях. .

В 2021 году исследование, проведенное Калифорнийским университетом в Сан-Диего, показало, что статьи, которые невозможно воспроизвести, цитируются в 153 раза чаще. Среди статей, опубликованных в журнале Nature Science , нереплицируемые статьи цитировались в 300 раз чаще, чем тиражируемые. Нереплицируемые публикации часто цитируются чаще даже после публикации повторного исследования.

Причины

Существует множество предполагаемых причин кризиса репликации.

Исторические и социологические причины

Кризис репликации может быть вызван «генерацией новых данных и научных публикаций с беспрецедентной скоростью», что приводит к «отчаянию опубликовать или погибнуть» и неспособности придерживаться хорошей научной практики.

Предсказания о надвигающемся кризисе механизма контроля качества науки можно проследить уже несколько десятилетий. Дерек де Солла Прайс , считающийся отцом наукометрики , количественного исследования науки, предсказал в 1963 году, что наука может достичь «старости» в результате своего собственного экспоненциального роста. Некоторая современная литература, кажется, подтверждает это пророчество о «переполнении», сокрушаясь об упадке как внимания, так и качества.

Историк Филип Мировски утверждает, что снижение качества науки может быть связано с ее коммерциализацией, особенно вызванное решением крупных корпораций, ориентированным на получение прибыли, передать свои исследования на аутсорсинг университетам и контрактным исследовательским организациям .

Теория социальных систем , изложенная в работах немецкого социолога Никласа Лумана , позволяет поставить аналогичный диагноз. Эта теория утверждает, что каждая система, такая как экономика, наука, религия и средства массовой информации, общается, используя свой собственный код: истинный и ложный для науки, прибыли и убытки для экономики, новости и неновости для средств массовой информации и так далее. науки По мнению некоторых социологов, медиатизация , коммодификация, и политизация, в результате структурной связи между системами привели к путанице исходных системных кодов.

Проблемы с системой публикаций в науке

Предвзятость публикации

Основной причиной низкой воспроизводимости является систематическая ошибка публикации, возникающая из-за того, что статистически незначимые результаты и, казалось бы, неоригинальные повторы публикуются редко. Лишь очень небольшая часть академических журналов по психологии и нейробиологии открыто приветствовала представление повторных исследований с указанием их целей и масштабов или инструкций для авторов. Это не поощряет отчетность или даже попытки провести повторные исследования. Среди 1576 исследователей, опрошенных Nature в 2016 году, лишь меньшинство когда-либо пытались опубликовать повторные исследования, а несколько респондентов, опубликовавших неудачные повторения, отметили, что редакторы и рецензенты требовали, чтобы они преуменьшали сравнение с оригинальными исследованиями. Анализ 4270 эмпирических исследований в 18 деловых журналах с 1970 по 1991 год показал, что менее 10% статей по бухгалтерскому учету, экономике и финансам и 5% статей по менеджменту и маркетингу представляют собой исследования, повторяющиеся. Предвзятость публикации усиливается давлением со стороны автора и собственной предвзятостью подтверждения . и представляет собой неотъемлемую опасность в этой области, требующую определенной степени скептицизма со стороны читателей.

Предвзятость публикации приводит к тому, что психолог Роберт Розенталь называет « эффектом ящика с папками ». Эффект ящика с файлами — это идея о том, что вследствие предвзятости публикации значительное количество отрицательных результатов не публикуются. По словам философа науки Фелипе Ромеро, это имеет тенденцию создавать «вводящую в заблуждение литературу и предвзятые метааналитические исследования». и если принять во внимание предвзятость публикаций наряду с тем фактом, что большинство проверенных гипотез могут быть ложными априори , вполне вероятно, что значительная часть результатов исследований может быть ложноположительными, как показал метаученый Джон Иоаннидис. В свою очередь, высокая доля ложноположительных результатов в опубликованной литературе может объяснить, почему многие результаты невоспроизводимы.

Еще одна предвзятость публикаций заключается в том, что исследования, которые не отвергают нулевую гипотезу, изучаются асимметрично. Например, они, скорее всего, будут отклонены как трудные для интерпретации или содержащие ошибку второго рода. Исследования, которые отвергают нулевую гипотезу, вряд ли будут отклонены по этим причинам.

В популярных средствах массовой информации существует еще один элемент предвзятости публикаций: желание сделать исследования доступными для общественности привело к чрезмерному упрощению и преувеличению результатов, создавая нереалистичные ожидания и усиливая влияние неповторения результатов. Напротив, о нулевых результатах и ​​неудачах при воспроизведении, как правило, не сообщается. Это объяснение может быть применимо и к власти . кризису репликации

Математические ошибки

Даже влиятельные журналы имеют значительную долю математических ошибок при использовании статистики. Например, 11% статистических результатов, опубликованных в журналах Nature и BMJ в 2001 году, являются «неконгруэнтными», что означает, что заявленное значение p математически отличается от того, каким оно должно быть, если бы оно было правильно рассчитано на основе сообщенной статистики испытаний. Эти ошибки, вероятно, были вызваны ошибками набора, округления и транскрипции.

Среди 157 нейробиологических статей, опубликованных в пяти ведущих журналах и пытающихся показать, что два экспериментальных эффекта различны, 78 вместо этого ошибочно проверяли, является ли один эффект значимым, а другой нет, а 79 правильно проверяли, существенно ли их различие отличается от 0.

Культура «Публикуй или погибни»

Дополнительная информация: Опубликуй или погибни.

Последствия для воспроизводимости предвзятости публикаций усугубляются академической культурой «опубликуй или погибни». Как объяснил метаученый Даниэле Фанелли, культура «публикуй или погибни» — это социологический аспект академических кругов, в соответствии с которым ученые работают в среде с очень высоким давлением, требующим публикации их работ в признанных журналах. Это является следствием гиперконкуренции в академической рабочей среде и того, что библиометрические параметры (например, количество публикаций) все чаще используются для оценки научной карьеры. По словам Фанелли, это подталкивает ученых к использованию ряда стратегий, направленных на то, чтобы сделать результаты «доступными для публикации». В контексте предвзятости публикаций это может означать принятие поведения, направленного на получение положительных или статистически значимых результатов, часто в ущерб их достоверности (см. QRP, раздел 4.3).

По мнению основателя Центра открытой науки Брайана Носека и его коллег, культура «публикуй или погибни» создала ситуацию, в которой цели и ценности отдельных ученых (например, возможность публикации) не совпадают с общими целями науки (например, поиск научной истины). ). Это наносит ущерб достоверности опубликованных результатов.

Философ Брайан Д. Эрп и психолог Джим Эверетт утверждают, что, хотя копирование отвечает интересам ученых и исследователей как группы, особенности академической психологической культуры препятствуют воспроизведению отдельными исследователями. Они утверждают, что выполнение репликаций может занять много времени и отнять ресурсы у проектов, которые отражают оригинальное мышление исследователя. Их сложнее публиковать, главным образом потому, что они неоригинальны, и даже когда их можно будет опубликовать, они вряд ли будут рассматриваться как важный вклад в эту область. Реплики «приносят меньше признания и вознаграждений, в том числе грантов, своим авторам».

В своей книге 1971 года «Научное знание и его социальные проблемы » философ и историк науки Джером Р. Равец предсказал, что наука — в ее развитии от «маленькой» науки, состоящей из изолированных сообществ исследователей, к «большой» науке или «технонауке» — столкнется с серьезными проблемами во внутренней системе контроля качества. Он признал, что структура стимулов для современных ученых может стать дисфункциональной, создавая извращенные стимулы для публикации любых результатов, какими бы сомнительными они ни были. По мнению Равеца, качество науки поддерживается только тогда, когда существует сообщество ученых, связанных набором общих норм и стандартов, которые хотят и могут привлекать друг друга к ответственности.

Стандарты отчетности

Определенная издательская практика также затрудняет воспроизведение и отслеживание серьезности кризиса воспроизводимости, поскольку статьи часто содержат недостаточно описаний, чтобы другие ученые могли воспроизвести исследование. Проект воспроизводимости: биология рака показал, что из 193 экспериментов из 53 ведущих статей о раке, опубликованных в период с 2010 по 2012 год, только у 50 экспериментов из 23 статей есть авторы, которые предоставили исследователям достаточно информации, чтобы переделать исследования, иногда с изменениями. Ни в одной из 193 рассмотренных статей не были полностью описаны протоколы экспериментов, а для воспроизведения 70% экспериментов требовалось запросить ключевые реагенты. Вышеупомянутое исследование эмпирических результатов в журнале «Стратегический менеджмент» показало, что 70% из 88 статей не удалось воспроизвести из-за отсутствия достаточной информации для данных или процедур. В сфере водных ресурсов и управления большинство из 1987 статей, опубликованных в 2017 году, не удалось воспроизвести из-за отсутствия доступной информации, размещенной в Интернете. В исследованиях потенциалов, связанных с событиями , только две трети информации, необходимой для воспроизведения исследования, были представлены в выборке из 150 исследований, что подчеркивает наличие существенных пробелов в отчетности.

Процедурная предвзятость

Согласно тезису Дюэма-Куайна , научные результаты интерпретируются как содержательной теорией, так и теорией инструментов. Например, астрономические наблюдения зависят как от теории астрономических объектов, так и от теории телескопов. Большой объем невоспроизводимых исследований может накопиться, если существует предвзятость следующего типа: столкнувшись с нулевым результатом, ученый предпочитает относиться к данным так, будто инструмент недостаточен; Столкнувшись с ненулевым результатом, учёный предпочитает признать прибор хорошим и рассматривать данные как говорящие что-то об основной теории.

Культурная эволюция

Смальдино и МакЭлрит предложил простую модель культурной эволюции научной практики. Каждая лаборатория случайным образом решает провести новое исследование или повторное исследование с разными фиксированными уровнями ложноположительных результатов, истинно положительных результатов, уровня репликации и продуктивности (ее «характеристик»). Лаборатория может приложить больше «усилий», что сделает кривую ROC более выпуклой, но снизит производительность. Лаборатория за время своего существования накапливает оценку, которая увеличивается с появлением публикаций и снижается, когда другая лаборатория не может воспроизвести ее результаты. Через определенные промежутки времени одна случайная лаборатория «умирает», а другая «воспроизводит» дочернюю лабораторию с такой же чертой, как и ее родительская. Лаборатории с более высокими оценками имеют больше шансов на воспроизводство. При определенных настройках параметров совокупность лабораторий достигает максимальной производительности даже ценой очень высокого уровня ложноположительных результатов.

Сомнительные исследовательские практики и мошенничество

Дополнительная информация: Научная честность и научные нарушения.

Сомнительные исследовательские практики (QRP) — это преднамеренное поведение, которое извлекает выгоду из серой зоны приемлемого научного поведения или использует степени свободы исследователя (исследователь DF), что может способствовать невоспроизводимости результатов за счет увеличения вероятности ложноположительных результатов. Исследовательский DF проявляется в формулировании гипотез , планировании экспериментов , данных сборе и анализе , а также в составлении отчетов об исследованиях . Некоторыми примерами QRP являются сбор данных , выборочная отчетность , и HARKing (выдвижение гипотез после того, как станут известны результаты). В медицине невоспроизводимые исследования имеют шесть общих черт. К ним относятся исследователи, которые не закрывают глаза на экспериментальные группы по сравнению с контрольными группами, отказ от повторения экспериментов, отсутствие положительного и отрицательного контроля , неспособность сообщить все данные, ненадлежащее использование статистических тестов и использование реагентов, которые не были должным образом проверены. .

QRP не включает более явные нарушения научной честности, такие как фальсификация данных. Мошеннические исследования действительно имеют место, как в случае с научным мошенничеством социального психолога Дидерика Стапеля . когнитивный психолог Марк Хаузер и социальный психолог Лоуренс Санна, но, похоже, это редкость.

Распространенность

По словам профессора Международного университета Эрнеста О'Бойла и психолога Мартина Гетца, около 50% исследователей, опрошенных в ходе различных исследований, признались, что занимаются HARKing. В опросе 2000 психологов, проведенном ученым-бихевиористом Лесли К. Джоном и его коллегами, около 94% психологов признались, что использовали хотя бы один QRP. В частности, 63% признались, что не сообщили обо всех зависимых показателях исследования, 28% сообщили обо всех условиях исследования и 46% выборочно сообщили об исследованиях, которые дали желаемую картину результатов. Кроме того, 56% признались, что собрали больше данных после проверки уже собранных данных, а 16% — что прекратили сбор данных, поскольку желаемый результат уже был виден. По оценкам исследователя биотехнологий Дж. Лесли Глика в 1992 году, от 10% до 20% исследований и разработок включали либо QRP, либо откровенное мошенничество. Методология, используемая для оценки QRP, оспаривается, и более поздние исследования показали, что в среднем уровень распространенности ниже.

Метаанализ 2009 года показал, что 2% ученых в разных областях хотя бы один раз признались в фальсификации исследований, а 14% признались, что знали кого-то, кто это сделал. Согласно одному исследованию, о таких нарушениях чаще сообщали медицинские исследователи, чем другие.

Статистические вопросы

Низкая статистическая мощность

По мнению профессора Университета Дикина Тома Стэнли и его коллег, одной из вероятных причин, по которой исследования не воспроизводятся, является низкая статистическая мощность . Это происходит по трем причинам. Во-первых, повторное исследование с низкой мощностью вряд ли будет успешным, поскольку по определению оно имеет низкую вероятность обнаружить истинный эффект. Во-вторых, если исходное исследование имеет низкую мощность, оно даст необъективные оценки размера эффекта . При проведении априорного анализа мощности для исследования репликации это приведет к недооценке необходимого размера выборки. В-третьих, если исходное исследование имеет низкую мощность, вероятность того, что после исследования будет получен статистически значимый результат, отражающий истинный эффект, довольно низка. Поэтому вполне вероятно, что попытка повторить оригинальное исследование потерпит неудачу.

Математически вероятность повторения предыдущей публикации, отвергающей нулевую гипотезу. $H_{0}$ в пользу альтернативы $H_{1}$ является $$({\text{significance}})Pr(H_{0}|{\text{publication}})+({\text{power}})Pr(H_{1}|{\text{publication}})\leq ({\text{power}})$$предполагая, что значимость меньше мощности. Таким образом, низкая мощность подразумевает низкую вероятность повторения, независимо от того, как была разработана предыдущая публикация, и независимо от того, какая гипотеза действительно верна.

Стэнли и его коллеги оценили среднюю статистическую мощность психологической литературы, проанализировав данные 200 метаанализов . Они обнаружили, что в среднем статистические данные психологических исследований составляют от 33,1% до 36,4%. Эти значения довольно низкие по сравнению с 80%, которые считаются адекватной статистической мощностью для эксперимента. Среди 200 метаанализов медиана исследований с адекватной статистической мощностью составляла от 7,7% до 9,1%, что означает, что положительный результат будет воспроизводиться с вероятностью менее 10%, независимо от того, был ли положительный результат истинно положительным или ложным. позитивный.

Статистическая мощность нейробиологических исследований довольно низка. Расчетная статистическая мощность исследования фМРТ составляет от 0,08 до 0,31. а показатель исследований связанных с событиями потенциалов оценивался как 0,72–0,98 для больших размеров эффекта, 0,35–0,73 для средних эффектов и 0,10–0,18 для малых эффектов.

В исследовании, опубликованном в журнале Nature , психолог Кэтрин Баттон и ее коллеги провели аналогичное исследование с 49 метаанализами в области нейробиологии, оценивая медианную статистическую мощность в 21%. Метаученый Джон Иоаннидис и его коллеги рассчитали оценку средней мощности для эмпирических экономических исследований, определив медианную мощность 18% на основе литературы, основанной на 6700 исследованиях. В свете этих результатов вполне вероятно, что основной причиной широко распространенных неудач в воспроизведении результатов в нескольких научных областях может быть очень низкая в среднем статистическая мощность.

Тот же статистический тест с тем же уровнем значимости будет иметь меньшую статистическую мощность, если размер эффекта невелик согласно альтернативной гипотезе. Сложные наследуемые признаки обычно коррелируют с большим количеством генов, каждый из которых имеет небольшой размер эффекта, поэтому высокая мощность требует большого размера выборки. В частности, многие результаты из литературы по генам-кандидатам страдали от небольшого размера эффекта и небольшого размера выборки и не могли быть воспроизведены. Дополнительные данные полногеномных ассоциативных исследований (GWAS) приближаются к решению этой проблемы. В качестве числового примера: большинство генов, связанных с риском шизофрении, имеют низкую величину эффекта (генотипический относительный риск, GRR). Статистическое исследование с 1000 случаями и 1000 контрольными группами имеет мощность 0,03% для гена с GRR = 1,15, что уже много для шизофрении. Напротив, самый крупный на сегодняшний день GWAS имеет мощность ~ 100%.

Положительная ошибка размера эффекта

Основная статья: Эффект снижения

Даже когда исследование повторяется, повторение обычно имеет меньший размер эффекта. Исследования с недостаточной статистикой имеют большую погрешность в размере эффекта.

Распределение статистически значимых оценок коэффициента регрессии в линейной модели при наличии добавленной ошибки. Когда размер выборки небольшой, добавление шума приводит к завышению коэффициента регрессии примерно в 50% случаев. Когда размер выборки мал, она постоянно занижает оценку. Рисунок появился в .

В исследованиях, которые статистически оценивают фактор регрессии, такой как $k$ в $Y=kX+b$, когда набор данных большой, шум имеет тенденцию вызывать недооценку коэффициента регрессии, но когда набор данных небольшой, шум имеет тенденцию вызывать переоценку коэффициента регрессии.

Проблемы метаанализа

Метаанализ имеет свои методологические проблемы и споры, что приводит к неприятию метааналитического метода исследователями, чья теория подвергается сомнению со стороны метаанализа.

Розенталь предложил «безотказный номер» (FSN). во избежание предвзятости публикации в отношении нулевых результатов. Оно определяется следующим образом: Предположим, что нулевая гипотеза верна; сколько публикаций потребуется, чтобы сделать текущий результат неотличимым от нулевой гипотезы?

Точка зрения Розенталя заключается в том, что некоторые размеры эффекта достаточно велики, так что даже если существует полное предвзятое отношение публикации к нулевым результатам («проблема с ящиком для файлов»), количество неопубликованных нулевых результатов будет невозможно большим, чтобы заглушить размер эффекта. Таким образом, размер эффекта должен быть статистически значимым даже после учета неопубликованных нулевых результатов.

Одним из возражений против FSN является то, что он рассчитывается так, как будто неопубликованные результаты представляют собой несмещенные выборки из нулевой гипотезы. Но если проблема с файловым ящиком верна, то неопубликованные результаты будут иметь размеры эффекта, сосредоточенные вокруг 0. Таким образом, для замены размера эффекта потребуется меньше неопубликованных нулевых результатов, и поэтому FSN является завышенной оценкой.

Другая проблема метаанализа заключается в том, что плохие исследования «заразительны» в том смысле, что одно плохое исследование может привести к переоценке статистической значимости всего метаанализа.

П-хакерство

Основная статья: Извлечение данных

Можно применять различные статистические методы, чтобы значение p казалось меньшим, чем оно есть на самом деле. Это не обязательно должно быть злонамеренным, поскольку умеренно гибкий анализ данных, рутинный в исследованиях, может увеличить уровень ложноположительных результатов до уровня выше 60%.

Например, если кто-то собирает некоторые данные, применяет к ним несколько разных тестов значимости и публикует только тот, значение p которого меньше 0,05, то общее значение p для «хотя бы одного теста значимости достигает p < 0,05" может быть намного больше, чем 0,05, потому что даже если бы нулевая гипотеза была верна, вероятность того, что один из многих тестов значимости является экстремальным, сама по себе не является экстремальной.

Как правило, статистическое исследование состоит из нескольких этапов, с несколькими вариантами выбора на каждом этапе, например, во время сбора данных, отбраковка выбросов, выбор статистики теста, выбор одностороннего или двустороннего критерия и т. д . разветвления «размножаются», создавая множество «исследовательских степеней свободы». Эффект аналогичен проблеме с ящиком файлов, поскольку непройденные пути не публикуются.

Рассмотрим простую иллюстрацию. Предположим, что нулевая гипотеза верна, и у нас есть 20 возможных тестов значимости, которые можно применить к набору данных. Также предположим, что результаты тестов значимости независимы. По определению «значимости» каждый тест имеет вероятность прохождения 0,05 с уровнем значимости 0,05. Вероятность того, что хотя бы 1 из 20 является значимым, в предположении независимости равна $1-(1-0.05)^{20}=0.64$.

Другая возможность – проблема множественных сравнений . В 2009 году дважды было отмечено, что исследования фМРТ дали подозрительное количество положительных результатов с большой величиной эффекта, больше, чем можно было ожидать, поскольку исследования имеют низкую мощность (один пример). было всего 13 предметов). Он отметил, что более половины исследований будут проверять корреляцию между явлением и отдельными вокселами фМРТ и сообщать только о вокселах, превышающих выбранные пороговые значения.

На рисунке показано изменение значений p, вычисленных с помощью t-критерия, по мере увеличения размера выборки, а также то, как ранняя остановка может позволить провести p-хакинг, даже если нулевая гипотеза абсолютно верна. Данные взяты из двух идентичных нормальных распределений, $N(0,10)$. Для каждого размера выборки $n$, от 5 до $10^{4}$, t-тест выполняется на первом $n$ выборки из каждого распределения, и полученное значение p отображается на графике. Красная пунктирная линия обозначает обычно используемый уровень значимости 0,05. Если бы сбор или анализ данных остановился в точке, где значение p упало ниже уровня значимости, можно было бы сообщить о ложной статистически значимой разнице.

Необязательная остановка — это практика, при которой данные собираются до тех пор, пока не будет достигнут некоторый критерий остановки. Несмотря на то, что это действительная процедура, ее легко использовать неправильно. Проблема в том, что значение p необязательно остановленного статистического теста больше, чем кажется. Интуитивно это происходит потому, что значение p должно быть суммой всех событий, по крайней мере столь же редких, как и те, которые наблюдаются. При необязательной остановке возникают еще более редкие события, которые трудно учесть, например, не срабатывает правило необязательной остановки и перед остановкой собирается еще больше данных. Игнорирование этих событий приводит к слишком низкому значению p. Фактически, если нулевая гипотеза верна, любой уровень значимости может быть достигнут, если разрешено продолжать сбор данных и остановиться, когда будет получено желаемое значение p (рассчитанное так, как если бы вы всегда планировали собрать именно такой объем данных). . Конкретный пример проверки честной монеты см. в p -value#optional stoping .

Короче говоря, правильный расчет значения p требует учета контрфактов, то есть того, что экспериментатор мог бы сделать в ответ на данные, которые могли бы быть такими. Объяснить то, что могло бы быть, сложно даже честным исследователям. Одним из преимуществ предварительной регистрации является учет всех несоответствий, что позволяет правильно рассчитать значение p.

Проблема ранней остановки не ограничивается только неправомерными действиями исследователей. Часто возникает необходимость прекратить работу раньше, если стоимость сбора данных высока. Некоторые советы по этике животных даже требуют досрочного прекращения исследования, если в середине исследования получен значительный результат.

Подобные практики широко распространены в психологии. В опросе 2012 года 56% психологов признались в раннем прекращении анализа, 46% в сообщении только о том анализе, который «сработал», и 38% в исключении post hoc , то есть удалении некоторых данных после того, как анализ данных уже был проведен.

Статистическая неоднородность

Как также сообщили Стэнли и его коллеги, еще одной причиной, по которой исследования могут не воспроизвестися, является высокая гетерогенность эффектов, которые предстоит воспроизвести. В метаанализе «гетерогенность» относится к расхождениям в результатах исследований, возникающим в результате отсутствия единого истинного размера эффекта. Вместо этого результаты в таких случаях лучше рассматривать как распределение истинных эффектов. Статистическая неоднородность рассчитывается с использованием статистики I-квадрат, определяется как «доля (или процент) наблюдаемых различий между сообщаемыми размерами эффекта, которые не могут быть объяснены рассчитанными стандартными ошибками, связанными с этими сообщаемыми размерами эффекта». Это изменение может быть связано с различиями в экспериментальных методах, популяциях, когортах и ​​статистических методах между повторными исследованиями. Гетерогенность представляет собой проблему для исследований, пытающихся воспроизвести ранее обнаруженные размеры эффекта . Когда гетерогенность высока, последующие повторы имеют высокую вероятность обнаружить размер эффекта, радикально отличающийся от исходного исследования.

Важно отметить, что значительные уровни гетерогенности также обнаруживаются при прямой/точной репликации исследования. Стэнли и его коллеги обсуждают это, сообщая об исследовании количественного поведенческого ученого Ричарда Кляйна и его коллег, в котором авторы попытались воспроизвести 15 психологических эффектов в 36 различных местах в Европе и США. из 16 эффектов (I-квадрат = от 23% до 91%). Важно отметить, что хотя сайты репликации намеренно различались по ряду характеристик, такие различия могли объяснить очень небольшую гетерогенность. По мнению Стэнли и его коллег, это предполагает, что гетерогенность могла быть подлинной характеристикой исследуемых явлений. Например, на явления могут влиять так называемые «скрытые модераторы» — соответствующие факторы, которые ранее не считались важными для производства определенного эффекта.

В своем анализе 200 метаанализов психологических эффектов Стэнли и его коллеги обнаружили, что средний процент гетерогенности I-квадрата = 74%. По мнению авторов, такой уровень неоднородности можно считать «огромным». Это в три раза больше, чем дисперсия величины эффекта случайной выборки, измеренная в их исследовании. Если рассматривать ошибку выборки , гетерогенность дает стандартное отклонение от одного исследования к другому, даже превышающее средний размер эффекта 200 метаанализов, которые они исследовали. Авторы приходят к выводу, что если репликация определяется последующим исследованием, обнаружившим размер эффекта, достаточно похожий на исходный, успех репликации маловероятен, даже если репликации имеют очень большие размеры выборки. Важно отметить, что это происходит, даже если репликации являются прямыми или точными, поскольку гетерогенность, тем не менее, в этих случаях остается относительно высокой.

Другие

В экономике кризис репликации также может усугубиться из-за хрупкости эконометрических результатов: использование различных, но приемлемых процедур оценки или методов предварительной обработки данных может привести к противоречивым результатам.

Контекстная чувствительность

Профессор Нью-Йоркского университета Джей Ван Бавел и его коллеги утверждают, что еще одна причина, по которой результаты трудно воспроизвести, — это чувствительность к контексту определенных психологических эффектов. С этой точки зрения, неудачи при воспроизведении могут быть объяснены контекстуальными различиями между исходным экспериментом и репликацией, часто называемыми «скрытыми модераторами ». Ван Бавел и его коллеги проверили влияние контекстной чувствительности, повторно проанализировав данные широко цитируемого проекта воспроизводимости, реализованного Open Science Collaboration. Они перекодировали эффекты в соответствии с их чувствительностью к контекстуальным факторам, а затем проверили взаимосвязь между контекстной чувствительностью и успехом репликации в различных регрессионных моделях .

Было обнаружено, что чувствительность к контексту отрицательно коррелирует с успехом репликации, так что более высокие оценки чувствительности к контексту были связаны с более низкой вероятностью воспроизведения эффекта. Важно отметить, что чувствительность к контексту значительно коррелировала с успехом репликации даже с поправкой на другие факторы, считающиеся важными для воспроизведения результатов (например, размер эффекта и размер выборки оригинала, статистическая мощность репликации, методологическое сходство между оригиналом и репликацией). В свете результатов авторы пришли к выводу, что попытка репликации в другое время, в другом месте или с другим образцом может существенно изменить результаты эксперимента. Таким образом, чувствительность к контексту может быть причиной того, что некоторые эффекты не воспроизводятся в психологии.

Байесовское объяснение

В рамках байесовской вероятности, по теореме Байеса , отклонение нулевой гипотезы на уровне значимости 5% не означает, что апостериорная вероятность альтернативной гипотезы равна 95%, а апостериорная вероятность также отличается от вероятности репликации. Рассмотрим упрощенный случай, когда имеется только две гипотезы. Пусть априорная вероятность нулевой гипотезы равна $Pr(H_{0})$и альтернатива $Pr(H_{1})=1-Pr(H_{0})$. Для данного статистического исследования пусть уровень ложноположительных результатов (уровень значимости) будет равен $Pr({\text{find }}H_{1}|H_{0})$, а истинно положительная скорость (степень) будет $Pr({\text{find }}H_{1}|H_{1})$. Для наглядности пусть уровень значимости будет 0,05, а мощность — 0,45 (недостаточная мощность).

Теперь, по теореме Байеса, при условии статистического исследования, полученного $H_{1}$ верно, апостериорная вероятность $H_{1}$ на самом деле быть правдой - это не $1-Pr({\text{find }}H_{1}|H_{0})=0.95$, но

$$Pr(H_{1}|{\text{ find }}H_{1})={\frac {Pr({\text{ find }}H_{1}|H_{1})Pr(H_{1})}{Pr({\text{ find }}H_{1}|H_{0})Pr(H_{0})+Pr({\text{ find }}H_{1}|H_{1})Pr(H_{1})}}$$

и вероятность повторения статистического исследования равна $$Pr({\text{replication}}|{\text{ find }}H_{1})=Pr({\text{find }}H_{1}|H_{1})Pr(H_{1}|{\text{ find }}H_{1})+Pr({\text{find }}H_{1}|H_{0})Pr(H_{0}|{\text{ find }}H_{1})$$который также отличается от $Pr(H_{1}|{\text{ find }}H_{1})$. В частности, для фиксированного уровня значимости вероятность репликации увеличивается с увеличением мощности, а априорная вероятность для $H_{1}$. Если априорная вероятность $H_{1}$ мала, то для репликации потребуется большая мощность.

Например, если априорная вероятность нулевой гипотезы равна $Pr(H_{0})=0.9$, и исследование дало положительный результат, то апостериорная вероятность для $H_{1}$ является $Pr(H_{1}|{\text{ find }}H_{1})=0.50$, а вероятность репликации равна $Pr({\text{replication}}|{\text{ find }}H_{1})=0.25$.

Проблема с проверкой нулевой гипотезы

Некоторые утверждают, что проверка нулевых гипотез сама по себе неуместна, особенно в «мягких науках», таких как социальная психология.

Как неоднократно отмечали статистики, в сложных системах, таких как социальная психология, «нулевая гипотеза всегда ложна» или «все коррелирует». Если да, то если нулевая гипотеза не отвергается, это не означает, что нулевая гипотеза верна, а просто означает, что она была ложноотрицательной, обычно из-за низкой мощности. Низкая мощность особенно распространена в предметных областях, где размеры эффекта невелики, а получение данных дорого, например, в социальной психологии.

Более того, когда нулевая гипотеза отвергается, это может не служить доказательством существенной альтернативной гипотезы. В мягких науках многие гипотезы могут предсказать корреляцию между двумя переменными. Таким образом, доказательства против нулевой гипотезы «нет корреляции» не являются доказательствами в пользу одной из многих альтернативных гипотез, которые одинаково хорошо предсказывают «существует корреляция». Фишер разработал NHST для агрономии, где отказ от нулевой гипотезы обычно является хорошим доказательством альтернативной гипотезы, поскольку их не так много. Отрицание гипотезы «удобрения не помогают» является доказательством «удобрения помогают». Но в психологии на каждую нулевую гипотезу существует множество альтернативных гипотез.

В частности, когда статистические исследования экстрасенсорного восприятия отвергают нулевую гипотезу при чрезвычайно низком значении p, это не подразумевает альтернативную гипотезу «существование экстрасенсорного восприятия». Гораздо более вероятно, что в экспериментальной установке присутствовал небольшой (не экстрасенсорный) сигнал, который точно измерялся.

Пол Мил отметил, что проверка статистических гипотез в «мягкой» психологии (личностной, социальной и т. д.) используется иначе, чем в физике. В физике теория делает количественные предсказания и проверяется путем проверки того, попадает ли предсказание в статистически измеренный интервал. В мягкой психологии теория делает направленное предсказание и проверяется путем проверки того, отклонена ли нулевая гипотеза в правильном направлении. Следовательно, улучшенная экспериментальная техника повышает вероятность фальсификации теорий в физике, но снижает вероятность фальсификации в мягкой психологии, поскольку нулевая гипотеза всегда ложна, поскольку любые две переменные коррелируют с «грубым коэффициентом» около 0,30. Конечным эффектом является накопление теорий со слабыми доказательствами ни для одной из них.

Ошибка базовой ставки

См. Также: Ошибка базовой ставки

По мнению философа Александра Берда , возможная причина низких показателей воспроизводимости в некоторых научных областях заключается в том, что большинство проверенных гипотез априори ложны . С этой точки зрения, низкие показатели воспроизводимости могут соответствовать качеству науки. Кроме того, ожидание того, что большинство результатов должны быть воспроизведены, было бы ошибочным и, по мнению Бёрда, является формой ошибки базовой ставки. Аргумент Берда работает следующим образом. Предполагая идеальную ситуацию теста значимости, при которой вероятность неправильного отклонения нулевой гипотезы составляет 5% (т.е. ошибка типа I ), а вероятность правильного отклонения нулевой гипотезы составляет 80% (т.е. мощность ), в контексте, где высокая доля проверенных гипотез оказывается ложной, вполне возможно, что количество ложноположительных результатов будет выше, чем истинно положительных. Например, в ситуации, когда только 10% проверенных гипотез на самом деле верны, можно подсчитать, что до 36% результатов будут ложноположительными.

Утверждение о том, что ложность большинства проверенных гипотез может объяснить низкие показатели воспроизводимости, становится еще более актуальным, если учесть, что средняя мощность статистических тестов в определенных областях может быть намного ниже 80%. Например, доля ложноположительных результатов увеличивается до значения от 55,2% до 57,6% при расчете с оценками средней мощности от 34,1% до 36,4% для психологических исследований, как это предоставили Стэнли и его коллеги в своем анализе 200 мета-положительных результатов. анализы в полевых условиях. Высокая доля ложноположительных результатов приведет к тому, что многие результаты исследований станут невоспроизводимыми.

Бёрд отмечает, что утверждение о том, что большинство проверенных гипотез априори ложны в определенных научных областях, может быть правдоподобным, учитывая такие факторы, как сложность исследуемых явлений, тот факт, что теории редко являются бесспорными, «дистанция вывода» между теориями и гипотезы и легкость, с которой можно генерировать гипотезы. В этом отношении Берд приводит в качестве примера клиническую медицину, генетическую и молекулярную эпидемиологию и социальную психологию. Эта ситуация радикально отличается в областях, где теории имеют выдающуюся эмпирическую основу и гипотезы могут быть легко выведены из теорий (например, экспериментальная физика).

Последствия

Когда в литературе эффекты ошибочно указываются как релевантные, неспособность обнаружить это путем репликации приведет к канонизации таких ложных фактов.

Исследование 2021 года показало, что статьи в ведущих журналах по общей тематике, психологии и экономике с выводами, которые невозможно воспроизвести, с течением времени имеют тенденцию цитироваться чаще, чем воспроизводимые исследовательские статьи, вероятно, потому, что эти результаты неожиданны или интересны. На эту тенденцию не влияет публикация неудачных репродукций, после чего только 12% статей, цитирующих оригинальные исследования, будут упоминать о неудачных репликациях. Кроме того, эксперты могут предсказать, какие исследования будут воспроизводиться, что привело авторов исследования 2021 года Марты Серра-Гарсия и Ури Гнизи к выводу, что эксперты применяют более низкие стандарты к интересным результатам при принятии решения о их публикации.

Осведомленность и восприятие общественности

В научном сообществе были выражены опасения, что широкая общественность может считать науку менее заслуживающей доверия из-за неудачных попыток повторения. Исследования, подтверждающие эту обеспокоенность, редки, но общенациональное репрезентативное исследование в Германии показало, что более 75% немцев не слышали о неудачах в науке. Исследование также показало, что большинство немцев положительно воспринимают усилия по тиражированию: только 18% считают, что отсутствие тиражирования показывает, что науке нельзя доверять, в то время как 65% считают, что исследования тиражирования показывают, что наука применяет контроль качества, и 80% согласны с тем, что ошибки и исправления являются частью науки.

Ответ в академических кругах

В связи с тем, что кризис репликации психологии привлек внимание, психолог из Принстонского университета Сьюзен Фиск вызвала споры за то, что выступила против критиков психологии за то, что она назвала издевательствами и подрывом науки. Она назвала этих неопознанных «противников» такими именами, как «методологический террорист» и «самопровозглашенная полиция данных», заявив, что критику психологии следует высказывать только в частном порядке или путем обращения в журналы. Статистик и политолог Колумбийского университета Эндрю Гельман ответил Фиске, заявив, что она обнаружила, что готова терпеть «мертвую парадигму» ошибочной статистики и отказывалась отозвать публикации, даже когда были указаны ошибки. Он добавил, что ее пребывание на посту редактора было ужасным и что ряд опубликованных статей, которые она редактировала, были основаны на крайне слабых статистических данных; одна из опубликованных самим Фиске статей содержала серьезную статистическую ошибку и «невозможные» выводы.

Революция доверия

Некоторые исследователи в области психологии указывают, что кризис репликации является основой для «революции доверия», когда изменения в стандартах, по которым оценивается психологическая наука, могут включать в себя акцент на прозрачности и открытости, предварительную регистрацию исследовательских проектов и тиражирование исследований с более высокими стандартами для улучшения доказательств. Сила научных утверждений. Такие изменения могут снизить продуктивность отдельных исследователей, но этого эффекта можно избежать путем обмена данными и более тесного сотрудничества. Революция доверия может быть полезна для исследовательской среды.

Средства правовой защиты

Сосредоточение внимания на кризисе репликации привело к возобновлению усилий в психологии по повторной проверке важных результатов. Специальный выпуск журнала «Социальная психология» за 2013 год был посвящен исследованиям репликации.

стандартизация, а также (требование) прозрачности используемых статистических и экспериментальных методов. Предложены Тщательное документирование экспериментальной установки считается решающим для воспроизводимости экспериментов, и различные переменные не могут быть документированы и стандартизированы, например, рационы животных в исследованиях на животных.

В статье Джона Иоаннидиса 2016 года подробно обсуждалась тема «Почему большинство клинических исследований бесполезны». Иоаннидис описывает то, что он считает некоторыми проблемами, и призывает к реформе, характеризуя определенные моменты, позволяющие медицинским исследованиям снова стать полезными; Одним из примеров, который он приводит, является необходимость того, чтобы медицина была ориентирована на пациента (например, в форме Института исследования результатов, ориентированных на пациента ), а не в нынешней практике, которая в основном заботится о «потребностях врачей, исследователей или спонсоров».

Реформа научных публикаций

Метанаука

Дополнительная информация: Метанаука.

Метанаука — это использование научной методологии для изучения самой науки. Он стремится повысить качество научных исследований при одновременном сокращении отходов. Он также известен как «исследовательские исследования» и «наука о науке», поскольку он использует методы исследования для изучения того, как исследования проводятся и где можно внести улучшения. Метанаука касается всех областей исследований, и ее называют «взглядом на науку с высоты птичьего полета». По словам Иоаннидиса: «Наука – это лучшее, что случилось с людьми… но мы можем сделать это лучше».

Мета-исследования продолжают проводиться для выявления причин кризиса и их устранения. Методы преодоления кризиса включают предварительную регистрацию научных исследований и клинических испытаний , а также создание таких организаций, как CONSORT и EQUATOR Network , которые выпускают рекомендации по методологии и отчетности. Продолжаются усилия по реформированию системы академического стимулирования, совершенствованию процесса рецензирования , сокращению злоупотреблений статистикой , борьбе с предвзятостью в научной литературе, а также повышению общего качества и эффективности научного процесса.

Презентация методологии

Некоторые авторы утверждают, что недостаточное информирование об экспериментальных методах является основной причиной кризиса воспроизводимости и что лучшее сообщение о планировании эксперимента и статистическом анализе могло бы улучшить ситуацию. Эти авторы склонны выступать за широкие культурные изменения в научном сообществе в том, как рассматривать статистику, и за более принудительное давление со стороны научных журналов и финансирующих организаций. Но были высказаны опасения по поводу возможности неправильного применения стандартов прозрачности и тиражирования как к качественным, так и к количественным исследованиям.

К журналам о бизнесе и менеджменте, которые ввели редакционную политику в отношении доступности, репликации и прозрачности данных, относятся журнал «Стратегический менеджмент» , «Журнал международных бизнес-исследований » и « Обзор менеджмента и организации» .

Экспертная оценка без учета результатов

Дополнительная информация: экспертная оценка без учета результатов.

В ответ на обеспокоенность психологов по поводу предвзятости публикаций и сбора данных более 140 психологических журналов приняли рецензирование без учета результатов. При таком подходе исследования принимаются не на основе их результатов и после завершения исследований, а до их проведения, а также на основе методологической строгости их экспериментальных планов и теоретического обоснования методов статистического анализа до того, как данные будут получены. проводится сбор или анализ. Ранний анализ этой процедуры показал, что 61% слепых исследований привели к нулевым результатам , в отличие от примерно 5–20% в более ранних исследованиях. Кроме того, в психологии стало гораздо более распространенным явлением крупномасштабное сотрудничество между исследователями, работающими в нескольких лабораториях в разных странах и регулярно предоставляющими свои данные для оценки различным исследователям.

Предварительная запись на обучение

Дополнительная информация: Предварительная регистрация и регистрация клинических исследований.

Научные издания начали использовать отчеты предварительной регистрации, чтобы справиться с кризисом репликации. Формат зарегистрированного отчета требует, чтобы авторы предоставили описание методов исследования и анализа до сбора данных. После того как метод и план анализа проходят рецензирование, публикация результатов предварительно гарантируется в зависимости от того, соблюдают ли авторы предложенный протокол. Одна из целей зарегистрированных отчетов — избежать предвзятости публикаций в отношении важных выводов, которые могут привести к использованию сомнительных исследовательских практик. Другой вариант – поощрять публикацию исследований с использованием строгих методов.

Журнал Psychoological Science поощряет предварительную регистрацию исследований и сообщение о величине эффекта и доверительных интервалах. Главный редактор также отметил, что перед публикацией рукописей редакция будет просить повторить исследования с неожиданными результатами с использованием небольших выборок.

Метаданные и цифровые инструменты для отслеживания репликаций

Было высказано предположение, что необходим «простой способ проверить, как часто исследования повторялись и подтверждаются ли первоначальные результаты». Категоризация и рейтинг воспроизводимости на уровне исследования или результатов, а также добавление ссылок и рейтинг сторонних подтверждений могут проводиться рецензентами, научным журналом или читателями в сочетании с новыми цифровыми платформами или инструменты.

Статистическая реформа

Требование меньших p значений

Многие публикации требуют, чтобы p значение было статистической <0,05, чтобы заявить о значимости . Статья «Переопределить статистическую значимость», подписанный большим количеством ученых и математиков, предлагает, чтобы «в областях, где порог для определения статистической значимости новых открытий составляет p < 0,05, мы предлагаем изменение до p < 0,005. Этот простой шаг немедленно улучшит воспроизводимость научных исследований». во многих областях». что «основная причина невоспроизводимости заключается в том, что статистические стандарты доказательности для заявлений о новых открытиях во многих областях науки просто слишком низки. Их обоснование заключается в том , ложных срабатываний даже при отсутствии других экспериментальных, процедурных проблем и проблем с отчетностью».

Этот призыв впоследствии подвергся критике со стороны другой большой группы, которая утверждала, что «переопределение» пороговых значений не решит существующие проблемы, а приведет к появлению некоторых новых, и что, в конечном итоге, все пороговые значения необходимо обосновывать в каждом конкретном случае, а не следуя общим соглашениям.

Решение проблемы неправильной интерпретации p -значений

Дополнительная информация: Неправильное использование p-значений.

Хотя статистики единодушны в том, что использование « p < 0,05» в качестве стандарта значимости дает более слабые доказательства, чем обычно принято считать, отсутствует единодушие в отношении того, что следует с этим делать. Некоторые выступают за то, чтобы байесовские методы заменили p -значения. Это не произошло в широком масштабе, отчасти потому, что это сложно, а отчасти потому, что многие пользователи не доверяют спецификациям предыдущих дистрибутивов в отсутствие точных данных. Упрощенную версию байесовского аргумента, основанную на проверке нулевой гипотезы точки, предложил фармаколог Дэвид Колкухун . Логические проблемы индуктивного вывода обсуждались в «Проблеме с p-значениями» (2016).

Опасность зависимости от значений p возникает отчасти потому, что даже наблюдение p = 0,001 не обязательно является убедительным доказательством против нулевой гипотезы. Несмотря на то, что отношение правдоподобия в пользу альтернативной гипотезы по сравнению с нулевой близко к 100, если бы гипотеза была неправдоподобной, а априорная вероятность реального эффекта была бы равна 0,1, даже наблюдение p = 0,001 имело бы ложноположительный результат. риск 8 процентов. Ему все равно не удастся достичь уровня 5 процентов.

Было рекомендовано не использовать термины «значительный» и «незначительный». Значения p и доверительные интервалы по-прежнему должны быть указаны, но они должны сопровождаться указанием риска ложноположительного результата. Было высказано предположение, что лучший способ сделать это — вычислить априорную вероятность, в которую необходимо поверить, чтобы достичь ложноположительного риска определенного уровня, например 5%. Расчеты можно производить с помощью различных компьютерных программ. Этот обратный байесовский подход, предложенный физиком Робертом Мэтьюзом в 2001 году, Это один из способов избежать проблемы, заключающейся в том, что априорная вероятность редко известна.

Поощрение увеличения размера выборки

Чтобы улучшить качество репликации, часто необходимы более крупные размеры выборки , чем те, которые использовались в исходном исследовании. Необходимы большие размеры выборки, поскольку оценки размеров эффекта в опубликованных работах часто преувеличены из-за систематической ошибки публикации и большой вариативности выборки, связанной с небольшими размерами выборки в оригинальном исследовании. Кроме того, использование порогов значимости обычно приводит к завышенным эффектам, поскольку, особенно при небольших размерах выборки, значимыми станут только самые большие эффекты.

Перекрестная проверка

Одной из распространенных статистических проблем является переоснащение , то есть когда исследователи подгоняют модель регрессии по большому количеству переменных, но небольшому количеству точек данных. Например, в типичном фМРТ-исследовании эмоций, личности и социального познания участвуют менее 100 субъектов, но каждый субъект имеет 10 000 вокселей. Исследование соответствует разреженной модели линейной регрессии, которая использует вокселы для прогнозирования интересующей переменной, такой как самооценка стресса. Но тогда исследование сообщит о p-значении модели на тех же данных, к которым она была адаптирована. Стандартный подход в статистике, при котором данные разделяются на обучающий и проверочный наборы , вызывает сопротивление, поскольку приобретение испытуемых дорого.

Одним из возможных решений является перекрестная проверка , которая позволяет проверять модель, а также позволяет использовать весь набор данных для подбора модели.

Усилия по репликации

Финансирование

В июле 2016 года Нидерландская организация научных исследований выделила 3 ​​миллиона евро на повторные исследования. Финансирование предназначено для тиражирования на основе повторного анализа существующих данных и тиражирования путем сбора и анализа новых данных. Финансирование доступно в области социальных наук, медицинских исследований и инноваций в области здравоохранения.

В 2013 году Фонд Лоры и Джона Арнольдов профинансировал запуск Центра открытой науки , выделив грант в размере 5,25 миллиона долларов. К 2017 году он предоставил дополнительно 10 миллионов долларов финансирования. Он также профинансировал открытие Инновационного центра метаисследований в Стэнфорде при Стэнфордском университете, которым руководят Иоаннидис и ученый-медик Стивен Гудман для изучения способов улучшения научных исследований. Он также обеспечил финансирование инициативы AllTrials , частично возглавляемой ученым-медиком Беном Голдакром .

Упор на послесреднее образование

См. также: Проектное обучение.

На основании курсовой работы по экспериментальным методам в Массачусетском технологическом институте, Стэнфорде и Вашингтонском университете было высказано предположение, что курсы по психологии и другим областям должны делать упор на попытках воспроизведения, а не на оригинальных исследованиях. Такой подход поможет студентам изучить научную методологию и обеспечить многочисленные независимые повторы значимых научных результатов, которые проверят воспроизводимость научных результатов. Некоторые рекомендовали обязать аспирантов опубликовать попытку высококачественного воспроизведения темы, связанной с их докторским исследованием, до окончания учебы.

Диссертация за последний год

Некоторые учебные заведения требуют, чтобы студенты бакалавриата представили дипломную работу за последний год, состоящую из оригинального исследования. Дэниел Кинтана, психолог из Университета Осло в Норвегии, рекомендовал поощрять студентов к повторным исследованиям в дипломных проектах, а также обучать их открытой науке .

Полуавтоматический

«Общий процесс проверки воспроизводимости и надежности литературы по биологии рака с помощью робота. Сначала анализ текста используется для извлечения утверждений о влиянии лекарств на экспрессию генов при раке молочной железы. Затем две разные команды полуавтоматически проверяли эти утверждения, используя два разных протокола и две разные клеточные линии (MCF7 и MDA-MB-231) с использованием системы автоматизации лабораторий Eve».

Исследователи продемонстрировали способ полуавтоматического тестирования на воспроизводимость: утверждения об экспериментальных результатах были извлечены, начиная с 2022 года, из несемантических статей по исследованию экспрессии генов рака и впоследствии воспроизведены с помощью робота-ученого « Ева ». Проблемы этого подхода заключаются в том, что он может быть неприменим для многих областей исследований и что достаточные экспериментальные данные не могут быть извлечены из некоторых или многих статей, даже если они доступны.

Привлечение оригинальных авторов

Психолог Дэниел Канеман утверждал, что в психологии к повторению следует привлекать первоначальных авторов, поскольку опубликованные методы часто слишком расплывчаты. Другие, такие как психолог Эндрю Уилсон, не согласны с этим, утверждая, что первоначальные авторы должны подробно описать методы. Исследование скорости репликации в психологии в 2012 году показало более высокие показатели успеха репликации в исследованиях репликации, когда авторы пересекались с первоначальными авторами исследования. (91,7% успешных показателей повторения в исследованиях с дублированием авторов по сравнению с 64,6% успешных показателей повторения без совпадения авторов).

Большая командная наука

Кризис репликации привел к формированию и развитию различных крупномасштабных и совместных сообществ, объединяющих свои ресурсы для решения одного вопроса в разных культурах, странах и дисциплинах. Основное внимание уделяется репликации, чтобы гарантировать, что эффект распространяется за пределы конкретной культуры, и выяснить, является ли этот эффект воспроизводимым и подлинным. Это позволяет проводить междисциплинарные внутренние проверки, использовать различные точки зрения, использовать единые протоколы во всех лабораториях и набирать более крупные и разнообразные образцы. Исследователи могут сотрудничать, координируя сбор данных или финансируя сбор данных исследователями, которые могут не иметь доступа к фондам, что позволяет увеличить размер выборки и повысить надежность выводов.

Более широкие изменения в научном подходе

Уделяйте особое внимание триангуляции, а не просто репликации

Психолог Маркус Р. Мунафо и эпидемиолог Джордж Дэйви Смит в статье, опубликованной в журнале Nature , утверждают, что исследования должны делать акцент на триангуляции , а не только на репликации, чтобы защититься от ошибочных идей. Они утверждают, что

одна только репликация приведет нас лишь к определенному результату (и) на самом деле может усугубить ситуацию ... [Триангуляция] - это стратегическое использование нескольких подходов для решения одного вопроса. Каждый подход имеет свои собственные несвязанные предположения, сильные и слабые стороны. Результаты, согласующиеся при использовании различных методологий, с меньшей вероятностью будут артефактами . ... Возможно, одной из причин, по которой копирование вызвало такой большой интерес, является часто повторяемая идея о том, что фальсификация лежит в основе научной деятельности. Эта идея была популяризирована максимой Карла Поппера 1950-х годов о том, что теории невозможно доказать, а только фальсифицировать. Тем не менее, чрезмерный акцент на повторении экспериментов может создать необоснованное чувство уверенности в результатах, основанных на одном подходе. ... философы науки пошли дальше со времен Поппера. Лучшие описания того, как на самом деле работают ученые, включают то, что эпистемолог Питер Липтон в 1991 году назвал «выводом к лучшему объяснению».

Парадигма сложных систем

Дополнительная информация: Комплексная система.

Доминирующей научной и статистической моделью причинно-следственной связи является линейная модель. Линейная модель предполагает, что ментальные переменные — это стабильные свойства, независимые друг от друга. Другими словами, ожидается, что эти переменные не будут влиять друг на друга. Вместо этого модель предполагает, что переменные будут иметь независимое линейное влияние на наблюдаемые результаты.

Социологи Себастьян Уоллот и Дамиан Келти-Стивен утверждают, что линейная модель не всегда подходит. Альтернативой является модель сложной системы, которая предполагает, что ментальные переменные взаимозависимы. Эти переменные не считаются стабильными, скорее, они будут взаимодействовать и адаптироваться к каждому конкретному контексту. Они утверждают, что модель сложной системы часто более уместна в психологии и что использование линейной модели, когда модель сложной системы более уместна, приведет к неудачному повторению.

...психология, возможно, надеется на повторение в тех самых измерениях и в тех самых условиях, когда растущее количество психологических данных явно препятствует прогнозированию повторения. Неспособность воспроизвести может быть явно связана с потенциально неполной, но широкомасштабной неспособностью человеческого поведения соответствовать стандарту независимости...

Репликация должна быть направлена ​​на пересмотр теорий

Воспроизведение имеет основополагающее значение для научного прогресса и позволяет подтвердить оригинальные результаты. Однако одной лишь репликации недостаточно для разрешения кризиса репликации. Усилия по воспроизведению должны быть направлены не только на поддержку или сомнение в первоначальных результатах, но и на замену их пересмотренными, более сильными теориями с большей объяснительной силой. Таким образом, этот подход предполагает сокращение существующих теорий, сравнение всех альтернативных теорий и придание усилиям по воспроизведению более продуктивного характера и вовлечению в построение теорий. Однако одного лишь повторения недостаточно. Важно оценить степень обобщения результатов в географических, исторических и социальных контекстах. Это важно для нескольких научных областей, особенно для практиков и политиков, чтобы проводить анализ для принятия важных стратегических решений. Воспроизводимые и воспроизводимые результаты были лучшим предиктором возможности обобщения за пределами исторического и географического контекста, указывая на то, что для социальных наук результаты, полученные в определенный период времени и в определенном месте, могут существенно влиять на то, что универсально присутствует у людей.

Открытая наука

Дополнительная информация: Открытая наука.

Принципы открытой науки

Открытые данные, программное обеспечение с открытым исходным кодом и аппаратное обеспечение с открытым исходным кодом имеют решающее значение для обеспечения воспроизводимости в смысле проверки исходного анализа данных. Использование проприетарного программного обеспечения, отсутствие публикации аналитического программного обеспечения и отсутствие открытых данных препятствуют тиражированию исследований. Если программное обеспечение, используемое в исследованиях, не является открытым исходным кодом, воспроизведение результатов с использованием различных конфигураций программного и аппаратного обеспечения невозможно. В ЦЕРН есть проекты «Открытые данные» и «Сохранение анализа ЦЕРН» для хранения данных, всей соответствующей информации, а также всего программного обеспечения и инструментов, необходимых для сохранения анализа в ходе крупных экспериментов БАК . Помимо всего программного обеспечения и данных, сохраненные аналитические активы включают метаданные, которые позволяют понять рабочий процесс анализа, соответствующее программное обеспечение, систематические неопределенности, статистические процедуры и значимые способы поиска анализа, а также ссылки на публикации и резервные материалы. Программное обеспечение CERN имеет открытый исходный код и доступно для использования за пределами физики элементарных частиц , а для других областей предоставляются некоторые рекомендации по широким подходам и стратегиям, используемым для открытой науки в современной физике элементарных частиц.

Онлайн-хранилища, в которых данные, протоколы и результаты могут храниться и оцениваться общественностью, стремятся улучшить целостность и воспроизводимость исследований. Примеры таких репозиториев включают Open Science Framework , Registry of Research Data Repositories и Psychfiledrawer.org. Такие сайты, как Open Science Framework, предлагают значки за использование практик открытой науки, чтобы стимулировать ученых. Однако существуют опасения, что те, кто, скорее всего, предоставят свои данные и код для анализа, являются наиболее опытными исследователями. Иоаннидис предположил, что «может возникнуть парадокс: самые дотошные, изощренные, методически подкованные и осторожные исследователи могут стать более восприимчивыми к критике и атакам на репутацию со стороны реанализаторов, которые охотятся за ошибками, какими бы незначительными они ни были».

См. также

• Ошибка базовой ставки
• Теория черного лебедя
• Корреляция не подразумевает причинно-следственную связь
• Извлечение данных
• Эффект снижения
• Статистика оценки
• Исследовательский анализ данных
• Пренебрежение расширением
• Фальсифицируемость
• Неверная наука
• Неправильное использование статистики
• Натурализм
• Предвзятость наблюдателя
• p-значение
• Проблема индукции
• Смещение выборки
• Предвзятость выбора
• Статистическая проверка гипотез
• Униформизм

Дальнейшее чтение

• Бастиан Х (5 декабря 2016 г.). «Хронология кризиса воспроизводимости: вехи в обеспечении надежности исследований» . Абсолютно возможно . Проверено 5 июня 2019 г.
• Бонетт, генеральный директор (2021). Планирование и анализ повторных исследований. Методы организационных исследований, 24, 513–529. https://doi.org/10.1177/1094428120911088
• Денворт Л. (октябрь 2019 г.). «Значительная проблема: стандартные научные методы подвергаются критике. Изменится ли что-нибудь?» (PDF) . Научный американец . Том. 321, нет. 4. С. 62–67. п. : Использование p значений в течение почти столетия [с 1925 года] для определения статистической значимости экспериментальных 63 результатов способствовало возникновению иллюзии уверенности и [к] кризисам воспроизводимости во многих научных областях . Растет решимость реформировать статистический анализ... Некоторые [исследователи] предлагают изменить статистические методы, тогда как другие готовы отказаться от порога для определения «значимых» результатов.
• Харрис Р. (2017). Трупное окоченение: как небрежная наука создает бесполезные лекарства, разрушает надежду и тратит миллиарды . Нью-Йорк: Основные книги. ISBN  9780465097906 .
• Кафкафи Н., Агасси Дж., Чеслер Э.Дж., Краббе Дж.К. , Крузио В.Е. , Эйлам Д. и др. (апрель 2018 г.). «Воспроизводимость и воспроизводимость фенотипирования грызунов в доклинических исследованиях» . Неврологические и биоповеденческие обзоры . 87 : 218–232. doi : 10.1016/j.neubiorev.2018.01.003 . ПМК   6071910 . ПМИД   29357292 .
• Ричи С. (июль 2020 г.). Научная фантастика: как мошенничество, предвзятость, халатность и обман подрывают поиск истины . Нью-Йорк: Метрополитен Букс. ISBN  9781250222695 . Рецензия на книгу (ноябрь 2020 г., The American Conservative )
• Уитфилд Дж. (октябрь 2021 г.). «Кризис репликации» . Лондонское обозрение книг . 43 (19): 39–40. обзор Ричи С. (июль 2020 г.). Научная фантастика: разоблачение мошенничества, халатности и обмана в науке . Лондон: Бодли Хед. ISBN  978-1-84792-565-7 .