✖
~~~~~~~~~~~~~~~~~~~~ Arc.Ask3.Ru ~~~~~~~~~~~~~~~~~~~~~ 
Номер скриншота №:
✰ C4851E25994B03252C9B71F5F0DA3F1B__1718028420 ✰
Заголовок документа оригинал.:
✰ Replication crisis - Wikipedia ✰
Заголовок документа перевод.:
✰ Кризис репликации — Википедия ✰
Снимок документа находящегося по адресу (URL):
✰ https://en.wikipedia.org/wiki/Replication_crisis ✰
Адрес хранения снимка оригинал (URL):
✰ https://arc.ask3.ru/arc/aa/c4/1b/c4851e25994b03252c9b71f5f0da3f1b.html ✰
Адрес хранения снимка перевод (URL):
✰ https://arc.ask3.ru/arc/aa/c4/1b/c4851e25994b03252c9b71f5f0da3f1b__translat.html ✰
Дата и время сохранения документа:
✰ 13.06.2024 14:44:41 (GMT+3, MSK) ✰
Дата и время изменения документа (по данным источника):
✰ 10 June 2024, at 17:07 (UTC). ✰ 

~~~~~~~~~~~~~~~~~~~~~~ Ask3.Ru ~~~~~~~~~~~~~~~~~~~~~~ 
Сервисы Ask3.ru: 
 Архив документов (Снимки документов, в формате HTML, PDF, PNG - подписанные ЭЦП, доказывающие существование документа в момент подписи. Перевод сохраненных документов на русский язык.) 
✰ https://arc.ask3.ru ✰
 Ответы на вопросы (Сервис ответов на вопросы, в основном, научной направленности) 
✰ https://ask3.ru/answer2question ✰
 Товарный сопоставитель (Сервис сравнения и выбора товаров) ✰✰
✰ https://ask3.ru/product2collation ✰
 Партнеры 
✰ https://comrades.ask3.ru ✰


Совет. Чтобы искать на странице, нажмите Ctrl+F или ⌘-F (для MacOS) и введите запрос в поле поиска.
Arc.Ask3.ru: далее начало оригинального документа

Кризис репликации — Википедия Jump to content

Кризис репликации

Из Википедии, бесплатной энциклопедии

первая страница исследовательской работы
Иоаннидис (2005): « Почему большинство опубликованных результатов исследований ложны ». [1]

( Кризис репликации также называемый кризисом репликации и кризисом воспроизводимости ) — это продолжающийся методологический кризис, при котором результаты многих научных исследований трудно или невозможно воспроизвести . Поскольку воспроизводимость эмпирических результатов является неотъемлемой частью научного метода , [2] такие неудачи подрывают доверие к теориям, основанным на них, и потенциально ставят под сомнение существенные части научных знаний.

Кризис репликации часто обсуждается в контексте психологии и медицины , где были предприняты значительные усилия для повторного исследования классических результатов, чтобы определить, надежны ли они, и, если они окажутся неправильными, причины неудачи. [3] [4] Данные убедительно свидетельствуют о том, что другие естественные и социальные науки . это затронуло и [5]

Термин « кризис репликации» был придуман в начале 2010-х годов. [6] как часть растущего осознания проблемы. Рассмотрение причин и средств лечения привело к возникновению новой научной дисциплины — метанауки . [7] который использует методы эмпирического исследования для изучения практики эмпирических исследований.

Соображения относительно воспроизводимости можно разделить на две категории. Воспроизводимость в узком смысле означает повторное изучение и проверку анализа данного набора данных. Репликация означает повторение эксперимента или исследования для получения новых независимых данных с целью достижения тех же или аналогичных выводов.

Предыстория [ править ]

Репликацию называют «краеугольным камнем науки». [8] [9] Ученый по вопросам гигиены окружающей среды Стефан Шмидт начал обзор 2009 года с такого описания репликации:

Репликация — одна из центральных проблем любой эмпирической науки. Подтверждение результатов или гипотез методом повторения лежит в основе любой научной концепции. Повторный эксперимент, призванный продемонстрировать, что те же результаты могут быть получены в любом другом месте любым другим исследователем, задуман как операционализация объективности. Это доказательство того, что эксперимент отражает знание, которое можно отделить от конкретных обстоятельств (таких как время, место или люди), при которых оно было получено. [10]

Но существует ограниченный консенсус относительно того, как определять репликацию и потенциально связанные с ней концепции. [11] [12] [10] Выделено несколько типов репликации:

  1. Прямая или точная репликация , при которой экспериментальная процедура повторяется как можно точнее. [10] [13]
  2. Систематическое повторение , при котором экспериментальная процедура в значительной степени повторяется с некоторыми преднамеренными изменениями. [13]
  3. Концептуальная репликация , при которой открытие или гипотеза проверяются с использованием другой процедуры. [10] [13] Концептуальная репликация позволяет проверить обобщаемость и достоверность результата или гипотезы. [13]

Воспроизводимость также можно отличить от репликации , поскольку она относится к воспроизведению одних и тех же результатов с использованием одного и того же набора данных. Воспроизводимость этого типа является причиной того, что многие исследователи предоставляют свои данные другим для тестирования. [14]

Кризис репликации не обязательно означает, что эти области ненаучны. [15] [16] [17] Скорее, этот процесс является частью научного процесса, в котором отсекаются старые идеи или те идеи, которые не выдерживают тщательного изучения. [18] [19] хотя этот процесс обрезки не всегда эффективен. [20] [21]

Гипотеза обычно считается подтвержденной, если результаты соответствуют предсказанному образцу и этот образец результатов оказывается статистически значимым . Результаты считаются значимыми, если относительная частота наблюдаемой закономерности падает ниже произвольно выбранного значения (т.е. уровня значимости ) при предположении, что нулевая гипотеза верна. В целом это отвечает на вопрос о том, насколько маловероятными были бы результаты, если бы на уровне статистической совокупности не существовало различий . Если вероятность, связанная со статистикой теста, превышает выбранное критическое значение , результаты считаются статистически значимыми. [22] Соответствующая вероятность превышения критического значения обозначается как p <0,05, где p (обычно называемое « p -значением ») — уровень вероятности. Это должно привести к тому, что 5% подтвержденных гипотез окажутся ложноположительными (неправильная гипотеза будет ошибочно признана правильной), при условии, что исследования соответствуют всем статистическим предположениям. В некоторых полях используются меньшие значения p, например p < 0,01 (вероятность ложноположительного результата 1%) или p < 0,001 (вероятность ложноположительного результата 0,1%). Но меньшая вероятность ложноположительного результата часто требует большего размера выборки или большей вероятности ложноотрицательного результата (правильная гипотеза ошибочно оказывается неверной) . Хотя тестирование p -значения является наиболее часто используемым методом, это не единственный метод.

История [ править ]

Начало репликационного кризиса можно отнести к ряду событий начала 2010-х годов. Философ науки и социальный эпистемолог Фелипе Ромеро выделил четыре события, которые можно считать предвестниками продолжающегося кризиса: [23]

  • Споры вокруг исследований социального прайминга: в начале 2010-х годов было проведено известное исследование «пожилые люди ходят» [24] Социальный психолог Джон Барг и его коллеги не смогли повторить результат в двух прямых повторах. [25] Этот эксперимент был частью серии из трех исследований, которые на протяжении многих лет широко цитировались, регулярно преподались на университетских курсах и послужили вдохновением для большого количества концептуальных повторений. Неспособность повторить исследование привела к многочисленным спорам и жарким дебатам с участием первоначальных авторов. [26] Примечательно, что многие из концептуальных копий первоначальных исследований также не удалось воспроизвести в последующих прямых репликациях. [27] [28] [29] [30]
  • Споры вокруг экспериментов по экстрасенсорному восприятию: Социальный психолог Дэрил Бем провел серию экспериментов, предположительно доказывающих противоречивый феномен экстрасенсорного восприятия . [31] Бема подвергли резкой критике за методологию своего исследования, и при повторном анализе данных не было обнаружено никаких доказательств существования экстрасенсорного восприятия. [32] Эксперимент также не удалось повторить в последующих прямых репликациях. [33] По словам Ромеро, сообщество особенно расстроило то, что многие ошибочные процедуры и статистические инструменты, использованные в исследованиях Бема, были частью обычной исследовательской практики в психологии.
  • Amgen и Bayer сообщают об отсутствии воспроизводимости биомедицинских исследований: Ученые из биотехнологических компаний Amgen и Bayer Healthcare сообщили о тревожно низких показателях репликации (11–20%) важных результатов доклинических онкологических исследований. [34] [35]
  • Публикация исследований по хакингу и сомнительным исследовательским практикам . С конца 2000-х годов ряд исследований в области метанауки показал, как широко распространенные практики во многих научных областях, такие как использование гибкости процесса сбора данных и отчетности, могут значительно повысить вероятность ложноположительных результатов. [36] [37] [38] Эти исследования показали, что значительная часть опубликованной литературы в нескольких научных областях может представлять собой невоспроизводимые исследования.

Эта серия событий породила большой скептицизм по поводу достоверности существующих исследований в свете широко распространенных методологических ошибок и неспособности воспроизвести результаты. Это побудило видных учёных объявить о «кризисе доверия» в психологии и других областях. [39] и последовавшая за этим ситуация стала известна как «кризис репликации».

Хотя начало кризиса репликации можно отнести к началу 2010-х годов, некоторые авторы отмечают, что опасения по поводу воспроизводимости и исследовательской практики в социальных науках были выражены гораздо раньше. Ромеро отмечает, что авторы выражали обеспокоенность по поводу отсутствия прямых повторов в психологических исследованиях конца 1960-х — начала 1970-х годов. [40] [41] Он также пишет, что в некоторых исследованиях 1990-х годов уже сообщалось, что редакторы и рецензенты журналов, как правило, предвзято относятся к публикации повторных исследований. [42] [43]

В социальных науках блог Data Colada (трое авторов которого в 2014 году ввели термин « p-хакинг ») считается вкладом в начало кризиса репликации. [44] [45] [46]

Профессор Университета Вирджинии и когнитивный психолог Барбара А. Спеллман написала, что многие критические замечания в отношении исследовательской практики и опасения по поводу воспроизводимости исследований не новы. [47] Она сообщает, что между концом 1950-х и 1990-ми годами ученые уже выражали обеспокоенность по поводу возможного кризиса репликации. [48] подозрительно высокий процент положительных результатов, [49] сомнительные исследовательские практики (QRP), [50] последствия предвзятости публикаций, [51] проблемы со статистической мощностью, [52] [53] и плохие стандарты отчетности. [48]

Спеллман также называет причины, по которым повторение этой критики и опасений в последние годы привело к полномасштабному кризису и изменению статус-кво. Во-первых, технологические усовершенствования облегчили проведение и распространение повторных исследований, а также анализ большого количества литературы по системным проблемам. Во-вторых, растущие размеры и разнообразие исследовательского сообщества облегчили возможность тщательного изучения работы его авторитетных членов другими членами сообщества, с ними незнакомыми. По мнению Спеллмана, эти факторы в сочетании со все более ограниченными ресурсами и несогласованными стимулами для занятий научной работой привели к кризису в психологии и других областях. [47]

Распространенность [ править ]

В психологии [ править ]

Сочетание нескольких факторов поставило психологию в центр разговора. [54] [55] Некоторые области психологии, которые когда-то считались солидными, такие как социальный прайминг , оказались под пристальным вниманием из-за неудачных попыток повторения. [56] Основное внимание уделялось социальной психологии . [57] хотя другие области психологии, такие как клиническая психология , [58] [59] [60] психология развития , [61] [62] [63] и образовательные исследования также были замешаны. [64] [65] [66] [67] [68]

В августе 2015 года было опубликовано первое открытое эмпирическое исследование воспроизводимости в психологии под названием « Проект воспроизводимости: психология» . Под руководством психолога Брайана Носека исследователи переделали 100 исследований по психологической науке из трёх высокорейтинговых журналов по психологии ( «Журнал личности и социальной психологии» , «Журнал экспериментальной психологии: обучение, память и познание» и «Психологическая наука »). 97 первоначальных исследований имели значительные эффекты, но из этих 97 только 36% повторов дали значимые результаты ( значение p ниже 0,05). [11] Средний размер эффекта в повторениях был примерно вдвое меньше эффектов, о которых сообщалось в первоначальных исследованиях. В той же статье были рассмотрены показатели воспроизводимости и величины эффекта по журналам и дисциплинам. Коэффициент повторения исследования составил 23% для журнала «Личность и социальная психология» , 48% для журнала «Экспериментальная психология: обучение, память и познание » и 38% для «Психологические науки» . Исследования в области когнитивной психологии имели более высокий уровень репликации (50%), чем исследования в области социальной психологии (25%). [69]

Исследование, опубликованное в 2018 году в журнале Nature Human Behavior, воспроизвело 21 социальную и поведенческую научную статью из журнала Nature and Science , обнаружив, что только около 62% из них смогли успешно воспроизвести оригинальные результаты. [70] [71]

Аналогичным образом, в исследовании, проведенном под эгидой Центра открытой науки , группа из 186 исследователей из 60 различных лабораторий (представляющих 36 разных национальностей с шести разных континентов) повторила 28 классических и современных открытий в области психологии. [72] [73] В центре внимания исследования было не только то, повторяются ли выводы оригинальных статей, но также и степень, в которой результаты различаются в зависимости от вариаций в выборках и контекстах. В целом, 50% из 28 результатов не удалось повторить, несмотря на огромные размеры выборки. Но если результат повторялся, то он воспроизводился в большинстве образцов. Если результат не был воспроизведен, значит, он не смог воспроизвестися с небольшими вариациями в разных образцах и контекстах. Эти данные не согласуются с предлагаемым объяснением того, что неудачи в воспроизведении в психологии, вероятно, связаны с изменениями в выборке между исходным и повторным исследованием. [73]

Результаты исследования 2022 года показывают, что многие более ранние ( мозга исследования фенотипа «исследования ассоциаций всего мозга» (BWAS)) привели к неверным выводам, поскольку для повторения таких исследований требуются образцы от тысяч людей из-за небольшой величины эффекта . [74] [75]

В медицине [ править ]

График результатов и барьеров. Было спроектировано 193 эксперимента, начато 87 и завершено 50.
Результаты проекта «Воспроизводимость: биология рака» предполагают, что большинство исследований в области исследования рака не могут быть воспроизведены.

Из 49 медицинских исследований с 1990 по 2003 год, получивших более 1000 цитирований, 92% обнаружили, что изучаемые методы лечения эффективны. Из этих исследований 16% противоречили последующим исследованиям, 16% обнаружили более сильные эффекты, чем последующие исследования, 44% были повторены, а 24% остались практически неоспоримыми. [76] Анализ, проведенный в 2011 году исследователями фармацевтической компании Bayer, показал, что не более четверти собственных результатов Bayer повторяют первоначальные результаты. [77] Но анализ результатов Байера показал, что повторяющиеся результаты часто могут быть успешно использованы в клинических целях. [78]

В статье 2012 года К. Гленн Бегли , консультант по биотехнологиям, работающий в Amgen , и Ли Эллис, медицинский исследователь из Техасского университета, обнаружили, что только 11% из 53 доклинических исследований рака имели повторы, которые могли подтвердить выводы оригинальные исследования. [79] В конце 2021 года проект «Проект воспроизводимости: биология рака» изучил 53 ведущие статьи о раке, опубликованные в период с 2010 по 2012 год, и показал, что среди исследований, которые предоставили достаточно информации для переделки, размеры эффекта были в среднем на 85% меньше, чем первоначальные результаты. [80] [81] Опрос исследователей рака показал, что половина из них не смогла воспроизвести опубликованный результат. [82] По оценкам другого отчета, почти половина рандомизированных контролируемых исследований содержала ошибочные данные (на основе анализа анонимных данных отдельных участников (IPD) из более чем 150 исследований). [83]

По другим дисциплинам [ править ]

По экономике [ править ]

Экономика отстала от других социальных наук и психологии в своих попытках оценить скорость повторения и увеличить количество исследований, пытающихся повторить. [12] Исследование 2016 года, опубликованное в журнале Science, воспроизвело 18 экспериментальных исследований , опубликованных в двух ведущих экономических журналах, The American Economic Review и Quarterly Journal of Economics , в период с 2011 по 2014 год. Было обнаружено, что около 39% из них не смогли воспроизвести первоначальные результаты. [84] [85] [86] Около 20% исследований, опубликованных в The American Economic Review, противоречат другим исследованиям, несмотря на то, что они основаны на тех же или похожих наборах данных. [87] Исследование эмпирических результатов, опубликованное в журнале Strategic Management Journal, показало, что около 30% из 27 повторно протестированных статей показали статистически незначимые результаты для ранее значимых результатов, тогда как около 4% показали статистически значимые результаты для ранее незначимых результатов. [88]

В управлении водными ресурсами [ править ]

Исследование, проведенное в журнале Scientific Data в 2019 году , с уверенностью 95% подсчитало, что из 1989 статей по водным ресурсам и управлению, опубликованных в 2017 году, результаты исследования могут быть воспроизведены только в 0,6–6,8%, даже если каждая из этих статей предоставит достаточную информацию, которая позволит для репликации. [89]

По полям [ править ]

Опрос, проведенный в 2016 году журналом Nature среди 1576 исследователей, заполнивших краткую онлайн-анкету о воспроизводимости, показал, что более 70% исследователей пытались, но не смогли воспроизвести результаты экспериментов другого ученого (в том числе 87% химиков , 77% биологов , 69% физиков) . инженеров , , 67% исследователей-медиков , 64% и 62 учёных, занимающихся землей и окружающей средой % всех остальных), и более половины не смогли воспроизвести свои собственные эксперименты. Но менее чем с 20% связались с другими исследователями, которые не смогли воспроизвести их работу. Опрос показал, что менее 31% исследователей считают, что неспособность воспроизвести результаты означает, что первоначальный результат, вероятно, неверен, хотя 52% согласны с тем, что существует серьезный кризис репликации. Большинство исследователей заявили, что по-прежнему доверяют опубликованной литературе. [5] [90] В 2010 году Фанелли (2010) [91] обнаружили, что 91,5% психиатрических/психологических исследований подтвердили эффекты, которые они искали, и пришли к выводу, что вероятность этого события (положительный результат) была примерно в пять раз выше, чем в таких областях, как астрономия или геонауки . Фанелли утверждал, что это происходит потому, что исследователи «мягких» наук меньше ограничивают свои сознательные и бессознательные предубеждения.

Ранний анализ экспертной оценки без учета результатов , на которую меньше влияет предвзятость публикаций, показал, что 61% слепых исследований в биомедицине и психологии привели к нулевым результатам , в отличие от примерно 5–20% в более ранних исследованиях. . [92]

Причины [ править ]

Кризис репликации может быть вызван «генерацией новых данных и научных публикаций с беспрецедентной скоростью», что приводит к «отчаянию опубликовать или погибнуть» и неспособности придерживаться хорошей научной практики. [93]

и корни Исторические социологические

Прогнозы о надвигающемся кризисе механизма контроля качества науки прослеживаются уже несколько десятилетий. Дерек де Солла Прайс , считающийся отцом наукометрии , количественного исследования науки, предсказал в 1963 году, что наука может достичь «старости» в результате своего собственного экспоненциального роста. [94] Некоторая современная литература, кажется, подтверждает это пророчество о «переполнении», сокрушаясь об упадке как внимания, так и качества. [95] [96]

Историк Филип Мировски утверждает, что снижение качества науки может быть связано с ее коммерциализацией, особенно вызванное движимым прибылью решением крупных корпораций передать свои исследования на аутсорсинг университетам и контрактным исследовательским организациям . [97]

Теория социальных систем , изложенная в работах немецкого социолога Никласа Лумана , позволяет поставить аналогичный диагноз. Эта теория утверждает, что каждая система, такая как экономика, наука, религия или средства массовой информации, общается, используя свой собственный код: истинный и ложный для науки, прибыли и убытки для экономики, новости и неновости для средств массовой информации и так далее. [98] [99] науки По мнению некоторых социологов, медиатизация , [100] его коммодификация [97] и его политизация, [100] [101] в результате структурной связи между системами привели к путанице исходных системных кодов.

Проблемы с системой публикаций в науке [ править ]

Предвзятость публикации ​ ​

Основной причиной низкой воспроизводимости является систематическая ошибка публикации, возникающая из-за того, что статистически незначимые результаты и, казалось бы, неоригинальные повторения публикуются редко. Лишь очень небольшая часть академических журналов по психологии и нейронаукам открыто приветствовала представление повторных исследований с указанием их целей и масштабов или инструкций для авторов. [102] [103] Это не поощряет отчеты или даже попытки провести повторные исследования. Среди 1576 исследователей, опрошенных Nature в 2016 году, лишь меньшинство когда-либо пытались опубликовать повторные исследования, а несколько респондентов, опубликовавших неудачные повторения, отметили, что редакторы и рецензенты требовали, чтобы они преуменьшали сравнение с оригинальными исследованиями. [5] [90] Анализ 4270 эмпирических исследований в 18 деловых журналах с 1970 по 1991 год показал, что менее 10% статей по бухгалтерскому учету, экономике и финансам и 5% статей по менеджменту и маркетингу представляют собой исследования, повторяющиеся. [84] [104] Предвзятость публикации усиливается давлением со стороны автора и собственной предвзятостью подтверждения . [а] и представляет собой неотъемлемую опасность в этой области, требующую определенной степени скептицизма со стороны читателей. [38]

Предвзятость публикации приводит к тому, что психолог Роберт Розенталь называет « эффектом ящика с папками ». Эффект ящика с файлами — это идея о том, что вследствие предвзятости публикации значительное количество отрицательных результатов [б] не публикуются. По словам философа науки Фелипе Ромеро, это имеет тенденцию создавать «вводящую в заблуждение литературу и предвзятые метааналитические исследования». [23] и если принять во внимание предвзятость публикаций наряду с тем фактом, что большинство проверенных гипотез могут быть ложными априори , вполне вероятно, что значительная часть результатов исследований может быть ложноположительными, как показал метаученый Джон Иоаннидис. [1] В свою очередь, высокая доля ложноположительных результатов в опубликованной литературе может объяснить, почему многие результаты невоспроизводимы. [23]

Культура «Публикуй или погибни »

Дополнительная информация: Опубликуй или погибни.

Последствия для воспроизводимости предвзятости публикаций усугубляются академической культурой «опубликуй или погибни». Как объяснил метаученый Даниэле Фанелли, культура «публикуй или погибни» — это социологический аспект академических кругов, в соответствии с которым ученые работают в среде с очень высоким давлением, требующим публикации их работ в признанных журналах. Это является следствием гиперконкуренции в академической рабочей среде и того, что библиометрические параметры (например, количество публикаций) все чаще используются для оценки научной карьеры. [106] По словам Фанелли, это подталкивает ученых к использованию ряда стратегий, направленных на то, чтобы сделать результаты «доступными для публикации». В контексте предвзятости публикаций это может означать принятие поведения, направленного на получение положительных или статистически значимых результатов, часто в ущерб их достоверности (см. QRP, раздел 4.3). [106]

По словам основателя Центра открытой науки Брайана Носека и его коллег, культура «публикуй или погибни» создала ситуацию, в которой цели и ценности отдельных ученых (например, возможность публикации) не совпадают с общими целями науки (например, поиск научной истины). ). Это наносит ущерб достоверности опубликованных результатов. [107]

Философ Брайан Д. Эрп и психолог Джим Эверетт утверждают, что, хотя копирование отвечает интересам ученых и исследователей как группы, особенности академической психологической культуры препятствуют воспроизведению отдельными исследователями. Они утверждают, что выполнение репликаций может занять много времени и отнять ресурсы у проектов, которые отражают оригинальное мышление исследователя. Их труднее публиковать, главным образом потому, что они неоригинальны, и даже когда их можно будет опубликовать, они вряд ли будут рассматриваться как важный вклад в эту область. Реплики «приносят меньше признания и вознаграждений, в том числе грантов, своим авторам». [108]

В своей книге 1971 года «Научное знание и его социальные проблемы» философ и историк науки Джером Р. Равец предсказал, что наука — в ее развитии от «маленькой» науки, состоящей из изолированных сообществ исследователей, к «большой» науке или «технонауке» — столкнется с серьезными проблемами во внутренней системе контроля качества. Он признал, что структура стимулов для современных ученых может стать дисфункциональной, создавая извращенные стимулы для публикации любых результатов, какими бы сомнительными они ни были. По мнению Равеца, качество науки поддерживается только тогда, когда существует сообщество ученых, связанных набором общих норм и стандартов, которые хотят и могут привлекать друг друга к ответственности.

Стандарты отчетности [ править ]

Определенная издательская практика также затрудняет воспроизведение и отслеживание серьезности кризиса воспроизводимости, поскольку статьи часто содержат недостаточно описаний, чтобы другие ученые могли воспроизвести исследование. Проект воспроизводимости: биология рака показал, что из 193 экспериментов из 53 ведущих статей о раке, опубликованных в период с 2010 по 2012 год, только у 50 экспериментов из 23 статей есть авторы, которые предоставили исследователям достаточно информации, чтобы переделать исследования, иногда с изменениями. Ни в одной из 193 рассмотренных статей не были полностью описаны протоколы экспериментов, а для воспроизведения 70% экспериментов требовалось запросить ключевые реагенты. [80] [81] Вышеупомянутое исследование эмпирических результатов в журнале «Стратегический менеджмент» показало, что 70% из 88 статей не удалось воспроизвести из-за отсутствия достаточной информации для данных или процедур. [84] [88] В сфере водных ресурсов и управления большинство из 1987 статей, опубликованных в 2017 году, не удалось воспроизвести из-за отсутствия доступной информации, размещенной в Интернете. [89] В исследованиях потенциалов, связанных с событиями , только две трети информации, необходимой для воспроизведения исследования, были представлены в выборке из 150 исследований, что подчеркивает наличие существенных пробелов в отчетности. [109]

Сомнительные исследовательские мошенничество практики и

Дополнительная информация: Научная честность и научные нарушения.

Сомнительные исследовательские практики (QRP) — это преднамеренное поведение, которое извлекает выгоду из серой зоны приемлемого научного поведения или использует степени свободы исследователя (исследователь DF), что может способствовать невоспроизводимости результатов за счет увеличения вероятности ложноположительных результатов. [110] [111] [38] Исследователь DF проявляется в формулировании гипотез , планировании экспериментов , сборе и анализе данных , а также в составлении отчетов об исследованиях . [111] Некоторыми примерами QRP являются сбор данных , [111] [112] [37] [с] выборочная отчетность , [110] [111] [112] [37] [д] и HARKing (выдвижение гипотез после того, как станут известны результаты). [111] [112] [37] [Это] В медицине невоспроизводимые исследования имеют шесть общих черт. К ним относятся исследователи, которые не закрывают глаза на экспериментальную группу по сравнению с контрольной группой, неспособность повторить эксперименты, отсутствие положительного и отрицательного контроля , неспособность сообщить все данные, ненадлежащее использование статистических тестов и использование реагентов, которые не были должным образом проверены. . [114]

QRP не включает более явные нарушения научной честности, такие как фальсификация данных. [110] [111] Мошеннические исследования действительно имеют место, как в случае с научным мошенничеством социального психолога Дидерика Стапеля . [115] [13] когнитивный психолог Марк Хаузер и социальный психолог Лоуренс Санна, [13] но, похоже, это редкость. [13]

Распространенность [ править ]

По словам профессора Международного университета Эрнеста О'Бойла и психолога Мартина Гетца, около 50% исследователей, опрошенных в ходе различных исследований, признались, что занимаются HARKing. [116] В опросе 2000 психологов, проведенном ученым-бихевиористом Лесли К. Джоном и его коллегами, около 94% психологов признались, что использовали хотя бы один QRP. В частности, 63% признались, что не сообщили обо всех зависимых показателях исследования, 28% сообщили обо всех условиях исследования и 46% выборочно сообщили об исследованиях, которые дали желаемую картину результатов. Кроме того, 56% признались, что собрали больше данных после проверки уже собранных данных, а 16% — что прекратили сбор данных, поскольку желаемый результат уже был виден. [37] По оценкам исследователя биотехнологии Дж. Лесли Глика в 1992 году, от 10% до 20% исследований и разработок включали либо QRP, либо откровенное мошенничество. [117] Методология, используемая для оценки QRP, оспаривается, и более поздние исследования показали, что в среднем уровень распространенности ниже. [118]

Метаанализ 2009 года показал, что 2% ученых в разных областях хотя бы один раз признались в фальсификации исследований, а 14% признались, что знали кого-то, кто это сделал. Согласно одному исследованию, о таких нарушениях чаще сообщали медицинские исследователи, чем другие. [119]

Статистические проблемы [ править ]

статистическая мощность Низкая ​

По мнению профессора Университета Дикина Тома Стэнли и его коллег, одной из вероятных причин, по которой исследования не воспроизводятся, является низкая статистическая мощность . Это происходит по трем причинам. Во-первых, повторное исследование с низкой мощностью вряд ли будет успешным, поскольку по определению оно имеет низкую вероятность обнаружить истинный эффект. Во-вторых, если исходное исследование имеет низкую мощность, оно даст необъективные оценки размера эффекта . При проведении априорного анализа мощности для исследования репликации это приведет к недооценке необходимого размера выборки. В-третьих, если исходное исследование имеет низкую мощность, вероятность того, что после исследования будет получен статистически значимый результат, отражающий истинный эффект, довольно низка. Поэтому вполне вероятно, что попытка повторить оригинальное исследование потерпит неудачу. [14]

Стэнли и его коллеги оценили среднюю статистическую мощность психологической литературы, проанализировав данные 200 метаанализов . Они обнаружили, что в среднем статистические данные психологических исследований составляют от 33,1% до 36,4%. Эти значения довольно низкие по сравнению с 80%, которые считаются адекватной статистической мощностью для эксперимента. По данным 200 метаанализов медиана исследований с адекватной статистической мощностью составляла от 7,7% до 9,1%. [14]

Статистическая мощность нейробиологических исследований довольно низка. Расчетная статистическая мощность исследования фМРТ составляет от 0,08 до 0,31. [120] а показатель исследований связанных с событиями потенциалов оценивался как 0,72–0,98 для больших размеров эффекта, 0,35–0,73 для средних эффектов и 0,10–0,18 для небольших эффектов. [109]

В исследовании, опубликованном в журнале Nature , психолог Кэтрин Баттон и ее коллеги провели аналогичное исследование с 49 метаанализами в области нейробиологии, оценивая медианную статистическую мощность в 21%. [121] Метаученый Джон Иоаннидис и его коллеги рассчитали оценку средней мощности для эмпирических экономических исследований, определив медианную мощность 18% на основе литературы, основанной на 6700 исследованиях. [122] В свете этих результатов вполне вероятно, что основной причиной широко распространенных неудач в воспроизведении результатов в нескольких научных областях может быть очень низкая в среднем статистическая мощность.

Статистическая неоднородность ​ ​

Как также сообщили Стэнли и его коллеги, еще одной причиной, по которой исследования могут не воспроизвестися, является высокая гетерогенность эффектов, которые предстоит воспроизвести. В метаанализе «гетерогенность» относится к расхождениям в результатах исследований, возникающим в результате отсутствия единого истинного размера эффекта. Вместо этого результаты в таких случаях лучше рассматривать как распределение истинных эффектов. [14] Статистическая неоднородность рассчитывается с использованием статистики I-квадрат, [123] определяется как «доля (или процент) наблюдаемых различий между сообщаемыми размерами эффекта, которые не могут быть объяснены рассчитанными стандартными ошибками, связанными с этими сообщаемыми размерами эффекта». [14] Это изменение может быть связано с различиями в экспериментальных методах, популяциях, когортах и ​​статистических методах между повторными исследованиями. Гетерогенность представляет собой проблему для исследований, пытающихся воспроизвести ранее обнаруженные размеры эффекта . Когда гетерогенность высока, последующие повторы имеют высокую вероятность обнаружить размер эффекта, радикально отличающийся от исходного исследования. [ф]

Важно отметить, что значительные уровни гетерогенности также обнаруживаются при прямой/точной репликации исследования. Стэнли и его коллеги обсуждают это, сообщая об исследовании количественного поведенческого ученого Ричарда Кляйна и его коллег, в котором авторы попытались воспроизвести 15 психологических эффектов в 36 различных местах в Европе и США. из 16 эффектов (I-квадрат = от 23% до 91%). Важно отметить, что хотя сайты репликации намеренно различались по ряду характеристик, такие различия могли объяснить очень небольшую гетерогенность. По мнению Стэнли и его коллег, это предполагает, что гетерогенность могла быть подлинной характеристикой исследуемых явлений. Например, на явления могут влиять так называемые «скрытые модераторы» — соответствующие факторы, которые ранее не считались важными для достижения определенного эффекта.

В своем анализе 200 метаанализов психологических эффектов Стэнли и его коллеги обнаружили средний процент гетерогенности I-квадрата = 74%. По мнению авторов, такой уровень неоднородности можно считать «огромным». Это в три раза больше, чем дисперсия величины эффекта случайной выборки, измеренная в их исследовании. Если рассматривать ошибку выборки , гетерогенность дает стандартное отклонение от одного исследования к другому, даже превышающее средний размер эффекта 200 исследованных ими метаанализов. [г] Авторы приходят к выводу, что если репликация определяется последующим исследованием, обнаружившим размер эффекта, достаточно похожий на исходный, успех репликации маловероятен, даже если репликации имеют очень большие размеры выборки. Важно отметить, что это происходит, даже если репликации являются прямыми или точными, поскольку гетерогенность, тем не менее, в этих случаях остается относительно высокой.

Другие [ править ]

В экономике кризис репликации также может усугубиться из-за хрупкости эконометрических результатов: [124] использование различных, но приемлемых процедур оценки или методов предварительной обработки данных может привести к противоречивым результатам. [125] [126] [127]

Контекстная чувствительность [ править ]

Профессор Нью-Йоркского университета Джей Ван Бавел и его коллеги утверждают, что еще одна причина, по которой результаты трудно воспроизвести, — это чувствительность к контексту определенных психологических эффектов. С этой точки зрения, неудачи при воспроизведении могут быть объяснены контекстуальными различиями между исходным экспериментом и репликацией, часто называемыми «скрытыми модераторами ». [128] Ван Бавел и его коллеги проверили влияние контекстной чувствительности, повторно проанализировав данные широко цитируемого проекта воспроизводимости, реализованного Open Science Collaboration. [11] Они перекодировали эффекты в соответствии с их чувствительностью к контекстуальным факторам, а затем проверили взаимосвязь между контекстной чувствительностью и успехом репликации в различных регрессионных моделях .

Было обнаружено, что чувствительность к контексту отрицательно коррелирует с успехом репликации, так что более высокие оценки чувствительности к контексту были связаны с более низкой вероятностью воспроизведения эффекта. [час] Важно отметить, что чувствительность к контексту значительно коррелировала с успехом репликации даже с поправкой на другие факторы, считающиеся важными для воспроизведения результатов (например, размер эффекта и размер выборки оригинала, статистическая мощность репликации, методологическое сходство между оригиналом и репликацией). [я] В свете результатов авторы пришли к выводу, что попытка репликации в другое время, в другом месте или с другим образцом может существенно изменить результаты эксперимента. Таким образом, чувствительность к контексту может быть причиной того, что некоторые эффекты не воспроизводятся в психологии. [128]

уровень точности гипотезы Базовый

См. Также: Ошибка базовой ставки

По мнению философа Александра Берда, возможная причина низких показателей воспроизводимости в некоторых научных областях заключается в том, что большинство проверенных гипотез априори ложны . [129] С этой точки зрения, низкие показатели воспроизводимости могут соответствовать качеству науки. Кроме того, ожидание того, что большинство результатов должны быть воспроизведены, было бы ошибочным и, по мнению Бёрда, является формой ошибки базовой ставки. Аргумент Берда работает следующим образом. Предполагая идеальную ситуацию теста значимости, при которой вероятность неправильного отклонения нулевой гипотезы составляет 5% (т.е. ошибка типа I ), а вероятность правильного отклонения нулевой гипотезы составляет 80% (т.е. мощность ), в контексте, где высокая доля проверенных гипотез оказывается ложной, вполне возможно, что количество ложноположительных результатов будет большим по сравнению с числом истинноположительных результатов. [129] Например, в ситуации, когда только 10% проверенных гипотез на самом деле верны, можно подсчитать, что до 36% результатов будут ложноположительными. [Дж]

Утверждение о том, что ложность большинства проверенных гипотез может объяснить низкие показатели воспроизводимости, становится еще более актуальным, если учесть, что средняя мощность статистических тестов в определенных областях может быть намного ниже 80%. Например, доля ложноположительных результатов возрастает до значения от 55,2% до 57,6% при расчете с оценками средней мощности от 34,1% до 36,4% для психологических исследований, как это предоставили Стэнли и его коллеги в своем анализе 200 мета-положительных результатов. анализы в полевых условиях. [14] Высокая доля ложноположительных результатов приведет к тому, что многие результаты исследований станут невоспроизводимыми.

Бёрд отмечает, что утверждение о том, что большинство проверенных гипотез априори ложны в определенных научных областях, может быть правдоподобным, учитывая такие факторы, как сложность исследуемых явлений, тот факт, что теории редко являются бесспорными, «дистанция вывода» между теориями и гипотезы и легкость, с которой можно генерировать гипотезы. В этом отношении Берд приводит в качестве примера клиническую медицину, генетическую и молекулярную эпидемиологию и социальную психологию. Эта ситуация радикально отличается в областях, где теории имеют выдающуюся эмпирическую основу и гипотезы могут быть легко выведены из теорий (например, экспериментальная физика). [129]

Последствия [ править ]

Когда в литературе эффекты ошибочно указываются как значимые, неспособность обнаружить это путем репликации приведет к канонизации таких ложных фактов. [130]

Исследование 2021 года показало, что статьи в ведущих журналах по общей тематике, психологии и экономике с выводами, которые невозможно воспроизвести, с течением времени имеют тенденцию цитироваться чаще, чем воспроизводимые исследовательские статьи, вероятно, потому, что эти результаты неожиданны или интересны. На эту тенденцию не влияет публикация неудачных репродукций, после чего только 12% статей, цитирующих оригинальные исследования, будут упоминать о неудачных репликациях. [131] [132] Кроме того, эксперты могут предсказать, какие исследования будут воспроизводиться, что привело авторов исследования 2021 года Марты Серра-Гарсия и Ури Гнизи к выводу, что эксперты применяют более низкие стандарты к интересным результатам при принятии решения о их публикации. [132]

и восприятие общественности Осведомленность

В научном сообществе были выражены опасения, что широкая общественность может считать науку менее заслуживающей доверия из-за неудачных попыток повторения. [133] Исследования, подтверждающие эту обеспокоенность, редки, но общенациональное репрезентативное исследование в Германии показало, что более 75% немцев не слышали о неудачах в науке. [134] Исследование также показало, что большинство немцев положительно воспринимают усилия по тиражированию: только 18% считают, что отсутствие тиражирования показывает, что науке нельзя доверять, в то время как 65% считают, что исследования тиражирования показывают, что наука применяет контроль качества, и 80% согласны с тем, что ошибки и исправления являются частью науки. [134]

в кругах Ответ академических

Поскольку кризис репликации психологии привлек внимание, психолог из Принстонского университета Сьюзан Фиск вызвала споры за то, что выступила против критиков психологии за то, что она назвала издевательствами и подрывом науки. [135] [136] [137] [138] Она назвала этих неопознанных «противников» такими именами, как «методологический террорист» и «самопровозглашенная полиция данных», заявив, что критику психологии следует высказывать только в частном порядке или путем обращения в журналы. [135] Статистик и политолог Колумбийского университета Эндрю Гельман ответил Фиске, заявив, что она обнаружила, что готова терпеть «мертвую парадигму» ошибочной статистики и отказывалась отозвать публикации, даже когда были указаны ошибки. [135] Он добавил, что ее пребывание на посту редактора было ужасным и что ряд опубликованных статей, которые она редактировала, были основаны на крайне слабых статистических данных; одна из опубликованных самим Фиске статей содержала серьезную статистическую ошибку и «невозможные» выводы. [135]

доверия Революция ​ ​

Некоторые исследователи в области психологии указывают, что кризис репликации является основой для «революции доверия», когда изменения в стандартах, по которым оценивается психологическая наука, могут включать в себя акцент на прозрачности и открытости, предварительную регистрацию исследовательских проектов и тиражирование исследований с более высокими стандартами для улучшения доказательств. Сила научных утверждений. [139] Такие изменения могут снизить продуктивность отдельных исследователей, но этого эффекта можно избежать путем обмена данными и более тесного сотрудничества. [139] Революция доверия может быть полезна для исследовательской среды. [140]

Средства правовой защиты [ править ]

Сосредоточение внимания на кризисе репликации привело к возобновлению усилий в психологии по повторной проверке важных результатов. [38] [141] Специальный выпуск журнала «Социальная психология» за 2013 год был посвящен исследованиям репликации. [12]

стандартизация , а также (требование) прозрачности используемых статистических и экспериментальных методов. Предложены [142] Тщательное документирование экспериментальной установки считается решающим для воспроизводимости экспериментов, и различные переменные не могут быть документированы и стандартизированы, например, рационы животных в исследованиях на животных. [143]

В статье Джона Иоаннидиса 2016 года подробно обсуждалась тема «Почему большинство клинических исследований бесполезны». [144] Иоаннидис описывает то, что он считает некоторыми проблемами, и призывает к реформе, характеризуя определенные моменты, позволяющие медицинским исследованиям снова стать полезными; Одним из примеров, который он приводит, является необходимость того, чтобы медицина была ориентирована на пациента (например, в форме Института исследования результатов, ориентированных на пациента ), а не в нынешней практике, которая в основном заботится о «потребностях врачей, исследователей или спонсоров».

Реформа научных публикаций [ править ]

Метанаука [ править ]

Дополнительная информация: Метанаука.

Метанаука — это использование научной методологии для изучения самой науки. Он стремится повысить качество научных исследований при одновременном сокращении отходов. Он также известен как «исследовательские исследования» и «наука о науке», поскольку он использует методы исследования для изучения того, как исследования проводятся и где можно внести улучшения. Метанаука касается всех областей исследований, и ее называют «взглядом на науку с высоты птичьего полета». [145] По словам Иоаннидиса: «Наука – это лучшее, что случилось с людьми… но мы можем сделать это лучше». [146]

Мета-исследования продолжают проводиться для выявления причин кризиса и их устранения. Методы преодоления кризиса включают предварительную регистрацию научных исследований и клинических испытаний , а также создание таких организаций, как CONSORT и EQUATOR Network , которые выпускают рекомендации по методологии и отчетности. Продолжаются усилия по реформированию системы академического стимулирования, совершенствованию процесса рецензирования , сокращению злоупотреблений статистикой , борьбе с предвзятостью в научной литературе, а также повышению общего качества и эффективности научного процесса.

Презентация методологии [ править ]

Некоторые авторы утверждают, что недостаточное информирование об экспериментальных методах является основной причиной кризиса воспроизводимости и что лучшее освещение плана эксперимента и статистического анализа могло бы улучшить ситуацию. Эти авторы склонны выступать за широкие культурные изменения в научном сообществе в том, как рассматривать статистику, и за более принудительное давление со стороны научных журналов и финансирующих организаций. [147] Но были высказаны опасения по поводу возможности неправильного применения стандартов прозрачности и тиражирования как к качественным, так и к количественным исследованиям. [148]

К журналам о бизнесе и менеджменте, которые ввели редакционную политику в отношении доступности, репликации и прозрачности данных, относятся журнал «Стратегический менеджмент» , «Журнал международных бизнес-исследований » и «Обзор менеджмента и организации» . [84]

Рецензирование без учета результатов [ править ]

Дополнительная информация: экспертная оценка без учета результатов.

В ответ на обеспокоенность психологов по поводу предвзятости публикаций и сбора данных более 140 психологических журналов приняли рецензирование без учета результатов. При таком подходе исследования принимаются не на основе их результатов и после завершения исследований, а до их проведения, а также на основе методологической строгости их экспериментальных планов и теоретического обоснования методов статистического анализа до того, как данные будут получены. проводится сбор или анализ. [149] Ранний анализ этой процедуры показал, что 61% слепых исследований привели к нулевым результатам , в отличие от примерно 5–20% в более ранних исследованиях. [92] Кроме того, в психологии стало гораздо более распространенным явлением крупномасштабное сотрудничество между исследователями, работающими в нескольких лабораториях в разных странах и регулярно предоставляющими свои данные для оценки различным исследователям. [150]

Предварительная регистрация на обучение [ править ]

Дополнительная информация: Предварительная регистрация и регистрация клинических исследований.

Научные публикации начали использовать отчеты предварительной регистрации, чтобы справиться с кризисом репликации. [151] [152] Формат зарегистрированного отчета требует, чтобы авторы предоставили описание методов исследования и анализа до сбора данных. После того как метод и план анализа проходят рецензирование, публикация результатов предварительно гарантируется в зависимости от того, соблюдают ли авторы предложенный протокол. Одна из целей зарегистрированных отчетов — избежать предвзятости публикаций в отношении важных результатов, которые могут привести к использованию сомнительных исследовательских практик. Другой вариант — поощрять публикацию исследований с использованием строгих методов.

Журнал Psychoological Science поощряет предварительную регистрацию исследований и сообщение о величине эффекта и доверительных интервалах. [153] Главный редактор также отметил, что перед публикацией рукописей редакция будет просить повторить исследования с неожиданными результатами с использованием небольших выборок.

Метаданные и цифровые инструменты репликации для отслеживания

Было высказано предположение, что необходим «простой способ проверить, как часто исследования повторялись и подтверждаются ли первоначальные результаты». [131] Категоризация и рейтинг воспроизводимости на уровне исследования или результатов, а также добавление ссылок и рейтинг сторонних подтверждений могут проводиться рецензентами, научным журналом или читателями в сочетании с новыми цифровыми платформами или инструменты.

Статистическая реформа ​ ​

Требование меньших p значений [ править ]

Многие публикации требуют, чтобы было p значение < 0,05, чтобы заявить о статистической значимости . Статья «Переопределить статистическую значимость», [154] подписанный большим количеством ученых и математиков, предлагает, чтобы «в областях, где порог для определения статистической значимости новых открытий составляет p < 0,05, мы предлагаем изменение до p < 0,005. Этот простой шаг немедленно улучшит воспроизводимость научных исследований». во многих областях». что «основная причина невоспроизводимости заключается в том, что статистические стандарты доказательности для заявлений о новых открытиях во многих областях науки просто слишком низки Их обоснование заключается в том , . ложных срабатываний даже при отсутствии других экспериментальных, процедурных проблем и проблем с отчетностью». [154]

Этот призыв впоследствии подвергся критике со стороны другой большой группы, которая утверждала, что «переопределение» пороговых значений не решит текущие проблемы, а приведет к появлению некоторых новых, и что, в конечном итоге, все пороговые значения необходимо обосновывать в каждом конкретном случае, а не следуя общим соглашениям. [155]

Решение проблемы неправильной интерпретации p -значений [ править ]

Дополнительная информация: Неправильное использование p-значений.

Хотя статистики единодушны в том, что использование « p < 0,05» в качестве стандарта значимости дает более слабые доказательства, чем обычно принято считать, отсутствует единодушие в отношении того, что следует с этим делать. Некоторые выступают за то, чтобы байесовские методы заменили p -значения. Это не произошло в широком масштабе, отчасти потому, что это сложно, а отчасти потому, что многие пользователи не доверяют спецификациям предыдущих дистрибутивов в отсутствие точных данных. Упрощенную версию байесовского аргумента, основанную на проверке нулевой гипотезы точки, предложил фармаколог Дэвид Колкухун . [156] [157] Логические проблемы индуктивного вывода обсуждались в «Проблеме с p-значениями» (2016). [158]

Опасность зависимости от значений p возникает отчасти потому, что даже наблюдение p = 0,001 не обязательно является убедительным доказательством против нулевой гипотезы. [157] Несмотря на то, что отношение правдоподобия в пользу альтернативной гипотезы по сравнению с нулевой близко к 100, если бы гипотеза была неправдоподобной, а априорная вероятность реального эффекта была бы равна 0,1, даже наблюдение p = 0,001 имело бы ложноположительный результат. риск 8 процентов. Ему все равно не удастся достичь уровня 5 процентов.

Было рекомендовано не использовать термины «значительный» и «незначительный». [157] Значения p и доверительные интервалы по-прежнему должны быть указаны, но они должны сопровождаться указанием риска ложноположительного результата. Было высказано предположение, что лучший способ сделать это — вычислить априорную вероятность, в которую необходимо поверить, чтобы достичь ложноположительного риска определенного уровня, например 5%. Расчеты можно производить с помощью различных компьютерных программ. [157] [159] Этот обратный байесовский подход, предложенный физиком Робертом Мэтьюзом в 2001 году, [160] Это один из способов избежать проблемы, заключающейся в том, что априорная вероятность редко известна.

выборки увеличения Поощрение размера

Чтобы улучшить качество репликации, часто необходимы более крупные размеры выборки , чем те, которые использовались в исходном исследовании. [161] Необходимы большие размеры выборки, поскольку оценки размеров эффекта в опубликованных работах часто преувеличены из-за систематической ошибки публикации и большой вариативности выборки, связанной с небольшими размерами выборки в оригинальном исследовании. [162] [163] [164] Кроме того, использование порогов значимости обычно приводит к завышенным эффектам, поскольку, особенно при небольших размерах выборки, значимыми станут только самые крупные эффекты. [165]

Усилия по репликации ​

Финансирование [ править ]

В июле 2016 года Нидерландская организация научных исследований выделила 3 ​​миллиона евро на повторные исследования. Финансирование предназначено для тиражирования на основе повторного анализа существующих данных и тиражирования путем сбора и анализа новых данных. Финансирование доступно в области социальных наук, медицинских исследований и инноваций в области здравоохранения. [166]

В 2013 году Фонд Лоры и Джона Арнольдов профинансировал запуск Центра открытой науки, выделив грант в размере 5,25 миллиона долларов. К 2017 году он предоставил дополнительно 10 миллионов долларов финансирования. [167] Он также профинансировал открытие Инновационного центра метаисследований в Стэнфорде при Стэнфордском университете, которым руководят Иоаннидис и ученый-медик Стивен Гудман для изучения способов улучшения научных исследований. [167] Он также обеспечил финансирование инициативы AllTrials , частично возглавляемой ученым-медиком Беном Голдакром . [167]

послесреднее на Упор образование

См. также: Проектное обучение.

На основании курсовой работы по экспериментальным методам в Массачусетском технологическом институте, Стэнфорде и Вашингтонском университете было высказано предположение, что курсы по психологии и другим областям должны делать упор на попытках повторения, а не на оригинальных исследованиях. [168] [169] [170] Такой подход поможет студентам изучить научную методологию и обеспечить многочисленные независимые повторы значимых научных результатов, которые проверят воспроизводимость научных результатов. Некоторые рекомендовали обязать аспирантов опубликовать попытку высококачественного воспроизведения темы, связанной с их докторским исследованием, до окончания учебы. [171]

Дипломная работа за последний год [ править ]

Некоторые учебные заведения требуют, чтобы студенты бакалавриата представили дипломную работу за последний год, состоящую из оригинального исследования. Дэниел Кинтана, психолог из Университета Осло в Норвегии, рекомендовал поощрять студентов к повторным исследованиям в дипломных проектах, а также обучать их открытой науке . [172]

Полуавтоматический [ править ]
«Общий процесс проверки воспроизводимости и надежности литературы по биологии рака с помощью робота. Сначала анализ текста используется для извлечения утверждений о влиянии лекарств на экспрессию генов при раке молочной железы. Затем две разные команды полуавтоматически проверяли эти утверждения, используя два разных протокола и две разные клеточные линии (MCF7 и MDA-MB-231) с использованием системы автоматизации лабораторий Eve».

Исследователи продемонстрировали способ полуавтоматического тестирования на воспроизводимость: утверждения об экспериментальных результатах были извлечены по состоянию на 2022 год из несемантических статей по исследованию экспрессии генов рака и впоследствии воспроизведены с помощью робота-ученого « Ева ». [173] [174] Проблемы этого подхода заключаются в том, что он может быть неприменим для многих областей исследований и что достаточные экспериментальные данные не могут быть извлечены из некоторых или многих статей, даже если они доступны.

Привлечение оригинальных авторов [ править ]

Психолог Дэниел Канеман утверждал, что в психологии к повторению следует привлекать первоначальных авторов, поскольку опубликованные методы часто слишком расплывчаты. [175] [176] Другие, такие как психолог Эндрю Уилсон, не согласны с этим, утверждая, что первоначальные авторы должны подробно описать методы. [175] Исследование скорости репликации в психологии в 2012 году показало более высокие показатели успеха репликации в исследованиях репликации, когда авторы пересекались с первоначальными авторами исследования. [177] (91,7% успешных показателей повторения в исследованиях с дублированием авторов по сравнению с 64,6% успешных показателей повторения без совпадения авторов).

Наука большой команды [ править ]

Кризис репликации привел к формированию и развитию различных крупномасштабных и совместных сообществ, объединяющих свои ресурсы для решения одного вопроса в разных культурах, странах и дисциплинах. [178] Основное внимание уделяется репликации, чтобы гарантировать, что эффект распространяется за пределы конкретной культуры, и выяснить, является ли этот эффект воспроизводимым и подлинным. [179] Это позволяет проводить междисциплинарные внутренние проверки, использовать различные точки зрения, использовать единые протоколы для всех лабораторий и набирать более крупные и разнообразные образцы. [179] Исследователи могут сотрудничать, координируя сбор данных или финансируя сбор данных исследователями, которые могут не иметь доступа к фондам, что позволяет увеличить размер выборки и повысить надежность выводов.

научном подходе Более широкие изменения в

Уделяйте особое внимание триангуляции, а не просто репликации [ править ]

Психолог Маркус Р. Мунафо и эпидемиолог Джордж Дэйви Смит в статье, опубликованной в журнале Nature , утверждают, что исследования должны делать упор на триангуляцию , а не только на репликацию, чтобы защититься от ошибочных идей. Они утверждают, что

одна только репликация приведет нас лишь к определенному результату (и) на самом деле может усугубить ситуацию ... [Триангуляция] - это стратегическое использование нескольких подходов для решения одного вопроса. Каждый подход имеет свои собственные несвязанные предположения, сильные и слабые стороны. Результаты, согласующиеся при использовании различных методологий, с меньшей вероятностью будут артефактами . ... Возможно, одной из причин, по которой копирование вызвало такой большой интерес, является часто повторяемая идея о том, что фальсификация лежит в основе научной деятельности. Эта идея была популяризирована максимой Карла Поппера 1950-х годов о том, что теории невозможно доказать, а только фальсифицировать. Тем не менее, чрезмерный упор на повторение экспериментов может создать необоснованное чувство уверенности в результатах, основанных на одном подходе. ... философы науки пошли дальше со времен Поппера. Лучшие описания того, как на самом деле работают ученые, включают то, что эпистемолог Питер Липтон в 1991 году назвал «выводом к лучшему объяснению». [180]

сложных Парадигма систем ​

Дополнительная информация: Комплексная система.

Доминирующей научной и статистической моделью причинно-следственной связи является линейная модель. [181] Линейная модель предполагает, что ментальные переменные — это стабильные свойства, независимые друг от друга. Другими словами, ожидается, что эти переменные не будут влиять друг на друга. Вместо этого модель предполагает, что переменные будут иметь независимое линейное влияние на наблюдаемые результаты. [181]

Социологи Себастьян Уоллот и Дамиан Келти-Стивен утверждают, что линейная модель не всегда подходит. [181] Альтернативой является модель сложной системы, которая предполагает, что ментальные переменные взаимозависимы. Эти переменные не считаются стабильными, скорее, они будут взаимодействовать и адаптироваться к каждому конкретному контексту. [181] Они утверждают, что модель сложной системы часто более подходит для психологии и что использование линейной модели, когда модель сложной системы более уместна, приведет к неудачному повторению. [181]

...психология, возможно, надеется на повторение в тех самых измерениях и в тех самых условиях, когда растущее количество психологических данных явно препятствует прогнозированию повторения. Неспособность воспроизвести может быть явно связана с потенциально неполной, но широкомасштабной неспособностью человеческого поведения соответствовать стандарту независимости... [181]

Репликация должна быть направлена теорий ​​на пересмотр

Воспроизведение имеет основополагающее значение для научного прогресса и позволяет подтвердить оригинальные результаты. Однако одной лишь репликации недостаточно для разрешения кризиса репликации. Усилия по воспроизведению должны быть направлены не только на поддержку или сомнение в первоначальных результатах, но и на замену их пересмотренными, более сильными теориями с большей объяснительной силой. Таким образом, этот подход предполагает сокращение существующих теорий, сравнение всех альтернативных теорий, а также придание усилиям по воспроизведению более продуктивного характера и участие в построении теорий. [182] [183] Однако одного лишь повторения недостаточно. Важно оценить степень обобщения результатов в географических, исторических и социальных контекстах, важно для нескольких научных областей, особенно для практиков и политиков, проводить анализ для принятия важных стратегических решений. Воспроизводимые и воспроизводимые результаты были лучшим предиктором возможности обобщения за пределами исторического и географического контекста, указывая на то, что для социальных наук результаты, полученные в определенный период времени и в определенном месте, могут значимо влиять на то, что универсально присутствует у людей. [184]

наука Открытая ​ ​

Дополнительная информация: Открытая наука.
Вокруг слов «Принципы открытой науки» расположены шесть цветных шестиугольников с текстом. Начиная сверху справа и двигаясь по часовой стрелке, текст на шестиугольниках гласит: Воспроизводимость результатов; Научная честность; Гражданская наука; содействие совместной работе; Простота доступа к знаниям для всех; и стимулирование инноваций. Под шестиугольниками находится большой восклицательный знак и текст «Плюс: повышение цитируемости статей в открытом доступе и данных исследований».
Принципы открытой науки

Открытые данные, программное обеспечение с открытым исходным кодом и аппаратное обеспечение с открытым исходным кодом имеют решающее значение для обеспечения воспроизводимости в смысле проверки исходного анализа данных. Использование проприетарного программного обеспечения, отсутствие публикации аналитического программного обеспечения и отсутствие открытых данных препятствуют тиражированию исследований. Если программное обеспечение, используемое в исследованиях, не является открытым исходным кодом, воспроизведение результатов с использованием различных конфигураций программного и аппаратного обеспечения невозможно. [185] В ЦЕРН есть проекты «Открытые данные» и «Сохранение анализа ЦЕРН» для хранения данных, всей соответствующей информации, а также всего программного обеспечения и инструментов, необходимых для сохранения анализа в ходе крупных экспериментов БАК . Помимо всего программного обеспечения и данных, сохраненные аналитические активы включают метаданные, которые позволяют понять рабочий процесс анализа, соответствующее программное обеспечение, систематические неопределенности, статистические процедуры и значимые способы поиска анализа, а также ссылки на публикации и резервные материалы. [186] Программное обеспечение ЦЕРН имеет открытый исходный код и доступно для использования за пределами физики элементарных частиц , а для других областей предоставляются некоторые рекомендации по широким подходам и стратегиям, используемым для открытой науки в современной физике элементарных частиц. [187]

Онлайн-хранилища, в которых данные, протоколы и выводы могут храниться и оцениваться общественностью, стремятся улучшить целостность и воспроизводимость исследований. Примеры таких репозиториев включают Open Science Framework , Registry of Research Data Repositories и Psychfiledrawer.org. Такие сайты, как Open Science Framework, предлагают значки за использование практик открытой науки, чтобы стимулировать ученых. Однако существуют опасения, что те, кто, скорее всего, предоставят свои данные и код для анализа, являются наиболее опытными исследователями. [188] Иоаннидис предположил, что «может возникнуть парадокс: самые дотошные, изощренные, методически подкованные и осторожные исследователи могут стать более восприимчивыми к критике и атакам на репутацию со стороны реанализаторов, которые охотятся за ошибками, какими бы незначительными они ни были». [188]

См. также [ править ]

Примечания [ править ]

  1. ^ Согласно Психологическому словарю APA , предвзятость подтверждения — это «тенденция собирать доказательства, подтверждающие ранее существовавшие ожидания, обычно путем подчеркивания или поиска подтверждающих доказательств, одновременно отклоняя или не ища противоречивые доказательства». [105]
  2. ^ В контексте проверки значимости нулевой гипотезы результаты, которые не являются статистически значимыми
  3. ^ Извлечение данных, также известное как p- хакинг или p -рыбалка , представляет собой неправильное использование данных с помощью множества методов для поиска поддержки гипотез, для которых данные недостаточны. [113]
  4. ^ Выборочная отчетность также известна как частичная публикация . Отчетность — это возможность раскрыть все использованные или эксплуатируемые степени свободы исследователя. Выборочная отчетность — это неспособность сообщить соответствующие детали или варианты выбора, такие как некоторые независимые и зависимые переменные, недостающие данные, исключения данных и исключения выбросов. [111]
  5. ^ HARKing, также известный как апостериорное повествование , - это когда исследовательский анализ оформляется как подтверждающий анализ. Он предполагает изменение гипотезы после проведения исследования, чтобы новая гипотеза могла быть подтверждена результатами эксперимента. [111]
  6. ^ Авторы приводят пример, в котором, предполагая, что истинная средняя корреляция, отражающая эффект, равна 0,2, а стандартное отклонение распределения эффектов также составляет 0,2, повторное исследование будет иметь 62% вероятность обнаружения истинного значения от среднего до большого. эффект (r > 0,3) или незначительный истинный эффект (r < 0,1).
  7. ^ 0,412 против 0,389 в единицах стандартизированных средних разностей (SMD).
  8. ^ Основным используемым DV был субъективный бинарный рейтинг (т.е. реплицируется/не реплицируется), использованный в исходном исследовании OSC. Авторы также измерили корреляции с другими показателями воспроизводимости (например, доверительными интервалами) и обнаружили почти равные корреляции между контекстной чувствительностью и успехом репликации.
  9. ^ Независимый эффект контекстной чувствительности можно наблюдать как в множественной логистической регрессии, так и в модели иерархической регрессии. В последнем случае контекстная чувствительность была включена во вторую ступень иерархии и изменение коэффициента множественной детерминации оказалось значимым.
  10. ^ Следуя аргументу Берда, этот процент получается путем расчета вероятности ложноположительного отчета (FPRP) следующим образом.
    • FPRP = Количество ложных срабатываний / Общее количество срабатываний
    • Количество ложноположительных результатов = Вероятность получения ложноположительного результата x Количество отрицательных тестов.
    • Количество истинно положительных результатов = Вероятность получения истинно положительного результата x Количество положительных тестов.
    Предполагая:
    • Количество тестов = 1000
    • Доля истинных гипотез p = 0,10
    • Вероятность получения ложноположительного результата а = 0,05.
    • Вероятность получения истинно положительного результата 1 – B = 0,8.
    Затем ФППР = (0,05 х 900)/(0,05 х 900 + 0,8 х 100) = 0,36

Ссылки [ править ]

  1. ^ Перейти обратно: а б Иоаннидис Дж. П. (август 2005 г.). «Почему большинство опубликованных результатов исследований являются ложными» . ПЛОС Медицина . 2 (8): е124. doi : 10.1371/journal.pmed.0020124 . ПМЦ   1182327 . ПМИД   16060722 .
  2. ^ Джон С. (8 декабря 2017 г.). Научный метод . Нью-Йорк, штат Нью-Йорк: Рутледж. дои : 10.4324/9781315100708 . ISBN  978-1-315-10070-8 . S2CID   201781341 .
  3. ^ Лерер Дж. (13 декабря 2010 г.). «Правда уходит» . Житель Нью-Йорка . Проверено 30 января 2020 г.
  4. ^ Маркус Дж. (1 мая 2013 г.). «Кризис социальной психологии, которого нет» . Житель Нью-Йорка . Проверено 30 января 2020 г.
  5. ^ Перейти обратно: а б с Бейкер М. (май 2016 г.). «1500 ученых приоткрывают крышку воспроизводимости» . Природа (новостной сюжет). 533 (7604). Спрингер Природа : 452–454. Бибкод : 2016Natur.533..452B . дои : 10.1038/533452а . ПМИД   27225100 . S2CID   4460617 . (Ошибка: [1] )
  6. ^ Пашлер Х., Харрис Ч.Р. (ноябрь 2012 г.). «Раздут ли кризис воспроизводимости? Рассмотрены три аргумента». Перспективы психологической науки . 7 (6): 531–536. дои : 10.1177/1745691612463401 . ПМИД   26168109 . S2CID   1342421 .
  7. ^ Фидлер Ф. , Уилкокс Дж. (2018). «Воспроизводимость научных результатов» . Стэнфордская энциклопедия философии . Лаборатория метафизических исследований Стэнфордского университета . Проверено 19 мая 2019 г.
  8. ^ Мунесингхе Р., Хури М.Дж., Янссенс AC (февраль 2007 г.). «Большинство опубликованных результатов исследований являются ложными, но небольшое повторение имеет большое значение» . ПЛОС Медицина . 4 (2): е28. doi : 10.1371/journal.pmed.0040028 . ПМК   1808082 . ПМИД   17326704 .
  9. ^ Саймонс DJ (январь 2014 г.). «Ценность прямой репликации». Перспективы психологической науки . 9 (1): 76–80. дои : 10.1177/1745691613514755 . ПМИД   26173243 . S2CID   1149441 .
  10. ^ Перейти обратно: а б с д Шмидт С (2009). «Действительно ли мы сделаем это снова? Мощная концепция репликации игнорируется в социальных науках». Обзор общей психологии . 13 (2). Публикации SAGE: 90–100. дои : 10.1037/a0015108 . ISSN   1089-2680 . S2CID   143855611 .
  11. ^ Перейти обратно: а б с Открытое научное сотрудничество (август 2015 г.). «ПСИХОЛОГИЯ. Оценка воспроизводимости психологической науки» . Наука . 349 (6251): аас4716. дои : 10.1126/science.aac4716 . hdl : 10722/230596 . ПМИД   26315443 . S2CID   218065162 .
  12. ^ Перейти обратно: а б с Дювендак М., Палмер-Джонс Р., Рид Р.В. (май 2017 г.). «Что подразумевается под «репликацией» и почему она встречает сопротивление в экономике?» . Американский экономический обзор . 107 (5): 46–51. дои : 10.1257/aer.p20171031 . ISSN   0002-8282 .
  13. ^ Перейти обратно: а б с д Это ж г Шраут П.Е., Роджерс Дж.Л. (январь 2018 г.). «Психология, наука и построение знаний: расширение перспектив благодаря кризису репликации». Ежегодный обзор психологии . 69 (1). Годовые обзоры: 487–510. doi : 10.1146/annurev-psych-122216-011845 . ПМИД   29300688 . S2CID   19593610 .
  14. ^ Перейти обратно: а б с д Это ж Стэнли Т.Д., Картер Э.К., Дукульягос Х. (декабрь 2018 г.). «Что метаанализ показывает о воспроизводимости психологических исследований». Психологический вестник . 144 (12): 1325–1346. дои : 10.1037/bul0000169 . ПМИД   30321017 . S2CID   51951232 .
  15. ^ Мейер С., Шабри С. (31 июля 2014 г.). «Почему борьба психологов за еду имеет значение» . Сланец .
  16. ^ Ашванден С (19 августа 2015 г.). «Наука не сломана» . ПятьТридцатьВосемь . Проверено 30 января 2020 г.
  17. ^ Ашванден C (27 августа 2015 г.). «Психология начинает решать проблему репликации» . ПятьТридцатьВосемь . Проверено 30 января 2020 г.
  18. ^ Этчеллс П. (28 мая 2014 г.). «Психологический диск репликации: дело не в тебе» . Хранитель .
  19. ^ Вагенмейкерс Э.Дж., Ветцелс Р., Борсбум Д., ван дер Маас Х.Л., Киевит РА (ноябрь 2012 г.). «Программа чисто подтверждающих исследований». Перспективы психологической науки . 7 (6): 632–638. дои : 10.1177/1745691612463078 . ПМИД   26168122 . S2CID   5096417 .
  20. ^ Иоаннидис Дж. П. (ноябрь 2012 г.). «Почему наука не обязательно самокорректируется». Перспективы психологической науки . 7 (6): 645–654. дои : 10.1177/1745691612464056 . ПМИД   26168125 . S2CID   11798785 .
  21. ^ Пашлер Х., Харрис Ч.Р. (ноябрь 2012 г.). «Раздут ли кризис воспроизводимости? Рассмотрены три аргумента». Перспективы психологической науки . 7 (6): 531–536. дои : 10.1177/1745691612463401 . ПМИД   26168109 . S2CID   1342421 .
  22. ^ Мил П.Е. (1967). «Проверка теории в психологии и физике: методологический парадокс» . Философия науки . 34 (2): 103–115. дои : 10.1086/288135 . ISSN   0031-8248 . JSTOR   186099 . S2CID   96422880 .
  23. ^ Перейти обратно: а б с Ромеро Ф (ноябрь 2019 г.). «Философия науки и кризис воспроизводимости» . Философский компас . 14 (11). дои : 10.1111/phc3.12633 . ISSN   1747-9991 . S2CID   202261836 .
  24. ^ Барг Дж.А., Чен М., Берроуз Л. (август 1996 г.). «Автоматичность социального поведения: прямое влияние конструкции черт и активации стереотипов на действия». Журнал личности и социальной психологии . 71 (2): 230–244. дои : 10.1037/0022-3514.71.2.230 . ПМИД   8765481 . S2CID   6654763 .
  25. ^ Дойен С., Кляйн О., Пишон С.Л., Клиреманс А. (18 января 2012 г.). Лауверейнс Дж. (ред.). «Поведенческий прайминг: все дело в уме, но в чьем уме?» . ПЛОС ОДИН . 7 (1): e29081. Бибкод : 2012PLoSO...729081D . дои : 10.1371/journal.pone.0029081 . ПМК   3261136 . ПМИД   22279526 .
  26. ^ Ён Э (10 марта 2012 г.). «Неудачная репликация вызывает резкие личные нападки со стороны профессора психологии» . Национальная география . Архивировано из оригинала 25 февраля 2021 г. Проверено 4 июля 2023 г.
  27. ^ Пашлер Х., Коберн Н., Харрис Ч.Р. (29 августа 2012 г.). «Усиление социальной дистанции? Неспособность воспроизвести влияние на социальные и пищевые суждения» . ПЛОС ОДИН . 7 (8): е42510. Бибкод : 2012PLoSO...742510P . дои : 10.1371/journal.pone.0042510 . ПМЦ   3430642 . ПМИД   22952597 .
  28. ^ Харрис Ч.Р., Коберн Н., Рорер Д., Пашлер Х. (16 августа 2013 г.). «Две неудачи в воспроизведении эффектов прайминга для достижения высоких результатов» . ПЛОС ОДИН . 8 (8): е72467. Бибкод : 2013PLoSO...872467H . дои : 10.1371/journal.pone.0072467 . ПМЦ   3745413 . ПМИД   23977304 .
  29. ^ Шанкс Д.Р., Ньюэлл Б.Р., Ли Э.Х., Балакришнан Д., Экелунд Л., Сенак З. и др. (24 апреля 2013 г.). «Прайминг разумного поведения: неуловимый феномен» . ПЛОС ОДИН . 8 (4): е56515. Бибкод : 2013PLoSO...856515S . дои : 10.1371/journal.pone.0056515 . ПМЦ   3634790 . ПМИД   23637732 .
  30. ^ Кляйн Р.А., Рэтлифф К.А., Вианелло М., Адамс Р.Б., Бахник Ш., Бернштейн М.Дж., Боциан К., Брандт М.Дж., Брукс Б., Брамбо К.С., Семалсилар З., Чендлер Дж., Чеонг В., Дэвис В.Е., Девос Т. (май 2014 г.). «Исследование изменений в воспроизводимости» . Социальная психология . 45 (3): 142–152. дои : 10.1027/1864-9335/a000178 . hdl : 2066/131506 . ISSN   1864-9335 .
  31. ^ Бем DJ (март 2011 г.). «Чувство будущего: экспериментальные доказательства аномального ретроактивного влияния на познание и аффект». Журнал личности и социальной психологии . 100 (3): 407–425. дои : 10.1037/a0021524 . ПМИД   21280961 . S2CID   1961013 .
  32. ^ Вагенмейкерс Э.Дж., Ветцелс Р., Борсбум Д., ван дер Маас Х.Л. (март 2011 г.). «Почему психологи должны изменить способ анализа своих данных: случай пси: комментарий Бема (2011)». Журнал личности и социальной психологии . 100 (3): 426–432. дои : 10.1037/a0022790 . ПМИД   21280965 .
  33. ^ Галак Дж., ЛеБёф Р.А., Нельсон Л.Д., Симмонс Дж.П. (декабрь 2012 г.). «Исправление прошлого: неудачи в воспроизведении ψ» . Журнал личности и социальной психологии . 103 (6): 933–948. дои : 10.1037/a0029709 . ПМИД   22924750 .
  34. ^ Бегли К.Г., Эллис Л.М. (март 2012 г.). «Разработка лекарств: повысить стандарты доклинических исследований рака» . Природа . 483 (7391): 531–533. Бибкод : 2012Natur.483..531B . дои : 10.1038/483531a . ПМИД   22460880 . S2CID   4326966 .
  35. ^ Принц Ф., Шланге Т., Асадулла К. (август 2011 г.). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для наркотиков?» . Обзоры природы. Открытие наркотиков . 10 (9): 712. дои : 10.1038/nrd3439-c1 . ПМИД   21892149 . S2CID   16180896 .
  36. ^ Иоаннидис Дж. П. (сентябрь 2008 г.). «Почему большинство обнаруженных истинных ассоциаций являются завышенными» . Эпидемиология . 19 (5): 640–648. дои : 10.1097/EDE.0b013e31818131e7 . ПМИД   18633328 . S2CID   15440816 .
  37. ^ Перейти обратно: а б с д Это Джон Л.К., Левенштейн Г. , Прелец Д. (май 2012 г.). «Измерение распространенности сомнительных исследовательских практик со стимулами для высказывания правды». Психологическая наука . 23 (5): 524–532. дои : 10.1177/0956797611430953 . ПМИД   22508865 . S2CID   8400625 .
  38. ^ Перейти обратно: а б с д Симмонс Дж.П., Нельсон Л.Д., Симонсон Ю. (ноябрь 2011 г.). «Ложноположительная психология: нераскрытая гибкость в сборе и анализе данных позволяет представить все как значимое». Психологическая наука . 22 (11): 1359–1366. дои : 10.1177/0956797611417632 . ПМИД   22006061 . S2CID   13802986 .
  39. ^ Пашлер Х., Вагенмейкерс Э.Дж. (ноябрь 2012 г.). «Введение редактора в специальный раздел, посвященный воспроизводимости в психологической науке: кризис доверия?». Перспективы психологической науки . 7 (6): 528–530. дои : 10.1177/1745691612465253 . ПМИД   26168108 . S2CID   26361121 .
  40. ^ Альгрен, Эндрю (апрель 1969 г.). «Скромное предложение для поощрения тиражирования» . Американский психолог . 24 (4): 471. дои : 10.1037/h0037798 . ISSN   1935-990Х .
  41. ^ Смит, Натаниэль К. (октябрь 1970 г.). «Исследования репликации: игнорируемый аспект психологических исследований» . Американский психолог . 25 (10): 970–975. дои : 10.1037/h0029774 . ISSN   1935-990Х .
  42. ^ Нойлип, JW; Крэндалл, Р. (1993). «Предвзятость рецензента в отношении исследований по репликации» . Журнал социального поведения и личности . 8 (6): 21–29. ProQuest   1292304227 – через ProQuest.
  43. ^ Нойлип, JW; Крэндалл, Р. (1990). «Редакционная предвзятость в отношении исследований по репликации» . Журнал социального поведения и личности . 5 (4): 85–90 – через ProQuest.
  44. ^ Льюис-Краус, Гидеон (30 сентября 2023 г.). «Они изучали нечестность. Была ли их работа ложью?» . Житель Нью-Йорка . ISSN   0028-792X . Проверено 1 октября 2023 г.
  45. ^ Суббараман, Нидхи (24 сентября 2023 г.). «Группа разоблачителей, уничтожающая плохих учёных» . Уолл Стрит Джорнал . Архивировано из оригинала 24 сентября 2023 г. Проверено 8 октября 2023 г.
  46. ^ «АПА ПсихНет» . psycnet.apa.org . Проверено 8 октября 2023 г.
  47. ^ Перейти обратно: а б Спеллман, Барбара А. (ноябрь 2015 г.). «Краткая (личная) будущая история революции 2.0» . Перспективы психологической науки . 10 (6): 886–899. дои : 10.1177/1745691615609918 . ISSN   1745-6916 . ПМИД   26581743 . S2CID   206778431 .
  48. ^ Перейти обратно: а б Гринвальд, Энтони Г., изд. (январь 1976 г.). «Редакционная статья» . Журнал личности и социальной психологии . 33 (1): 1–7. дои : 10.1037/h0078635 . ISSN   1939-1315 .
  49. ^ Стерлинг, Теодор Д. (1959). «Решения о публикации и их возможное влияние на выводы, сделанные на основе критериев значимости, или наоборот» . Журнал Американской статистической ассоциации . 54 (285): 30–34. дои : 10.2307/2282137 . ISSN   0162-1459 . JSTOR   2282137 .
  50. ^ Миллс, Дж.Л. (14 октября 1993 г.). «Пытка данных» . Медицинский журнал Новой Англии . 329 (16): 1196–1199. дои : 10.1056/NEJM199310143291613 . ISSN   0028-4793 . PMID   8166792 .
  51. ^ Розенталь, Роберт (май 1979 г.). «Проблема с файловым ящиком и допуск нулевых результатов» . Психологический вестник . 86 (3): 638–641. дои : 10.1037/0033-2909.86.3.638 . ISSN   1939-1455 . S2CID   36070395 .
  52. ^ Коэн, Дж. (сентябрь 1962 г.). «Статистическая сила аномально-социальных психологических исследований: обзор» . Журнал аномальной и социальной психологии . 65 : 145–153. дои : 10.1037/h0045186 . ISSN   0096-851X . ПМИД   13880271 .
  53. ^ Седльмайер, Питер; Гигеренцер, Герд (март 1989 г.). «Влияют ли исследования статистической мощности на силу исследований?» . Психологический вестник . 105 (2): 309–316. дои : 10.1037/0033-2909.105.2.309 . hdl : 21.11116/0000-0000-B883-C . ISSN   1939-1455 .
  54. ^ Ахенбах Дж. «Нет, проблема воспроизводимости науки не ограничивается психологией» . Вашингтон Пост . Проверено 10 сентября 2015 г.
  55. ^ Виггинс Б.Дж., Кристоферсон С. (2019). «Кризис репликации в психологии: Обзор теоретической и философской психологии» . Журнал теоретической и философской психологии . 39 (4): 202–217. дои : 10.1037/teo0000137 . ISSN   2151-3341 . S2CID   210567289 .
  56. ^ Бартлетт Т. (30 января 2013 г.). «Сила внушения» . Хроника высшего образования .
  57. ^ Доминус С (18 октября 2017 г.). «Когда для Эми Кадди пришла революция» . Нью-Йорк Таймс . ISSN   0362-4331 . Проверено 19 октября 2017 г.
  58. ^ Дункан Л.Е., Келлер MC (октябрь 2011 г.). «Критический обзор первых 10 лет исследований взаимодействия генов и окружающей среды в психиатрии» . Американский журнал психиатрии . 168 (10): 1041–1049. дои : 10.1176/appi.ajp.2011.11020191 . ПМЦ   3222234 . ПМИД   21890791 .
  59. ^ Лейхсенринг Ф., Аббасс А. , Хилсенрот М.Дж., Левеке Ф., Луйтен П., Киф Дж.Р. и др. (апрель 2017 г.). «Предвзятость в исследованиях: факторы риска невоспроизводимости исследований в области психотерапии и фармакотерапии» . Психологическая медицина . 47 (6): 1000–1011. дои : 10.1017/S003329171600324X . ПМИД   27955715 . S2CID   1872762 .
  60. ^ Член парламента Хенгартнера (28 февраля 2018 г.). «Повышение осведомленности о кризисе репликации в клинической психологии путем сосредоточения внимания на противоречиях в исследованиях в области психотерапии: насколько мы можем полагаться на опубликованные результаты испытаний эффективности?» . Границы в психологии . 9 . Frontiers Media : 256. doi : 10.3389/fpsyg.2018.00256 . ПМЦ   5835722 . ПМИД   29541051 .
  61. ^ Фрэнк М.К. , Бергельсон Э., Бергманн С., Кристиа А., Флоксия С., Жервен Дж. и др. (9 марта 2017 г.). «Совместный подход к исследованиям младенцев: содействие воспроизводимости, передовой опыт и построение теории» . Младенчество . 22 (4): 421–435. дои : 10.1111/инфа.12182 . hdl : 10026.1/9942 . ПМК   6879177 . ПМИД   31772509 .
  62. ^ Харрис-младший (2009) [1998]. Предположение о воспитании: почему дети становятся такими, какими они есть (2-е изд.). Нью-Йорк: Свободная пресса . ISBN  978-1439101650 .
  63. ^ Харрис HR (2006). Нет двух одинаковых: человеческая природа и человеческая индивидуальность . Нью-Йорк: WW Norton & Company . ISBN  978-0393329711 .
  64. ^ Тайсон С (14 августа 2014 г.). «Неспособность воспроизвести» . Внутри высшего образования . Проверено 19 декабря 2018 г.
  65. ^ Макел М.К., Плукер Дж.А. (1 августа 2014 г.). «Факты важнее новизны: тиражирование в педагогических науках» . Исследователь образования . 43 (6): 304–316. дои : 10.3102/0013189X14545513 . S2CID   145571836 . Проверено 19 декабря 2018 г.
  66. ^ Киршнер П.А., Свеллер Дж. , Кларк Р.Э. (2006). «Почему минимальное руководство во время обучения не работает: анализ неудач конструктивистского, исследовательского, проблемного, экспериментального и исследовательского обучения» . Педагогический психолог . 41 (2). Рутледж : 75–86. дои : 10.1207/s15326985ep4102_1 . S2CID   17067829 .
  67. ^ Основы успеха: итоговый отчет Национальной консультативной группы по математике (PDF) (Отчет). Министерство образования США . 2008. стр. 45–46. Архивировано (PDF) из оригинала 18 января 2018 г. Проверено 3 ноября 2020 г.
  68. ^ Пашлер Х. , МакДэниел М. , Рорер Д., Бьорк Р. (декабрь 2008 г.). «Стили обучения: концепции и доказательства» . Психологическая наука в общественных интересах . 9 (3). Публикации SAGE : 105–119. дои : 10.1111/j.1539-6053.2009.01038.x . ПМИД   26162104 . S2CID   2112166 .
  69. ^ Носек Б.А., Кохун Дж., Кидвелл М.С., Спайс Дж.Р. (2018) [2015]. «Сводка показателей воспроизводимости и величины эффекта для оригинальных и повторных исследований в целом и по журналам/дисциплинам» . Оценка воспроизводимости психологической науки (таблица). Проект воспроизводимости: Психология . Проверено 16 октября 2019 г.
  70. ^ Роджер А. (27 августа 2018 г.). «Наука, лежащая в основе социальных наук, снова встряхивается» . Проводной . Проверено 28 августа 2018 г.
  71. ^ Камерер К.Ф. , Дребер А., Хольцмайстер Ф., Хо Т.Х., Хубер Дж., Йоханнессон М. и др. (сентябрь 2018 г.). «Оценка воспроизводимости социальных научных экспериментов в области природы и науки в период с 2010 по 2015 год» . Природа человеческого поведения . 2 (9): 637–644. дои : 10.1038/s41562-018-0399-z . ПМИД   31346273 . S2CID   52098703 .
  72. ^ Кляйн Р.А. (2018). «Множество лабораторий 2: исследование различий в воспроизводимости образцов и настроек» . Достижения в методах и практике психологической науки . 1 (4): 443–490. дои : 10.1177/2515245918810225 . hdl : 1854/LU-8637133 .
  73. ^ Перейти обратно: а б Витковский Т. (2019). «Стакан наполовину пуст или наполовину полон? Последние результаты кризиса репликации в психологии» (PDF) . Скептический исследователь . Том. 43, нет. 2. С. 5–6. Архивировано из оригинала (PDF) 30 января 2020 г.
  74. ^ Рихтель М. (16 марта 2022 г.). «Исследования изображений мозга затруднены из-за небольших наборов данных, результаты исследования» . Нью-Йорк Таймс .
  75. ^ Марек С., Терво-Клемменс Б., Калабро Ф.Дж., Монтес Д.Ф., Кей Б.П., Хатум А.С. и др. (март 2022 г.). «Для воспроизводимых исследований ассоциаций в масштабе всего мозга требуются тысячи людей» . Природа . 603 (7902): 654–660. Бибкод : 2022Natur.603..654M . дои : 10.1038/s41586-022-04492-9 . ПМК   8991999 . ПМИД   35296861 .
  76. ^ Иоаннидис Дж. П. (июль 2005 г.). «Противоречивые и изначально более сильные эффекты в широко цитируемых клинических исследованиях». ДЖАМА . 294 (2): 218–228. дои : 10.1001/jama.294.2.218 . ПМИД   16014596 . S2CID   16749356 .
  77. ^ Принц Ф., Шланге Т., Асадулла К. (август 2011 г.). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для наркотиков?» . Обзоры природы. Открытие наркотиков . 10 (9): 712. дои : 10.1038/nrd3439-c1 . ПМИД   21892149 .
  78. ^ Уилинг К. (12 мая 2016 г.). «Большая фармацевтика обнаруживает кризис биомедицинской репликации» . Тихоокеанский стандарт . Проверено 30 января 2020 г. Обновлено 14 июня 2017 г.
  79. ^ Бегли К.Г., Эллис Л.М. (март 2012 г.). «Разработка лекарств: повысить стандарты доклинических исследований рака» . Природа (Комментарий к статье). 483 (7391): 531–533. Бибкод : 2012Natur.483..531B . дои : 10.1038/483531a . ПМИД   22460880 . S2CID   4326966 . (Ошибка: два : 10.1038/485041e )
  80. ^ Перейти обратно: а б Хаэлле Т (7 декабря 2021 г.). «Десятки крупных исследований рака невозможно повторить» . Новости науки . Проверено 19 января 2022 г.
  81. ^ Перейти обратно: а б «Проект воспроизводимости: биология рака» . www.cos.io. ​ Центр открытой науки . Проверено 19 января 2022 г.
  82. ^ Мобли А., Линдер С.К., Бройер Р., Эллис Л.М., Цвеллинг Л. (2013). Аракава Х (ред.). «Опрос по воспроизводимости данных в исследованиях рака дает представление о наших ограниченных возможностях перенести результаты из лаборатории в клинику» . ПЛОС ОДИН . 8 (5): e63221. Бибкод : 2013PLoSO...863221M . дои : 10.1371/journal.pone.0063221 . ПМК   3655010 . ПМИД   23691000 .
  83. ^ Ван Ноорден, Ричард (18 июля 2023 г.). «Медицина страдает от ненадежных клинических испытаний. Сколько исследований фальсифицировано или ошибочно?» . Природа . 619 (7970): 454–458. Бибкод : 2023Natur.619..454V . дои : 10.1038/d41586-023-02299-w . ПМИД   37464079 .
  84. ^ Перейти обратно: а б с д Цуй А.С. (21 января 2022 г.). «От традиционных исследований к ответственным исследованиям: необходимость научной свободы и научной ответственности для лучшего общества» . Ежегодный обзор организационной психологии и организационного поведения . 9 (1): 1–32. doi : 10.1146/annurev-orgpsych-062021-021303 . ISSN   2327-0608 . S2CID   244238570 .
  85. ^ Camerer CF, Dreber A, Forsell E, Ho TH, Huber J, Johannesson M, et al. (March 2016). "Evaluating replicability of laboratory experiments in economics". Science. 351 (6280): 1433–1436. Bibcode:2016Sci...351.1433C. doi:10.1126/science.aaf0918. PMID 26940865.
  86. ^ Bohannon J (3 March 2016). "About 40% of economics experiments fail replication survey". Science. doi:10.1126/science.aaf4141. Retrieved 2017-10-25.
  87. ^ Goldfarb RS (1 December 1997). "Now you see it, now you don't: emerging contrary results in economics". Journal of Economic Methodology. 4 (2): 221–244. doi:10.1080/13501789700000016. ISSN 1350-178X.
  88. ^ Jump up to: a b Bergh DD, Sharp BM, Aguinis H, Li M (6 April 2017). "Is there a credibility crisis in strategic management research? Evidence on the reproducibility of study findings". Strategic Organization. 15 (3): 423–436. doi:10.1177/1476127017701076. ISSN 1476-1270. S2CID 44024633.
  89. ^ Jump up to: a b Stagge JH, Rosenberg DE, Abdallah AM, Akbar H, Attallah NA, James R (February 2019). "Assessing data availability and research reproducibility in hydrology and water resources". Scientific Data. 6: 190030. Bibcode:2019NatSD...690030S. doi:10.1038/sdata.2019.30. PMC 6390703. PMID 30806638.
  90. ^ Jump up to: a b Nature Video (28 May 2016). "Is There a Reproducibility Crisis in Science?". Scientific American. Retrieved 2019-08-15.
  91. ^ Fanelli, Daniele (2010). Enrico Scalas (ed.). "'Positive' Results Increase Down the Hierarchy of the Sciences". PLOS ONE. 5 (4): e10068. Bibcode:2010PLoSO...510068F. doi:10.1371/journal.pone.0010068. PMC 2850928. PMID 20383332.
  92. ^ Jump up to: a b Allen C, Mehler DM (May 2019). "Open science challenges, benefits and tips in early career and beyond". PLOS Biology. 17 (5). Public Library of Science: e3000246. doi:10.1371/journal.pbio.3000246. PMC 6513108. PMID 31042704.
  93. ^ Begley CG, Ioannidis JP (January 2015). "Reproducibility in science: improving the standard for basic and preclinical research". Circulation Research. 116 (1): 116–126. doi:10.1161/CIRCRESAHA.114.303819. PMID 25552691. S2CID 3587510.
  94. ^ Price DJ (1963). Little science big science. Columbia University Press. p. 32. ISBN 9780231085625.
  95. ^ Siebert S, Machesky LM, Insall RH (September 2015). "Overflow in science and its implications for trust". eLife. 4: e10825. doi:10.7554/eLife.10825. PMC 4563216. PMID 26365552.
  96. ^ Della Briotta Parolo P, Pan RK, Ghosh R, Huberman BA, Kaski K, Fortunato S (2015). "Attention decay in science". Journal of Informetrics. 9 (4): 734–745. arXiv:1503.01881. Bibcode:2015arXiv150301881D. doi:10.1016/j.joi.2015.07.006. S2CID 10949754.
  97. ^ Перейти обратно: а б Мировский П. (2011). Наука-Март . Издательство Гарвардского университета. стр. 100-1 2, 24. ISBN  978-0-674-06113-2 .
  98. ^ Мёллер Х.Г. (2006). Луман объяснил: от души к системам . Чикаго: Открытый суд. п. 25. ISBN  0-8126-9598-4 . ОСЛК   68694011 .
  99. ^ Луман Н (1995). Социальные системы . Стэнфорд, Калифорния: Издательство Стэнфордского университета. п. 288. ИСБН  978-0-8047-2625-2 . ОСЛК   31710315 .
  100. ^ Перейти обратно: а б Шойфеле ДА (сентябрь 2014 г.). «Научная коммуникация как политическая коммуникация» . Труды Национальной академии наук Соединенных Штатов Америки . 111 (Приложение 4): 13585–13592. Бибкод : 2014PNAS..111S3585S . дои : 10.1073/pnas.1317516111 . ПМК   4183176 . ПМИД   25225389 .
  101. ^ Пилке Р. (2007). Честный посредник: смысл науки в политике и политике . Кембридж: Издательство Кембриджского университета. дои : 10.1017/CBO9780511818110 . ISBN  978-0-511-81811-0 . OCLC   162145073 .
  102. ^ Мартин Г.Н., Кларк Р.М. (2017). «Являются ли психологические журналы антирепликацией? Снимок редакционной практики» . Границы в психологии . 8 : 523. дои : 10.3389/fpsyg.2017.00523 . ПМЦ   5387793 . ПМИД   28443044 .
  103. ^ Юнг А.В. (2017). «Принимают ли журналы по неврологии репликации? Обзор литературы» . Границы человеческой неврологии . 11 : 468. дои : 10.3389/fnhum.2017.00468 . ПМК   5611708 . ПМИД   28979201 .
  104. ^ Хаббард Р., Веттер Д.Е. (1 февраля 1996 г.). «Эмпирическое сравнение опубликованных повторных исследований в области бухгалтерского учета, экономики, финансов, менеджмента и маркетинга». Журнал бизнес-исследований . 35 (2): 153–164. дои : 10.1016/0148-2963(95)00084-4 . ISSN   0148-2963 .
  105. ^ "Подтверждение смещения" . Психологический словарь APA . Вашингтон, округ Колумбия: Американская психологическая ассоциация . нд . Проверено 2 февраля 2022 г.
  106. ^ Перейти обратно: а б Фанелли Д. (апрель 2010 г.). «Увеличивает ли давление с целью публикации предвзятость ученых? Эмпирическая поддержка со стороны данных США» . ПЛОС ОДИН . 5 (4): е10271. Бибкод : 2010PLoSO...510271F . дои : 10.1371/journal.pone.0010271 . ПМК   2858206 . ПМИД   20422014 .
  107. ^ Носек Б.А., Спайс-младший, Мотыль М. (ноябрь 2012 г.). «Научная утопия: II. Реструктуризация стимулов и практик для продвижения истины, а не публикации» . Перспективы психологической науки . 7 (6): 615–631. arXiv : 1205.4251 . дои : 10.1177/1745691612459058 . ПМЦ   10540222 . ПМИД   26168121 . S2CID   23602412 .
  108. ^ Эверетт Дж. А., Эрп Б. Д. (1 января 2015 г.). «Трагедия (академического) достояния: интерпретация кризиса репликации в психологии как социальной дилеммы для начинающих исследователей» . Границы в психологии . 6 : 1152. doi : 10.3389/fpsyg.2015.01152 . ПМК   4527093 . ПМИД   26300832 .
  109. ^ Перейти обратно: а б Клейсон, Питер Э.; Карабин, Кейли А.; Болдуин, Скотт А.; Ларсон, Майкл Дж. (2019). «Методологическое отчетное поведение, размеры выборки и статистическая мощность в исследованиях потенциала, связанного с событиями: барьеры на пути воспроизводимости и воспроизводимости» . Психофизиология . 56 (11): e13437. дои : 10.1111/psyp.13437 . ISSN   0048-5772 . ПМИД   31322285 .
  110. ^ Перейти обратно: а б с «Нарушение правил проведения исследований – серая зона сомнительных исследовательских практик» . www.vib.be. ​ Флаамский институт биотехнологий . 30 сентября 2013 г. Архивировано из оригинала 31 октября 2014 г. Проверено 13 ноября 2015 г.
  111. ^ Перейти обратно: а б с д Это ж г час Вихертс Дж.М. , Вельдкамп К.Л., Огюстейн Х.Э., Баккер М., ван Аэрт Р.К., ван Ассен М.А. (2016). «Степени свободы в планировании, проведении, анализе и составлении отчетов о психологических исследованиях: контрольный список, позволяющий избежать взлома » . Границы в психологии . 7 : 1832. doi : 10.3389/fpsyg.2016.01832 . ПМК   5122713 . ПМИД   27933012 .
  112. ^ Перейти обратно: а б с Нейроскептик (ноябрь 2012 г.). «Девять кругов научного ада» . Перспективы психологической науки (Мнение). 7 (6): 643–644. дои : 10.1177/1745691612459519 . ПМИД   26168124 . S2CID   45328962 .
  113. ^ «Извлечение данных» . Психологический словарь APA . Вашингтон, округ Колумбия: Американская психологическая ассоциация . нд . Проверено 9 января 2022 г. Неуместная практика поиска в больших массивах информации в попытке подтвердить предвзятую гипотезу или убеждение без адекватного дизайна, который исключает возможные ошибки или альтернативные гипотезы. Извлечение данных может включать выбор частей большого набора данных, которые следует сохранить, чтобы получить конкретные желаемые результаты.
  114. ^ Бегли К.Г. (май 2013 г.). «Шесть красных флажков для подозрительной работы» . Природа (Комментарий к статье). 497 (7450): 433–434. Бибкод : 2013Natur.497..433B . дои : 10.1038/497433а . ПМИД   23698428 . S2CID   4312732 .
  115. ^ Ши С. (13 ноября 2011 г.). «Скандал о мошенничестве разжигает дебаты по поводу практики социальной психологии» . Хроника высшего образования .
  116. ^ О'Бойл, Эрнест Х.; Гетц, Мартин (2022). «Сомнительные исследовательские практики». Честность исследований: лучшие практики социальных и поведенческих наук . Издательство Оксфордского университета. стр. 261–294. ISBN  978-0190938550 .
  117. ^ Глик Дж.Л. (1992). «Аудит научных данных — ключевой инструмент управления». Ответственность в исследованиях . 2 (3): 153–168. дои : 10.1080/08989629208573811 .
  118. ^ Фидлер К., Шварц Н. (19 октября 2015 г.). «Возвращение к сомнительной исследовательской практике». Социальная психология и наука о личности . 7 : 45–52. дои : 10.1177/1948550615612150 . ISSN   1948-5506 . S2CID   146717227 .
  119. ^ Фанелли Д. (май 2009 г.). «Сколько учёных фабрикуют и фальсифицируют исследования? Систематический обзор и метаанализ данных опросов» . ПЛОС ОДИН . 4 (5): е5738. Бибкод : 2009PLoSO...4.5738F . дои : 10.1371/journal.pone.0005738 . ПМК   2685008 . ПМИД   19478950 .
  120. ^ Баттон, Кэтрин С.; Иоаннидис, Джон П.А.; Мокрыш, Клэр; Носек, Брайан А.; Флинт, Джонатан; Робинсон, Эмма С.Дж.; Мунафо, Маркус Р. (2013). «Сбой в электроснабжении: почему небольшой размер выборки подрывает надежность нейробиологии» . Обзоры природы Неврология . 14 (5): 365–376. дои : 10.1038/nrn3475 . ISSN   1471-0048 . ПМИД   23571845 .
  121. ^ Баттон, Кэтрин С.; Иоаннидис, Джон П.А.; Мокрыш, Клэр; Носек, Брайан А.; Флинт, Джонатан; Робинсон, Эмма С.Дж.; Мунафо, Маркус Р. (май 2013 г.). «Сбой в электроснабжении: почему небольшой размер выборки подрывает надежность нейробиологии» . Обзоры природы Неврология . 14 (5): 365–376. дои : 10.1038/nrn3475 . ISSN   1471-0048 . ПМИД   23571845 . S2CID   455476 .
  122. ^ Иоаннидис, Джон П.А.; Стэнли, Т.Д.; Дукульягос, Христос (1 октября 2017 г.). «Сила предвзятости в экономических исследованиях» . Экономический журнал . 127 (605): Ф236–Ф265. дои : 10.1111/ecoj.12461 . ISSN   0013-0133 . S2CID   158829482 .
  123. ^ Хиггинс, Джулиан П.Т.; Томпсон, Саймон Г. (15 июня 2002 г.). «Количественная оценка гетерогенности в метаанализе» . Статистика в медицине . 21 (11): 1539–1558. дои : 10.1002/сим.1186 . ISSN   0277-6715 . ПМИД   12111919 . S2CID   6319826 .
  124. ^ Муса ИА (2 октября 2019 г.). «Хрупкость результатов и предвзятость в эмпирических исследованиях: предварительное изложение». Журнал экономической методологии . 26 (4): 347–360. дои : 10.1080/1350178X.2018.1556798 . ISSN   1350-178X . S2CID   158504639 .
  125. ^ Грейнджер CW (1999). Эмпирическое моделирование в экономике: спецификация и оценка . Издательство Кембриджского университета. п. 5. дои : 10.1017/CBO9780511492327 . ISBN  978-0-521-77825-1 .
  126. ^ Мазиарз М (1 декабря 2021 г.). «Разрешение эмпирических противоречий с помощью механистических доказательств» . Синтезируйте . 199 (3): 9957–9978. дои : 10.1007/s11229-021-03232-2 . ISSN   1573-0964 . S2CID   236249427 .
  127. ^ Морган М.С., Магнус-младший (сентябрь 1997 г.). «Эксперимент в прикладной эконометрике» . Журнал прикладной эконометрики . 12 (5): 459–661. ISSN   1099-1255 .
  128. ^ Перейти обратно: а б Ван Бавел, Джей Дж.; Менде-Сидлецкий, Питер; Брэди, Уильям Дж.; Рейнеро, Диего А. (2016). «Контекстуальная чувствительность в научной воспроизводимости» . Труды Национальной академии наук Соединенных Штатов Америки . 113 (23): 6454–6459. Бибкод : 2016PNAS..113.6454V . дои : 10.1073/pnas.1521897113 . ISSN   0027-8424 . JSTOR   26470212 . ПМЦ   4988618 . ПМИД   27217556 .
  129. ^ Перейти обратно: а б с Птица А (1 декабря 2021 г.). «Понимание кризиса репликации как ошибки базовой ставки» . Британский журнал философии науки . 72 (4): 965–993. дои : 10.1093/bjps/axy051 . ISSN   0007-0882 .
  130. ^ Ниссен С.Б., Магидсон Т., Гросс К., Бергстрем КТ (декабрь 2016 г.). «Предвзятость публикаций и канонизация ложных фактов» . электронная жизнь . 5 : е21451. arXiv : 1609.00494 . дои : 10.7554/eLife.21451 . ПМК   5173326 . ПМИД   27995896 .
  131. ^ Перейти обратно: а б Калифорнийский университет в Сан-Диего (май 2021 г.). «Новый кризис репликации: исследования, которые с меньшей вероятностью соответствуют действительности, цитируются чаще» . физ.орг . Проверено 14 июня 2021 г.
  132. ^ Перейти обратно: а б Серра-Гарсия М., Гнизи У (май 2021 г.). «Нереплицируемые публикации цитируются чаще, чем тиражируемые» . Достижения науки . 7 (21): eabd1705. Бибкод : 2021SciA....7.1705S . дои : 10.1126/sciadv.abd1705 . ПМК   8139580 . ПМИД   34020944 .
  133. ^ Бялек М. (январь 2018 г.). «Репликации могут вызвать искажение веры в научный прогресс». Поведенческие и мозговые науки . 41 : е122. дои : 10.1017/S0140525X18000584 . ПМИД   31064528 . S2CID   147705650 .
  134. ^ Перейти обратно: а б Меде Н.Г., Шефер М.С., Циглер Р., Вайскопф М. (январь 2021 г.). «Кризис репликации» в глазах общественности: осознание и восприятие немцами (не)воспроизводимости научных исследований» . Общественное понимание науки . 30 (1): 91–102. дои : 10.1177/0963662520954370 . ПМИД   32924865 . S2CID   221723269 .
  135. ^ Перейти обратно: а б с д Летцтер Р. (22 сентября 2016 г.). «Ученые в ярости после того, как известная психолог обвинила своих коллег в «методологическом терроризме» » . Бизнес-инсайдер . Проверено 30 января 2020 г.
  136. ^ «Проект колонки наблюдателей вызвал бурную реакцию в социальных сетях» . Обозреватель АПС . Ассоциация психологических наук. Сентябрь 2016 года . Проверено 4 октября 2017 г.
  137. ^ Фиске СТ (31 октября 2016 г.). «Призыв изменить научную культуру стыда» . Обозреватель АПС . 29 (9).
  138. ^ Сингал Дж. (12 октября 2016 г.). «В дебатах психологии о методологическом терроризме» . Нью-Йорк Маг . Проверено 4 октября 2017 г.
  139. ^ Перейти обратно: а б Вазире, Симине (2 июля 2018 г.). «Последствия революции доверия для производительности, творчества и прогресса» . Перспективы психологической науки . 13 (4): 411–417. дои : 10.1177/1745691617751884 . ISSN   1745-6916 . ПМИД   29961410 . S2CID   49647586 .
  140. ^ Корбмахер, Макс; Азеведо, Флавио; Пеннингтон, Шарлотта Р.; и другие. (25 июля 2023 г.). «Кризис репликации привел к позитивным структурным, процедурным и общественным изменениям» . Психология коммуникаций . 1 (1): 1–13. дои : 10.1038/s44271-023-00003-2 . hdl : 10852/106350 . ISSN   2731-9121 .
  141. ^ Стробе В., Страк Ф (январь 2014 г.). «Предполагаемый кризис и иллюзия точного повторения» . Перспективы психологической науки . 9 (1): 59–71. дои : 10.1177/1745691613514450 . ПМИД   26173241 . S2CID   31938129 .
  142. ^ Дженсен А (7 мая 2019 г.). «Репликация как успешная и неуспешная репликация» . Колледж свободных искусств, факультет философии . Университет Миннесоты . Проверено 25 мая 2022 г.
  143. ^ Мадхусуданан Дж. (май 2022 г.). «Незаметная переменная в исследованиях на животных: почему диета имеет значение» . Природа . 605 (7911): 778–779. Бибкод : 2022Natur.605..778M . дои : 10.1038/d41586-022-01393-9 . ПМИД   35606524 . S2CID   249015202 .
  144. ^ Иоаннидис Дж. П. (июнь 2016 г.). «Почему большинство клинических исследований бесполезны» . ПЛОС Медицина . 13 (6): e1002049. дои : 10.1371/journal.pmed.1002049 . ПМЦ   4915619 . ПМИД   27328301 .
  145. ^ Иоаннидис Дж. П., Фанелли Д., Данн Д. Д., Гудман С. Н. (октябрь 2015 г.). «Метаисследования: оценка и совершенствование методов и практик исследования» . ПЛОС Биология . 13 (10): e1002264. дои : 10.1371/journal.pbio.1002264 . ПМК   4592065 . ПМИД   26431313 .
  146. ^ Бах Б. (8 декабря 2015 г.). «О передаче науки и неопределенности: подкаст с Джоном Иоаннидисом» . Объем . Проверено 20 мая 2019 г.
  147. ^ Госселин Р.Д. (январь 2020 г.). «Статистический анализ должен улучшиться, чтобы справиться с кризисом воспроизводимости: призыв к действию по доступу к прозрачной статистике (ACTS)». Биоэссе . 42 (1): e1900189. doi : 10.1002/bies.201900189 . ПМИД   31755115 . S2CID   208228664 .
  148. ^ Пратт М.Г., Каплан С., Уиттингтон Р. (6 ноября 2019 г.). «Редакционное эссе: Суматоха по поводу прозрачности: отделение прозрачности от тиражирования в создании заслуживающих доверия качественных исследований» . Ежеквартальный журнал административной науки . 65 (1): 1–19. дои : 10.1177/0001839219887663 . ISSN   0001-8392 . S2CID   210537501 .
  149. ^ Ашванден C (6 декабря 2018 г.). «Кризис репликации психологии сделал эту область лучше» . ПятьТридцатьВосемь . Проверено 19 декабря 2018 г.
  150. ^ Чартье С., Клайн М., Маккарти Р., Нуйтен М., Данливи Д.Д., Леджервуд А. (декабрь 2018 г.), «Кооперативная революция делает психологическую науку лучше» , Observer , 31 (10) , получено 19 декабря 2018 г.
  151. ^ «Зарегистрированные отчеты о репликации» . Ассоциация психологических наук . Проверено 13 ноября 2015 г.
  152. ^ Чемберс С (20 мая 2014 г.). «Революция регистрации в психологии » . Хранитель . Проверено 13 ноября 2015 г.
  153. ^ Линдси Д.С. (декабрь 2015 г.). «Репликация в психологической науке» . Психологическая наука . 26 (12): 1827–1832. дои : 10.1177/0956797615616374 . ПМИД   26553013 .
  154. ^ Перейти обратно: а б Бенджамин Д.Д., Бергер Дж.О., Йоханнессон М., Носек Б.А., Вагенмейкерс Э.Дж., Берк Р. и др. (январь 2018 г.). «Переопределить статистическую значимость» . Природа человеческого поведения . 2 (1): 6–10. дои : 10.1038/s41562-017-0189-z . hdl : 10281/184094 . ПМИД   30980045 .
  155. ^ Лейкенс Д., Адольфи Ф.Г., Альберс К.Дж., Анвари Ф., Аппс М.А., Аргамон С.Е. и др. (март 2018 г.). «Оправдывай свою альфу» . Природа человеческого поведения . 2 (3): 168–171. дои : 10.1038/s41562-018-0311-x . hdl : 21.11116/0000-0004-9413-F . ISSN   2397-3374 . S2CID   3692182 .
  156. ^ Колкухун Д. (ноябрь 2014 г.). «Исследование частоты ложных открытий и неправильной интерпретации p-значений» . Королевское общество открытой науки . 1 (3): 140216. arXiv : 1407.5296 . Бибкод : 2014RSOS....140216C . дои : 10.1098/rsos.140216 . ПМЦ   4448847 . ПМИД   26064558 .
  157. ^ Перейти обратно: а б с д Колкухун Д. (декабрь 2017 г.). «Воспроизводимость исследований и неверная интерпретация p -значений» . Королевское общество открытой науки . 4 (12): 171085. дои : 10.1098/rsos.171085 . ПМК   5750014 . ПМИД   29308247 .
  158. ^ Колкухун Д. (11 октября 2016 г.). «Проблема с p-значениями» . Журнал Эон . Проверено 11 декабря 2016 г.
  159. ^ Лонгстафф С., Колкухун Д. «Калькулятор риска ложноположительных результатов (FPR)» . Университетский колледж Лондона. версия 1.7.
  160. ^ Мэтьюз Р.А. (2001). «Почему клиницистов должны интересовать байесовские методы?». Журнал статистического планирования и выводов . 94 : 43–58. дои : 10.1016/S0378-3758(00)00232-9 .
  161. ^ Максвелл С.Э., Лау М.Ю., Ховард Г.С. (сентябрь 2015 г.). «Страдает ли психология кризисом репликации? Что на самом деле означает «неспособность воспроизводить»?». Американский психолог . 70 (6): 487–498. дои : 10.1037/a0039400 . ПМИД   26348332 .
  162. ^ ИнтХаут Дж., Иоаннидис Дж.П., Борм Г.Ф., Гоеман Дж.Дж. (август 2015 г.). «Небольшие исследования более разнородны, чем крупные: мета-метаанализ» . Журнал клинической эпидемиологии . 68 (8): 860–869. дои : 10.1016/j.jclinepi.2015.03.017 . hdl : 2066/153978 . ПМИД   25959635 .
  163. ^ Баттон К.С., Иоаннидис Дж.П., Мокрыш С., Носек Б.А., Флинт Дж., Робинсон Э.С., Мунафо М.Р. (май 2013 г.). «Сбой в электроснабжении: почему небольшой размер выборки подрывает надежность нейробиологии» . Обзоры природы. Нейронаука . 14 (5): 365–376. дои : 10.1038/nrn3475 . ПМИД   23571845 .
  164. ^ Гринвальд АГ (1975). «Последствия предубеждения против нулевой гипотезы» (PDF) . Психологический вестник . 82 (1): 1–20. дои : 10.1037/h0076157 .
  165. ^ Амрайн В., Корнер-Нивергельт Ф., Рот Т. (2017). «Земля плоская ( p > 0,05): пороги значимости и кризис невоспроизводимых исследований» . ПерДж . 5 : е3544. дои : 10.7717/peerj.3544 . ПМК   5502092 . ПМИД   28698825 .
  166. ^ «NWO предоставляет 3 миллиона долларов для пилотных исследований репликации» . Нидерландская организация научных исследований (пресс-релиз). Июль 2016 г. Архивировано из оригинала 22 июля 2016 г.
  167. ^ Перейти обратно: а б с Apple S (22 января 2017 г.). «Молодой миллиардер, стоящий за войной с плохой наукой» . Проводной .
  168. ^ Фрэнк MC, Сакс Р. (ноябрь 2012 г.). «Обучение репликации» . Перспективы психологической науки . 7 (6): 600–604. дои : 10.1177/1745691612460686 . ПМИД   26168118 . S2CID   33661604 .
  169. ^ Грахе Дж.Э., Рейфман А., Герман А.Д., Уокер М., Олесон К.С., Нарио-Редмонд М., Вибе Р.П. (ноябрь 2012 г.). «Использование неоткрытого ресурса студенческих исследовательских проектов» . Перспективы психологической науки . 7 (6): 605–607. дои : 10.1177/1745691612459057 . ПМИД   26168119 .
  170. ^ Марвик Б., Ван Л., Робинсон Р., Луазель Х. (22 октября 2019 г.). «Как использовать задания на репликацию для обучения целостности в эмпирической археологии» . Достижения археологической практики . 8 : 78–86. дои : 10.1017/aap.2019.38 .
  171. ^ Эверетт Дж. А., Эрп Б. Д. (1 января 2015 г.). «Трагедия (академического) достояния: интерпретация кризиса репликации в психологии как социальной дилеммы для начинающих исследователей» . Границы в психологии . 6 : 1152. doi : 10.3389/fpsyg.2015.01152 . ПМК   4527093 . ПМИД   26300832 .
  172. ^ Кинтана DS (сентябрь 2021 г.). «Репликация бакалаврских диссертаций для улучшения науки и образования». Природа человеческого поведения (статья World View). 5 (9): 1117–1118. дои : 10.1038/s41562-021-01192-8 . ПМИД   34493847 . S2CID   237439956 .
  173. ^ Кембриджский университет (апрель 2022 г.). « Робот-ученый Ева обнаружила, что менее трети научных результатов воспроизводимы» . Техэксплор . Проверено 15 мая 2022 г.
  174. ^ Ропер К., Абдель-Рехим А., Хаббард С., Карпентер М., Ржецкий А., Солдатова Л., Кинг Р.Д. (апрель 2022 г.). «Проверка воспроизводимости и надежности литературы по биологии рака с помощью робота» . Журнал Королевского общества, Интерфейс . 19 (189): 20210821. doi : 10.1098/rsif.2021.0821 . ПМЦ   8984295 . ПМИД   35382578 .
  175. ^ Перейти обратно: а б Чемберс С (10 июня 2014 г.). «Физика завидует: есть ли в «точных» науках решение кризиса репликации в психологии?» . Хранитель .
  176. ^ Канеман Д. (2014). «Новый этикет репликации». Социальная психология (комментарий). Комментарии и ответы дальше. 45 (4): 310–311. дои : 10.1027/1864-9335/a000202 .
  177. ^ Макел MC, Плакер Дж. А., Хегарти Б. (ноябрь 2012 г.). «Репликации в психологических исследованиях: как часто они действительно происходят?» . Перспективы психологической науки . 7 (6): 537–542. дои : 10.1177/1745691612460688 . ПМИД   26168110 .
  178. ^ Ульманн, Эрик Луис; Эберсол, Чарльз Р.; Шартье, Кристофер Р.; Эррингтон, Тимоти М.; Кидвелл, Мэллори К.; Лай, Кэлвин К.; Маккарти, Рэнди Дж.; Ригельман, Эми; Зильберзан, Рафаэль; Носек, Брайан А. (сентябрь 2019 г.). «Научная утопия III: Краудсорсинговая наука» . Перспективы психологической науки . 14 (5): 711–733. дои : 10.1177/1745691619850561 . ISSN   1745-6916 . ПМИД   31260639 .
  179. ^ Перейти обратно: а б Форшер, Патрик С.; Вагенмейкерс, Эрик-Ян; Коулз, Николас А.; Силан, Мигель Алехандро; Дутра, Наталья; Баснайт-Браун, Дана; Эйзерман, Ганс (май 2023 г.). «Преимущества, препятствия и риски большой команды науки» . Перспективы психологической науки . 18 (3): 607–623. дои : 10.1177/17456916221082970 . ISSN   1745-6916 . ПМИД   36190899 . S2CID   236816530 .
  180. ^ Munafò MR, Davey Smith G (January 2018). "Robust research needs many lines of evidence". Nature. 553 (7689): 399–401. Bibcode:2018Natur.553..399M. doi:10.1038/d41586-018-01023-3. PMID 29368721.
  181. ^ Jump up to: a b c d e f Wallot S, Kelty-Stephen DG (1 June 2018). "Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication". Minds and Machines. 28 (2): 353–374. doi:10.1007/s11023-017-9455-0. hdl:21.11116/0000-0001-AC9C-E. ISSN 1572-8641.
  182. ^ Tierney W, Hardy JH, Ebersole CR, Leavitt K, Viganola D, Clemente EG, et al. (1 November 2020). "Creative destruction in science". Organizational Behavior and Human Decision Processes. 161: 291–309. doi:10.1016/j.obhdp.2020.07.002. hdl:2066/228242. ISSN 0749-5978. S2CID 224979451.
  183. ^ Tierney W, Hardy J, Ebersole CR, Viganola D, Clemente EG, Gordon M, et al. (1 March 2021). "A creative destruction approach to replication: Implicit work and sex morality across cultures". Journal of Experimental Social Psychology. 93: 104060. doi:10.1016/j.jesp.2020.104060. hdl:10037/24275. ISSN 0022-1031. S2CID 229028797.
  184. ^ Delios A, Clemente EG, Wu T, Tan H, Wang Y, Gordon M, et al. (July 2022). "Examining the generalizability of research findings from archival data". Proceedings of the National Academy of Sciences of the United States of America. 119 (30): e2120377119. Bibcode:2022PNAS..11920377D. doi:10.1073/pnas.2120377119. PMC 9335312. PMID 35858443.
  185. ^ Ince DC, Hatton L, Graham-Cumming J (February 2012). "The case for open computer programs". Nature. 482 (7386): 485–488. Bibcode:2012Natur.482..485I. doi:10.1038/nature10836. PMID 22358837.
  186. ^ Vuong QH (January 2018). "The (ir)rational consideration of the cost of science in transition economies". Nature Human Behaviour. 2 (1): 5. doi:10.1038/s41562-017-0281-4. PMID 30980055. S2CID 46878093.
  187. ^ Junk TR, Lyons L (21 December 2020). "Reproducibility and Replication of Experimental Particle Physics Results". Harvard Data Science Review. 2 (4). arXiv:2009.06864. doi:10.1162/99608f92.250f995b. S2CID 221703733.
  188. ^ Jump up to: a b Ioannidis JP (February 2016). "Anticipating consequences of sharing raw data and code and of awarding badges for sharing". Journal of Clinical Epidemiology (Commentary). 70: 258–260. doi:10.1016/j.jclinepi.2015.04.015. PMID 26163123.

Further reading[edit]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Replication_crisis&oldid=1228328961"
Arc.Ask3.Ru: конец оригинального документа.
Arc.Ask3.Ru
Номер скриншота №: C4851E25994B03252C9B71F5F0DA3F1B__1718028420
URL1:https://en.wikipedia.org/wiki/Replication_crisis
Заголовок, (Title) документа по адресу, URL1:
Replication crisis - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть, любые претензии не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, денежную единицу можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)