Предварительная регистрация (наука)
Предварительная регистрация — это практика регистрации гипотез, методов или анализа научного исследования до его проведения. [1] [2] Регистрация клинических исследований аналогична, хотя может и не требовать регистрации протокола анализа исследования. Наконец, зарегистрированные отчеты включают экспертную оценку и, в принципе, принятие протокола исследования до сбора данных. [3]
Цель предварительной регистрации — предоставить другим возможность прозрачно оценить способность теста фальсифицировать прогноз. [4] Ряд исследовательских практик, таких как p-хакерство , предвзятость публикаций , сбор данных , неподходящие формы последующего анализа и HARKing , увеличивают вероятность неверных утверждений. Хоть идея и старая [5] практика предварительной регистрации исследований приобрела известность, чтобы смягчить некоторые проблемы, которые, как полагают, лежат в основе кризиса репликации . [1]
Типы
[ редактировать ]Стандартная предварительная регистрация
[ редактировать ]В стандартном формате предварительной регистрации исследователи готовят протокол исследования до проведения исследования. В идеале в этом документе указываются гипотезы исследования, процедура отбора проб, размер выборки, план исследования, условия тестирования, стимулы, меры, метод кодирования и агрегирования данных, критерии исключения данных и статистический анализ, включая потенциальные вариации этого анализа. Этот документ предварительной регистрации затем публикуется на общедоступном веб-сайте, таком как Open Science Framework или AsPredicted . Затем проводится предварительно зарегистрированное исследование, и отчет об исследовании и его результатах представляется для публикации вместе с доступом к документу предварительной регистрации. Такой подход предварительной регистрации позволяет рецензентам и последующим читателям ссылаться на документ предварительной регистрации с опубликованной исследовательской статьей, чтобы выявить наличие любых нераскрытых отклонений предварительной регистрации. Отклонения от предварительной регистрации возможны и распространены на практике, но о них следует открыто сообщать и оценивать последствия для серьезности теста. [6]
Зарегистрированные отчеты
[ редактировать ]Формат зарегистрированного отчета требует, чтобы авторы предоставили описание методов исследования и анализа до сбора данных. [7] [8] После того как теоретическое введение, метод и план анализа прошли экспертную оценку (Этап 1 экспертной оценки), публикация результатов предварительно гарантируется (принципиальное принятие). Затем проводится предлагаемое исследование, и отчет об исследовании передается на экспертную оценку второго этапа. Экспертная оценка этапа 2 подтверждает, что фактические методы исследования соответствуют предварительно зарегистрированному протоколу, что пороговые значения качества соблюдены (например, проверки манипуляций подтверждают достоверность экспериментальных манипуляций) и что выводы следуют из данных. Поскольку исследования принимаются к публикации независимо от того, являются ли их результаты статистически значимыми, зарегистрированные отчеты предотвращают предвзятость публикации. Метанаучные исследования показали, что процент несущественных результатов в зарегистрированных отчетах существенно выше, чем в стандартных публикациях. [9] [10]
Специализированная предварительная регистрация
[ редактировать ]Предварительную регистрацию можно использовать в отношении множества различных планов и методов исследований, в том числе:
- Количественные исследования в психологии ( Босняк и др., 2021 ) [11]
- Качественное исследование ( Haven & Van Grootel, 2019 ) [12]
- Существующие ранее данные ( Mertens & Krypotosm, 2019 ; Weston et al., 2019 ; van den Akker et al., 2021 ) [13] [14] [15]
- Конструкции с одним корпусом ( Johnson & Cook, 2019 ) [16]
- Электроэнцефалограммное исследование ( Пол и др., 2021 г. ) [17]
- Выборка опыта ( Kirtley et al., 2019 ) [18]
- Поисковые исследования ( Дирнагль, 2020 г. ) [19]
- Исследования на животных ( Берт и др., 2019 ) [20]
Регистрация клинических исследований
[ редактировать ]Регистрация клинических испытаний – это практика документирования клинических испытаний до их проведения в реестре клинических испытаний с целью борьбы с предвзятостью публикаций и выборочной отчетностью . [21] Регистрация клинических исследований требуется в некоторых странах и все больше стандартизируется. [22] Некоторые ведущие медицинские журналы публикуют только результаты предварительно зарегистрированных исследований . [23]
Реестр клинических исследований — это платформа, на которой каталогизируются зарегистрированные клинические исследования. ClinicalTrials.gov , управляемый Национальной медицинской библиотекой США (NLM), был первым онлайн-реестром клинических исследований и остается крупнейшим и наиболее широко используемым. Помимо борьбы с предвзятостью, реестры клинических исследований служат повышению прозрачности и доступности клинических испытаний для общественности. Реестры клинических исследований часто доступны для поиска (например, по заболеванию/показанию, лекарственному препарату, местонахождению и т. д.). Испытания регистрируются фармацевтической, биотехнологической компанией или компанией по производству медицинского оборудования (Спонсор), больницей или фондом, спонсирующим исследование, или другой организацией, например контрактной исследовательской организацией (CRO), которая проводит исследование.
Правительства и международные организации, особенно с 2005 года, предпринимают усилия по обеспечению более широкого доступа к информации о клинических исследованиях и стандартизации реестров и процессов регистрации. Всемирная организация здравоохранения работает над «достижением консенсуса как по минимальным, так и по оптимальным рабочим стандартам регистрации исследований». [24]
Создание и развитие
[ редактировать ]На протяжении многих лет учёные и другие специалисты беспокоились по поводу предвзятости в отчётах о том, что отрицательные или нулевые результаты начатых клинических испытаний могут быть опубликованы с меньшей вероятностью, чем положительные результаты, что искажает литературу и наше понимание того, насколько хорошо работают вмешательства. [25] Это беспокойство носит международный характер, и о нем пишут уже более 50 лет. [26] Одним из предложений по устранению этой потенциальной предвзятости был полный реестр начатых клинических испытаний, который информировал бы общественность о том, какие именно испытания уже начаты. [27] Этические вопросы, казалось, интересовали общественность больше всего, поскольку участники испытаний (в том числе те, которые имели потенциальную коммерческую выгоду) получали выгоду от тех, кто участвовал в испытаниях, но от них не требовалось «отдавать», рассказывая общественности о том, что они узнали.
Те, кого особенно беспокоил двойной стандарт, были систематическими рецензентами, теми, кто обобщал то, что известно из клинических испытаний. Если литература искажена, то и результаты систематического обзора, вероятно, также будут искажены, возможно, в пользу тестового вмешательства, хотя на самом деле накопленные данные этого не показывают, если все данные были обнародованы.
Сайт ClinicalTrials.gov изначально был разработан в основном в результате лоббирования потребителей рака молочной железы, что привело к разрешению формулировок в Законе о модернизации FDA 1997 года (Закон о модернизации управления по контролю за продуктами и лекарствами 1997 года. Pub L № 105-115, §113 Stat 2296). ), но закон не предусматривал ни финансирования, ни механизма обеспечения исполнения. Кроме того, закон требовал, чтобы сайт ClinicalTrials.gov включал исследования только серьезных и опасных для жизни заболеваний.
Затем в 2004 году произошли два события, которые повысили осведомленность общественности о проблемах предвзятости репортажей. Во-первых, тогдашний генеральный прокурор штата Нью-Йорк Элиот Спитцер подал в суд на GlaxoSmithKline (GSK), поскольку они не смогли обнародовать результаты испытаний, показывающие, что некоторые антидепрессанты могут быть вредными. [28]
Вскоре после этого Международный комитет редакторов медицинских журналов (ICMJE) объявил, что их журналы не будут публиковать отчеты об исследованиях, пока они не будут зарегистрированы. Действия ICMJE, вероятно, были самым важным мотиватором для регистрации исследования, поскольку исследователи хотели оставить за собой возможность публикации своих результатов в престижных журналах, если они захотят.
В 2007 году Закон о поправках к Управлению по контролю за продуктами и лекарствами 2007 года (FDAAA) разъяснил требования для регистрации, а также установил штрафы за их несоблюдение (Публичный закон 110-85. Закон о поправках к Управлению по контролю за продуктами и лекарствами 2007 года [1]) .
Международное участие
[ редактировать ]Международный комитет редакторов медицинских журналов (ICMJE) решил, что с 1 июля 2005 г. никакие исследования не будут рассматриваться для публикации, если они не включены в реестр клинических исследований. [29] [30] Всемирная организация здравоохранения начала кампанию по регистрации клинических испытаний, создав Международную платформу регистрации клинических испытаний . Фармацевтическая промышленность также предприняла действия, которые опубликовали планы сделать данные клинических испытаний более прозрачными и общедоступными. В опубликованной в октябре 2008 года пересмотренной Хельсинкской декларации говорится, что «каждое клиническое исследование должно быть зарегистрировано в общедоступной базе данных до набора первого участника». [31] [32]
Всемирная организация здравоохранения поддерживает портал международного реестра по адресу http://apps.who.int/trialsearch/ . [33] ВОЗ заявляет, что миссия международного реестра состоит в том, чтобы «обеспечить доступность полного обзора исследований для всех, кто участвует в принятии решений в области здравоохранения. Это улучшит прозрачность исследований и в конечном итоге повысит достоверность и ценность научной доказательной базы». [34]
С 2007 года Международный комитет редакторов медицинских журналов ICMJE принимает все первичные реестры сети ВОЗ, помимо сайта Clinicaltrials.gov. Регистрация клинических исследований в других реестрах, за исключением ClinicalTrials.gov, увеличилась независимо от дизайна исследований с 2014 года. [35]
Отчетность о соответствии
[ редактировать ]В различных исследованиях оценивалась степень соответствия различных исследований стандартам отчетности их реестра. [36] [37] [38] [39] [40]
Обзор реестров клинических исследований
[ редактировать ]Во всем мире растет число реестров. Исследование 2013 года [41] определил следующие пять крупнейших реестров (цифры обновлены по состоянию на август 2013 г.):
1. | ClinicalTrials.gov | 150,551 |
2. | реестр ЕС | 21,060 |
3. | Сеть реестров Японии (JPRN) | 12,728 |
4. | ИСРКТН | 11,794 |
5. | Австралия и Новая Зеландия (ANZCTR) | 8,216 |
Обзор реестров доклинических исследований
[ редактировать ]Как и в случае с клиническими исследованиями, предварительная регистрация может помочь улучшить прозрачность и качество данных доклинических исследований. [42] [43] В отличие от клинических исследований, где предварительная регистрация является обязательной для значительной части исследований, это все еще новое явление в доклинических исследованиях. Большая часть доклинических и фундаментальных биомедицинских исследований основана на экспериментах на животных. Непубликация результатов экспериментов на животных не только искажает состояние исследований, усиливая предвзятость публикаций, но и представляет собой этическую проблему. [44] [45] Предварительная регистрация обсуждается как мера, которая могла бы решить эту проблему. Следующие реестры подходят для предварительной регистрации доклинических исследований.
1. | Animalstudyregistry.org |
2. | Как и было предсказано |
3. | Реестр ОСФ |
4. | Preclinicaltrials.eu |
Поддержка журнала
[ редактировать ]Более 200 журналов предлагают вариант зарегистрированных отчетов ( Центр открытой науки, 2019 ), [46] а количество журналов, принимающих зарегистрированные отчеты, увеличивается примерно вдвое каждый год ( Chambers et al., 2019 ). [47]
Психологическая наука поощряет предварительную регистрацию исследований и сообщение о величине эффекта и доверительных интервалах. [48] также Главный редактор отметил, что прежде чем разрешить публикацию рукописей, редакция будет просить повторить исследования с неожиданными результатами с использованием небольших выборок.
Организация Nature Human Behavior приняла зарегистрированный формат отчета, поскольку он «смещает акцент с результатов исследования на вопросы, которые определяют исследование, и методы, используемые для ответа на них». [49]
European Journal of Personality определяет этот формат: «В зарегистрированном отчете авторы создают предложение об исследовании, которое включает теоретическую и эмпирическую основу, исследовательские вопросы/гипотезы и пилотные данные (если таковые имеются). После подачи это предложение будет затем рассмотрено перед сбором данных, и в случае принятия документ, полученный в результате этой рецензируемой процедуры, будет опубликован независимо от результатов исследования». [50]
Обратите внимание, что лишь очень небольшая часть академических журналов по психологии и нейробиологии прямо заявила, что они приветствуют повторные исследования с указанием их целей и объема или инструкций для авторов. [51] [52] Это явление не поощряет сообщения или даже попытки повторить исследования.
В целом число участвующих журналов увеличивается, как указывает Центр открытой науки , который ведет список журналов, поощряющих подачу зарегистрированных отчетов. [53]
Преимущества
[ редактировать ]В нескольких статьях изложено обоснование предварительной регистрации (например, Lakens, 2019 ; Nosek et al., 2018 ; Wagenmakers et al., 2012 ). [54] [55] [1] Основная цель предварительной регистрации — повысить прозрачность сообщаемых проверок гипотез, что позволяет читателям оценить, в какой степени решения во время анализа данных были заранее запланированы (поддержание статистического контроля ошибок) или основаны на данных (увеличение типа 1 или типа). 2 коэффициент ошибок).
Метанаучные исследования выявили дополнительные преимущества. Исследователи отмечают, что предварительная регистрация исследования приводит к более тщательному продумыванию гипотезы исследования, планированию эксперимента и статистическому анализу. [56] [57] Кроме того, было показано, что предварительная регистрация способствует лучшему изучению концепций открытой науки, и студенты чувствуют, что понимают свою диссертацию, и это повышает ясность написания рукописи, способствует строгости и с большей вероятностью избегает сомнительных исследовательских практик. [58] [59] Кроме того, это становится инструментом, который руководители могут использовать, чтобы научить студентов бороться с любыми сомнительными исследовательскими практиками. [60]
Исследование 2024 года, опубликованное в журнале «Журнал политической экономии: предварительная регистрация микроэкономики» в экономических журналах, показало, что предварительная регистрация не снижает уровень хакерства и предвзятости публикаций, если только предварительная регистрация не сопровождалась планом предварительного анализа. [61]
Критика
[ редактировать ]Сторонники предварительной регистрации утверждают, что это «метод повышения достоверности опубликованных результатов» ( Nosek & Lakens, 2014 ), что она «делает вашу науку лучше за счет повышения достоверности ваших результатов» ( Центр открытой науки ) и что это «улучшает интерпретируемость и достоверность результатов исследований» ( Nosek et al., 2018 , стр. 2605). [1] [62] Этот аргумент предполагает, что незарегистрированные исследовательские анализы менее «достоверны» и/или «интерпретируемы», чем предварительно зарегистрированные подтверждающие анализы, поскольку они могут включать в себя «циклическое рассуждение», в котором апостериорные гипотезы основаны на наблюдаемых данных ( Nosek et al., 2018). , стр. 2600). [1] Однако критики утверждают, что предварительная регистрация не обязательна для выявления циклических рассуждений в ходе исследовательского анализа ( Рубин, 2020 ). Круговое рассуждение можно выявить путем анализа рассуждения как такового, без необходимости знать, было ли это рассуждение заранее зарегистрировано. Критики также отмечают, что идея о том, что предварительная регистрация повышает достоверность исследований, может удерживать исследователей от проведения незарегистрированных исследовательских анализов ( Coffman & Niederle, 2015 ; см. также Collins et al., 2021, Study 1 ). [63] [64] В ответ сторонники предварительной регистрации подчеркнули, что исследовательский анализ разрешен в предварительно зарегистрированных исследованиях и что результаты этого анализа сохраняют некоторую ценность для выработки гипотез, а не для их проверки. Предварительная регистрация просто делает различие между подтверждающими и поисковыми исследованиями более четким ( Nosek et al., 2018 ; Nosek & Lakens, 2014 ; Wagenmakers et al., 2012 ). [1] [54] [62] Следовательно, хотя предварительная регистрация должна снижать степень свободы исследователя на этапе анализа данных, она также должна быть «планом, а не тюрьмой» ( Dehaven, 2017 ). [65] Однако критики возражают, что, если предварительная регистрация должна быть только планом, а не тюрьмой, то исследователи должны иметь возможность свободно отклоняться от этого плана и проводить исследовательский анализ, не опасаясь обвинений в низкой достоверности исследований из-за замкнутых рассуждений и ненадлежащей исследовательской практики. такие как p -хакинг и несообщаемые множественные тесты , которые приводят к завышенному уровню семейных ошибок (например, Navarro, 2020 ). [66] Опять же, они отметили, что для решения подобных проблем предварительная регистрация не требуется. Например, опасения по поводу р -хакерства и несообщаемых множественных испытаний можно снять, если исследователи будут использовать другие методы открытой науки , такие как (а) открытые данные и исследовательские материалы и (б) анализ надежности или мультивселенной (Рубин, 2020 ; Steegen et al.). ., 2016 ; некоторые другие подходы см. Шривастава, 2018 ). [67] [68] [69] Наконец, что более фундаментально, критики утверждают, что различие между подтверждающим и исследовательским анализом неясно и/или неактуально ( Devezer et al., 2020 ; Rubin, 2020 ; Szollosi & Donkin, 2019 ). [70] [67] [71] и что опасения по поводу завышенного уровня семейных ошибок неоправданны, когда эти уровни ошибок относятся к абстрактным, атеоретическим исследовательским гипотезам, которые не проверяются (Рубин, 2020 , 2021 ; Szollosi et al., 2020 ). [67] [72] [73]
Существуют также опасения по поводу практической реализации предварительной регистрации. Многие предварительно зарегистрированные протоколы оставляют достаточно места для p -хакинга ( Bakker et al., 2020 ; Heirene et al., 2021 ; Ikeda et al., 2019 ; Singh et al., 2021 ; Van den Akker et al., 2023 ). [74] [75] [76] [77] [78] и исследователи редко следуют точным методам исследования и анализам, которые они предварительно регистрируют ( Abrams et al., 2020 ; Claesen et al., 2019 ; Heirene et al., 2021 ; см. также Boghdadly et al., 2018 ; Singh et al., 2021). Сан и др., 2019 ). [79] [80] [81] [82] [76] [77] Например, предварительно зарегистрированные исследования имеют более высокое качество, чем исследования без предварительной регистрации, поскольку в первых есть анализ мощности и больший размер выборки, чем во вторых, но в остальном они, похоже, не предотвращают p-хакерство и HARKing. поскольку доля положительных результатов и величина эффекта в предварительно зарегистрированных и незарегистрированных исследованиях одинаковы ( Van den Akker et al., 2023 ). [78] Кроме того, в ходе опроса 27 предварительно зарегистрированных исследований было обнаружено, что исследователи во всех случаях отклонялись от своих заранее зарегистрированных планов ( Claesen et al., 2019 ). [80] Наиболее частые отклонения касались запланированного размера выборки, критериев исключения и статистической модели. Таким образом, то, что задумывалось как предварительно зарегистрированные подтверждающие испытания, в конечном итоге превратилось в незапланированные исследовательские испытания. Опять же, сторонники предварительной регистрации утверждают, что отклонения от предварительно зарегистрированных планов приемлемы, если о них сообщается прозрачно и обоснованно. Они также отмечают, что даже расплывчатая предварительная регистрация помогает уменьшить степень свободы исследователя и сделать любую остаточную гибкость прозрачной ( Simmons et al., 2021, стр. 180 ). [83] Однако критики утверждают, что бесполезно выявлять или оправдывать отклонения от заранее зарегистрированных планов, если эти планы не отражают высококачественную теорию и исследовательскую практику . Как объяснил Рубин (2020) , «нас должно больше интересовать обоснование нынешнего метода и анализа, чем обоснование исторических изменений, которые привели к нынешнему методу и анализу» (стр. 378–379). [67] Кроме того, предварительная регистрация исследования требует тщательного обсуждения гипотез исследования, его плана и статистического анализа. Это зависит от использования шаблонов предварительной регистрации, которые содержат подробные инструкции о том, что включать и почему ( Bowman et al., 2016 ; Haven & Van Grootel, 2019 ; Van den Akker et al., 2021 ). [84] [85] [86] Во многих шаблонах предварительной регистрации подчеркивается важность анализа мощности, но не только подчеркивается важность того, почему была использована эта методология.
Наконец, некоторые комментаторы утверждают, что при некоторых обстоятельствах предварительная регистрация может фактически нанести вред науке, создавая ложное ощущение достоверности научных исследований и анализов ( Devezer et al., 2020 ; McPhetres, 2020 ; Pham & Oh, 2020 ; Szollosi et al. ., 2020 ). [70] [87] [72] [88] В соответствии с этой точкой зрения есть некоторые свидетельства того, что исследователи считают зарегистрированные отчеты более достоверными, чем стандартные отчеты по ряду параметров ( Soderberg et al., 2020 ; см. также Field et al., 2020 ). неубедительные доказательства [89] [90] хотя неясно, представляет ли это «ложное» чувство доверия из-за ранее существовавшего положительного отношения сообщества к предварительной регистрации или подлинного причинного влияния зарегистрированных отчетов на качество исследований.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Перейти обратно: а б с д и ж Носек, Б.А.; Эберсол, Чехия; ДеХейвен, AC; Меллор, DT (2018). «Революция предварительной регистрации» . Труды Национальной академии наук . 115 (11): 2600–2606. Бибкод : 2018PNAS..115.2600N . дои : 10.1073/pnas.1708274114 . ПМК 5856500 . ПМИД 29531091 . S2CID 4639380 .
- ^ Парсонс, Сэм; Азеведо, Флавио; Эльшериф, Махмуд М.; Гуай, Сэмюэл; Шахим, Оуэн Н.; Говарт, Гизела Х.; Норрис, Эмма; О'Махони, Аойф; Паркер, Адам Дж.; Тодорович, Ана; Пеннингтон, Шарлотта Р. (21 февраля 2022 г.). «Глоссарий терминов открытых стипендий, созданный сообществом» . Природа человеческого поведения . 6 (3): 312–318. дои : 10.1038/s41562-021-01269-4 . hdl : 2292/62865 . ISSN 2397-3374 . ПМИД 35190714 . S2CID 247025114 .
- ^ «Зарегистрированные отчеты о репликации» . Ассоциация психологических наук . Проверено 13 ноября 2015 г.
- ^ Лейкенс, Даниэль (2019). «Ценность предварительной регистрации для психологической науки: концептуальный анализ». Японский психологический обзор . 62 (3): 221–230. дои : 10.24602/sjpr.62.3_221 .
- ^ Бакан, Дэвид (1966). «Тест значимости в психологических исследованиях». Психологический вестник . 66 (6): 423–437. дои : 10.1037/h0020412 . ПМИД 5974619 .
- ^ Лейкенс, Даниэль (14 мая 2024 г.). «Когда и как отказаться от предварительной регистрации». Коллабра: Психология . 10 (1). дои : 10.1525/collabra.117094 .
- ^ Чемберс, Кристофер Д. (март 2013 г.). «Зарегистрированные отчеты: новая издательская инициатива Cortex» (PDF) . Кортекс . 49 (3): 609–610. дои : 10.1016/j.cortex.2012.12.016 .
- ^ Носек, Брайан А.; Лейкенс, Даниэль (1 мая 2014 г.). «Зарегистрированные отчеты: метод повышения достоверности публикуемых результатов». Социальная психология . 45 (3): 137–141. дои : 10.1027/1864-9335/a000192 .
- ^ Шил, Энн М.; Шиен, Митчелл RMJ; Лейкенс, Даниэль (апрель 2021 г.). «Избыток положительных результатов: сравнение стандартной литературы по психологии с зарегистрированными отчетами». Достижения в методах и практике психологической науки . 4 (2): 251524592110074. doi : 10.1177/25152459211007467 .
- ^ Аллен, Кристофер; Мелер, Дэвид М.А. (1 мая 2019 г.). «Проблемы, преимущества и советы открытой науки в начале карьеры и за ее пределами» . ПЛОС Биология . 17 (5): e3000246. дои : 10.1371/journal.pbio.3000246 . ПМК 6513108 . ПМИД 31042704 .
- ^ Босняк, М.; Фибах, CJ; Меллор, Д.; Мюллер, С.; О'Коннор, Д.Б.; Освальд, Флорида; Сокол-Чанг, Род-Айленд (2021 г.). [10.31234/osf.io/d7m5r «Шаблон предварительной регистрации количественных исследований в области психологии: отчет Объединенной целевой группы по предварительной регистрации психологических обществ»]. Американский психолог . 77 (4): 602–615. дои : 10.31234/osf.io/d7m5r . ПМИД 34807636 . S2CID 236655778 .
{{cite journal}}
: Проверять|url=
ценность ( помощь ) - ^ Хейвен, TL; Ван Гроотель, DL (2019). «Предварительная регистрация качественных исследований» . Ответственность в исследованиях . 26 (3): 229–244. дои : 10.1080/08989621.2019.1580147 . ПМИД 30741570 .
- ^ Мертенс, Г.; Крипотос, AM (2019). «Предварительная регистрация анализов ранее существовавших данных» . Психологика Бельгика . 59 (1): 338–352. дои : 10.5334/pb.493 . ПМК 6706998 . ПМИД 31497308 . S2CID 201844047 .
- ^ Уэстон, SJ; Ричи, С.Дж.; Рорер, Дж. М. (2019). «Рекомендации по повышению прозрачности анализа уже существующих наборов данных» . Достижения в методах и практике психологической науки . 2 (3): 214–227. дои : 10.1177/2515245919848684 . ПМК 7079740 . ПМИД 32190814 .
- ^ Аккер, Олмо Р. ван ден; Уэстон, Сара; Кэмпбелл, Лорн; Чопик, Билл; Дамиан, Родика; Дэвис-Кин, Памела; Холл, Эндрю; Кози, Джессика; Крузе, Эллиотт; Олсен, Джером; Ричи, Стюарт (9 ноября 2021 г.). «Предварительная регистрация вторичного анализа данных: шаблон и учебное пособие» . Метапсихология . 5 . дои : 10.15626/MP.2020.2625 . ISSN 2003-2714 .
- ^ Джонсон, АХ; Кук, Б.Г. (2019). «Предварительная регистрация в единичных проектных исследованиях» . Исключительные дети . 86 (1): 95–112. дои : 10.1177/0014402919868529 . S2CID 204363608 .
- ^ Пол, М.; Говаарт, GH; Скеттино, А. (2021). «Как сделать ERP-исследования более прозрачными: Рекомендации по предварительной регистрации» . Международный журнал психофизиологии . 164 : 52–63. doi : 10.31234/osf.io/4tgve . hdl : 21.11116/0000-0008-2B30-2 . ПМИД 33676957 .
- ^ Киртли, О.Дж.; Лафит, Г.; Ахтерхоф, Р.; Хеккаранта, AP; Мьин-Гермейс, И. (2019). «Сделать черный ящик прозрачным: шаблон и руководство для (предварительной) регистрации исследований с использованием методов выборки опыта (ESM)» . PsyArXiv . дои : 10.31234/osf.io/seyq7 . S2CID 236657420 .
- ^ Дирнагль, У. (2020). «Предварительная регистрация поисковых исследований: уроки золотого века открытий» . ПЛОС Биол . 18 (3): e3000690. дои : 10.1371/journal.pbio.3000690 . ПМЦ 7098547 . ПМИД 32214315 .
- ^ Берт, Беттина; Хайнл, Селин; Хмелевская, Юстина; Шварц, Франциска; Грюн, Барбара; Хензель, Андреас; Грейнер, Матиас; Шенфельдер, Гилберт (15 октября 2019 г.). «Уточнение исследований на животных: Реестр исследований на животных» . ПЛОС Биология . 17 (10): е3000463. дои : 10.1371/journal.pbio.3000463 . ISSN 1545-7885 . ПМК 6793840 . ПМИД 31613875 .
- ^ «Международная платформа регистрации клинических исследований (ICTRP)» . Кто.int . Архивировано из оригинала 19 июля 2013 года . Проверено 23 июня 2017 г.
- ^ «ВОЗ | Рабочая группа по передовому опыту ведения регистров клинических исследований (BPG)» . Кто.int . Архивировано из оригинала 12 октября 2008 года . Проверено 23 июня 2017 г.
- ^ Барретт, Стивен (13 сентября 2004 г.). «Крупные журналы печатают информацию о регистрации клинических исследований» . www.quackwatch.org . Проверено 22 мая 2019 г.
- ^ «ВОЗ – Рабочая группа по передовому опыту ведения регистров клинических исследований (BPG)» . www.who.int . Архивировано из оригинала 17 сентября 2008 года.
- ^ Дикерсин, К; Ренни, Д. (2009). «Регистрация клинических исследований». ДЖАМА . 290 (4): 516–523. дои : 10.1001/jama.290.4.516 . ПМИД 12876095 . S2CID 10184671 .
- ^ Стерлинг, Т.Д. (1959). «Решения о публикации и их возможное влияние на выводы, сделанные на основе тестов значимости - или наоборот». J Am Stat Assoc . 54 (285): 30–34. дои : 10.1080/01621459.1959.10501497 . JSTOR 2282137 .
- ^ Международная совместная группа по реестрам клинических исследований (1993). «Документ с изложением позиции и консенсусные рекомендации по реестрам клинических исследований. Специальная рабочая группа Международной совместной группы по реестрам клинических исследований». Метаанальные клинические испытания . 28 (4–5): 255–266. ПМИД 10146333 .
- ^ Дикерсин, К; Ренни, Д. (2012). «Эволюция реестров исследований и их использование для оценки предприятий, занимающихся клиническими исследованиями». ДЖАМА . 307 (17): 1861–4. дои : 10.1001/jama.2012.4230 . ПМИД 22550202 .
- ^ САНКТР. «САНКТР > Домой» . www.sanctr.gov.za .
- ^ «ICMJE: Часто задаваемые вопросы о регистрации клинических исследований» . Архивировано из оригинала 6 июля 2010 г. Проверено 23 июля 2010 г.
- ^ «Хельсинкская декларация WMA – Этические принципы медицинских исследований с участием людей» . Архивировано из оригинала 30 августа 2011 г. Проверено 2 сентября 2010 г.
- ^ «АНЗЦТР» . www.anzctr.org.au .
- ^ Гюльмезоглу, AM; Панг, Т; Хортон, Р; Дикерсин, К. (2005). «ВОЗ содействует международному сотрудничеству в установлении стандартов регистрации клинических исследований» . Ланцет . 365 (9474): 1829–1831. дои : 10.1016/s0140-6736(05)66589-0 . ПМИД 15924966 . S2CID 29203085 .
- ^ «Международная платформа регистрации клинических исследований (ICTRP)» . Всемирная организация здравоохранения .
- ^ Банно, М; Цудзимото, Ю; Катаока, Ю (2019). «Исследования, зарегистрированные на сайте non-ClinicalTrials.gov, составляют растущую долю регистраций протоколов медицинских исследований». Журнал клинической эпидемиологии . 116 : 106–113. дои : 10.1016/j.jclinepi.2019.09.005 . ПМИД 31521723 . S2CID 202582999 .
- ^ Андерсон, Моник Л.; Чизуэлл, Карен; Петерсон, Эрик Д.; Тасним, Асба; Топпинг, Джеймс; Калифф, Роберт М. (12 марта 2015 г.). «Соответствие отчетности о результатах на сайте ClinicalTrials.gov» . Медицинский журнал Новой Англии . 372 (11): 1031–1039. дои : 10.1056/NEJMsa1409364 . ПМК 4508873 . ПМИД 25760355 .
- ^ ДеВито, Николас Дж; Бэкон, Себ; Голдакр, Бен (февраль 2020 г.). «Соблюдение требований законодательства о сообщении результатов клинических испытаний на сайте ClinicalTrials.gov: когортное исследование» . Ланцет . 395 (10221): 361–369. дои : 10.1016/S0140-6736(19)33220-9 . ПМИД 31958402 . S2CID 210704225 .
- ^ Пуллар, Т; Кумар, С; Фили, М. (октябрь 1989 г.). «Соответствие клинических исследований» . Анналы ревматических болезней . 48 (10): 871–5. дои : 10.1136/ard.48.10.871 . ПМЦ 1003898 . ПМИД 2684057 .
- ^ Миллер, Дженнифер Э; Корн, Дэвид; Росс, Джозеф С. (12 ноября 2015 г.). «Регистрация клинических испытаний, отчетность, публикация и соответствие FDAAA: перекрестный анализ и рейтинг новых лекарств, одобренных FDA в 2012 году» . БМЖ Опен . 5 (11): e009758. doi : 10.1136/bmjopen-2015-009758 . ПМЦ 4654354 . ПМИД 26563214 .
- ^ Мисета, Эд (9 января 2018 г.). «Когда ClinicalTrialsgov исполнится 10 лет, мы увидим улучшение соблюдения требований» . www.clinicalleader.com .
- ^ Хузер, В.; Чимино, Джей-Джей (2013). «Оценка соблюдения политики Международного комитета редакторов медицинских журналов по обязательной и своевременной регистрации клинических исследований» . Журнал Американской ассоциации медицинской информатики . 20 (e1): e169–74. дои : 10.1136/amiajnl-2012-001501 . ПМЦ 3715364 . ПМИД 23396544 .
- ^ Вешовски, Сюзанна; Сильва, Диего С.; Стреч, Дэниел (10 ноября 2016 г.). «Реестры исследований на животных: результаты анализа заинтересованных сторон потенциальных сильных и слабых сторон, факторов, способствующих и препятствий» . ПЛОС Биология . 14 (11): e2000391. дои : 10.1371/journal.pbio.2000391 . ISSN 1545-7885 . ПМК 5104355 . ПМИД 27832101 .
- ^ Киммельман, Джонатан; Андерсон, Джеймс А. (июнь 2012 г.). «Нужно ли регистрировать доклинические исследования?» . Природная биотехнология . 30 (6): 488–489. дои : 10.1038/nbt.2261 . ISSN 1546-1696 . ПМК 4516408 . ПМИД 22678379 .
- ^ Вешовски, Сюзанна; Бьерно, Свенья; Дойч, Сюзанна; Глейдж, Силке; Блайх, Андре; Толба, Рене; Стреч, Дэниел (26 ноября 2019 г.). «Уровень публикаций по исследованиям на животных. Объем и характеристики опубликованных и неопубликованных исследований на животных, которые наблюдались в двух университетских медицинских центрах Германии» . ПЛОС ОДИН . 14 (11): e0223758. Бибкод : 2019PLoSO..1423758W . дои : 10.1371/journal.pone.0223758 . ISSN 1932-6203 . ПМК 6879110 . ПМИД 31770377 .
- ^ Наальд, Мира ван дер; Венкер, Стивен; Довенданс, Питер А.; Вевер, Кимберли Э.; Шамуло, Стивен Эй Джей (01 августа 2020 г.). «Уровень публикаций в области доклинических исследований: просьба о предварительной регистрации» . BMJ Открытая наука . 4 (1): e100051. дои : 10.1136/bmjos-2019-100051 . ISSN 2398-8703 . ПМЦ 8647586 . ПМИД 35047690 .
- ^ Центр открытой науки. «Зарегистрированные отчеты: экспертная оценка до того, как станут известны результаты, согласовывает научные ценности и практику» .
- ^ Чемберс, CD; Форстманн, Б.; Прушинский, Ю.А. (2019). «Наука в движении: зарегистрированные отчеты и не только в Европейском журнале неврологии» . Европейский журнал неврологии . 49 (1): 4–5. дои : 10.1111/ejn.14319 . ПМИД 30584679 . S2CID 58645509 .
- ^ Линдси, Д. Стивен (9 ноября 2015 г.). «Репликация в психологической науке» . Психологическая наука . 26 (12): 1827–32. дои : 10.1177/0956797615616374 . ISSN 0956-7976 . ПМИД 26553013 .
- ^ Меллор, Д. (2017). «Повышение воспроизводимости с помощью зарегистрированных отчетов» . Природа человеческого поведения . 1 : 0034. дои : 10.1038/s41562-016-0034 . S2CID 28976450 .
- ^ «Упрощенная проверка и зарегистрированные отчеты скоро станут официальными в EJP» . 6 февраля 2018 г.
- ^ Юнг, Энди В.К. (2017). «Принимают ли журналы по неврологии репликации? Обзор литературы» . Границы человеческой неврологии . 11 : 468. дои : 10.3389/fnhum.2017.00468 . ISSN 1662-5161 . ПМК 5611708 . ПМИД 28979201 .
- ^ Мартин, Дж.Н.; Кларк, Ричард М. (2017). «Являются ли психологические журналы антирепликацией? Снимок редакционной практики» . Границы в психологии . 8 : 523. дои : 10.3389/fpsyg.2017.00523 . ISSN 1664-1078 . ПМЦ 5387793 . ПМИД 28443044 .
- ^ «Обзор зарегистрированных отчетов» . Центр открытой науки . Проверено 28 ноября 2018 г.
- ^ Перейти обратно: а б Вагенмейкерс, Э.Дж.; Ветцелс, Р.; Борсбум, Д.; ван дер Маас, ХЛ; Киевит, РА (2012). «План чисто подтверждающих исследований» . Перспективы психологической науки . 7 (6): 632–638. дои : 10.1177/1745691612463078 . ПМИД 26168122 . S2CID 5096417 .
- ^ Лейкенс, Д. (2019). «Ценность предварительной регистрации для психологической науки: концептуальный анализ» (PDF) . Японский психологический обзор . 62 (3): 221–230.
- ^ Тот, Эллисон А.; Бэнкс, Джордж К.; Меллор, Дэвид; О'Бойл, Эрнест Х.; Диксон, Эшли; Дэвис, Дэниел Дж.; ДеХейвен, Алекс; Бочантин, Хайме; Борнс, Джаред (1 августа 2021 г.). «Предварительная регистрация исследования: оценка метода прозрачной отчетности». Журнал бизнеса и психологии . 36 (4): 553–571. дои : 10.1007/s10869-020-09695-3 .
- ^ Сарафоглу, Александра; Ковач, Мартон; Бакос, Бенце; Вагенмейкерс, Эрик-Ян; Аксель, Балаж (июль 2022 г.). «Опрос о том, как предварительная регистрация влияет на рабочий процесс исследований: лучше наука, но больше работы» . Королевское общество открытой науки . 9 (7). Бибкод : 2022RSOS....911997S . дои : 10.1098/rsos.211997 . ПМЦ 9257590 . ПМИД 35814910 .
- ^ Паунолл, Мадлен; Пеннингтон, Шарлотта Р.; Норрис, Эмма; Хуанчич, Мари; Смайлс, Дэвид; Рассел, Софи; Гуч, Дебби; Эванс, Томас Рис; Перссон, София; Мак, Мэтью ХК; Цавелла, Лукия; Монах, Ребекка; Гоф, Томас; Бенвелл, Кристофер С.Ю.; Эльшериф, Махмуд (октябрь 2023 г.). «Оценка педагогической эффективности предварительной записи на обучение в бакалавриате» . Достижения в методах и практике психологической науки . 6 (4). дои : 10.1177/25152459231202724 . ISSN 2515-2459 .
- ^ Пеннингтон, Шарлотта Р. (2023). Путеводитель для студентов по открытой науке: использование кризиса репликации для реформирования психологии . Мейденхед: Издательство Открытого университета. ISBN 978-0-335-25116-2 .
- ^ Кришна, Ананд; Питер, Себастьян М. (30 августа 2018 г.). «Сомнительная исследовательская практика в выпускных диссертациях студентов – распространенность, отношение и роль воспринимаемого отношения научного руководителя» . ПЛОС ОДИН . 13 (8): e0203470. Бибкод : 2018PLoSO..1303470K . дои : 10.1371/journal.pone.0203470 . ISSN 1932-6203 . ПМК 6117074 . ПМИД 30161249 .
- ^ Бродер, Абель; Кук, Николай М.; Хартли, Джонатан С.; Привет, Энтони (2024). «Снижают ли планы предварительной регистрации и предварительного анализа p-хакерство и предвзятость публикаций? Данные из 15 992 статистических данных испытаний и предложения по улучшению» . Журнал политической экономии «Микроэкономика» . дои : 10.1086/730455 . ISSN 2832-9368 .
- ^ Перейти обратно: а б Носек, Б.А.; Лейкенс, Д. (2014). «Зарегистрированные отчеты: метод повышения достоверности публикуемых результатов» . Социальная психология . 45 (3): 137–141. дои : 10.1027/1864-9335/a000192 .
- ^ Коффман, LC; Нидерле, М. (2015). «Планы предварительного анализа имеют ограниченный потенциал роста, особенно там, где возможно повторение» . Журнал экономических перспектив . 29 (3): 81–98. дои : 10.1257/jep.29.3.81 . S2CID 18163762 .
- ^ Коллинз, Гонконг; Уилланс, А.В.; Джон, Л.К. (2021). «Радость и строгость в поведенческой науке» . Организационное поведение и процессы принятия человеческих решений . 164 : 179–191. дои : 10.1016/j.obhdp.2021.03.002 . S2CID 234848511 .
- ^ Дехавен, А. «Предварительная регистрация: план, а не тюрьма» . Центр открытой науки . Проверено 25 сентября 2020 г.
- ^ Перейти обратно: а б с д Рубин, М. (2020). «Повышает ли предварительная регистрация достоверность результатов исследований?» . Количественные методы в психологии . 16 (4): 376–390. arXiv : 2010.10513 . дои : 10.20982/tqmp.16.4.p376 . S2CID 221821323 .
- ^ Стиген, С.; Тюрлинкс, Ф.; Гельман А.; Ванпаемель, В. (2016). «Повышение прозрачности посредством анализа мультивселенной» . Перспективы психологической науки . 11 (5): 702–712. дои : 10.1177/1745691616658637 . ПМИД 27694465 .
- ^ Шривастава, С. (2018). «Здоровый вывод в сложных исследованиях: многостратегический подход» . PsyArXiv . дои : 10.31234/osf.io/bwr48 . S2CID 86539993 .
- ^ Перейти обратно: а б Девезер, Б.; Наварро, диджей; Вандекерхове, Дж.; Бузбас, Е.О. (2020). «Аргументы в пользу формальной методологии в научной реформе» (PDF) . bioRxiv : 2020.04.26.048306. дои : 10.1101/2020.04.26.048306 . S2CID 218466913 .
- ^ Соллози, А.; Донкин, К. (2019). «Задержка в развитии теории: ошибочное различие между исследовательскими и подтверждающими исследованиями» . дои : 10.31234/osf.io/suzej .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ Перейти обратно: а б Соллози, А.; Келлен, Д.; Наварро, диджей; Шиффрин, Р.; ван Рооджи, И.; Ван Зандт, Т.; Донкин, К. (2020). «Стоит ли предварительная регистрация?» . Тенденции в когнитивных науках . 24 (2): 94–95. дои : 10.1016/j.tics.2019.11.009 . ПМИД 31892461 . S2CID 209500379 .
- ^ Рубин, Марк (2021). «Когда корректировать альфу во время множественного тестирования: рассмотрение дизъюнкции, соединения и индивидуального тестирования» . Синтезируйте . 199 (3–4): 10969–11000. arXiv : 2107.02947 . дои : 10.1007/s11229-021-03276-4 . S2CID 235755301 .
- ^ Баккер, М.; Вельдкамп, CLS; ван Ассен, МАЛЬМ; Кромпвоэтс, ЭАВ; Онг, ХХ; Носек, Б.; Содерберг, КК; Меллор, Д.; Вихертс, Дж. М. (2020). «Обеспечение качества и специфики предварительной регистрации» . ПЛОС Биол . 18 (12): e3000937. дои : 10.1371/journal.pbio.3000937 . ПМЦ 7725296 . ПМИД 33296358 .
- ^ Икеда, А.; Сюй, Х.; Фудзи, Н.; Чжу, С.; Ямада, Ю. (2019). «Сомнительная исследовательская практика после предварительной регистрации» . Японский психологический обзор . 62 (3): 281–295.
- ^ Перейти обратно: а б Сингх, Б.; Фэрман, CM; Кристенсен, Дж. Ф.; Болам, Калифорния; Туми, Р.; Нунан, Д.; Лахарт, IM (2021). «Ошибка в сообщении о результатах исследований онкологических упражнений (OREO): перекрестное исследование». medRxiv 10.1101/2021.03.12.21253378 .
- ^ Перейти обратно: а б Хейрен, Р.; ЛаПланте, Д.; Лаудербэк, скорая помощь; Кин, Б.; Баккер, М.; Серафимовская А.; Гейнсбери, С.М. «Специфика и приверженность предварительной регистрации: обзор исследований предварительно зарегистрированных азартных игр и междисциплинарное сравнение» . PsyArXiv . Проверено 17 июля 2021 г.
- ^ Перейти обратно: а б ван ден Аккер, Олмо Р.; ван Ассен, Марсель Алм; Баккер, Марьян; Эльшериф, Махмуд; Вонг, Цз Кеунг; Вихертс, Йелте М. (10 ноября 2023 г.). «Предварительная регистрация на практике: сравнение предварительно зарегистрированных и незарегистрированных исследований в области психологии» . Методы исследования поведения . дои : 10.3758/s13428-023-02277-0 . ISSN 1554-3528 . ПМИД 37950113 . В эту статью включен текст из этого источника, доступного по лицензии CC BY 4.0 .
- ^ Абрамс, Э.; Либгобер, Дж.; Список, JA (2020). «Регистры исследований: факты, мифы и возможные улучшения» (PDF) . Рабочие документы НБЭР . 27250 .
- ^ Перейти обратно: а б Класен, А.; Гомес, С.; Тюрлинкс, Ф.; Ванпаемель, В.; Левен, КУ (2019). «Предварительная регистрация: Сравниваем мечту с реальностью» . Королевское общество открытой науки . 8 (10). doi : 10.31234/osf.io/d8wex . ПМЦ 8548785 . ПМИД 34729209 . S2CID 240688291 .
- ^ Богдадлы, К. Эл.; Уайлс, доктор медицины; Аттон, С.; Бейли, ЧР (2018). «Соблюдение рекомендаций по регистрации рандомизированных контролируемых исследований, опубликованных в журнале Anaesthesia» . Анестезия . 73 (5): 556–563. дои : 10.1111/anae.14103 . ПМИД 29292498 .
- ^ Солнце, LW; Ли, диджей; Коллинз, Дж.А.; Карлл, ТК; Рамахи, К.; Сэнди, SJ; Унтеринер, Дж.Г.; Вайнберг, Д.В. (2019). «Оценка соответствия между рецензируемыми публикациями и реестрами клинических исследований» . JAMA Офтальмология . 137 (5): 552–556. doi : 10.1001/jamaophthalmol.2019.0312 . ПМК 6512264 . ПМИД 30946427 .
- ^ Симмонс, JP; Нельсон, Л.Д.; Симонсон, У. (2021). «Предварительная регистрация меняет правила игры. Но, как и случайное назначение, она не является ни необходимой, ни достаточной для заслуживающей доверия науки» . Журнал потребительской психологии . 31 (1): 177–180. дои : 10.1002/jcpy.1207 . S2CID 230629031 .
- ^ Боуман, Сара Д.; Дехавен, Александр Карл; Эррингтон, Тимоти М.; Хардвик, Том Элис; Меллор, Дэвид Томас; Носек, Брайан А.; Содерберг, Кортни К. «OSF» . osf.io. doi : 10.31222/osf.io/epgjd . S2CID 242644091 . Проверено 12 ноября 2023 г.
- ^ Л. Хейвен, Тамаринд; Ван Гроотел, доктор. Леони (03 апреля 2019 г.). «Предварительная регистрация качественных исследований» . Ответственность в исследованиях . 26 (3): 229–244. дои : 10.1080/08989621.2019.1580147 . ISSN 0898-9621 . ПМИД 30741570 .
- ^ Аккер, Олмо Р.; Уэстон, Сара; Кэмпбелл, Лорн; Чопик, Билл; Дамиан, Родика; Дэвис-Кин, Памела; Холл, Эндрю; Кози, Джессика; Крузе, Эллиотт; Олсен, Джером; Ричи, Стюарт; Валентин, К.Д.; Вир, Анна ван 'т; Баккер, Марьян (9 ноября 2021 г.). «Предварительная регистрация вторичного анализа данных: шаблон и учебное пособие » Метапсихология . 5 . дои : 10.15626/MP.2020.2625 . ISSN 2003-2714 .
- ^ Макфетрес, Дж. (2020). «Что должна содержать предварительная регистрация?» . doi : 10.31234/osf.io/cj5mh . S2CID 236855127 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ Фам, Монтана; Ох, ТТ (2020). «Предварительная регистрация не является ни достаточной, ни необходимой для хорошей науки» . Журнал потребительской психологии . 31 : 163–176. дои : 10.1002/jcpy.1209 .
- ^ Филд, СМ; Вагенмейкерс, Э.Дж.; Кирс, штат Ха; Хоекстра, Р.; Эрнст, А.Ф.; ван Равенцваай, Д. (2020). «Влияние предварительной регистрации на доверие к результатам эмпирических исследований: результаты зарегистрированного отчета» . Королевское общество открытой науки . 7 (4): 181351. Цифровой код : 2020RSOS....781351F . дои : 10.1098/rsos.181351 . ПМЦ 7211853 . ПМИД 32431853 .
- ^ Содерберг, КК; Эррингтон, ТМ; Скьявоне, СР; Боттезини, Дж.; Синглтон Торн, Ф.; Вазире, С.; Эстерлинг, К.М.; Носек, бакалавр наук (2020). «Исследовательское качество зарегистрированных отчетов по сравнению со стандартной моделью публикации» . дои : 10.31222/osf.io/7x9vy . S2CID 242155160 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь )