✖


Jump to content

Прозрачность исследований

    Add links

    Прозрачность исследований является важным аспектом научных исследований. Он охватывает различные научные принципы и практики: воспроизводимость , совместное использование данных и кода, стандарты цитирования или проверяемость.

    Определения и нормы прозрачности исследований существенно различаются в зависимости от дисциплин и областей исследований. Из-за отсутствия единообразной терминологии прозрачность исследований часто определяется негативно, обращаясь к непрозрачным употреблениям (которые являются частью сомнительной исследовательской практики ).

    После 2010 года повторяющиеся проблемы методологии исследований все чаще признаются структурным кризисом, который влечет за собой глубокие изменения на всех этапах исследовательского процесса. Прозрачность стала ключевой ценностью движения за открытую науку , которое превратилось из первоначального фокуса на публикациях в охват широкого разнообразия результатов исследований. Новые общие стандарты прозрачности исследований, такие как TOP Guidelines , направлены на создание и укрепление культуры открытых исследований во всех дисциплинах и эпистемических культурах.

    Определения

    [ редактировать ]

    Запутанная терминология

    [ редактировать ]

    Не существует единого мнения по поводу определения прозрачности исследований.

    Различия между дисциплинами и эпистемическими культурами во многом способствовали разным принятиям. Воспроизведение прошлых исследований было основным источником разногласий. В экспериментальных условиях воспроизводство опирается на ту же установку и аппаратуру, тогда как репликация требует использования только той же методологии. И наоборот, в вычислительных дисциплинах используются обратные определения терминов «реплицируемость» и «воспроизводимость» . [1] Альтернативные таксономии предложили полностью обойтись двусмысленностью воспроизводимости/воспроизводимости/повторяемости. Вместо этого Гудман, Фанелли и Иоаннидис рекомендовали проводить различие между воспроизводимостью метода (одна и та же экспериментальная/вычислительная установка) и воспроизводимостью результатов (разная установка, но одинаковые общие принципы). [2]

    Ключевые институциональные игроки продолжают расходиться во мнениях относительно значения и использования ключевых понятий. В 2019 году Национальные академии наук США сохранили экспериментальное определение репликации и воспроизводства, которое по-прежнему «противоречит более гибкому способу их использования [другими] крупными организациями». [3] В 2016 году Ассоциация вычислительной техники выбрала вычислительное определение и добавила также промежуточное понятие повторяемости , когда другая группа исследователей использует одну и ту же систему и процедуру измерения. [4]

    Дебаты по поводу прозрачности исследований также привели к новым сближениям между различными дисциплинами и академическими кругами. В книге « Проблема науки» (2021) Руфус Баркер Бауселл утверждает, что все дисциплины, включая социальные науки, в настоящее время сталкиваются с проблемами, аналогичными медицине и физическим наукам: «Проблема, которая стала известна как кризис воспроизводимости, затрагивает почти все науки, а не одной или двух отдельных дисциплин». [5]

    Отрицательные определения

    [ редактировать ]

    Из-за отсутствия единой терминологии в отношении прозрачности исследований ученые, политики и другие основные заинтересованные стороны все чаще полагаются на негативные определения: какие практики и формы наносят вред или подрывают какой-либо общий идеал прозрачности исследований. [ нужна ссылка ]

    Классификация научных нарушений постепенно расширялась с 1980-х годов. Концепция сомнительных исследовательских практик (или QRP) была впервые использована в отчете Комитета по науке, технике и государственной политике за 1992 год как способ устранения потенциально непреднамеренных неудачных исследований (например, недостатков в процессе управления исследовательскими данными). . [6] Сомнительные исследовательские практики обнажают большую серую зону проблемных практик, которые часто связаны с недостатками прозрачности исследований. В 2016 году исследование выявило целых 34 сомнительных исследовательских практики или «степени свободы», которые могут возникнуть на всех этапах проекта (исходная гипотеза, план исследования, сбор данных, анализ и отчетность). [7]

    Обзоры дисциплинарной практики показали большие различия в приемлемости и распространении сомнительных исследовательских практик. Хотя фабрикация данных и, в меньшей степени, округление статистических показателей, таких как значение p , в значительной степени отвергаются, непубликация отрицательных результатов или присоединение дополнительных данных не считаются серьезными проблемами. [8] [9]

    В 2009 году метаанализ 18 опросов показал, что менее 2% ученых «признались, что хотя бы один раз сфабриковали, фальсифицировали или изменили данные или результаты». Реальная распространенность может быть недооценена из-за самоотчетов: относительно «поведения коллег уровень госпитализации составил 14,12%». [10] Сомнительные исследовательские практики более распространены: более трети респондентов признаются, что делали это один раз. [10] Крупный опрос 6813 респондентов в Нидерландах, проведенный в 2021 году, выявил значительно более высокие оценки: 4% респондентов занимались фабрикацией данных, а более половины респондентов занимались сомнительными исследовательскими практиками. [11] Более высокие показатели можно объяснить либо ухудшением этических норм, либо «повышением осведомленности о честности исследований в последние годы». [12]

    Новое измерение открытой науки?

    [ редактировать ]

    Прозрачность все чаще признается важным компонентом открытой науки . До 2010-х годов определения открытой науки были в основном сосредоточены на техническом доступе и расширении участия и сотрудничества между академическими и неакадемическими учеными. В 2016 году Лиз Лайон определила прозрачность как «третье измерение» открытой науки в связи с тем, что «концепция прозрачности и связанный с ней термин «воспроизводимость» становятся все более важными в современной междисциплинарной исследовательской среде». [13] По словам Кевина Эллиотта, движение за открытую науку «охватывает ряд различных инициатив, направленных на несколько разные формы прозрачности». [14]

    впервые разработанные в 2014 году, Рекомендации TOP, внесли значительный вклад в обеспечение прозрачности повестки дня движений за открытую науку. [15] Они стремятся продвигать «культуру открытых исследований» и внедрять «сильные стимулы для большей прозрачности». [16] Они опираются на восемь стандартов с разными уровнями соответствия. Хотя стандарты являются модульными, они также направлены на то, чтобы сформулировать последовательный дух науки, поскольку «они также дополняют друг друга, поскольку приверженность одному стандарту может способствовать принятию других». [15]

    Эта открытая научная основа прозрачности, в свою очередь, была принята ведущими участниками и учреждениями по теме прозрачности исследований. После 2015 года историки науки подчеркнули, что существенного ухудшения качества исследований не произошло, поскольку прошлые эксперименты и дизайн исследований были задуманы не намного лучше, а уровень ложных или частично ложных результатов, вероятно, оставался примерно постоянным в течение последних десятилетий. [17] [18] Следовательно, сторонники прозрачности исследований стали более открыто придерживаться дискурса открытой науки: культура научной прозрачности становится новым идеалом, которого необходимо достичь, а не фундаментальным принципом, который необходимо восстановить.

    Концепция прозрачности способствовала сближению открытой науки и других открытых движений в различных областях, таких как открытые данные или открытое правительство . В 2015 году ОЭСР описала прозрачность как общее «обоснование открытой науки и открытых данных». [19]

    История

    [ редактировать ]

    Дискурс и практика прозрачности исследований (до 1945 г.)

    [ редактировать ]

    Прозрачность была фундаментальным критерием экспериментальных исследований на протяжении веков. [20] Успешные репликации стали неотъемлемой частью институционального дискурса естественных наук (тогда называемого натуральной философией ) в 17 веке. [21] Первое научное общество Флоренции, Accademia del Cimento, приняло в 1657 году девиз provando e riprovando как призыв к «повторному (публичному) проведению экспериментальных испытаний». [22] Ключевой член Академии , натуралист Франческо Реди подробно описал формы и преимущества процедурных экспериментов, которые позволили проверить случайные эффекты, правильность плана эксперимента или причинно-следственные связи посредством повторных испытаний. [23] Воспроизведение и открытая документация научных экспериментов стали ключевым компонентом распространения научных знаний в обществе: как только они достигли удовлетворительного успеха, эксперименты можно было проводить в различных социальных пространствах, таких как суды, рынки или научные салоны . [24]

    Хотя прозрачность с самого начала была признана ключевым компонентом науки, она не получила последовательного определения. Большинство концепций, связанных сегодня с прозрачностью исследований, возникли как технические термины без четких и распространенных определений. Понятие воспроизводимости появилось в статье «Методы освещения», впервые опубликованной в 1902 году: один из рассмотренных методов был признан ограниченным в отношении «воспроизводимости и постоянства». [25] В 2019 году национальные академии подчеркнули, что различие между воспроизведением, повторением и репликацией остается в значительной степени неясным и несогласованным между дисциплинами: «То, что одна группа подразумевает под одним словом, другая группа подразумевает под другим словом. Эти термины — и другие, такие как как повторяемость — издавна употребляются по отношению к общему понятию одного эксперимента или исследования, подтверждающего результаты другого». [26]

    Помимо этого отсутствия формализации, существовал значительный разрыв между институциональным и дисциплинарным дискурсом о прозрачности исследований и реальностью исследовательской работы, который сохранялся до 21 века. Из-за высокой стоимости аппарата и отсутствия стимулов большая часть опыта не была воспроизведена современными исследователями: даже такой убежденный сторонник экспериментализма, как Роберт Дойл, был вынужден перейти к форме виртуального экспериментализма , подробно описывая план исследования, который был запущен только один раз [27] Для Фридриха Штайнле разрыв между постулируемым достоинством прозрачности и материальными условиями науки никогда не был устранен: «Редкие случаи, в которых действительно предпринимаются попытки репликации, — это те, которые либо являются центральными для развития теории (например, будучи несовместимыми с существующими теория) или обещают широкое внимание из-за важных экономических перспектив. Несмотря на формальный идеал тиражирования, мы не живем в культуре тиражирования». [28]

    Предпосылки кризиса прозрачности (1945–2000 гг.)

    [ редактировать ]

    Развитие большой науки после Второй мировой войны создало беспрецедентные проблемы для прозрачности исследований. Обобщение статистических методов на большое количество областей, а также увеличение широты и сложности исследовательских проектов повлекли за собой ряд опасений по поводу отсутствия надлежащей документации научного процесса.

    В связи с расширением опубликованных результатов исследований были разработаны новые количественные методы для изучения литературы под названием метаанализ или метанаука . Они основаны на предположении, что количественные результаты и детали экспериментальной и наблюдательной структуры являются достоверными (например, размер или состав выборки). В 1966 году Стэнли Шор и Ирвинг Картен опубликовали одну из первых общих оценок статистических методов в 67 ведущих медицинских журналах. Хотя было обнаружено несколько откровенно проблемных статей, «почти в 73% прочитанных отчетов (тех, которые нуждались в пересмотре, и тех, которые должны были быть отклонены), выводы были сделаны, когда обоснование этих выводов было недействительным». [29]

    В 1970-х и 1980-х годах научные нарушения постепенно перестали представляться как индивидуальные нарушения и превратились в коллективные проблемы, которые необходимо решать научным учреждениям и сообществам. В период с 1979 по 1981 год несколько крупных случаев научного мошенничества и плагиата привлекли к этой проблеме более пристальное внимание со стороны исследователей и политиков в Соединенных Штатах. [30] В широко разрекламированном расследовании « Предатели науки» два научных журналиста описали научное мошенничество как структурную проблему: «По мере того, как все больше случаев мошенничества попадало в поле зрения общественности (…), мы задавались вопросом, не является ли мошенничество вполне обычной второстепенной чертой научной деятельности». ландшафт (…) Логика, воспроизведение, экспертная оценка — все это успешно опровергалось научными фальсификаторами, часто в течение длительных периодов времени». [31] Кодификация честности исследований стала основным институциональным ответом на этот возросший общественный контроль с помощью «многочисленных кодексов поведения, специфичных для конкретных областей, как национальных, так и международных». [32]

    Споры о воспроизводимости/прозрачности (2000–2015 гг.)

    [ редактировать ]
    Дополнительная информация: Кризис репликации.
    График результатов и барьеров. Было спроектировано 193 эксперимента, начато 87 и завершено 50.
    Результаты проекта воспроизводимости: биология рака

    В 2000-е годы давние проблемы стандартизации методологии исследований все чаще представлялись как структурный кризис, который, «если не решить его, широкая общественность неизбежно потеряет доверие к науке». [33] Начало 2010-х годов обычно считается поворотным моментом: «только где-то примерно в 2011–2012 годах сознание научного сообщества было засыпано предупреждениями о невоспроизводимости». [34]

    Первым значительным вкладом в дебаты стало спорное и влиятельное заявление Джона Иоаннидиса от 2005 года: « Большинство опубликованных результатов исследований являются ложными . [35] Основной аргумент был основан на чрезмерно слабых экспериментальных стандартах, при этом многочисленные слабые результаты представлялись как надежные исследования: «большая часть современных биомедицинских исследований проводится в областях с очень низкой вероятностью получения истинных результатов до и после исследования». [36]

    Благодаря публикации в журнале PLOS Medicine исследование Иоаннидиса вызвало значительный отклик в психологии, медицине и биологии. В последующие десятилетия в масштабных проектах пытались оценить воспроизводимость экспериментов. В 2015 году проект воспроизводимости: психология попытался воспроизвести 100 исследований из трех ведущих журналов по психологии ( «Журнал личности и социальной психологии» , «Журнал экспериментальной психологии: обучение, память и познание » и «Психологические науки» ), при этом почти все статьи имели воспроизводимые эффекты. , было обнаружено, что только 36% репликаций были достаточно значимыми ( значение p выше общего порога 0,05). [37] В 2021 году другой проект воспроизводимости, «Биология рака», проанализировал 53 ведущие статьи о раке, опубликованные в период с 2010 по 2012 год, и установил, что размеры эффекта были в среднем на 85% меньше, чем первоначальные результаты. [38]

    В 2010-е годы концепция кризиса воспроизводимости распространилась на более широкий спектр дисциплин. Доля цитирований в год основополагающей статьи Джона Иоаннидиса « Почему большинство опубликованных результатов исследований ложны в основных областях исследований, согласно метаданным, зафиксированным академической поисковой системой Semantic Scholar» (6349 цитирований по состоянию на июнь 2022 г.), показывает, как это фрейминг особенно распространился на компьютерные науки. В области экономики, повторение 18 экспериментальных исследований в двух крупных журналах, выявило процент неудач, сравнимый с психологией или медициной (39%). [39]

    Несколько глобальных опросов сообщили о растущем беспокойстве научных сообществ по поводу воспроизводимости и других вопросов прозрачности исследований. В 2016 году журнал Nature подчеркнул, что «более 70% исследователей пытались, но не смогли воспроизвести эксперименты других ученых, и более половины не смогли воспроизвести свои собственные эксперименты». [40] Исследование также выявило «нет единого мнения о том, что такое или должна быть воспроизводимость», отчасти из-за дисциплинарных различий, что затрудняет оценку того, какие шаги могут быть необходимы для решения этой проблемы в играх. [40] Опрос Nature также подвергался критике за парадоксальное отсутствие прозрачности исследований, поскольку он был основан не на репрезентативной выборке, а на онлайн-опросе: он «полагался на удобные выборки и другие методологические решения, которые ограничивают выводы, которые можно сделать об отношении к людям». среди широкого научного сообщества» [41] Несмотря на неоднозначные результаты, опрос Nature получил широкое распространение и стал общепринятыми исходными данными для любого исследования прозрачности исследований. [42]

    Кризис воспроизводимости и другие проблемы прозрачности исследований стали публичной темой, обсуждаемой в широкой прессе: «Разговоры о воспроизводимости также уникальны по сравнению с другими методологическими разговорами, поскольку они привлекают постоянное внимание как в научной литературе, так и в популярной прессе». [43]

    Прозрачность исследований и открытая наука (2015–)

    [ редактировать ]

    С 2000 года движение за открытую науку вышло за рамки доступа к научным результатам (публикациям, данным или программному обеспечению) и охватило весь процесс научного производства. В 2018 году Висенте-Саес и Мартинес-Фуэнтес попытались отобразить общие ценности, разделяемые стандартными определениями открытой науки, в англоязычной научной литературе, индексируемой в Scopus и Web of Science . [44] Доступ больше не является основным измерением открытой науки, поскольку он был расширен благодаря недавним обязательствам в отношении прозрачности, совместной работы и социального воздействия. [45] Благодаря этому процессу открытая наука все больше структурируется на основе набора этических принципов: «новые практики открытой науки развиваются в тандеме с новыми формами организации проведения исследований и обмена ими через открытые репозитории, открытые физические лаборатории и трансдисциплинарные исследовательские платформы. Вместе , эти новые практики и организационные формы расширяют дух науки в университетах». [46]

    Глобальный масштаб движения за открытую науку и его интеграция в большое разнообразие технических инструментов, стандартов и правил позволяют преодолеть «классическую проблему коллективных действий», воплощенную в прозрачности исследований: существует структурное несоответствие между заявленной целью научной деятельности. учреждений и отсутствие стимулов для их реализации на индивидуальном уровне. [15]

    Формализация открытой науки как потенциальной основы для обеспечения прозрачности исследований изначально была предпринята институциональными и общественными инициативами. Рекомендации TOP были разработаны в 2014 году комитетом по продвижению прозрачности и открытости, в который входили «дисциплинарные руководители, редакторы журналов, представители финансирующих агентств и дисциплинарные эксперты, в основном представители социальных и поведенческих наук». [15] Руководящие принципы основаны на восьми стандартах с разными уровнями соответствия. Хотя стандарты являются модульными, они также призваны сформулировать последовательный дух науки, поскольку «они также дополняют друг друга, поскольку приверженность одному стандарту может способствовать принятию других». [15]

    После 2015 года эти инициативы частично повлияли на новые правила и этический кодекс. Европейский кодекс поведения для обеспечения добросовестности исследований 2017 года строго построен вокруг открытой науки и открытых данных: он «уделяет управлению данными почти такое же внимание, как и публикации, и в этом смысле является наиболее продвинутым из четырех CoC». [47] Гонконгские принципы оценки исследователей, впервые принятые в июле 2020 года, признают открытую науку одним из пяти столпов научной честности: «Кажется очевидным, что различные формы открытой науки должны поощряться при оценке исследователей, поскольку такое поведение сильно повысить прозрачность, что является основным принципом честности исследований». [48]

    Формы прозрачности исследований

    [ редактировать ]

    Прозрачность исследований имеет большое разнообразие форм в зависимости от дисциплинарной культуры, материального состояния исследований и взаимодействия между учеными и другими социальными кругами (политики, неакадемические специалисты, широкая аудитория). По мнению Лиона, Дженга и Маттерна, «термин «прозрачность» применялся в различных контекстах различными заинтересованными сторонами, которые сформулировали и сформулировали эту концепцию разными способами». [19] В 2020 году Кевин Эллиотт представил таксономию восьми измерений прозрачности исследований: цель, аудитория, содержание, сроки, действующие лица, механизм, место проведения и опасности. [49] По мнению Эллиотта, не все формы прозрачности достижимы и желательны, поэтому правильная терминология может помочь принять более подходящие решения: «Хотя это важные возражения, рассматриваемая здесь таксономия прозрачности предполагает, что лучший ответ на них — это, как правило, не полностью отказаться от цели прозрачности и рассмотреть, какие формы прозрачности лучше всего способны свести их к минимуму». [50]

    Воспроизводимость метода

    [ редактировать ]

    Гудман, Фанелли и Иоаннидис определяют воспроизводимость метода как «предоставление достаточной детализации процедур исследования и данных, чтобы одни и те же процедуры теоретически или фактически могли быть точно повторены». [2] Это признание во многом является синонимом воспроизводимости в вычислительном контексте или воспроизводимости в экспериментальном контексте. В отчете Национальной академии наук, в котором была выбрана экспериментальная терминология, аналог воспроизводимости метода был описан как «получение согласованных результатов с использованием одних и тех же входных данных, вычислительных шагов, методов и кода, а также условий анализа». [26]

    Воспроизводимость метода более достижима в вычислительных науках: пока он ведет себя так, как ожидалось, один и тот же код должен выдавать один и тот же результат. Открытый код, открытые данные и, в последнее время, исследовательский блокнот — общие рекомендации для повышения воспроизводимости метода. В принципе, более широкая доступность результатов исследований позволяет оценивать и проверять процесс анализа. На практике Роджер Пэн уже подчеркивал в 2011 году, что многие проекты требуют «вычислительной мощности, которая может быть доступна не всем исследователям». [51] Эта проблема усугубилась в некоторых областях, таких как искусственный интеллект или компьютерное зрение , поскольку разработка очень больших моделей глубокого обучения делает их воссоздание практически невозможным (или по непомерно высокой цене), даже если исходный код и данные открыты. На воспроизводимость метода также может влиять зависимость библиотеки , поскольку открытый код может полагаться на внешние программы, которые не всегда могут быть доступны или совместимы. Два исследования, проведенные в 2018 и 2019 годах, показали, что большая часть исследовательских блокнотов, размещенных на GitHub, больше не пригодна для использования либо из-за отсутствия необходимых расширений, либо из-за проблем в коде. [52] [53]

    В экспериментальных науках не существует общепринятого критерия воспроизводимости метода: «на практике уровень процедурной детализации, необходимый для описания исследования как «методологически воспроизводимого», не имеет консенсуса». [2]

    Воспроизводимость результатов

    [ редактировать ]

    Гудман, Фанелли и Иоаннидис определяют воспроизводимость результатов как «получение одинаковых результатов в результате проведения независимого исследования, процедуры которого максимально совпадают». [2] Воспроизводимость результатов сравнима с репликацией в экспериментальном контексте и воспроизводимостью в вычислительном контексте. Определение воспроизводимости , сохраненное в Национальной академии наук, во многом к ней относится: «получение согласованных результатов в ходе исследований, направленных на ответ на один и тот же научный вопрос, в каждом из которых получены свои собственные данные». [26] Кризис воспроизводимости, встречающийся в экспериментальных дисциплинах, таких как психология или медицина, в основном представляет собой кризис «воспроизводимости результатов», поскольку он касается исследований, которые не могут быть просто повторены, но предполагают независимое воссоздание экспериментального плана. [26] По существу, это, пожалуй, самая обсуждаемая форма прозрачности исследований в последние годы. [14]

    Воспроизводимости результатов добиться труднее, чем других форм прозрачности исследований. Это связано с множеством проблем, которые могут включать в себя воспроизводимость вычислений, точность научных измерений. [26] и разнообразие методологических подходов. [54] Не существует универсального стандарта для определения того, насколько близко совпадают исходные процедуры, и критерии могут варьироваться в зависимости от дисциплины или даже области исследования. Следовательно, метаанализ воспроизводимости столкнулся с серьезными проблемами. Исследование 100 статей по психологии, проведенное Open Science Collaboration в 2015 году, столкнулось с «отсутствием единого общепринятого определения», которое «открыло дверь для споров по поводу их методологического подхода и выводов» и заставило вернуться к «субъективным оценкам». "воспроизводимости результатов. [55]

    Воспроизводимость и верифицируемость наблюдений

    [ редактировать ]

    В 2018 году Сабина Леонелли определяет воспроизводимость наблюдений как «ожидание того, что любой опытный исследователь, помещенный в одно и то же время и в одно и то же место, выделит если не те же данные, то, по крайней мере, схожие закономерности». [56] Это ожидание возвращает широкий спектр научных и научных практик в неэкспериментальных дисциплинах: [57] «Огромное количество исследований в медицинских, исторических и социальных науках основано не на экспериментах, а, скорее, на методах наблюдения, таких как опросы, описания и отчеты о случаях, документирующих уникальные обстоятельства» [56]

    Развитие открытой научной инфраструктуры радикально изменило статус и доступность научных данных и других первоисточников. Доступ к этим ресурсам был полностью преобразован за счет оцифровки и присвоения уникальных идентификаторов. Постоянные идентификаторы цифровых объектов (или DOI) впервые были присвоены наборам данных с начала 2000-х годов. [58] что разрешило давнюю дискуссию о цитируемости научных данных. [59]

    Повышенная прозрачность цитирования первоисточников или исследовательских материалов была названа Эндрю Моравчиком «революцией в качественных исследованиях». [60] Доступ к этим ресурсам был полностью преобразован за счет оцифровки и присвоения уникальных идентификаторов. Постоянные идентификаторы цифровых объектов (или DOI) впервые были присвоены наборам данных с начала 2000-х годов. [58] что разрешило давнюю дискуссию о цитируемости научных данных. [59]

    Прозрачность ценностей

    [ редактировать ]

    Прозрачность исследовательских ценностей была в центре внимания дисциплин, активно участвующих в разработке политики, таких как исследования окружающей среды или социальные науки. В 2009 году Хизер Дуглас подчеркнула, что в общественном дискурсе о науке в значительной степени доминируют нормативные идеалы объективного исследования: если процедуры применяются правильно, результаты науки должны быть «бесценными». [61] По мнению Дугласа, этот идеал во многом теряется из-за эффективного процесса исследований и научных консультаций, поскольку заранее определенные ценности могут во многом предшествовать выбору концепций, протоколов и используемых данных. [62] Вместо этого Дуглас выступал за раскрытие ценностей, которых придерживаются исследователи: «ценности должны быть максимально явными в этой косвенной роли, будь то в политических документах или в исследовательских работах ученых». [63]

    В 2010-х годах несколько философов науки попытались систематизировать прозрачность ценностей в контексте открытой науки. В 2017 году Кевин Эллиотт подчеркнул три условия прозрачности ценностей в исследованиях, первое из которых заключалось в том, чтобы «быть максимально прозрачными в отношении (…) данных, методов, моделей и предположений, чтобы можно было тщательно изучить влияние ценностей». [64]

    Обзор и редакционная прозрачность

    [ редактировать ]

    До 2010-х годов редакционная практика научных публикаций оставалась в значительной степени неформальной и малоизученной: «Несмотря на 350 лет научных публикаций (…), исследований ItAs [Инструкций для авторов], а также их эволюции и изменений, мало». [65]

    Недавно редакционная прозрачность была признана естественным продолжением дискуссии о воспроизводимости исследований. [66] [67] Некоторые принципы, заложенные в рекомендациях TOP 2015 года, уже подразумевали существование четких редакционных стандартов. [68] Беспрецедентное внимание, уделяемое редакционной прозрачности, также было мотивировано диверсификацией и усложнением среды открытых научных публикаций: «Вдохновленные широким разнообразием ожиданий в отношении редакционных процессов журналов, журналы начали экспериментировать с новыми способами организации своей редакционной оценки. и системы рецензирования (...) Появление этих инноваций в и без того разнообразном наборе практик рецензирования и редакционного отбора означает, что мы больше не можем предполагать, что авторы, читатели и рецензенты просто знают, как работает редакционная оценка». [66]

    Прозрачность по замыслу: разработка открытого рабочего процесса

    [ редактировать ]

    Рекомендации TOPs создали влиятельный трансдисциплинарный стандарт, устанавливающий воспроизводимость результатов в контексте открытой науки. Хотя экспериментальные и вычислительные дисциплины остаются в центре внимания, стандарты стремятся интегрировать проблемы и форматы, более специфичные для других дисциплинарных практик (например, исследовательских материалов).

    Неофициальные стимулы, такие как значки или индексы, изначально пропагандировались как способ поддержки принятия согласованной политики в отношении прозрачности исследований. Благодаря развитию открытой науки все большее предпочтение отдается регулированию и стандартизированным инфраструктурам или процессам.

    Обмен результатами исследований

    [ редактировать ]

    Обмен данными изначально был определен как основное потенциальное решение кризиса воспроизводимости и отсутствия надежных руководящих принципов для статистических показателей. В 2005 году Джон Иоаннидис выдвинул гипотезу, что «некая регистрация или объединение в сеть сборов данных или исследователей в разных областях может быть более осуществимой, чем регистрация каждого эксперимента, генерирующего гипотезы». [69]

    Обмен результатами исследований регулируется тремя стандартами руководящих принципов TOPs: «Прозрачность данных» (2), «Прозрачность аналитических/кодовых методов» (3) и «Прозрачность исследовательских материалов» (4). Все соответствующие данные, коды и исследовательские материалы должны храниться в «доверенном репозитории», а весь анализ должен быть воспроизведен независимо до публикации. [70]

    Расширенные стандарты цитирования

    [ редактировать ]

    Хотя стандарты цитирования обычно применяются к академическим ссылкам, все остальные результаты исследований, такие как данные, коды, первоисточники или качественные оценки, формализованы гораздо меньше.

    В 2012 году Американская ассоциация политических наук приняла новую политику открытых качественных исследований. [71] Они охватывали три аспекта прозрачности: прозрачность данных (в смысле точных библиографических данных по первоисточникам), аналитическую прозрачность (в отношении утверждений, экстраполированных из цитируемых источников) и прозрачность производства (в отношении редакционного выбора, сделанного при выборе). источников). [72] В 2014 году Эндрю Моравчик выступал за внедрение приложения прозрачности , содержащего подробные цитаты первоисточников, а также аннотации, «объясняющие, как источник подтверждает сделанное утверждение». [73]

    Согласно Руководству TOP , в каждой публикации должна быть предоставлена ​​«соответствующая ссылка на данные и материалы». [70] Следовательно, научные результаты, такие как код или набор данных, полностью признаются цитируемым вкладом: «Регулярное и строгое цитирование этих материалов признает их оригинальным интеллектуальным вкладом». [70]

    Предварительная регистрация

    [ редактировать ]

    Предварительная регистрация регулируется двумя рекомендациями TOP: Предварительная регистрация исследований (6) и Предварительная регистрация планов анализа (7). В обоих случаях для достижения высшего уровня соответствия журнал должен предоставить «ссылку и значок в статье, соответствующей требованиям». [70]

    Предварительная регистрация направлена ​​на превентивное устранение различных сомнительных исследовательских практик . Обычно он принимает форму «нередактируемого плана исследования с отметкой времени, помещенного в публичный архив, [в котором] излагаются гипотезы, подлежащие проверке, и целевые размеры выборки». [74] Предварительная регистрация действует как этический контракт, поскольку теоретически ограничивает «степени свободы исследователя, которые обеспечивают работу QRP и p-хакинга». [74]

    Предварительная регистрация не решает весь спектр сомнительных исследовательских практик. Выборочное сообщение о результатах по-прежнему будет совместимо с заранее определенным планом исследования: «предварительная регистрация не полностью противодействует предвзятости публикации, поскольку не гарантирует, что результаты будут опубликованы». [75] Утверждалось, что в некоторых случаях предварительная регистрация может также нанести вред качеству результатов исследования, создавая искусственные ограничения, которые не соответствуют реальности исследовательской области: «Предварительная регистрация может помешать правильному выводу, поскольку ничто не мешает исследователю заранее зарегистрировать бедного аналитический план». [76]

    Хотя предварительная регистрация пропагандируется как относительно бесплатное решение, на самом деле ее может быть труднее реализовать, поскольку она зависит от значительной приверженности со стороны исследователей. Эмпирическое исследование внедрения экспериментов открытой науки в психологических журналах показало, что «принятие предварительной регистрации отстает от других практик открытой науки (…) с 2015 по 2020 год». [77] Следовательно, «даже среди исследователей, которые видят преимущества предварительной регистрации в масштабах всей области, существует неопределенность относительно затрат и выгод для отдельных лиц». [77]

    Репликационные исследования

    [ редактировать ]

    Исследования репликации или оценки воспроизводимости направлены на повторное проведение одного или нескольких оригинальных исследований. Хотя эта концепция появилась только в 2010-х годах, исследования по репликации проводились десятилетиями, но не были признаны как таковые. [78] Отчет Национальных академий за 2019 год включает метаанализ 25 повторений, опубликованных в период с 1986 по 2019 год. стандартизированные критерии оценки: «методы оценки воспроизводимости непоследовательны, а процент воспроизводимости сильно зависит от используемых методов». [78] Следовательно, по крайней мере, что касается 2019 года, исследования репликации не могут быть объединены для экстраполяции уровня воспроизводимости: они «не обязательно указывают на фактический уровень невоспроизводимости в науке для определенного числа». [78]

    Руководящие принципы TOPs призывают к более широкому признанию и повышению ценности повторных исследований. Восьмой стандарт гласит, что соответствующие журналы должны использовать «зарегистрированные отчеты в качестве варианта подачи повторных исследований с рецензированием». [70]

    Открытая редакционная политика

    [ редактировать ]

    В июле 2018 года несколько издателей, библиотекарей, редакторов журналов и исследователей подготовили проект Лейденской декларации о прозрачной редакционной политике . [79] В декларации подчеркивается, что журналы «часто не содержат информации о выборе рецензентов, критериях рецензирования, скрытности, использовании цифровых инструментов, таких как сканеры сходства текстов, а также о политике исправлений и опровержений», а также об отсутствии прозрачности. [79] В декларации определены четыре основных этапа публикации и экспертной оценки, которые следует лучше документировать:

    • При подаче: подробная информация об управлении журналом, его тематике, редакционной коллегии или проценте отказов. [79]
    • Во время рецензирования: критерии отбора, сроки рецензирования и модель рецензирования (двойное, одинарное, открытое). [79]
    • Публикация: раскрытие «ролей в процессе рецензирования». [79]
    • После публикации: «критерии и процедуры исправлений, выражения озабоченности, отзыва» и другие изменения. [79]

    В 2020 году Лейденская декларация была расширена и дополнена Платформой ответственной редакционной политики (PREP). [80] Эта инициатива также направлена ​​на решение структурной нехватки данных и эмпирической информации о редакционной политике и практике рецензирования. [66] [81] По состоянию на 2022 год эта база данных содержит частично краудсорсинговую информацию о редакционных процедурах 490 журналов. [82] из первоначальной базы в 353 журнала. [83] Оцениваемые процедуры включают, в частности, «уровень анонимности, предоставляемый авторам и рецензентам; использование цифровых инструментов, таких как сканеры плагиата; и сроки рецензирования в процессе исследования и публикации». [84] Несмотря на эти изменения, исследования редакционных исследований по-прежнему подчеркивают необходимость «всеобъемлющей базы данных, которая позволила бы авторам или другим заинтересованным сторонам сравнивать журналы на основе их (…) требований или рекомендаций» [85]

    Ссылки

    [ редактировать ]
    1. ^ Плессер 2018 , стр. 1-2.
    2. ^ Jump up to: а б с д Гудман, Фанелли и Иоаннидис 2016 , с. 2.
    3. ^ Нельсон и др. 2021 , с. 45.
    4. ^ Плессер 2018 , стр. 2.
    5. ^ Бауселл 2021 , с. 1.
    6. ^ Прыщ 2002 , с. 202.
    7. ^ Вихертс и др. 2016 .
    8. ^ Джон, Левенштейн и Прелек 2012 .
    9. ^ Фрейзер и др. 2018 .
    10. ^ Jump up to: а б Фанелли 2009 .
    11. ^ Гопалакришна и др. 2021 .
    12. ^ Гопалакришна и др. 2021 , с. 5.
    13. ^ Лион, 2016 , с. 160.
    14. ^ Jump up to: а б Эллиотт 2020 , с. 2.
    15. ^ Jump up to: а б с д и Носек и др. 2015 , с. 1423.
    16. ^ Носек и др. 2015 , с. 1422-1423.
    17. ^ Стейнле 2016 .
    18. ^ Фанелли 2018 .
    19. ^ Jump up to: а б Лион, Дженг и Маттерн, 2017 , с. 47.
    20. ^ Стейнле 2016 , с. 44.
    21. ^ Шикоре 2011 .
    22. ^ Шикоре 2011 , с. 330.
    23. ^ Шикоре 2011 , с. 332.
    24. ^ Стейнле 2016 , с. 45.
    25. ^ Белл 1902 , с. 15.
    26. ^ Jump up to: а б с д и Национальные академии 2019 , с. 46.
    27. ^ Шапин и Шаффер 2011 , с. 60 кв..
    28. ^ Стейнле 2016 , с. 56.
    29. ^ Шор и Картен 1966 , с. 148.
    30. ^ Лёппёнен и Вуорио 2013 , стр. 3.
    31. ^ Броуд и Уэйд 1983 , с. 8
    32. ^ Лайне 2018 , с. 49.
    33. ^ Драммонд 2018 , с. 2.
    34. ^ Бауселл 2021 , с. 10.
    35. ^ Иоаннидис 2005 .
    36. ^ Иоаннидис 2005 , с. 700
    37. ^ Открытое научное сотрудничество 2015 .
    38. ^ «Проект воспроизводимости: биология рака» . www.cos.io. ​ Центр открытой науки . Проверено 19 января 2022 г.
    39. ^ Камерар и др. 2016
    40. ^ Jump up to: а б Бейкер 2016 .
    41. ^ Национальные академии 2019 , с. 83.
    42. ^ Бауселл 2021 , с. 128.
    43. ^ Нельсон и др. 2021 , с. 1-2.
    44. ^ Висенте-Саес и Мартинес-Фуэнтес 2018 .
    45. ^ Висенте-Саес и Мартинес-Фуэнтес 2018 , с. 2.
    46. ^ Висенте-Саес, Густавссон и Ван ден Бранде 2020 , стр. 1.
    47. ^ Лайне 2018 , с. 65.
    48. ^ Мохер и др. 2020 , с. 6
    49. ^ Эллиотт 2020 , с. 6.
    50. ^ Эллиотт 2020 , с. 8-9.
    51. ^ Пэн 2011 .
    52. ^ Правило, гербовая накидка и Голландия
    53. ^ Пиментел и др. 2019 .
    54. ^ Национальные академии 2019 , с. 51.
    55. ^ Гудман, Фанелли и Иоаннидис 2016 , стр. 4.
    56. ^ Jump up to: а б Леонелли 2018 , с. 137.
    57. ^ Девезер и др. 2021 .
    58. ^ Jump up to: а б Перемешать 2004 год .
    59. ^ Jump up to: а б Кресты 2014 , с. 63.
    60. ^ Моравчик 2014 , с. 48.
    61. ^ Дуглас 2009 , с. 175.
    62. ^ Дуглас 2009 , с. 87 кв..
    63. ^ Дуглас 2009 , с. 176.
    64. ^ Эллиотт 2017 , с. Х.
    65. ^ Малички и др. 2021 , стр. 2.
    66. ^ Jump up to: а б с Хорбах, Хепкема и Хальфман, 2020a , с. 2.
    67. ^ Джастман 2019 .
    68. ^ Носек и др. 2015 .
    69. ^ Иоаннидис 2005 , с. 701.
    70. ^ Jump up to: а б с д и Носек и др. 2015 , с. 1424.
    71. ^ Лупия и Элман 2014 .
    72. ^ Моравчик 2014 , с. 48-49.
    73. ^ Моравчик 2014 , с. 50.
    74. ^ Jump up to: а б Ромеро 2019 , с. 8.
    75. ^ Ромеро 2019 , с. 9.
    76. ^ Девезер и др. 2021 , с. 16.
    77. ^ Jump up to: а б Логг и Дорисон 2021 , с. 26.
    78. ^ Jump up to: а б с Национальные академии 2019 , с. 77.
    79. ^ Jump up to: а б с д и ж Декларация прозрачности Радбауда и Лейдена 2019 г.
    80. ^ Хорбах, Хепкема и Хальфман, 2020a , стр. 1.
    81. ^ Скваццони и др. 2020 .
    82. ^ ResponsibleJournals.org
    83. ^ Хорбах, Хепкема и Хальфман, 2020a , стр. 4.
    84. ^ Хорбах, Хепкема и Хальфман, 2020b .
    85. ^ Малички и др. 2021 , стр. 9.

    Библиография

    [ редактировать ]

    Стандарты и декларации

    [ редактировать ]

    Отчеты

    [ редактировать ]

    Книги и диссертации

    [ редактировать ]
    • Броуд, Уильям Дж.; Уэйд, Николас (1983). Предатели Истины . Саймон и Шустер. ISBN  978-0-671-44769-4 .
    • Дуглас, Хизер (15 июля 2009 г.). Наука, политика и идеал, свободный от ценностей . Университет Питтсбурга Pre. ISBN  978-0-8229-7357-7 .
    • Шапин, Стивен; Шаффер, Саймон (15 августа 2011 г.). Левиафан и воздушный насос: Гоббс, Бойль и экспериментальная жизнь . Издательство Принстонского университета. ISBN  978-1-4008-3849-3 .
    • Эллиотт, Кевин С.; Стил, Дэниел (27 марта 2017 г.). Текущие противоречия в ценностях и науке . Тейлор и Фрэнсис. ISBN  978-1-317-27399-8 .
    • Эллиотт, Кевин Кристофер (2017). Гобелен ценностей: введение в ценности в науке . Издательство Оксфордского университета. ISBN  978-0-19-026081-1 .
    • Прыщ, Кеннет Д. (15 мая 2017 г.). Исследовательская этика . Рутледж. ISBN  978-1-351-90400-1 .
    • Бауселл, Р. Баркер (26 января 2021 г.). Проблема науки: кризис воспроизводимости и что с этим делать . Издательство Оксфордского университета. ISBN  978-0-19-753654-4 .
    • Грахе, Джон (30 августа 2021 г.). Путешествие в открытую науку и прозрачность исследований в психологии . Рутледж. ISBN  978-1-00-043049-3 .

    Академические статьи

    [ редактировать ]

    Главы

    [ редактировать ]

    Конференции

    [ редактировать ]

    Другие источники

    [ редактировать ]
    Retrieved from "https://en.wikipedia.org/w/index.php?title=Research_transparency&oldid=1238759820"
    Arc.Ask3.Ru: конец переведенного документа.
    Arc.Ask3.Ru
    Номер скриншота №: a2db47dbb4190918ba767fa5462b97e6__1722858960
    URL1:https://arc.ask3.ru/arc/aa/a2/e6/a2db47dbb4190918ba767fa5462b97e6.html
    Заголовок, (Title) документа по адресу, URL1:
    Research transparency - Wikipedia
    Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)