Воспроизводимость
Воспроизводимость , тесно связанная с воспроизводимостью и повторяемостью , является основным принципом, лежащим в основе научного метода . Воспроизводимость результатов исследования означает, что результаты, полученные в ходе эксперимента , наблюдательного исследования или статистического анализа набора данных, должны быть достигнуты снова с высокой степенью надежности при повторении исследования. Существуют разные виды репликации [1] но обычно в исследованиях репликации участвуют разные исследователи, использующие одну и ту же методологию. Только после одной или нескольких таких успешных повторений результат следует признать научным знанием.
В более узком смысле воспроизводимость определяется в вычислительной науке как имеющая следующее качество: результаты должны быть документированы путем предоставления всех данных и кода таким образом, чтобы вычисления можно было выполнить снова с идентичными результатами.
В последние десятилетия растет беспокойство по поводу того, что многие опубликованные научные результаты не проходят тест на воспроизводимость, вызывая кризис воспроизводимости или репликации .
История [ править ]
Первым, кто подчеркнул важность воспроизводимости в науке, был англо-ирландский химик Роберт Бойль в Англии в 17 веке. Бойля Воздушный насос был разработан для создания и исследования вакуума , что в то время было очень спорной концепцией. Действительно, такие выдающиеся философы, как Рене Декарт и Томас Гоббс, отрицали саму возможность существования вакуума. Историки науки Стивен Шапин и Саймон Шаффер в своей книге 1985 года «Левиафан и воздушный насос » описывают спор между Бойлем и Гоббсом, якобы о природе вакуума, как фундаментальный спор о том, как следует получать полезные знания. Бойль, пионер экспериментального метода , утверждал, что основы знания должны составлять экспериментально полученные факты, которые можно сделать правдоподобными для научного сообщества благодаря их воспроизводимости. Повторяя один и тот же эксперимент снова и снова, утверждал Бойль, появится уверенность в фактах.
Воздушный насос, который в 17 веке представлял собой сложный и дорогой в изготовлении аппарат, также привел к одному из первых задокументированных споров о воспроизводимости того или иного научного явления . В 1660-х годах голландский учёный Христиан Гюйгенс собственный воздушный насос построил в Амстердаме , первый за пределами непосредственного руководства Бойля и его тогдашнего помощника Роберта Гука . Гюйгенс сообщил об эффекте, который он назвал «аномальной взвесью», при котором вода, казалось, левитировала в стеклянной банке внутри его воздушного насоса (фактически подвешенной над воздушным пузырем), но Бойль и Гук не смогли воспроизвести это явление в своих собственных насосах. Как описывают Шапин и Шаффер, «стало ясно, что, если это явление не может быть получено в Англии с помощью одного из двух имеющихся насосов, тогда никто в Англии не примет заявления Гюйгенса или его компетентность в работе с насосом». Наконец Гюйгенс был приглашен в Англию в 1663 году, и под его личным руководством Гуку удалось воспроизвести аномальную взвесь воды. После этого Гюйгенс был избран иностранным членом Королевское общество . Однако Шапин и Шаффер также отмечают, что «осуществление репликации зависело от случайных суждений. Невозможно записать формулу, говорящую, когда репликация была достигнута, а когда нет». [2]
Философ науки Карл Поппер кратко заметил в своей знаменитой книге 1934 года «Логика научных открытий» , что «невоспроизводимые единичные явления не имеют никакого значения для науки». [3] Статистик , что «мы можем сказать , Рональд Фишер написал в своей книге 1935 года « План экспериментов» , которая заложила основы современной научной практики проверки гипотез и статистической значимости что явление экспериментально доказуемо, когда мы знаем, как провести эксперимент, который редко не сможет дать нам статистически значимые результаты». [4] Подобные утверждения выражают распространенную в современной науке догму о том, что воспроизводимость является необходимым условием (хотя и не обязательно достаточным ) для установления научного факта, а на практике — для установления научного авторитета в любой области знаний. Однако, как отмечали выше Шапин и Шаффер, эта догма недостаточно четко сформулирована в количественном отношении, например, в отношении статистической значимости, и поэтому явно не установлено, сколько раз должен быть воспроизведен факт, чтобы считаться воспроизводимым.
Терминология [ править ]
Воспроизводимость и повторяемость — это родственные термины, широко или условно синонимы воспроизводимости (например, среди широкой публики), но их часто полезно дифференцировать в более точных смыслах, как показано ниже.
В связи с воспроизводимостью экспериментальных или наблюдательных исследований естественно различают два основных этапа: Когда в попытке достичь этого получаются новые данные, термин «воспроизводимость» часто используется , а новое исследование представляет собой репликацию или повторение исходного. Получая те же результаты при повторном анализе набора данных исходного исследования с использованием тех же процедур, многие авторы используют термин воспроизводимость в узком, техническом смысле, исходя из его использования в вычислительных исследованиях. Повторяемость связана с повторением эксперимента в рамках одного и того же исследования одними и теми же исследователями. Воспроизводимость в первоначальном, широком смысле признается только в том случае, если репликация, выполненная независимой исследовательской группой, оказалась успешной.
Термины воспроизводимость и тиражируемость иногда встречаются даже в научной литературе в обратном значении: [5] [6] поскольку разные области исследований пришли к своим собственным определениям одних и тех же терминов.
воспроизводимости повторяемости Меры и
В химии термины воспроизводимость и повторяемость используются с конкретным количественным значением. [7] В межлабораторных экспериментах концентрация или другое количество химического вещества измеряется повторно в разных лабораториях для оценки изменчивости измерений. Тогда стандартное отклонение разницы между двумя значениями, полученными в одной лаборатории, называется повторяемостью. Стандартное отклонение разницы между двумя измерениями, проведенными в разных лабораториях, называется воспроизводимостью . [8] Эти меры связаны с более общей концепцией компонентов дисперсии в метрологии .
исследования Воспроизводимые
Воспроизводимый метод исследования [ править ]
Термин «воспроизводимые исследования» относится к идее, что научные результаты должны быть документированы таким образом, чтобы их выводы были полностью прозрачными. Для этого необходимо подробное описание методов, используемых для получения данных. [9] [10] и обеспечение легкого доступа к полному набору данных и коду для расчета результатов. [11] [12] [13] [14] [15] [16] Это важнейшая часть открытой науки .
Чтобы сделать любой исследовательский проект вычислительно воспроизводимым, общая практика предполагает, что все данные и файлы четко разделены, маркированы и документированы. Все операции должны быть полностью документированы и автоматизированы, насколько это возможно, избегая ручного вмешательства, где это возможно. Рабочий процесс должен быть спроектирован как последовательность более мелких шагов, которые объединены таким образом, чтобы промежуточные результаты одного шага напрямую использовались в качестве входных данных для следующего шага. Следует использовать контроль версий, поскольку он позволяет легко просматривать историю проекта и позволяет прозрачно документировать и отслеживать изменения.
Базовый рабочий процесс воспроизводимых исследований включает сбор, обработку и анализ данных. Сбор данных в первую очередь состоит из получения первичных данных из первоисточника, такого как опросы, полевые наблюдения, экспериментальные исследования, или получения данных из существующего источника. Обработка данных включает обработку и анализ необработанных данных, собранных на первом этапе, и включает ввод данных, манипулирование данными и фильтрацию и может выполняться с использованием программного обеспечения. Данные должны быть оцифрованы и подготовлены для анализа данных. Данные могут быть проанализированы с использованием программного обеспечения для интерпретации или визуализации статистических данных или данных для получения желаемых результатов исследования, таких как количественные результаты, включая рисунки и таблицы. Использование программного обеспечения и автоматизации повышает воспроизводимость методов исследования. [17]
Существуют системы, упрощающие такую документацию, например R Markdown . язык [18] или блокнот Jupyter . [19] [20] [21] Open Science Framework предоставляет платформу и полезные инструменты для поддержки воспроизводимых исследований.
исследования практике Воспроизводимые на
В психологии возобновилась внутренняя обеспокоенность по поводу невоспроизводимости результатов ( см. в статье о кризисе воспроизводимости эмпирические результаты об успешности повторений ). В исследовании 2006 года исследователи показали, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение шестимесячного периода. [22] В последующем исследовании, опубликованном в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA, с которыми связались, не предоставили свои данные по запросу (62%). [23] В статье 2012 года было предложено исследователям публиковать данные вместе со своими работами, и в качестве демонстрации был выпущен набор данных. [24] В 2017 году в статье, опубликованной в журнале Scientific Data, говорилось, что этого может быть недостаточно и необходимо раскрыть весь контекст анализа. [25]
В экономике были высказаны опасения по поводу достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является предпосылкой для публикации исследований, однако в экономических науках она не рассматривается как приоритет первостепенной важности. Большинство рецензируемых экономических журналов не принимают никаких существенных мер для обеспечения воспроизводимости опубликованных результатов, однако ведущие экономические журналы переходят к обязательному архивированию данных и кодов. [26] У исследователей мало или вообще нет стимулов делиться своими данными, а авторам придется нести расходы по компиляции данных в формы, пригодные для повторного использования. Экономические исследования часто не воспроизводимы, поскольку только часть журналов имеет адекватную политику раскрытия наборов данных и программного кода, а даже если и есть, авторы часто не соблюдают их или они не соблюдаются издателем. Исследование 599 статей, опубликованных в 37 рецензируемых журналах, показало, что, хотя некоторые журналы достигли значительных показателей соответствия, значительная часть соблюдает требования лишь частично или не соблюдает их вообще. На уровне статьи средний уровень соблюдения требований составил 47,5%; а на уровне журнала средний уровень соблюдения требований составил 38% в диапазоне от 13% до 99%. [27]
Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% выборки исследователей статистики общественного здравоохранения поделились своими данными или кодом, или и тем, и другим. [28]
В течение многих лет в медицинской литературе предпринимались инициативы по улучшению отчетности и, следовательно, воспроизводимости, начиная с инициативы CONSORT , которая сейчас является частью более широкой инициативы — сети EQUATOR . Эта группа недавно обратила свое внимание на то, как более качественная отчетность может сократить потери в исследованиях. [29] особенно биомедицинские исследования.
Воспроизводимые исследования являются ключом к новым открытиям в фармакологии . За открытием фазы I последует воспроизводство фазы II по мере того, как лекарство будет развиваться в направлении коммерческого производства. За последние десятилетия успешность фазы II упала с 28% до 18%. Исследование 2011 года показало, что 65% медицинских исследований оказались противоречивыми при повторном тестировании, и только 6% оказались полностью воспроизводимыми. [30]
результаты невоспроизводимые Примечательные
Хидэё Ногучи прославился тем, что правильно определил бактериальный возбудитель сифилиса , но также утверждал, что может культивировать этот возбудитель в своей лаборатории. Никто другой не смог добиться этого последнего результата. [31]
В марте 1989 года химики из Университета Юты Стэнли Понс и Мартин Флейшманн сообщили о выделении избыточного тепла, которое можно объяснить только ядерным процессом (« холодный синтез »). Отчет был ошеломляющим, учитывая простоту оборудования: по существу это была электролитическая ячейка, содержащая тяжелую воду и палладиевый катод , который быстро поглощал дейтерий , образующийся в ходе электролиза. Средства массовой информации широко освещали эксперименты, и эта статья была на первых страницах многих газет по всему миру (см. «Наука за пресс-конференцией »). В течение следующих нескольких месяцев другие пытались повторить эксперимент, но безуспешно. [32]
Никола Тесла утверждал еще в 1899 году, что использовал ток высокой частоты для зажигания газонаполненных ламп на расстоянии более 25 миль (40 км) без использования проводов . В 1904 году он построил башню Уорденклиф на Лонг-Айленде, чтобы продемонстрировать способы передачи и получения энергии без подключения проводов. Установка так и не заработала на полную мощность и не была достроена из-за экономических проблем, поэтому никаких попыток воспроизвести его первый результат так и не было предпринято. [33]
Другие примеры, опровергающие первоначальное утверждение:
- N-лучи — гипотетическая форма излучения, впоследствии оказавшаяся иллюзорной.
- Поливода , гипотетическая полимеризованная форма воды, которая, как выяснилось, представляет собой просто воду с обычными загрязнениями.
- Приобретение плюрипотентности , вызванное стимулом, оказалось результатом мошенничества
- GFAJ-1 , бактерия, которая предположительно может включать в свою ДНК мышьяк вместо фосфора.
- Споры о вакцине MMR : исследование в журнале The Lancet , утверждающее, что вакцина MMR вызывает аутизм, оказалось сфальсифицированным.
- Скандал с Шеном : «прорывы» в полупроводниках оказались мошенничеством
- Силовое позирование — феномен социальной психологии , который стал вирусным после того, как стал предметом очень популярного выступления на TED , но не смог быть воспроизведен в десятках исследований. [34]
См. также [ править ]
- Метанаука
- Точность
- Датчик ANOVA R&R
- Непредвиденные обстоятельства
- Подтверждение
- Воспроизводимые сборки
- Фальсифицируемость
- Гипотеза
- Погрешность измерения
- Патологическая наука
- Лженаука
- Репликация (статистика)
- Кризис репликации
- ReScience C (журнал)
- Отказ от академических публикаций
- тавтология
- Тестируемость
- Верификация и валидация
Ссылки [ править ]
- ^ Цанг, Эрик В.К.; Кван, Кайман (1999). «Репликация и развитие теории в организационной науке: критический реалистический взгляд» . Обзор Академии менеджмента . 24 (4): 759–780. дои : 10.5465/amr.1999.2553252 . ISSN 0363-7425 .
- ^ Стивен Шапин и Саймон Шаффер , Левиафан и воздушный насос , Princeton University Press, Принстон, Нью-Джерси (1985).
- ^ Эта цитата взята из перевода на английский язык 1959 года Карла Поппера , «Логика научного открытия» , Routledge, Лондон, 1992, стр. 66.
- ^ Рональд Фишер , План экспериментов , (1971) [1935] (9-е изд.), Macmillan, p. 14.
- ^ Барба, Лорена А. (2018). «Терминология воспроизводимых исследований». arXiv : 1802.03311 [ cs.DL ].
- ^ Либерман, Марк. «Репликация против воспроизводимости — или наоборот?» . Проверено 15 октября 2020 г.
- ^ «ИЮПАК – воспроизводимость (R05305)» . Международный союз теоретической и прикладной химии . дои : 10.1351/goldbook.R05305 . Проверено 4 марта 2022 г.
- ^ Подкомитет E11.20 по оценке методов испытаний и контролю качества (2014 г.). «Стандартная практика использования терминов «точность» и «предвзятость» в методах испытаний ASTM» . АСТМ Интернешнл. АСТМ Е177.
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) (требуется подписка) - ^ Кинг, Гэри (1995). «Репликация, репликация» . PS: Политология и политика . 28 (3): 444–452. дои : 10.2307/420301 . ISSN 1049-0965 . JSTOR 420301 . S2CID 250480339 .
- ^ Кюне, Мартин; Лиер, Андреас В. (2009). «Совершенствование традиционного управления информацией в естественных науках» . Журнал науки о данных . 8 (1): 18–27. дои : 10.2481/dsj.8.18 .
- ^ Фомель, Сергей; Клербаут, Джон (2009). «Введение приглашенных редакторов: воспроизводимые исследования». Вычисления в науке и технике . 11 (1): 5–7. Бибкод : 2009CSE....11a...5F . дои : 10.1109/MCSE.2009.14 .
- ^ Бакхейт, Джонатан Б.; Донохо, Дэвид Л. (май 1995 г.). WaveLab и воспроизводимые исследования (PDF) (Отчет). Калифорния, США: Стэнфордский университет , факультет статистики. Технический отчет № 474. Архивировано (PDF) из оригинала 9 января 2015 г. Проверено 5 января 2015 г.
- ^ «Круглый стол Йельской школы права по обмену данными и ядрами: «воспроизводимые исследования» ». Вычисления в науке и технике . 12 (5): 8–12. 2010. дои : 10.1109/MCSE.2010.113 .
- ^ Марвик, Бен (2016). «Вычислительная воспроизводимость в археологических исследованиях: основные принципы и пример их реализации» . Журнал археологического метода и теории . 24 (2): 424–450. дои : 10.1007/s10816-015-9272-9 . S2CID 43958561 .
- ^ Гудман, Стивен Н.; Фанелли, Даниэле; Иоаннидис, Джон П.А. (1 июня 2016 г.). «Что означает воспроизводимость исследования?» . Наука трансляционной медицины . 8 (341): 341пс12. doi : 10.1126/scitranslmed.aaf5027 . ПМИД 27252173 .
- ^ Харрис Дж.К.; Джонсон К.Дж.; Расчесывает туберкулез; Каротерс Б.Дж.; Люк Д.А.; Ван Икс (2019). «Три изменения, которые ученые общественного здравоохранения могут внести, чтобы помочь создать культуру воспроизводимых исследований» . Отчеты представителя общественного здравоохранения . 134 (2): 109–111. дои : 10.1177/0033354918821076 . ISSN 0033-3549 . OCLC 7991854250 . ПМК 6410469 . ПМИД 30657732 .
- ^ Китцес, Джастин; Турек, Дэниел; Дениз, Фатма (2018). Практика воспроизводимых исследовательских тематических исследований и уроки наук с интенсивным использованием данных . Окленд, Калифорния: Издательство Калифорнийского университета. стр. 19–30. ISBN 9780520294745 . JSTOR 10.1525/j.ctv1wxsc7 .
- ^ Марвик, Бен; Беттигер, Карл; Маллен, Линкольн (29 сентября 2017 г.). «Воспроизводимая упаковка данных для аналитической работы с использованием R (и его друзей)» . Американский статистик . 72 : 80–88. дои : 10.1080/00031305.2017.1375986 . S2CID 125412832 .
- ^ Клюйвер, Томас; Рэган-Келли, Бенджамин; Перес, Фернандо; Грейнджер, Брайан; Бюссонье, Матиас; Фредерик, Джонатан; Келли, Кайл; Хэмрик, Джессика; Граут, Джейсон; Корлей, Сильвен (2016). «Jupyter Notebooks — формат публикации для воспроизводимых вычислительных рабочих процессов» (PDF) . В Лоизидесе, Ф; Шмидт, Б. (ред.). Позиционирование и власть в академических публикациях: игроки, агенты и программы . 20-я Международная конференция по электронному издательскому делу. ИОС Пресс. стр. 87–90. дои : 10.3233/978-1-61499-649-1-87 . Архивировано (PDF) из оригинала 10 января 2018 г.
- ^ Бег, Марижан; Така, Джульетта; Клюйвер, Томас; Коновалов, Александр; Рэган-Келли, Мин; Тьери, Николя М.; Фангор, Ганс (1 марта 2021 г.). «Использование Jupyter для воспроизводимых научных рабочих процессов». Вычисления в науке и технике . 23 (2): 36–46. arXiv : 2102.09562 . Бибкод : 2021CSE....23b..36B . дои : 10.1109/MCSE.2021.3052101 . S2CID 231979203 .
- ^ Грейнджер, Брайан Э.; Перес, Фернандо (1 марта 2021 г.). «Jupyter: мышление и рассказывание историй с помощью кода и данных» . Вычисления в науке и технике . 23 (2): 7–14. Бибкод : 2021CSE....23b...7G . дои : 10.1109/MCSE.2021.3059263 . S2CID 232413965 .
- ^ Вихертс, Дж. М.; Борсбум, Д.; Катс, Дж.; Моленаар, Д. (2006). «Плохая доступность данных психологических исследований для повторного анализа». Американский психолог . 61 (7): 726–728. дои : 10.1037/0003-066X.61.7.726 . ПМИД 17032082 .
- ^ Ванпаемель, В.; Верморген, М.; Деримекер, Л.; Стормс, Г. (2015). «Мы теряем хороший кризис? Доступность данных психологических исследований после урагана» . Коллабра . 1 (1): 1–5. дои : 10.1525/collabra.13 .
- ^ Вихертс, Дж. М.; Баккер, М. (2012). «Публикуйте (ваши данные) или (пусть данные) погибнут! Почему бы не опубликовать и ваши данные?». Интеллект . 40 (2): 73–76. дои : 10.1016/j.intell.2012.01.004 .
- ^ Паскье, Томас; Лау, Мэтью К.; Трисович, Ана; Буз, Эмери Р.; Кутюрье, Бен; Кросас, Мерсе; Эллисон, Аарон М.; Гибсон, Валери; Джонс, Крис Р.; Зельцер, Марго (5 сентября 2017 г.). «Если бы эти данные могли говорить» . Научные данные . 4 (1): 170114. Бибкод : 2017NatSD...470114P . дои : 10.1038/sdata.2017.114 . ПМЦ 5584398 . ПМИД 28872630 .
- ^ Маккалоу, Брюс (март 2009 г.). «Экономические журналы открытого доступа и рынок воспроизводимых экономических исследований». Экономический анализ и политика . 39 (1): 117–126. дои : 10.1016/S0313-5926(09)50047-1 .
- ^ Влеминк, Свен; Подкраяц, Феликс (10 декабря 2017 г.). «Журналы по экономическим наукам: на словах воспроизводимые исследования?» . IASSIST Ежеквартально . 41 (1–4): 16. дои : 10,29173/iq6 . HDL : 11108/359 . S2CID 96499437 .
- ^ Харрис, Дженин К.; Джонсон, Кимберли Дж.; Каротерс, Бобби Дж.; Комбс, Тодд Б.; Люк, Дуглас А.; Ван, Сяоянь (2018). «Использование воспроизводимых исследовательских практик в общественном здравоохранении: опрос аналитиков общественного здравоохранения» . ПЛОС ОДИН . 13 (9): e0202447. Бибкод : 2018PLoSO..1302447H . дои : 10.1371/journal.pone.0202447 . ISSN 1932-6203 . OCLC 7891624396 . ПМК 6135378 . ПМИД 30208041 .
- ^ «Конференция по исследовательским отходам/ЭКВАТОР | Исследовательские отходы» . www.researchwaste.net . Архивировано из оригинала 29 октября 2016 года.
- ^ Принц, Ф.; Шланге, Т.; Асадулла, К. (2011). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для наркотиков?» . Nature Reviews Открытие лекарств . 10 (9): 712. дои : 10.1038/nrd3439-c1 . ПМИД 21892149 .
- ^ Тан, Ю.Ю.; Фурубаяши, Дж (2014). «Хидэё Ногути (1876-1928): выдающийся бактериолог» . Сингапурский медицинский журнал . 55 (10): 550–551. дои : 10.11622/smedj.2014140 . ISSN 0037-5675 . ПМК 4293967 . ПМИД 25631898 .
- ^ Браун, Малькольм (3 мая 1989 г.). «Физики опровергают утверждение о новом виде термоядерного синтеза» . Газета "Нью-Йорк Таймс . Проверено 3 февраля 2017 г.
- ^ Чейни, Маргарет (1999), Тесла, Повелитель молнии , Нью-Йорк: Barnes & Noble Books, ISBN 0-7607-1005-8 , стр. 107.; «Не сумев преодолеть свое финансовое бремя, он был вынужден закрыть лабораторию в 1905 году».
- ^ Доминус, Сьюзен (18 октября 2017 г.). «Когда для Эми Кадди пришла революция» . Журнал Нью-Йорк Таймс .
Дальнейшее чтение [ править ]
- Тиммер, Джон (октябрь 2006 г.). «Ученые о науке: воспроизводимость» . Арс Техника .
- Саэй, Тина Хесман (январь 2015 г.). «Является ли повторение научных исследований лучшим способом найти истину? Во время попыток повторения слишком многие исследования не проходят проверку» . Новости науки . «Наука не разрушена безвозвратно, - утверждает [эпидемиолог Джон Иоаннидис]. Она просто нуждается в некоторых улучшениях. «Несмотря на то, что я опубликовал статьи с довольно депрессивными названиями, на самом деле я оптимист», - говорит Иоаннидис. «Я не нахожу другого вклада общества в лучшее положение, чем наука».
Внешние ссылки [ править ]
- Рекомендации по продвижению прозрачности и открытости от Центра открытой науки
- Рекомендации по оценке и выражению неопределенности результатов измерений NIST Национального института стандартов и технологий
- Воспроизводимые статьи с артефактами от фонда CTuning
- ReproducibleResearch.net
| Базы данных органов управления : Национальные |
|---|
