Jump to content

Воспроизводимость

(Перенаправлено из «Репликация (научный метод)

Воспроизводимость , тесно связанная с воспроизводимостью и повторяемостью , является основным принципом, лежащим в основе научного метода . Воспроизводимость результатов исследования означает, что результаты, полученные в ходе эксперимента , наблюдательного исследования или статистического анализа набора данных , должны быть достигнуты снова с высокой степенью надежности при повторении исследования. Существуют разные виды репликации [1] но обычно в исследованиях репликации участвуют разные исследователи, использующие одну и ту же методологию. Только после одной или нескольких таких успешных повторений результат следует признать научным знанием.

В более узком смысле воспроизводимость определяется в вычислительной науке как имеющая следующее качество: результаты должны быть документированы путем предоставления всех данных и кода таким образом, чтобы вычисления можно было выполнить снова с идентичными результатами.

В последние десятилетия растет обеспокоенность тем, что многие опубликованные научные результаты не проходят тест на воспроизводимость, что вызывает кризис воспроизводимости или репликации .

По меркам 17 века воздушный насос Бойля был сложным и дорогим научным аппаратом, что затрудняло воспроизводимость результатов.

Первым, кто подчеркнул важность воспроизводимости в науке, был англо-ирландский химик Роберт Бойль в Англии в 17 веке. Бойля Воздушный насос был разработан для создания и исследования вакуума , что в то время было очень спорной концепцией. Действительно, такие выдающиеся философы, как Рене Декарт и Томас Гоббс, отрицали саму возможность существования вакуума. Историки науки Стивен Шапин и Саймон Шаффер в своей книге 1985 года « Левиафан и воздушный насос » описывают спор между Бойлем и Гоббсом, якобы о природе вакуума, как фундаментальный спор о том, как следует получать полезные знания. Бойль, пионер экспериментального метода , утверждал, что основы знания должны составлять экспериментально полученные факты, которые можно сделать правдоподобными для научного сообщества благодаря их воспроизводимости. Повторяя один и тот же эксперимент снова и снова, утверждал Бойль, появится уверенность в фактах.

Воздушный насос, который в 17 веке представлял собой сложный и дорогой в изготовлении аппарат, также привел к одному из первых задокументированных споров о воспроизводимости того или иного научного явления . В 1660-х годах голландский учёный Христиан Гюйгенс собственный воздушный насос построил в Амстердаме , первый вне непосредственного руководства Бойля и его в то время помощника Роберта Гука . Гюйгенс сообщил об эффекте, который он назвал «аномальной взвесью», при котором вода, казалось, левитировала в стеклянной банке внутри его воздушного насоса (фактически подвешенной над воздушным пузырем), но Бойль и Гук не смогли воспроизвести это явление в своих собственных насосах. Как описывают Шапин и Шаффер, «стало ясно, что, если это явление не может быть получено в Англии с помощью одного из двух имеющихся насосов, тогда никто в Англии не примет заявления Гюйгенса или его компетентность в работе с насосом». Наконец Гюйгенс был приглашен в Англию в 1663 году, и под его личным руководством Гуку удалось воспроизвести аномальную взвесь воды. После этого Гюйгенс был избран иностранным членом Королевское общество . Однако Шапин и Шаффер также отмечают, что «осуществление репликации зависело от случайных суждений. Невозможно записать формулу, говорящую, когда репликация была достигнута, а когда нет». [2]

Философ науки Карл Поппер кратко заметил в своей знаменитой книге 1934 года «Логика научных открытий» , что «невоспроизводимые единичные явления не имеют никакого значения для науки». [3] Статистик « Рональд Фишер написал в своей книге 1935 года План экспериментов» , которая заложила основы современной научной практики проверки гипотез и статистической значимости , что «мы можем сказать, что явление экспериментально доказуемо, когда мы знаем, как провести эксперимент, который редко не сможет дать нам статистически значимые результаты». [4] Подобные утверждения выражают распространенную в современной науке догму о том, что воспроизводимость является необходимым условием (хотя и не обязательно достаточным ) для установления научного факта, а на практике — для установления научного авторитета в любой области знаний. Однако, как отмечалось выше Шапином и Шаффером, эта догма недостаточно четко сформулирована в количественном отношении, например, в отношении статистической значимости, и поэтому явно не установлено, сколько раз должен быть воспроизведен факт, чтобы его можно было считать воспроизводимым.

Терминология

[ редактировать ]

Воспроизводимость и повторяемость — это родственные термины, широко или условно синонимы воспроизводимости (например, среди широкой публики), но их часто полезно дифференцировать в более точных смыслах, как показано ниже.

В связи с воспроизводимостью экспериментальных или наблюдательных исследований естественно различают два основных этапа:Когда в попытке добиться этого получаются новые данные, термин «воспроизводимость» часто используется , а новое исследование представляет собой репликацию или повторение исходного. Получая те же результаты при повторном анализе набора данных исходного исследования с использованием тех же процедур, многие авторы используют термин воспроизводимость в узком, техническом смысле, исходя из его использования в вычислительных исследованиях. Повторяемость связана с повторением эксперимента в рамках одного и того же исследования одними и теми же исследователями.Воспроизводимость в первоначальном, широком смысле признается только в том случае, если репликация, выполненная независимой исследовательской группой, оказалась успешной.

Термины воспроизводимость и тиражируемость иногда встречаются даже в научной литературе в обратном значении: [5] [6] поскольку разные области исследований пришли к своим собственным определениям одних и тех же терминов.

Меры воспроизводимости и повторяемости

[ редактировать ]

В химии термины воспроизводимость и повторяемость используются с конкретным количественным значением. [7] В межлабораторных экспериментах концентрация или другое количество химического вещества измеряется повторно в разных лабораториях для оценки изменчивости измерений. Тогда стандартное отклонение разницы между двумя значениями, полученными в одной лаборатории, называется повторяемостью. Стандартное отклонение разницы между двумя измерениями, проведенными в разных лабораториях, называется воспроизводимостью . [8] Эти меры связаны с более общей концепцией компонентов дисперсии в метрологии .

Воспроизводимые исследования

[ редактировать ]

Воспроизводимый метод исследования

[ редактировать ]

Термин «воспроизводимые исследования» относится к идее, согласно которой научные результаты должны быть документированы таким образом, чтобы их выводы были полностью прозрачными. Для этого необходимо подробное описание методов, используемых для получения данных. [9] [10] и обеспечение легкого доступа к полному набору данных и коду для расчета результатов. [11] [12] [13] [14] [15] [16] Это важнейшая часть открытой науки .

Чтобы сделать любой исследовательский проект вычислительно воспроизводимым, общая практика предполагает, что все данные и файлы четко разделены, маркированы и документированы. Все операции должны быть полностью документированы и автоматизированы, насколько это возможно, избегая ручного вмешательства, где это возможно. Рабочий процесс должен быть спроектирован как последовательность более мелких шагов, которые объединены таким образом, чтобы промежуточные результаты одного шага напрямую использовались в качестве входных данных для следующего шага. Следует использовать контроль версий, поскольку он позволяет легко просматривать историю проекта и позволяет прозрачно документировать и отслеживать изменения.

Базовый рабочий процесс воспроизводимых исследований включает сбор, обработку и анализ данных. Сбор данных в первую очередь состоит из получения первичных данных из первоисточника, такого как опросы, полевые наблюдения, экспериментальные исследования, или получения данных из существующего источника. Обработка данных включает обработку и анализ необработанных данных, собранных на первом этапе, и включает ввод данных, манипулирование данными и фильтрацию и может выполняться с использованием программного обеспечения. Данные должны быть оцифрованы и подготовлены для анализа данных. Данные могут быть проанализированы с использованием программного обеспечения для интерпретации или визуализации статистики или данных для получения желаемых результатов исследования, таких как количественные результаты, включая рисунки и таблицы. Использование программного обеспечения и автоматизации повышает воспроизводимость методов исследования. [17]

Существуют системы, упрощающие такую ​​документацию, например R Markdown. язык [18] или блокнот Jupyter . [19] [20] [21] Open Science Framework предоставляет платформу и полезные инструменты для поддержки воспроизводимых исследований.

Воспроизводимые исследования на практике

[ редактировать ]

В психологии возобновились внутренние опасения по поводу невоспроизводимости результатов ( см. в статье о кризисе воспроизводимости эмпирические результаты об успешности повторений ). В исследовании 2006 года исследователи показали, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение шестимесячного периода. [22] В последующем исследовании, опубликованном в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA, с которыми связались, не предоставили свои данные по запросу (62%). [23] В статье 2012 года было предложено исследователям публиковать данные вместе со своими работами, и в качестве демонстрации был выпущен набор данных. [24] В 2017 году в статье, опубликованной в Scientific Data, говорилось, что этого может быть недостаточно и необходимо раскрыть весь контекст анализа. [25]

В экономике были высказаны опасения по поводу достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является предпосылкой для публикации исследований, однако в экономических науках она не рассматривается как приоритет первостепенной важности. Большинство рецензируемых экономических журналов не принимают каких-либо существенных мер для обеспечения воспроизводимости опубликованных результатов, однако ведущие экономические журналы переходят к обязательному архивированию данных и кодов. [26] У исследователей мало или вообще нет стимулов делиться своими данными, а авторам придется нести расходы по компиляции данных в формы, пригодные для повторного использования. Экономические исследования зачастую не воспроизводимы, поскольку только часть журналов имеет адекватную политику раскрытия наборов данных и программного кода, а даже если и существует, авторы часто не соблюдают ее или издатели не соблюдают ее. Исследование 599 статей, опубликованных в 37 рецензируемых журналах, показало, что, хотя некоторые журналы достигли значительных показателей соответствия, значительная часть соблюдает требования лишь частично или не соблюдает их вообще. На уровне статьи средний уровень соблюдения требований составил 47,5%; а на уровне журнала средний уровень соблюдения требований составил 38% в диапазоне от 13% до 99%. [27]

Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% выборки исследователей статистики общественного здравоохранения поделились своими данными или кодом, или и тем, и другим. [28]

В течение многих лет в медицинской литературе предпринимались инициативы по улучшению отчетности и, следовательно, воспроизводимости результатов, начиная с инициативы CONSORT , которая сейчас является частью более широкой инициативы — сети EQUATOR . Эта группа недавно обратила свое внимание на то, как более качественная отчетность может сократить потери в исследованиях. [29] особенно биомедицинские исследования.

Воспроизводимые исследования являются ключом к новым открытиям в фармакологии . За открытием фазы I последует воспроизводство фазы II по мере того, как лекарство будет развиваться в направлении коммерческого производства. За последние десятилетия успешность фазы II упала с 28% до 18%. Исследование 2011 года показало, что 65% медицинских исследований оказались противоречивыми при повторном тестировании, и только 6% оказались полностью воспроизводимыми. [30]

Примечательные невоспроизводимые результаты

[ редактировать ]

Хидэё Ногучи прославился тем, что правильно определил бактериальный возбудитель сифилиса , но также утверждал, что может культивировать этот возбудитель в своей лаборатории. Никто другой не смог добиться этого последнего результата. [31]

В марте 1989 года химики из Университета Юты Стэнли Понс и Мартин Флейшман сообщили о выделении избыточного тепла, которое можно объяснить только ядерным процессом (« холодный синтез »). Отчет был ошеломляющим, учитывая простоту оборудования: по существу это была электролитическая ячейка, содержащая тяжелую воду и палладиевый катод , который быстро поглощал дейтерий, образующийся в ходе электролиза. Средства массовой информации широко освещали эксперименты, и эта статья была на первых страницах многих газет по всему миру (см. «Наука за пресс-конференцией »). В течение следующих нескольких месяцев другие пытались повторить эксперимент, но безуспешно. [32]

Никола Тесла утверждал еще в 1899 году, что использовал ток высокой частоты для зажигания газонаполненных ламп на расстоянии более 25 миль (40 км) без использования проводов . В 1904 году он построил башню Уорденклиф на Лонг-Айленде, чтобы продемонстрировать способы передачи и получения энергии без подключения проводов. Установка так и не заработала на полную мощность и не была достроена из-за экономических проблем, поэтому никаких попыток воспроизвести его первый результат так и не было предпринято. [33]

Другие примеры, опровергающие первоначальное утверждение:

См. также

[ редактировать ]
  1. ^ Цанг, Эрик В.К.; Кван, Кайман (1999). «Репликация и развитие теории в организационной науке: критический реалистический взгляд» . Обзор Академии менеджмента . 24 (4): 759–780. дои : 10.5465/amr.1999.2553252 . ISSN   0363-7425 .
  2. ^ Стивен Шапин и Саймон Шаффер , Левиафан и воздушный насос , Princeton University Press, Принстон, Нью-Джерси (1985).
  3. ^ Эта цитата взята из перевода на английский язык 1959 года Карла Поппера , «Логика научного открытия» , Routledge, Лондон, 1992, стр. 66.
  4. ^ Рональд Фишер , План экспериментов , (1971) [1935] (9-е изд.), Macmillan, p. 14.
  5. ^ Барба, Лорена А. (2018). «Терминология воспроизводимых исследований». arXiv : 1802.03311 [ cs.DL ].
  6. ^ Либерман, Марк. «Репликация против воспроизводимости — или наоборот?» . Проверено 15 октября 2020 г.
  7. ^ «ИЮПАК – воспроизводимость (R05305)» . Международный союз теоретической и прикладной химии . дои : 10.1351/goldbook.R05305 . Проверено 4 марта 2022 г.
  8. ^ Подкомитет E11.20 по оценке методов испытаний и контролю качества (2014 г.). «Стандартная практика использования терминов «точность» и «предвзятость» в методах испытаний ASTM» . АСТМ Интернешнл. АСТМ Е177. {{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) (требуется подписка)
  9. ^ Кинг, Гэри (1995). «Репликация, репликация» . PS: Политология и политика . 28 (3): 444–452. дои : 10.2307/420301 . ISSN   1049-0965 . JSTOR   420301 . S2CID   250480339 .
  10. ^ Кюне, Мартин; Лиер, Андреас В. (2009). «Совершенствование традиционного управления информацией в естественных науках» . Журнал науки о данных . 8 (1): 18–27. дои : 10.2481/dsj.8.18 .
  11. ^ Фомель, Сергей; Клербаут, Джон (2009). «Введение приглашенных редакторов: воспроизводимые исследования». Вычисления в науке и технике . 11 (1): 5–7. Бибкод : 2009CSE....11a...5F . дои : 10.1109/MCSE.2009.14 .
  12. ^ Бакхейт, Джонатан Б.; Донохо, Дэвид Л. (май 1995 г.). WaveLab и воспроизводимые исследования (PDF) (Отчет). Калифорния, США: Стэнфордский университет , факультет статистики. Технический отчет № 474. Архивировано (PDF) из оригинала 9 января 2015 г. Проверено 5 января 2015 г.
  13. ^ «Круглый стол Йельской школы права по обмену данными и ядрами: «воспроизводимые исследования» ». Вычисления в науке и технике . 12 (5): 8–12. 2010. дои : 10.1109/MCSE.2010.113 .
  14. ^ Марвик, Бен (2016). «Вычислительная воспроизводимость в археологических исследованиях: основные принципы и пример их реализации» . Журнал археологического метода и теории . 24 (2): 424–450. дои : 10.1007/s10816-015-9272-9 . S2CID   43958561 .
  15. ^ Гудман, Стивен Н.; Фанелли, Даниэле; Иоаннидис, Джон П.А. (1 июня 2016 г.). «Что означает воспроизводимость исследования?» . Наука трансляционной медицины . 8 (341): 341пс12. doi : 10.1126/scitranslmed.aaf5027 . ПМИД   27252173 .
  16. ^ Харрис Дж.К.; Джонсон К.Дж.; Расчесывает туберкулез; Каротерс Б.Дж.; Люк Д.А.; Ван Икс (2019). «Три изменения, которые ученые общественного здравоохранения могут внести, чтобы помочь создать культуру воспроизводимых исследований» . Отчеты представителя общественного здравоохранения . 134 (2): 109–111. дои : 10.1177/0033354918821076 . ISSN   0033-3549 . OCLC   7991854250 . ПМК   6410469 . ПМИД   30657732 .
  17. ^ Китцес, Джастин; Турек, Дэниел; Дениз, Фатма (2018). Практика воспроизводимых исследовательских тематических исследований и уроки наук с интенсивным использованием данных . Окленд, Калифорния: Издательство Калифорнийского университета. стр. 19–30. ISBN  9780520294745 . JSTOR   10.1525/j.ctv1wxsc7 .
  18. ^ Марвик, Бен; Беттигер, Карл; Маллен, Линкольн (29 сентября 2017 г.). «Воспроизводимая упаковка данных для аналитической работы с использованием R (и его друзей)» . Американский статистик . 72 : 80–88. дои : 10.1080/00031305.2017.1375986 . S2CID   125412832 .
  19. ^ Клюйвер, Томас; Рэган-Келли, Бенджамин; Перес, Фернандо; Грейнджер, Брайан; Бюссонье, Матиас; Фредерик, Джонатан; Келли, Кайл; Хэмрик, Джессика; Граут, Джейсон; Корлей, Сильвен (2016). «Jupyter Notebooks — формат публикации для воспроизводимых вычислительных рабочих процессов» (PDF) . В Лоизидесе, Ф; Шмидт, Б. (ред.). Позиционирование и власть в академических публикациях: игроки, агенты и программы . 20-я Международная конференция по электронному издательскому делу. ИОС Пресс. стр. 87–90. дои : 10.3233/978-1-61499-649-1-87 . Архивировано (PDF) из оригинала 10 января 2018 г.
  20. ^ Бег, Марижан; Така, Джульетта; Клюйвер, Томас; Коновалов, Александр; Рэган-Келли, Мин; Тьери, Николя М.; Фангор, Ганс (1 марта 2021 г.). «Использование Jupyter для воспроизводимых научных рабочих процессов». Вычисления в науке и технике . 23 (2): 36–46. arXiv : 2102.09562 . Бибкод : 2021CSE....23b..36B . дои : 10.1109/MCSE.2021.3052101 . S2CID   231979203 .
  21. ^ Грейнджер, Брайан Э.; Перес, Фернандо (1 марта 2021 г.). «Jupyter: мышление и рассказывание историй с помощью кода и данных» . Вычисления в науке и технике . 23 (2): 7–14. Бибкод : 2021CSE....23b...7G . дои : 10.1109/MCSE.2021.3059263 . S2CID   232413965 .
  22. ^ Вихертс, Дж. М.; Борсбум, Д.; Катс, Дж.; Моленаар, Д. (2006). «Плохая доступность данных психологических исследований для повторного анализа». Американский психолог . 61 (7): 726–728. дои : 10.1037/0003-066X.61.7.726 . ПМИД   17032082 .
  23. ^ Ванпаемель, В.; Верморген, М.; Деримекер, Л.; Стормс, Г. (2015). «Мы теряем хороший кризис? Доступность данных психологических исследований после урагана» . Коллабра . 1 (1): 1–5. дои : 10.1525/collabra.13 .
  24. ^ Вихертс, Дж. М.; Баккер, М. (2012). «Публикуйте (ваши данные) или (пусть данные) исчезнут! Почему бы не опубликовать и ваши данные?». Интеллект . 40 (2): 73–76. дои : 10.1016/j.intell.2012.01.004 .
  25. ^ Паскье, Томас; Лау, Мэтью К.; Трисович, Ана; Буз, Эмери Р.; Кутюрье, Бен; Кросас, Мерсе; Эллисон, Аарон М.; Гибсон, Валери; Джонс, Крис Р.; Зельцер, Марго (5 сентября 2017 г.). «Если бы эти данные могли говорить» . Научные данные . 4 (1): 170114. Бибкод : 2017NatSD...470114P . дои : 10.1038/sdata.2017.114 . ПМЦ   5584398 . ПМИД   28872630 .
  26. ^ Маккалоу, Брюс (март 2009 г.). «Экономические журналы открытого доступа и рынок воспроизводимых экономических исследований». Экономический анализ и политика . 39 (1): 117–126. дои : 10.1016/S0313-5926(09)50047-1 .
  27. ^ Влеминк, Свен; Подкраяц, Феликс (10 декабря 2017 г.). «Журналы по экономическим наукам: на словах воспроизводимые исследования?» . IASSIST Ежеквартально . 41 (1–4): 16. дои : 10,29173/iq6 . HDL : 11108/359 . S2CID   96499437 .
  28. ^ Харрис, Дженин К.; Джонсон, Кимберли Дж.; Каротерс, Бобби Дж.; Комбс, Тодд Б.; Люк, Дуглас А.; Ван, Сяоянь (2018). «Использование воспроизводимых исследовательских практик в общественном здравоохранении: опрос аналитиков общественного здравоохранения» . ПЛОС ОДИН . 13 (9): e0202447. Бибкод : 2018PLoSO..1302447H . дои : 10.1371/journal.pone.0202447 . ISSN   1932-6203 . OCLC   7891624396 . ПМК   6135378 . ПМИД   30208041 .
  29. ^ «Конференция по исследовательским отходам/ЭКВАТОР | Исследовательские отходы» . www.researchwaste.net . Архивировано из оригинала 29 октября 2016 года.
  30. ^ Принц, Ф.; Шланге, Т.; Асадулла, К. (2011). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для наркотиков?» . Nature Reviews Открытие лекарств . 10 (9): 712. дои : 10.1038/nrd3439-c1 . ПМИД   21892149 .
  31. ^ Тан, Ю.Ю.; Фурубаяши, Дж (2014). «Хидэё Ногути (1876-1928): выдающийся бактериолог» . Сингапурский медицинский журнал . 55 (10): 550–551. дои : 10.11622/smedj.2014140 . ISSN   0037-5675 . ПМЦ   4293967 . ПМИД   25631898 .
  32. ^ Браун, Малькольм (3 мая 1989 г.). «Физики опровергают утверждение о новом виде термоядерного синтеза» . Нью-Йорк Таймс . Проверено 3 февраля 2017 г.
  33. ^ Чейни, Маргарет (1999), Тесла, Повелитель молнии , Нью-Йорк: Barnes & Noble Books, ISBN   0-7607-1005-8 , стр. 107.; «Не сумев преодолеть свое финансовое бремя, он был вынужден закрыть лабораторию в 1905 году».
  34. ^ Доминус, Сьюзен (18 октября 2017 г.). «Когда для Эми Кадди пришла революция» . Журнал Нью-Йорк Таймс .

Дальнейшее чтение

[ редактировать ]
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: eefbaf162106b0bcca59366a06ff88ae__1713547260
URL1:https://arc.ask3.ru/arc/aa/ee/ae/eefbaf162106b0bcca59366a06ff88ae.html
Заголовок, (Title) документа по адресу, URL1:
Reproducibility - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)