Научная рецензия

Для более широкого освещения этой темы см. Рецензирование .

Научное рецензирование или академическое рецензирование (также известное как рецензирование исследователя ) — это процесс рассмотрения черновой версии методов и результатов (обычно анонимно) экспертами (или «коллегами») в той же области. Рецензирование широко используется, чтобы помочь академическому издателю (то есть главному редактору , редакционной коллегии или программному комитету ) решить, следует ли принять работу, считать ее приемлемой с исправлениями или отклонить ее для официальной публикации в академическом журнале. журнале , монографии или в материалах научной конференции . Если личности авторов не раскрываются друг другу, процедура называется двойным анонимным рецензированием.

Академическая рецензирование требует сообщества экспертов в определенной (и часто узко определенной) академической области , которые имеют квалификацию и способны выполнять достаточно беспристрастную рецензию. Беспристрастный обзор, особенно работ в менее узко определенных или междисциплинарных областях, может оказаться трудным, а значение (хорошее или плохое) идеи никогда не сможет получить широкое признание среди ее современников. Рецензирование обычно считается необходимым для академического качества и используется в большинстве крупных научных журналов. Однако рецензирование не предотвращает публикацию недействительных исследований. и поскольку экспериментально контролируемые исследования этого процесса трудно организовать, прямых доказательств того, что рецензирование улучшает качество публикуемых статей, недостаточно.

История

Первая запись о редакционной рецензии перед публикацией относится к 1665 году Генри Ольденбургу , редактору-основателю «Философских трудов Королевского общества» общества Лондонского королевского .

Первой рецензируемой публикацией, возможно, были « Медицинские очерки и наблюдения», опубликованные Королевским обществом Эдинбурга в 1731 году. Современная система рецензирования возникла в результате этого процесса 18-го века: стали привлекать внешних рецензентов в середине 19 века, и не стал обычным явлением до середины 20 века.

Рецензирование стало пробным камнем научного метода , но до конца XIX века часто осуществлялось непосредственно главным редактором или редакционной комиссией. Редакторы научных журналов в то время принимали решения о публикации, не обращаясь за мнением извне, то есть к внешней группе рецензентов, предоставляя авторитетным авторам свободу действий по своему журналистскому усмотрению. Например, Альберта Эйнштейна четыре революционные Annus Mirabilis статьи в номере журнала Annalen der Physik за 1905 год были оценены главным редактором журнала Максом Планком и его соредактором Вильгельмом Веном , будущими лауреатами Нобелевской премии и вместе взятыми. экспертов по темам этих статей. Гораздо позже Эйнштейн подверг резкой критике процесс внешнего рецензирования, заявив, что он не уполномочил главного редактора показывать свою рукопись «специалистам перед ее печатью», и сообщив ему, что он «опубликует статью в другом месте». » – что он и сделал, с существенными изменениями.

Хотя некоторые медицинские журналы начали систематически назначать внешних рецензентов, только с середины 20-го века эта практика получила широкое распространение, и внешние рецензенты получили некоторую известность в академических журналах, в том числе получили благодарность от авторов и редакторов. В редакционной статье журнала Nature за 2003 год говорилось, что в начале 20 века «бремя доказывания обычно лежало на противниках, а не на сторонниках новых идей». Сама природа учредила официальную экспертную оценку только в 1967 году. Такие журналы, как Science и American Journal of Medicine, в 1950-х и 1960-х годах все чаще полагались на внешних рецензентов, отчасти для того, чтобы уменьшить редакционную нагрузку. В 20 веке экспертная оценка также стала обычным явлением при распределении финансирования науки. Этот процесс, судя по всему, развивался независимо от процесса редакционной рецензирования.

Годе предоставляет социологический взгляд на историю рецензирования, тщательно обращая внимание на то, что расследуется, в данном случае рецензирование, а не только рассматривая поверхностные или самоочевидные общие черты между инквизицией, цензурой и рецензированием журналов. Он основан на исторических исследованиях Гулда. Бьяджоли, мышцы, и Рип. Первый Конгресс коллегиальной оценки состоялся в 1989 году. Со временем доля статей, посвященных рецензированию, неуклонно сокращалась, что позволяет предположить, что как область социологических исследований она была заменена более систематическими исследованиями предвзятости и ошибок. Параллельно с определениями «общего опыта», основанными на изучении рецензирования как «заранее сконструированного процесса», некоторые социологи рассматривали рецензирование, не считая его заранее сконструированным. Хиршауэр предположил, что рецензирование журнала можно понимать как взаимную ответственность за суждения между коллегами. Годе предположил, что рецензирование журнала можно понимать как социальную форму граничного суждения, определяющую, что можно считать научным (или нет) в сравнении с всеобъемлющей системой знаний, и следовать предшествующим формам инквизиции и цензуры.

С прагматической точки зрения рецензирование относится к работе, проделанной во время проверки представленных рукописей . Этот процесс поощряет авторов соответствовать принятым стандартам их дисциплины и уменьшает распространение нерелевантных выводов, необоснованных утверждений, неприемлемых интерпретаций и личных взглядов. Публикации, не прошедшие рецензирование, скорее всего, будут восприняты с подозрением со стороны ученых и специалистов. Работа, не рецензируемая, не способствует или вносит меньший вклад в академический кредит ученого (например, индекс Хирша ), хотя это во многом зависит от области.

Обоснование

[П]рэкспертиза в своей идеальной форме является одновременно и актом альтруизма, и актом инвестирования в продолжение научного начинания наших коллег. Вот почему так важно участвовать в вдумчивой экспертной оценке как ученому, и именно поэтому важно делать это хорошо, действуя не как привратник, а как соучастник, вносящий вклад в создание знаний. Коллективная мудрость.

Анна Мари Роос , главный редактор журнала Notes and Records: the Royal Society Journal of the History of Science , 2022 г.

Авторам и исследователям, индивидуально или в команде, сложно и отнимает много времени, чтобы обнаружить и предоставить отзыв о каждой ошибке или недостатке в сложной работе. Это не обязательно отражается на тех, кого это касается, но потому, что в случае новой и, возможно, эклектичной темы возможность улучшения может быть более очевидной для человека, обладающего специальными знаниями или просто смотрящего на нее свежим взглядом. Таким образом, демонстрация работы другим увеличивает вероятность того, что слабые стороны будут выявлены и устранены. Как для грантового финансирования, так и для публикации в научном журнале обычно также требуется, чтобы тема была одновременно новой и существенной.

Решение о том, публиковать научную статью или нет, или о том, что следует изменить перед публикацией, в конечном итоге принимает издатель ( главный редактор или редколлегия ), которому была представлена ​​рукопись. Аналогичным образом, решение о том, финансировать предлагаемый проект или нет, принимается должностным лицом финансирующего агентства. При принятии решения эти люди обычно опираются на мнение одного или нескольких рецензентов. Это происходит, прежде всего, по трем причинам:

• Рабочая нагрузка. Небольшая группа редакторов/экспертов не может уделить достаточно времени каждой из множества статей, представленных во многие журналы.
• Разновидность идей. Если бы редактор/оценщик самостоятельно оценивал весь представленный материал, одобренный материал отражал бы исключительно его мнение.
• Ограниченная экспертиза. Нельзя ожидать, что редактор/оценщик будет достаточно экспертом во всех областях, охватываемых одним журналом или финансирующим агентством, чтобы адекватно оценивать все представленные материалы.

Рецензенты часто анонимны и независимы . Однако некоторые рецензенты могут отказаться от своей анонимности, а в других ограниченных обстоятельствах, таких как рассмотрение официальной жалобы на рефери или постановления суда, может потребоваться раскрыть личность рецензента. Анонимность может быть односторонней или взаимной (одиночное или двойное слепое рецензирование).

Поскольку рецензенты обычно выбираются из числа экспертов в областях, обсуждаемых в статье, процесс рецензирования помогает исключить некоторые необоснованные или необоснованные утверждения из опубликованных исследований и знаний. Ученые будут читать опубликованные статьи, выходящие за рамки их ограниченной области детальных знаний, а затем в некоторой степени полагаться на процесс рецензирования, чтобы обеспечить надежные и заслуживающие доверия исследования, на которые они смогут опираться для последующих или связанных исследований. Серьезный скандал возникает, когда выясняется, что автор фальсифицировал исследование, включенное в статью, поскольку другие ученые и сама область исследования могли полагаться на недействительные исследования.

Для университетов США рецензирование книг перед публикацией является требованием для полноправного членства в Ассоциации американских университетских издательств .

Процедура

В случае предлагаемых публикаций издатель ( главный редактор или редакционная коллегия , часто с помощью соответствующих или ассоциированных редакторов) отправляет предварительные копии авторской работы или идей исследователям или ученым, которые являются экспертами в данной области (известные как «рецензенты» или «рецензенты»). В настоящее время общение обычно осуществляется по электронной почте или через веб-систему обработки рукописей, такую ​​как ScholarOne , Scholastica или Open Journal Systems . В зависимости от области исследований и конкретного журнала на одну статью обычно назначают от одного до трех рецензентов. Например, Спрингер утверждает, что на каждую статью приходится два или три рецензента.

Процесс рецензирования включает в себя три этапа:

Шаг 1: Кабинетная оценка

Редактор оценивает рукопись, чтобы решить, будет ли статья передана рецензентам журнала. На этом этапе многие статьи получают «отказ от рассмотрения», то есть редактор решает не передавать статью. Авторы могут получить или не получить объяснительное письмо.

Отклонение редакционных статей должно стать упрощенным процессом, позволяющим редакторам быстро избавиться от нежизнеспособных рукописей и предоставить авторам возможность найти более подходящий журнал. Например, редакторы журнала European Accounting Review задают каждую рукопись тремя вопросами, чтобы решить, будет ли она передана рецензентам: 1) соответствует ли статья целям и объему журнала, 2) является ли содержание статьи (например, обзор литературы, методы , выводы) достаточны, и вносит ли статья достойный вклад в большую литературу, и 3) соответствует ли она формату и техническим характеристикам? Если «нет» на любой из этих вопросов, рукопись будет отклонена.

Доля отказов от редакционных работ варьируется в зависимости от журнала. Например, в 2017 году исследователи Всемирного банка подсчитали процент отказов от нескольких журналов по мировой экономике; процент отказов от столов варьировался от 21% ( Economic Lacea ) до 66% ( Journal of Development Economics ). Американская психологическая ассоциация публикует показатели отказов для нескольких крупных публикаций в этой области, и хотя они не уточняют, является ли отказ до- или после-кабинетной оценкой, их цифры в 2016 году варьировались от низкого уровня в 49% до высокого уровня в 90%. .

Шаг 2. Внешняя проверка

Если статья не отклонена, редакторы отправляют рукопись рецензентам, выбранным с учетом их опыта и удаленности от авторов. На этом этапе судьи могут отклонить, принять без изменений (редко) или поручить авторам отредактировать и отправить повторно.

Причины принятия статьи редакторами различаются, но Elsevier опубликовал статью, в которой три редактора высказали мнение о факторах, влияющих на принятие статьи. К этим факторам относятся: дает ли рукопись «новое понимание важного вопроса», будет ли она полезна для практиков, продвигает или предлагает новую теорию, поднимает ли она новые вопросы, содержит ли соответствующие методы и выводы, представляет ли хороший аргумент, основанный на литературе, и рассказывает хорошую историю. Один редактор отмечает, что ему нравятся статьи, которые он «хотел бы написать» сам.

Каждый из этих рецензентов возвращает редактору оценку работы, отмечая слабые места или проблемы, а также предлагая предложения по улучшению. Как правило, большинство комментариев рецензентов в конечном итоге видны автору, хотя рецензент также может отправлять комментарии « только для ваших глаз » издателю; научные журналы соблюдают это соглашение почти повсеместно. Затем редактор оценивает комментарии рецензентов, свое собственное мнение о рукописи, прежде чем передать решение автору (авторам), обычно с комментариями рецензентов.

Оценки рецензентов обычно включают в себя явные рекомендации о том, что делать с рукописью или предложением, часто выбираемые из вариантов, предоставленных журналом или финансирующим агентством. Например, Nature рекомендует четыре курса действий:

• безоговорочно принять рукопись или предложение,
• принять его в том случае, если его авторы определенным образом улучшат его
• отклонить его, но поощрить его пересмотр и предложить повторную отправку
• категорически отвергнуть это.

Во время этого процесса роль судей носит консультативный характер. Редактор(ы) обычно не обязаны принимать мнение рецензентов. хотя он или она чаще всего так и делают. Более того, рецензенты научных публикаций не действуют как группа, не общаются друг с другом и обычно не знают личности или оценок друг друга. Сторонники утверждают, что если рецензенты статьи неизвестны друг другу, редактору(ам) будет легче проверить объективность рецензий. Обычно не требуется, чтобы рецензенты достигли консенсуса , вместо этого решение часто принимает редактор(ы) на основе своего лучшего суждения об аргументах.

В ситуациях, когда несколько рецензентов существенно расходятся во мнениях относительно качества работы, существует ряд стратегий принятия решения. Статья может быть полностью отклонена, или редактор может выбрать, к какому мнению рецензента следует обратиться авторам. Когда издатель получает очень положительные и очень отрицательные отзывы на одну и ту же рукопись, редактор часто просит одну или несколько дополнительных рецензий в качестве решающего фактора. рецензента В качестве еще одной стратегии в случае ничьей издатель может предложить авторам ответить на критику и разрешить убедительное опровержение, чтобы разорвать ничью. Если издатель не чувствует себя уверенно, чтобы взвесить убедительность опровержения, он может запросить ответ у рецензента, вынесшего первоначальную критику. Редактор может передавать сообщения между авторами и рецензентом и обратно, фактически позволяя им обсуждать точку зрения.

Однако даже в этих случаях издатели не позволяют нескольким рецензентам общаться друг с другом, хотя каждый рецензент часто может видеть более ранние комментарии, представленные другими рецензентами. Целью процесса является явно не достижение консенсуса или убеждение кого-либо изменить свое мнение, а предоставление материала для принятия обоснованного редакционного решения. Одно раннее исследование, посвященное разногласиям рецензентов, показало, что согласие было выше случайности, если не намного выше случайности, по шести из семи характеристик статьи (например, обзор литературы и окончательная рекомендация к публикации), но это исследование было небольшим и проводилось только в одном журнале. По крайней мере, одно исследование показало, что разногласия между рецензентами не являются обычным явлением, но это исследование также небольшое и посвящено только одному журналу.

Традиционно рецензенты часто оставались анонимными для авторов, но этот стандарт меняется как со временем, так и в зависимости от научной области. В некоторых научных областях большинство журналов предлагают рецензенту возможность оставаться анонимным или нет, или рецензент может решить подписать рецензию, тем самым отказываясь от анонимности. Опубликованные статьи иногда содержат в разделе благодарностей анонимные или названные рецензенты, которые помогли улучшить статью. Например, журналы Nature предоставляют такую ​​возможность.

Иногда авторы могут исключать определенных рецензентов: одно исследование, проведенное в журнале Journal of Investigative Dermatology, показало, что исключение рецензентов удвоило шансы на принятие статьи. Некоторым ученым эта идея не нравится, утверждая, что она искажает научный процесс. Другие утверждают, что это защищает от судей, которые в той или иной степени предвзяты (например, из-за профессионального соперничества, обид). В некоторых случаях авторы могут выбирать рецензентов для своих рукописей. mSphere , журнал открытого доступа по микробиологии, перешел на эту модель. Главный редактор Майк Империале говорит, что этот процесс призван сократить время, необходимое для рецензирования статей, и позволить авторам выбирать наиболее подходящих рецензентов. Но скандал 2015 года показывает, как такой выбор рецензентов может способствовать созданию мошеннических рецензий. Поддельные обзоры были отправлены в Журнал ренин-ангиотензин-альдостероновой системы от имени рецензентов, рекомендованных автором, в результате чего журнал исключил эту опцию.

Шаг 3: Изменения

Если рукопись не была отклонена при рецензировании, она возвращается авторам на доработку. На этом этапе авторы решают вопросы, поднятые рецензентами. Уильям Стаффорд Ноубл предлагает десять правил ответа рецензентам. Его правила включают в себя:

1. «Предоставьте обзор, а затем процитируйте полный набор отзывов»
2. «Будьте вежливы и уважительны ко всем рецензентам»
3. «Принять вину»
4. «Сделайте ответ самодостаточным»
5. «Отвечайте на каждый вопрос, поднятый рецензентом»
6. «Используйте типографику, чтобы помочь рецензенту ориентироваться в вашем ответе»
7. «По возможности начинайте свой ответ на каждый комментарий с прямого ответа на поднятый вопрос»
8. «По возможности делайте то, что просит рецензент»
9. «Четко поясните, что изменилось по сравнению с предыдущей версией»
10. «При необходимости напишите ответ дважды» (т. е. напишите версию для «выпуска воздуха», но затем напишите версию, которую увидят рецензенты)

Наем судей

В издательстве журнала или книги задача выбора рецензентов обычно возлагается на редактора . Когда рукопись поступает, редактор запрашивает рецензии у ученых или других экспертов, которые, возможно, уже выразили или не выразили желание рецензировать этот журнал или книжный отдел. Грантирующие агентства обычно набирают комиссию или комитет рецензентов до поступления заявок.

Рецензенты обязаны информировать редактора о любом конфликте интересов , который может возникнуть. Журналы или отдельные редакторы могут предложить авторам рукописи назвать людей, которые, по их мнению, имеют право рецензировать их работу. Для некоторых журналов это является обязательным требованием. Авторам иногда также предоставляется возможность назвать естественных кандидатов, которые должны быть дисквалифицированы , и в этом случае их могут попросить предоставить обоснование (обычно выражающееся в виде конфликта интересов).

Редакторы обращаются к авторам за вкладом при выборе рецензентов, поскольку академические статьи обычно очень специализированы. Редакторы часто курируют множество специальностей и не могут быть экспертами по всем из них. Но после того, как редактор выбирает рецензентов из числа кандидатов, он обычно обязан не раскрывать личности рецензентов авторам, а в научных журналах - друг другу. Политика по таким вопросам различается в зависимости от академических дисциплин. Одна из трудностей, связанных с некоторыми рукописями, заключается в том, что среди них может быть немного ученых, которые действительно могут считаться экспертами, людей, которые сами проделали работу, подобную той, что рассматривается. Это может помешать достижению целей анонимности рецензента и предотвращения конфликта интересов. Низкопрестижные или местные журналы и грантовые агентства, которые выделяют мало денег, особенно испытывают трудности с привлечением экспертов.

Потенциальным препятствием при наборе судей является то, что им обычно не платят, в основном потому, что это само по себе может создать конфликт интересов . Кроме того, рецензирование отнимает время у их основной деятельности, например, собственных исследований. К преимуществу потенциального рекрутера, большинство потенциальных рецензентов — это сами авторы или, по крайней мере, читатели, которые знают, что система публикаций требует, чтобы эксперты жертвовали своим временем. Работа рефери может даже быть условием получения гранта или членства в профессиональной ассоциации. В целом, из-за бурного роста электронной информации и непропорционального увеличения числа журналов по сравнению с постоянным увеличением числа ученых возник кризис рецензирования . Существующая в настоящее время система не отвечает современным потребностям и неизбежно погибнет, если не будут проведены срочные радикальные реформы. Академическая система должна произвести революцию и установить строгие критерии экспертной оценки, необходимые для продвижения по службе и пребывания в должности, на основе установленных универсальных показателей. То есть вознаграждайте рецензентов в академическом плане так же, как вознаграждают исследователей, чего в настоящее время нет. Все остальные стимулы потерпели неудачу.

Рецензенты имеют возможность предотвратить публикацию работ, не соответствующих отраслевым стандартам, что является определенной ответственностью. Редакторы имеют особое преимущество при приеме на работу ученого, если они контролировали публикацию его или ее работы или если ученый надеется в будущем представить рукописи издательству этого редактора. Грантовые агентства также склонны искать судей среди своих нынешних или бывших получателей грантов.

Peerage of Science представляла собой независимую службу и сообщество, в котором набор рецензентов происходит посредством открытого взаимодействия: авторы отправляют свою рукопись в службу, где она становится доступной для любого стороннего ученого, а «проверенные пользователи» сами выбирают, что они хотят рецензировать. Мотивация к участию в качестве рецензента исходит от системы репутации , в которой качество рецензирующей работы оценивается и оценивается другими пользователями, а также учитывается в профилях пользователей. Peerage of Science не взимает никаких гонораров с ученых и не платит рецензентам. Однако издатели-участники платят за использование услуги, получают доступ ко всем текущим процессам и возможность делать предложения о публикации авторам.

При использовании услуг независимого рецензирования автор обычно сохраняет за собой право на работу на протяжении всего процесса рецензирования и может выбрать наиболее подходящий журнал для отправки работы. Службы рецензирования также могут предоставить советы или рекомендации относительно наиболее подходящих журналов для работы. Журналы по-прежнему могут захотеть провести независимое рецензирование без потенциального конфликта интересов, который может вызвать финансовое возмещение, или без риска того, что автор заключил контракт с несколькими услугами рецензирования, но предлагает только самую выгодную из них.

Альтернативная или дополнительная система рецензирования предполагает оплату автора за его проведение. Примером такого поставщика услуг был Rubriq (2013–2017), который для каждой работы назначал рецензентов, получавших финансовое вознаграждение за свои усилия.

Разные стили

Анонимно и с указанием авторства

Для большинства научных публикаций личность рецензентов сохраняется анонимной (это также называется «слепым рецензированием»). Альтернативное рецензирование предполагает раскрытие личности рецензентов. Некоторые рецензенты предпочитают отказаться от своего права на анонимность, даже если форматом журнала по умолчанию является слепое рецензирование.

При анонимном рецензировании рецензенты известны редактору журнала или организатору конференции, но их имена не сообщаются автору статьи. В некоторых случаях личность автора также может быть анонимизирована для процесса рецензирования, при этом идентификационная информация удаляется из документа перед рецензированием. Система предназначена для уменьшения или устранения предвзятости.

Некоторые эксперты предложили процедуры слепого обзора для рассмотрения спорных тем исследований.

В двойном слепом рецензировании , которое было разработано социологическими журналами в 1950-х годах. и остается более распространенным в социальных и гуманитарных науках, чем в естественных науках, личность авторов скрывается от рецензентов (« ослепляется »), и наоборот, чтобы знание авторства или опасения по поводу неодобрения со стороны автора не повлияли на их рецензию. Критики процесса двойного слепого рецензирования отмечают, что, несмотря на любые редакционные усилия по обеспечению анонимности, этот процесс часто не дает результатов, поскольку определенные подходы, методы, стили письма, обозначения и т. д. указывают на определенную группу людей в процессе двойного слепого рецензирования. исследовательскому потоку, и даже к конкретному человеку.

Во многих областях « большой науки » общедоступные графики работы основного оборудования, такого как телескопы или синхротроны , сделают имена авторов очевидными для любого, кто захочет их найти. Сторонники двойного слепого обзора утверждают, что он работает не хуже, чем одинарный слепой, и что он создает ощущение справедливости и равенства в академическом финансировании и публикациях. Простое слепое рецензирование сильно зависит от доброй воли участников, но не в большей степени, чем двойное слепое рецензирование с легко идентифицируемыми авторами.

В качестве альтернативы одинарному и двойному слепому рецензированию авторам и рецензентам рекомендуется заявлять о конфликте интересов, когда имена авторов, а иногда и рецензентов, известны друг другу. Когда сообщается о конфликтах, рецензенту, находящемуся в противоречии, может быть запрещено рецензировать и обсуждать рукопись, или вместо этого его или ее рецензия может быть интерпретирована с учетом заявленного конфликта; последний вариант чаще используется, когда конфликт интересов незначителен, например, предыдущие профессиональные связи или дальние семейные отношения. Стимул рецензентов к заявлению о конфликте интересов является вопросом профессиональной этики и личной честности. Даже если рецензии не являются публичными, они все равно фиксируются, и доверие к рецензенту зависит от того, как он представляет себя среди коллег. Некоторые журналы по разработке программного обеспечения, такие как IEEE Transactions on Software Engineering , используют неслепые обзоры, сообщая редакторам о конфликтах интересов как авторов, так и рецензентов.

Более строгий стандарт подотчетности известен как аудит . Поскольку рецензентам не платят, нельзя ожидать, что они потратят на проверку столько времени и усилий, сколько требуется для аудита. Поэтому академические журналы, такие как Science , такие организации, как Американский геофизический союз , и такие агентства, как Национальные институты здравоохранения и Национальный научный фонд, поддерживают и архивируют научные данные и методы на случай, если другой исследователь захочет повторить или проверить исследование после публикация.

Традиционное анонимное рецензирование подвергалось критике за отсутствие подотчетности, возможность злоупотреблений со стороны рецензентов или тех, кто управляет процессом рецензирования (то есть редакторов журналов), его возможная предвзятость и его непоследовательность, наряду с другими недостатками. Евгений Кунин , старший исследователь Национального центра биотехнологической информации , утверждает, что у системы есть «хорошо известные недуги», и выступает за « открытую экспертную оценку ».

Открытая рецензия

Этот раздел представляет собой отрывок из открытого экспертного обзора . [ редактировать ]

Открытое рецензирование — это различные возможные модификации традиционного процесса научного рецензирования. Три наиболее распространенные модификации, к которым применяется этот термин:

1. Открытая идентичность: авторы и рецензенты знают личность друг друга.
2. Открытые отчеты. Обзорные отчеты публикуются вместе с соответствующей статьей (а не остаются конфиденциальными).
3. Открытое участие: более широкое сообщество (а не только приглашенные рецензенты) может внести свой вклад в процесс рецензирования.

Эти изменения призваны устранить различные очевидные недостатки традиционного процесса научного рецензирования, в частности, его непрозрачность, отсутствие стимулов, расточительность, издевательства и преследования.

Рецензирование до и после публикации

Процесс рецензирования не ограничивается процессом публикации, управляемым академическими журналами. В частности, некоторые формы рецензирования могут проводиться до подачи статьи в журнал и/или после ее публикации в журнале.

Рецензирование перед публикацией

Рукописи обычно проверяются коллегами перед отправкой, и если рукопись загружается на серверы препринтов, такие как ArXiv , BioRxiv или SSRN , исследователи могут читать и комментировать рукопись. Практика загрузки на серверы препринтов и активность обсуждения сильно зависят от области. и это позволяет проводить открытое рецензирование перед публикацией . Преимуществом этого метода является скорость и прозрачность процесса рассмотрения. Любой может оставить отзыв, обычно в форме комментариев и обычно не анонимно. Эти комментарии также являются публичными, и на них можно ответить, поэтому общение автора и рецензента не ограничивается типичными 2–4 раундами обмена мнениями в традиционных публикациях. Авторы могут включать комментарии широкого круга людей вместо отзывов обычно 3–4 рецензентов. Недостаток заключается в том, что гораздо большее количество статей представляется сообществу без каких-либо гарантий качества.

Рецензирование после публикации

После публикации рукописи процесс рецензирования продолжается по мере чтения публикаций, известный как рецензирование после публикации . Читатели часто отправляют письма редактору журнала или переписываются с редактором через журнальный онлайн-клуб. Таким образом, все «коллеги» могут предлагать обзоры и критику опубликованной литературы. Введение во многих журналах практики « epub перед печатью» сделало возможным одновременную публикацию нежелательных писем в редакцию вместе с оригинальной статьей в печатном выпуске.

Разновидностью этой темы являются открытые экспертные комментарии , при которых к опубликованным статьям запрашиваются комментарии специалистов, а авторам предлагается ответить. Журналы, использующие этот процесс, запрашивают и публикуют неанонимные комментарии к «целевой статье» вместе с самой статьей и, естественно, с оригинальными ответами авторов. Открытые экспертные комментарии были впервые реализованы антропологом Солом Таксом , который основал журнал Current Anthropology в 1957 году. Журнал Behavioral and Brain Sciences , издаваемый издательством Cambridge University Press , был основан Стеваном Харнадом в 1978 году. и создан по образцу Current Anthropology . функции открытых комментариев коллег Психология (1990–2002) был основан на той же функции, но на этот раз реализован онлайн. С 2016 года открытые экспертные комментарии также предоставляет журнал Animal Sentience .

Помимо журналов, размещающих обзоры собственных статей, существуют также внешние независимые веб-сайты, посвященные рецензированию после публикации, такие как PubPeer , который позволяет анонимно комментировать опубликованную литературу и побуждает авторов отвечать на эти комментарии. Было предложено также редакционно учитывать обзоры с этих сайтов после публикации. Мегажурналы F1000Research и ScienceOpen открыто публикуют как имена рецензентов, так и отчет рецензента рядом со статьей.

Некоторые журналы используют рецензирование после публикации в качестве формального метода рецензирования вместо рецензирования перед публикацией. Впервые это было представлено в 2001 году организацией «Атмосферная химия и физика» (ACP). Совсем недавно F1000Research , Qeios и ScienceOpen были запущены как мегажурналы с проверкой после публикации в качестве формального метода проверки. В ACP, F1000Research и Qeios рецензенты официально приглашаются, как и в журналах, посвященных предварительному обзору публикаций. Статьи, прошедшие рецензирование в этих трех журналах, включаются во внешние научные базы данных.

В 2006 году небольшая группа британских академических психологов запустила Philica , мгновенный онлайн-журнал Journal of Everything, чтобы исправить многие из того, что они считали проблемами традиционного рецензирования. Все присланные статьи публикуются немедленно и могут быть впоследствии просмотрены. Любой исследователь, желающий написать рецензию на статью, может это сделать, и рецензии анонимны. Рецензии отображаются в конце каждой статьи и используются для того, чтобы дать читателю критические замечания или рекомендации по поводу работы, а не для того, чтобы решить, будет ли она опубликована или нет. Это означает, что рецензенты не могут подавлять идеи, если они с ними не согласны. Читатели используют обзоры, чтобы ориентироваться при чтении, и легко определить особенно популярные или непопулярные произведения.

Социальные сети и

Недавние исследования привлекли внимание к использованию технологий социальных сетей и научных блогов в качестве средства неформальной экспертной оценки после публикации, как в случае с полемикой вокруг #arseniclife (или GFAJ-1 ). В декабре 2010 года статья, опубликованная в журнале Scienceexpress (предварительная версия журнала Science ), вызвала как волнение, так и скептицизм, поскольку ее авторы – во главе с НАСА астробиологом Фелисой Вулф-Саймон – заявили, что обнаружили и культивировали определенные бактерии, которые могли бы заменить фосфор мышьяком в его физиологических строительных блоках. На момент публикации статьи НАСА опубликовало заявления для прессы, предполагающие, что это открытие повлияет на поиски внеземной жизни, что вызвало ажиотаж в Твиттере под хэштегом #arseniclife, а также критику со стороны коллег-экспертов, которые выразили скептицизм в своих личных блогах. В конечном итоге споры вокруг статьи привлекли внимание средств массовой информации. и одна из самых ярых научных критиков – Розмари Редфилд – официально опубликована в июле 2012 года. относительно неудачной попытки ее и ее коллег повторить оригинальные выводы ученых НАСА.

Исследователи, проследив за влиянием дела #arseniclife на дискуссии в социальных сетях и процессы экспертной оценки, пришли к следующему выводу:

Наши результаты показывают, что интерактивные технологии онлайн-коммуникаций могут позволить членам более широкого научного сообщества выполнять роль рецензентов журналов для легализации научной информации после ее прохождения по формальным каналам рецензирования. Кроме того, с помощью этих технологий разнообразная аудитория может следить за научными спорами и наблюдать за неформальным процессом рецензирования после публикации. (с. 946)

Рецензирование без учета результатов

Исследования, которые сообщают о положительных или статистически значимых результатах, с гораздо большей вероятностью будут опубликованы, чем те, которые этого не делают . Противодействие этой предвзятости к позитиву состоит в том, чтобы скрыть или сделать недоступными результаты, что делает принятие журналов более похожим на рассмотрение исследовательских предложений агентствами по научным грантам . Версии включают в себя:

1. Рецензирование вслепую по результатам или рецензирование вслепую по результатам , впервые предложено в 1966 году: рецензенты получают отредактированную версию представленной статьи, в которой отсутствуют разделы о результатах и ​​заключениях. В двухэтапной версии второй раунд рецензий или редакционных суждений основан на полной бумажной версии, которая была впервые предложена в 1977 году.

   Слепой обзор , предложенный Робином Хэнсоном в 2007 году, расширяет это правило, требуя от всех авторов представить положительную и отрицательную версии, и только после того, как журнал принял статью, авторы раскрывают, какая версия является реальной.

2. Предварительно принятые статьи или журналы, не ориентированные на результаты , или предварительный обзор публикаций , или зарегистрированные отчеты , или до подачи результатов или досрочного принятия. расширяет предварительную регистрацию исследования до такой степени, что журналы принимают или отклоняют статьи на основе версии статьи, написанной до того, как были получены результаты или выводы (расширенный протокол исследования), но вместо этого описываются теоретическое обоснование, план эксперимента и статистический анализ. . Только после того, как предложенная гипотеза и методология будут приняты рецензентами, авторы начнут собирать данные или анализировать ранее собранные данные. Ограниченным вариантом предварительно принятой статьи был обзор протоколов исследований The Lancet с 1997 по 2015 год, в котором были рассмотрены и опубликованы протоколы рандомизированных исследований с гарантией, что конечная статья будет, по крайней мере, отправлена ​​​​на рецензирование, а не немедленно отклонена. Например, журнал Nature Human Behavior принял зарегистрированный формат отчета, поскольку он «смещает акцент с результатов исследований на вопросы, которыми руководствуются исследования, и методы, используемые для ответа на них». Европейский журнал личности определяет этот формат: «В зарегистрированном отчете авторы создают предложение на исследование, которое включает в себя теоретическую и эмпирическую основу, исследовательские вопросы/гипотезы и пилотные данные (если таковые имеются). После подачи это предложение будет предварительно рассмотрено. к сбору данных, и в случае принятия работа, полученная в результате этой рецензируемой процедуры, будет опубликована независимо от результатов исследования».

Следующие журналы использовали рецензирование без учета результатов или предварительно принятые статьи:

• Европейский журнал парапсихологии под руководством Мартина Джонсона (который предложил версию зарегистрированных отчетов в 1974 году), начал принимать статьи на основе представленных проектов, а затем публиковать их с 1976 по 1993 год и опубликовал всего 25 RR.
• Международный журнал прогнозирования использовал добровольное независимое рецензирование и предварительно принятые статьи, опубликованные до 1986 года. по 1996/1997 год.
• Журнал Applied Psychoological Measurement предлагал добровольный процесс «предварительного обзора публикаций» с 1989 по 1996 год, прекращая использование после того, как было представлено всего 5 статей.
• JAMA Internal Medicine в ходе опроса 2009 года обнаружила, что 86% рецензентов были бы готовы работать в процессе экспертной оценки, не зависящей от результатов, и провела пилотный эксперимент с двухэтапной экспертной оценкой, не ориентированной на результаты, показав, что неслепой шаг приносит пользу положительных исследований больше, чем отрицательных. но в настоящее время журнал не использует рецензирование без учета результатов.
• Центр открытой науки рекомендует использовать «зарегистрированные отчеты» (предварительно принятые статьи). начиная с 2013 года. По состоянию на октябрь 2017 года около 80 журналов предлагают зарегистрированные отчеты в целом, имели специальные выпуски зарегистрированных отчетов или ограниченное принятие зарегистрированных отчетов (например, только репликации), включая AIMS Neuroscience , Cortex , Perspectives on Psychology Science , Social Psychology. и сравнительные политические исследования
  • Компания «Сравнительные политические исследования» опубликовала результаты своего пилотного эксперимента, включавшего 19 заявок, 3 из которых были предварительно приняты в 2016 году. Процесс работал хорошо, но заявки были ориентированы на количественные экспериментальные планы и уменьшили количество «рыбалок», поскольку отправители и рецензенты сосредоточились на теоретических исследованиях. поддержка, существенная важность результатов, с вниманием к статистической мощности и последствиям нулевого результата, делая вывод, что «мы можем четко заявить, что эта форма обзора приводит к созданию статей высочайшего качества. Нам бы хотелось видеть ведущий журнал принять рецензирование без результатов в качестве политики, по крайней мере, разрешив рецензирование без результатов как один из нескольких стандартных вариантов подачи».

Расширенная экспертная оценка

Расширенная экспертная оценка — это процесс включения людей и групп с опытом, выходящим за рамки опыта работающих ученых, в процессы обеспечения качества исследований. Если проводить это систематически, это может привести к более надежным или применимым результатам, чем процесс рецензирования, проводимый исключительно учеными.

Критика

Научная экспертная оценка подвергалась ряду критических замечаний, и на протяжении многих лет предлагались различные предложения по реформированию системы. Многие исследования подчеркивают проблемы, присущие процессу экспертной оценки. Более того, Рагон и др., показали, что существует низкая корреляция между результатами рецензирования и будущим влиянием, измеряемым цитированием.

В частности, критику рецензирования выразили различные биомедицинские редакторы. Кокрейновский обзор обнаружил мало эмпирических доказательств того, что экспертная оценка обеспечивает качество биомедицинских исследований. в то время как второй систематический обзор и метаанализ выявили необходимость научно обоснованной экспертной оценки в биомедицине, учитывая скудность оценки вмешательств, направленных на улучшение этого процесса.

Для постороннего процесс анонимного рецензирования перед публикацией непрозрачен. Некоторые журналы обвиняются в том, что они не проводят строгое рецензирование с целью облегчить расширение своей клиентской базы, особенно в журналах, где авторы платят гонорар перед публикацией. Ричард Смит, доктор медицинских наук, бывший редактор Британского медицинского журнала , заявил, что рецензирование «неэффективно, во многом представляет собой лотерею, антиинновационно, медленно, дорого, расточительно тратит научное время, неэффективно, легко злоупотреблять, склонно к предвзятости, неспособно выявлять мошенничество и нерелевантность. Несколько исследований показали, что рецензирование предвзято относится к представителям провинций и стран с низким и средним уровнем дохода. Многие журналы публикуют месяцы и даже годы, и этот процесс отнимает время исследователей. Сеть исследовательской информации оценила глобальную стоимость экспертной оценки в 1,9 миллиарда фунтов стерлингов в 2008 году».

Кроме того, австралийская группа инновационных исследовательских университетов (коалиция семи комплексных университетов, приверженных инклюзивному совершенству в преподавании, обучении и исследованиях в Австралии) обнаружила, что «экспертная оценка ставит исследователей в невыгодное положение в начале их карьеры, когда они полагаются на конкурсные гранты для покрывают их зарплату, а неудачные заявки на финансирование часто означают конец исследовательской идеи».

Публикация рецензирования является обычным требованием для получения академической должности . Это требование подверглось критике по культурным соображениям. В 2011 году доцент юридического факультета Университета Британской Колумбии Лорна МакКью заявила, что акцент на рецензируемых публикациях неуместен с культурной точки зрения, поскольку не признает важность устных традиций коренных народов. В 2018 году Трибунал по правам человека Британской Колумбии признал эту жалобу необоснованной.

Продолжается дискуссия о кризисе экспертной оценки. В 2022 году Inside Higher Ed сообщила о серьезной нехватке ученых для проверки представленных статей и более серьезных структурных проблемах, усугубленных пандемией COVID-19.

Низкие различия в статьях, понятные всем коллегам

Брезис и Бируку показывают, что процесс рецензирования не работает должным образом из-за предвзятости рецензентов. Кроме того, они подчеркивают, что рейтинги не являются надежными, например, смена рецензентов может оказать существенное влияние на результаты обзора. Два основных элемента влияют на предвзятость в коллегиальном процессе:

• Первый элемент заключается в том, что судьи проявляют гомофилию во вкусах и восприятии инновационных идей. Таким образом, рецензенты, развивающие традиционные идеи, будут склонны давать низкие оценки инновационным проектам, в то время как рецензенты, разрабатывающие инновационные идеи, склонны из гомофилии давать более высокие оценки инновационным проектам.
• Второй элемент, приводящий к большим различиям в процессе рецензирования, заключается в том, что рецензенты не тратят одинаковое количество времени на анализ проектов (или, что то же самое, не обладают одинаковыми способностями). Брезис и Бируку показывают, что такая разнородность рецензентов серьезно повлияет на весь процесс рецензирования и приведет к существенному произволу в результатах этого процесса.

Медицинский исследователь Джон Иоаннидис развивает этот второй пункт, утверждая, что, поскольку экзамены и другие тесты, которые люди сдают на пути от «непрофессионала» к «эксперту», ​​сосредоточены на том, чтобы отвечать на вопросы вовремя и в соответствии со списком ответов, а не при проведении точных различий (последнее из которых было бы неузнаваемо для экспертов с более низкой когнитивной точностью) существует столько же индивидуальных различий в способности отличать причинно-следственную связь от корреляции среди «экспертов», как и среди «непрофессионалов». Иоаннидис утверждает, что в результате научная рецензирование, проводимая многими «экспертами», пропускает только статьи, которые понятны на широком диапазоне уровней когнитивной точности, включая очень низкие, что приводит к смещению публикаций в сторону статей, которые выводят причинно-следственную связь из корреляции, в то же время неправильно маркируя статьи, которые считают это различие «некомпетентной переоценкой своих способностей» со стороны авторов, поскольку некоторые из рецензирующих «экспертов» когнитивно неспособны отличить это различие от предполагаемых рационализация конкретных выводов. Иоаннидис утверждает, что это делает рецензирование причиной выборочной публикации ложных результатов исследований, в то же время прекращая публикацию их строгой критики, и что дальнейшая рецензия после публикации повторяет ту же предвзятость, выборочно отказываясь от нескольких строгих статей, которые, возможно, сделали это. посредством первоначального рецензирования перед публикацией, оставляя при этом в печати низкопробные материалы, которые путают корреляцию и причинно-следственную связь.

препятствовать

Равноправный процесс также используется для принятия проектов. (Для проектов уровень принятия невелик и составляет от 1% до 20%, в среднем 10%. В европейских конкурсах H2020 уровень принятия составляет 1,8%). финансируется, поскольку инновационные проекты не имеют высокого рейтинга в существующем процессе экспертной оценки. Процесс рецензирования приводит к согласованности, т. е. к выбору менее спорных проектов и статей. Это может даже повлиять на тип предложений, которые будут предлагать ученые, поскольку ученым необходимо найти финансирование для своих исследований, как обсуждал Мартин, 1997: «Распространенное неформальное мнение состоит в том, что легче получить средства на обычные проекты. Те, кто стремится получить финансирование, вряд ли будут предлагать радикальные или неортодоксальные проекты. Поскольку вы не знаете, кто будет судьями, это Лучше всего предположить, что они промежуточные. Поэтому промежуточное приложение безопаснее».

Экспертная оценка и доверие

Начиная с 18 века, исследователи различными способами рецензировали рукописи перед их публикацией. Основная цель этой практики — повысить актуальность и точность научных дискуссий. Несмотря на то, что эксперты часто критикуют экспертную оценку по ряду причин, этот процесс по-прежнему часто считается «золотым стандартом» науки. Однако иногда рецензирование одобряет исследования, которые позже оказываются ошибочными, и редко до публикации обнаруживаются обманчивые или фальсифицированные результаты. Таким образом, кажется, существует элемент разногласия между лежащей в основе идеологией и практикой экспертной оценки. Не имея возможности эффективно сообщить о том, что рецензирование несовершенно, до широкой общественности доносится сообщение о том, что исследования, опубликованные в рецензируемых журналах, «правдивы» и что рецензирование защищает литературу от ошибочной науки. В отношении многих элементов экспертной оценки существует ряд устоявшихся критических замечаний. Ниже мы описываем случаи более широкого воздействия, которое несоответствующая рецензирование может оказать на общественное понимание научной литературы.

Множество примеров из разных областей науки показывают, что ученые повысили важность экспертной оценки для исследований, которые были сомнительными или испорченными. Например, отрицатели изменения климата опубликовали исследования в журнале «Энергия и окружающая среда» , пытаясь подорвать массив исследований, показывающих, как деятельность человека влияет на климат Земли. Политики в Соединенных Штатах, отвергающие устоявшуюся науку об изменении климата, затем несколько раз цитировали этот журнал в своих выступлениях и отчетах.

Иногда экспертную оценку представляли как процесс, организованный для достижения предвзятого результата. The New York Times получила доступ к конфиденциальным документам экспертной оценки исследований, спонсируемых Национальной футбольной лигой (НФЛ), которые были названы научным доказательством того, что травмы головного мозга не причиняют долгосрочного вреда игрокам. В ходе экспертной оценки авторы исследования заявили, что все игроки НФЛ участвовали в исследовании, но журналисты сочли это утверждение ложным, изучив базу данных, использованную для исследования. Более того, The Times отметила, что НФЛ стремилась узаконить методы и выводы исследований, ссылаясь на «строгий, конфиденциальный процесс рецензирования», несмотря на свидетельства того, что некоторые рецензенты, казалось, «отчаялись» остановить их публикацию. Недавние исследования также показали, что широкомасштабное финансирование опубликованных медицинских исследований промышленностью часто остается незаявленным, и такие конфликты интересов не решаются должным образом путем экспертной оценки. Конфликт интересов с меньшей вероятностью будет выявлен при двойном слепом обзоре, поскольку рецензент не знает личности авторов.

Еще одна проблема, которую не удается выявить при рецензировании, — это написание статей — процесс, при котором компании пишут статьи для ученых, которые затем публикуют их в журналах, иногда с небольшими изменениями или вообще без них. Эти исследования затем могут быть использованы в политических, нормативных и маркетинговых целях. В 2010 году Финансовый комитет Сената США опубликовал отчет, в котором обнаружилось, что эта практика широко распространена, что она искажает научную литературу и увеличивает количество рецептов. Статьи, написанные призраками, появились в десятках журналов с участием профессоров нескольких университетов.

Точно так же, как эксперты в определенной области лучше понимают ценность статей, опубликованных в их области, считается, что ученые лучше понимают ценность опубликованных статей, чем широкая общественность, и рассматривают рецензирование как человеческий процесс, в котором участвуют люди. недостатки, и что «несмотря на его ограничения, он нам нужен. Это все, что у нас есть, и трудно представить, как мы обходились бы без него». Но эти тонкости упускаются из виду широкой публикой, которая часто вводится в заблуждение, полагая, что публикация в журнале с рецензированием является «золотым стандартом» и может ошибочно приравнивать опубликованные исследования к истине. Таким образом, необходимо уделять больше внимания тому, как экспертная оценка и результаты рецензируемых исследований доводятся до неспециализированной аудитории; особенно в то время, когда появляется ряд технических изменений и более глубокое понимание сложностей экспертной оценки. Это будет необходимо, поскольку системе научных публикаций придется столкнуться с более широкими проблемами, такими как опровержения и «кризисы» репликации или воспроизводимости.

Мнения рецензентов

Рецензирование часто считается неотъемлемой частью научного дискурса в той или иной форме. Предполагается, что его контролирующая роль необходима для поддержания качества научной литературы. и избежать риска получения ненадежных результатов, невозможности отделить сигнал от шума и замедления научного прогресса.

Недостатки экспертной оценки были встречены призывами к еще более жесткой фильтрации и усилению контроля. Распространенным аргументом в пользу таких инициатив является убеждение, что этот фильтр необходим для поддержания целостности научной литературы.

Призывы к усилению надзора имеют как минимум два последствия, противоречащие тому, что, как известно, является истинной наукой.

1. Убеждение в том, что ученые не способны самостоятельно оценить качество работы, что им нужен привратник, который сообщал бы им, что хорошо, а что нет.
2. Убеждение в том, что ученым нужен «опекун», который будет следить за тем, чтобы они делали хорошую работу.

Другие утверждают что авторы более всего заинтересованы в качестве того или иного произведения. Только авторы могли, как Фейнман (1974), По его словам, это «дополнительный тип честности, который заключается в том, чтобы не лгать, а изо всех сил стараться показать, насколько вы, возможно, не правы, и который вы должны иметь, действуя как ученый». Во всяком случае, нынешний процесс экспертной оценки и академическая система могут наказать или, по крайней мере, не стимулировать такую ​​честность.

Вместо этого доверие, обеспечиваемое ярлыком «рецензируемого», может уменьшить то, что Фейнман называет культурой сомнения, необходимой науке для осуществления самокорректирующегося процесса поиска истины. Последствия этого можно увидеть в продолжающемся кризисе репликации , мистификациях и широко распространенном возмущении по поводу неэффективности нынешней системы. Принято считать, что ответом является усиление надзора, поскольку рецензенты вовсе не лишены скептицизма. Но проблема не в скептицизме, разделяемом немногими избранными, которые определяют, пройдет ли статья через фильтр. Это подтверждение и сопровождающее его отсутствие скептицизма, которое приходит потом. И здесь больший надзор только усиливает впечатление, что рецензирование обеспечивает качество, тем самым еще больше уменьшая культуру сомнений и противодействуя духу научного исследования.

Качественные исследования – даже некоторые из наших самых фундаментальных научных открытий – возникли столетия назад, задолго до того, как экспертная оценка приняла свою нынешнюю форму. Какая бы рецензия ни существовала столетия назад, она приняла иную форму, чем в наше время, без влияния крупных коммерческих издательских компаний или широко распространенной культуры « публикуй или умри» . Хотя в первоначальной концепции это часто было трудоемкой и трудоемкой задачей, исследователи, тем не менее, проводили рецензирование не из-за обязательств, а из-за обязанности поддерживать целостность своей научной работы. Им удалось сделать это, по большей части, без помощи централизованных журналов, редакторов или какого-либо формализованного или институционализированного процесса. Сторонники современных технологий утверждают что это позволяет мгновенно общаться с учеными по всему миру, облегчает такой научный обмен и возвращает рецензирование в более чистую научную форму как дискурс, в котором исследователи взаимодействуют друг с другом, чтобы лучше прояснить, понять и передать свои идеи. .

Такие современные технологии включают размещение результатов на серверах препринтов , предварительную регистрацию исследований, открытое рецензирование и другие открытые научные практики. Во всех этих инициативах роль контроля остается заметной, как если бы это была необходимая черта всей научной коммуникации, но критики утверждают, что что правильная реальная реализация могла бы проверить и опровергнуть это предположение; продемонстрировать стремление исследователей к большему, чем могут предложить традиционные журналы; показывают, что исследователям можно поручить осуществлять собственный контроль качества независимо от рецензий в журналах. Джон Теннант также утверждает, что протесты по поводу неэффективности традиционных журналов основаны на их неспособности обеспечить достаточно строгий контроль и передаче критического мышления скрытому и плохо понимаемому процессу. Таким образом, предположение о том, что журналы и рецензирование необходимы для защиты научной честности, похоже, подрывает сами основы научных исследований.

Чтобы проверить гипотезу о том, что фильтрация действительно не нужна для контроля качества, необходимо пересмотреть многие традиционные методы публикации, перепрофилировать редакционные коллегии, если не распустить их, а авторам предоставить контроль над рецензированием своих собственных работ. Возложение на авторов ответственности за собственное рецензирование рассматривается как преследующее двойную цель. С одной стороны, это устраняет присвоение качества в рамках традиционной системы, тем самым устраняя престиж, связанный с простым актом публикации. Возможно, как это ни парадоксально, но устранение этого барьера может на самом деле привести к повышению качества публикуемых работ, поскольку оно устраняет репутацию публикации ради самой публикации. С другой стороны, читатели знают, что фильтра не существует, поэтому они должны интерпретировать все, что читают, со здоровой дозой скептицизма, тем самым естественным образом восстанавливая культуру сомнения в научной практике.

Помимо опасений по поводу качества работ, проводимых исследователями из лучших побуждений, существуют опасения, что по-настоящему открытая система позволит наполнять литературу мусором и пропагандой теми, кто заинтересован в определенных вопросах. Контраргумент состоит в том, что традиционная модель рецензирования умаляет здоровый скептицизм, который является отличительной чертой научных исследований, и, таким образом, придает доверие подрывным попыткам проникнуть в литературу. Разрешение публикации такого «мусора» может сделать отдельные статьи менее надежными, но сделать литературу в целом более надежной, способствуя «культуре сомнений».

и

Посредничество редакторов и рецензентов между авторами и читателями может позволить посредникам действовать как привратники . Некоторые социологи науки утверждают, что рецензирование делает возможность публикации подверженной контролю со стороны элиты и личной зависти. Процесс экспертной оценки иногда может препятствовать прогрессу и может быть предвзятым в отношении новизны. Лингвистический анализ отчетов о проверке предполагает, что рецензенты сосредотачиваются на отклонении заявок путем поиска слабых мест, а не на поиске новаторских идей с высоким риском и высокой выгодой, которые могут содержаться в предложении. Рецензенты склонны особенно критично относиться к выводам, противоречащим их собственным взглядам . и снисходительны к тем, кто им соответствует. В то же время авторитетные ученые с большей вероятностью, чем другие, будут востребованы в качестве рецензентов, особенно престижные журналы/издатели. В результате идеи, которые гармонируют с мнениями признанных экспертов, с большей вероятностью увидят печать и появятся в ведущих журналах, чем иконоборческие или революционные идеи. Это согласуется с Томаса Куна известными наблюдениями относительно научных революций . Была создана теоретическая модель, моделирование которой предполагает, что экспертная оценка и сверхконкурентное финансирование исследований способствуют монополизации общественного мнения.

Критики традиционного анонимного рецензирования утверждают, что оно лишено подотчетности, может привести к злоупотреблениям со стороны рецензентов, а также может быть предвзятым и непоследовательным.

Также высказывались предположения о гендерной предвзятости при рецензировании: авторы-мужчины, скорее всего, получат более благосклонное отношение. Однако исследование 2021 года не обнаружило никаких доказательств такой предвзятости (и обнаружило, что в некоторых отношениях к авторам-женщинам относились более благосклонно).

Использование свободного труда

Большинство академических издателей не выплачивают финансовую компенсацию рецензентам за их участие в процессе рецензирования, что подвергается критике со стороны академического сообщества. Хотя некоторые издатели утверждают, что платить рецензентам экономически нецелесообразно, некоторые журналы начали платить рецензентам через такие платформы, как Research Square, когда они не могут получать бесплатные рецензии. Другие издатели, такие как Advances.in, сделали оплату рецензентов неотъемлемой частью своей бизнес-модели.

Журналы открытого доступа и рецензирование

Некоторые критики журналов открытого доступа (ОД) утверждают, что, по сравнению с традиционными журналами по подписке, журналы открытого доступа могут использовать некачественную или менее формальную практику рецензирования, и, как следствие, качество научной работы в таких журналах пострадает. В исследовании, опубликованном в 2012 году, эта гипотеза была проверена путем оценки относительного «влияния» (с использованием подсчета цитирования) статей, опубликованных в журналах с открытым доступом и по подписке, на том основании, что члены научного сообщества, по-видимому, с меньшей вероятностью будут цитировать некачественные статьи. Таким образом, количество цитирований может служить одним из индикаторов того, действительно ли формат журнала влияет на рецензирование и качество опубликованных научных работ. В конечном итоге это исследование пришло к выводу, что «журналы открытого доступа, индексируемые в Web of Science и/или Scopus, приближаются к тому же научному воздействию и качеству, что и журналы по подписке, особенно в области биомедицины и для журналов, финансируемых за счет платы за обработку статей», и, следовательно, авторы утверждают, что «существуют это не причина для авторов не публиковаться в журналах открытого доступа только из-за ярлыка «ОД».

Неудачи

Рецензирование не проходит, если рецензируемая статья содержит фундаментальные ошибки, которые подрывают хотя бы один из ее основных выводов и которые могли бы быть выявлены более внимательными рецензентами. Во многих журналах нет процедуры реагирования на неудачи в рецензировании, кроме публикации писем в редакцию. Рецензирование в научных журналах предполагает, что рецензируемая статья была добросовестно подготовлена. Этот процесс иногда обнаруживает мошенничество, но не предназначен для этого. Если рецензирование не удалось и статья публикуется с поддельными или иным образом невоспроизводимыми данными, статья может быть отозвана . Эксперимент 1998 года по рецензированию вымышленной рукописи показал, что рецензенты не смогли обнаружить некоторые ошибки в рукописи, и большинство рецензентов могут не заметить, что выводы статьи не подтверждаются ее результатами.

Фальшивая рецензия

Были случаи, когда предполагалось, что экспертная оценка будет проведена, но на самом деле ее не было; это было задокументировано в некоторых хищнических журналах открытого доступа (например, в деле «Кто боится рецензирования?» ) или в случае спонсируемых журналов Elsevier .

В ноябре 2014 года статья в журнале Nature показала, что некоторые ученые отправляли в журналы поддельные контактные данные рекомендованных рецензентов, так что, если издатель связывался с рекомендованным рецензентом, они были первоначальными авторами, рецензирующими свою работу под вымышленным именем. Комитет по публикационной этике выступил с заявлением, предупреждающим о мошенничестве. В марте 2015 года BioMed Central отозвал 43 статьи. и Спрингер отозвали 64 статьи в 10 журналах в августе 2015 года. Журнал «Tumor Biology» — еще один пример мошенничества с рецензированием.

В 2020 году Журнал исследований наночастиц стал жертвой «организованной мошеннической сети редакторов», которая выдавала себя за уважаемых ученых, создала тематический выпуск и опубликовала 19 некачественных статей (из 80 представленных). Журнал получил высокую оценку за открытое и прозрачное противодействие мошенничеству.

Плагиат

Рецензенты, как правило, не имеют доступа к необработанным данным, но видят полный текст рукописи и, как правило, знакомы с недавними публикациями в этой области. Таким образом, они имеют больше возможностей обнаружить плагиат прозы, чем фальсифицированные данные. Например, широкую огласку получили несколько случаев такого текстового плагиата со стороны историков.

Что касается науки, опрос 3247 ученых, профинансированный Национальными институтами здравоохранения США , показал, что 0,3% признали фальсификацию данных и 1,4% признали плагиат. Кроме того, 4,7% участников того же опроса признались в самоплагиате или автоплагиате, когда автор повторно публикует один и тот же материал, данные или текст без ссылки на свою более раннюю работу. Самоплагиат с меньшей вероятностью будет обнаружен при двойном слепом рецензировании.

Примеры

Дополнительная информация: SCIgen.

• «Возможно, наиболее широко признанным провалом рецензирования является его неспособность обеспечить выявление высококачественных работ. Список важных научных статей, которые были отклонены некоторыми рецензируемыми журналами, восходит, по крайней мере, к редактору журнала Philosophical Transaction. 1796 год: отказ от сообщения Эдварда Дженнера о первой вакцинации против оспы ».
• Полемика Сун и Балюнас связана с публикацией в 2003 году обзорного исследования, написанного аэрокосмическим инженером Уилли Сун и астрономом Салли Балюнас в журнале Climate Research . который был быстро использован администрацией Дж. У. Буша в качестве основы для внесения поправок в первый отчет Агентства по охране окружающей среды об окружающей среде . Статья подверглась резкой критике со стороны многих ученых за ее методологию и неправильное использование данных из ранее опубликованных исследований, что вызвало обеспокоенность по поводу процесса рецензирования статьи. Разногласия привели к отставке нескольких редакторов журнала и признанию его издателем Отто Кинне , что статью не следовало публиковать в том виде, в котором она была.
• Правило трапеций , в котором метод сумм Римана для численного интегрирования, было переиздано в исследовательском журнале по диабету Diabetes Care . Этот метод почти всегда преподается в средней школе по математическому анализу, и поэтому он считался примером чрезвычайно известной идеи, переименованной в новое открытие.
• Конференция, организованная Уэссексским технологическим институтом, стала объектом разоблачения трех исследователей, написавших бессмысленные статьи (в том числе одну, состоящую из случайных фраз). Они сообщили, что статьи были «рассмотрены и предварительно приняты», и пришли к выводу, что конференция была попыткой «продать» возможности публикации менее опытным или наивным исследователям. Однако это лучше охарактеризовать как отсутствие фактической экспертной оценки, а не как неудачную экспертную оценку.
• В гуманитарных науках один из самых печально известных случаев плагиата, не выявленный рецензированием, произошел с Мартином Стоуном , бывшим профессором философии Средневековья и Возрождения в Hoger Instituut voor Wijsbegeerte университета Левенского . Мартину Стоуну удалось опубликовать не менее сорока статей и глав книг, которые почти полностью были украдены из работ других. Большинство этих публикаций появилось в рецензируемых журналах и сериях книг с высоким рейтингом.
• Спорная гипотеза о воздействии Младшего дриаса , которая возникла непосредственно из псевдонауки и теперь составляет основу псевдоархеологии « Грэма Хэнкока » Древнего Апокалипсиса , была впервые опубликована в рецензируемом журнале PNAS с использованием нестандартной системы рецензирования, согласно всестороннему опровержению Холлидей и др. (2023). Согласно этому обзору 2023 года: «Утверждение доказательств там, где их нет, и предоставление вводящих в заблуждение цитат могут быть случайными, но при неоднократном проведении они становятся небрежными и подрывают научный прогресс, а также доверие к самой науке. Также виновным является провал экспертной оценки. процесс предотвращения попадания таких фактических ошибок в литературу. Система «внесенных обзоров» Национальной академии наук для членов Национальной академии ... по крайней мере частично ответственна за «обзоры приятелей» (как их некоторые называют). были значительно сокращены в 2010 году, отчасти из-за разногласий вокруг YDIH».

альтернативы

Другие попытки реформировать процесс рецензирования исходят, среди прочего, из областей метанауки и журналистики . Реформаторы стремятся повысить надежность и эффективность процесса экспертной оценки и обеспечить ему научную основу. Альтернативы общепринятым практикам экспертной оценки были подвергнуты испытанию. в частности, открытое рецензирование , где комментарии видны читателям, как правило, с раскрытием личности рецензентов, например, F1000 , eLife , BMJ и BioMed Central . В случае с eLife рецензирование используется не для принятия решения о публикации статьи, а для оценки ее важности и достоверности. Аналогичным образом, признание и набор рецензентов продолжают оставаться серьезной проблемой в области научных публикаций.

В популярной культуре

В 2017 году в Высшей школе экономики в Москве открылся «Памятник анонимному рецензенту». Он имеет форму большого бетонного куба или игральной кости с надписью «Принять», «Незначительные изменения», «Основные изменения», «Пересмотреть и повторно отправить» и «Отклонить» на пяти видимых сторонах. Социолог Игорь Чириков , придумавший памятник, сказал, что, хотя исследователи и относятся к рецензированию с любовью и ненавистью, рецензенты, тем не менее, делают ценную, но по большей части невидимую работу, и памятник — это дань уважения им.

См. также

• Академическое авторство
• Академическая предвзятость
• Академический журнал
• Абстрактное управление
• Материалы конференции
• Принудительное цитирование
• Междисциплинарная экспертная оценка
• Журнальный клуб
• Предвзятость публикации
• Предвзятость в отчетности
• Научный метод
• Споры о рецензировании Штернберга
• Статчек

Дальнейшее чтение

• «Коллегиальная дискуссия» . Природа . Июнь 2006 года.
• Теннант Дж.П., Дуган Дж.М., Грациотин Д., Жак Д.С., Вальднер Ф., Митчен Д. и др. (2017). «Многодисциплинарный взгляд на возникающие и будущие инновации в области экспертной оценки» . F1000Исследования . 6 : 1151. doi : 10.12688/f1000research.12037.3 . ПМК   5686505 . ПМИД   29188015 .
• Фитцпатрик К. (2011). Планируемое устаревание: издательское дело, технологии и будущее Академии . Нью-Йорк: Издательство Нью-Йоркского университета. ISBN  978-0-8147-2788-1 . OCLC   759000874 .
• Палтридж Б. (2017). Дискурс рецензирования: рецензирование материалов в академические журналы . Лондон: Пэлгрейв Макмиллан. дои : 10.1057/978-1-137-48736-0 . ISBN  978-1-137-48735-3 .
• Роуз С (август 2019 г.). «Рецензия по истории искусства». Журнал Берлингтон . 161 (1397): 621–625.