Лейденский манифест

Лейденский манифест метрик исследований
	Illustration by David Parkins
Авторы	Диана Хикс, Пол Воутерс, Людо Уолтман, Сара де Райке, Исмаэль Рафолс
Издатель	Природа
Дата публикации	22 апреля 2015 г.
Веб-сайт	leidenmanifesto.org

Лейденский манифест показателей исследований ( LM ) представляет собой список «десяти принципов оценки исследований». ^[1] опубликовано в качестве комментария в томе 520, выпуске 7548 журнала Nature 22 апреля 2015 года. Оно было сформулировано профессором государственной политики Дайаной Хикс, профессором наукометрии Полом Воутерсом и их коллегами на 19-й Международной конференции по индикаторам науки и технологий, состоявшейся между 3 –5 сентября 2014 г. , Лейден , Нидерланды. ^[2]

LM был предложен в качестве руководства по борьбе со злоупотреблением библиометрическими данными при оценке научно-исследовательской литературы. Примерами часто используемой библиометрии в науке, или наукометрии , являются индекс Хирша , импакт-фактор и веб-сайты, отображающие такие индикаторы , как Altmetrics . По мнению Хикса и др., эти показатели часто вводят в заблуждение при оценке научного материала. ^[3]

Мотивация

Мотивы кодификации Лейденского манифеста возникли из-за растущего беспокойства о том, что «одержимость импакт-факторами» ^[1] приводило к неадекватному суждению о научном материале, который должен быть достоин справедливой оценки. Ведущий автор LM Диана Хикс надеялась, что публикация в журнале Nature расширит идеи, уже распространенные в сфере наукометрии, на более широкое научное сообщество. ^[4] Хотя принципы LM не новы для наукометристов, Hicks et al. стремился создать объединение идей, которыми могли бы руководствоваться будущие редакторы и рецензенты научной литературы.

ДОРА и другие предшественники

Интерес к реформе проведения оценки исследований является предметом постоянных дебатов в научном сообществе. Хорошо известная декларация, направленная на прекращение использования импакт-фактора, Сан-Франциско, Декларация об оценке исследований, была опубликована примерно за два года до манифеста. LM расширил идеи, представленные в DORA, который с тех пор подписали более 2000 организаций и более 15 000 частных лиц. ^[5]

Одна из основных проблем по поводу чрезмерного использования показателей эффективности, основанных на цитировании, связана с наблюдением, что на более мелкие исследовательские организации и учреждения могут негативно влиять их метрические индексы. В ходе одной из публичных дебатов в Центре исследований науки и технологий Лейденского университета было признано, что индикаторы, измеряющие цитируемость, могут придавать «больший вес публикациям из областей с высоким ожидаемым количеством цитирований, чем публикациям из областей с низким ожидаемым количеством цитирований». цитат». ^[6]

Хотя основное внимание LM основано на использовании наукометрии для оценки исследований, в основе ее лежат Hicks et al. также объясните, почему чрезмерное использование показателей может отрицательно повлиять на более широкое научное сообщество, например, на положение университетов в мировых рейтингах. ^[7]^[8] По мнению Хикса и др., научные показатели, такие как уровень цитирования, слишком часто используются для ранжирования качества университетов (и, следовательно, качества результатов их исследований).

Импакт-фактор журнала

В основе LM лежит объяснение того, почему неправильное использование показателей становится все более серьезной проблемой в научном сообществе. Импакт -фактор журнала , первоначально созданный Юджином Гарфилдом как метод, позволяющий библиотекарям собирать данные для облегчения выбора журналов для покупки, теперь в основном используется как метод оценки качества журнала. ^[9] Это видно Hicks et al. как злоупотребление данными с целью слишком поспешного изучения исследований. Например, импакт-фактор, хотя и является хорошим показателем для измерения размера и опыта журнала, может быть достаточным, а может и не быть достаточным для точного описания качества его статей, и тем более для отдельной статьи.

Содержание

, состоящий из десяти кратких принципов с описанием каждого из них, Лейденский манифест направлен на то, чтобы реконструировать способы оценки исследований академическими издательствами и научными учреждениями. Его упор делается на детальную и тщательную оценку исследований, а не на чрезмерное использование количественных данных в оценках. Его цель – способствовать академическому совершенству и справедливости посредством тщательного изучения, а также устранить возможные порочные стимулы использования наукометрии, такие как оценка академических способностей и качества университетов. ^[10]

Десять принципов

Десять принципов Лейденского манифеста заключаются в следующем: ^[1]

Количественная оценка должна подкреплять качественную экспертную оценку.
Оценивайте эффективность исследовательских миссий учреждения, группы или исследователя.
Защищайте передовые достижения в исследованиях, актуальных на местном уровне.
- То есть разрешить публикацию исследований, проводимых в определенной области или области, в соответствующих местных исследовательских изданиях, вместо того, чтобы отдавать приоритет влиятельным журналам . Многие влиятельные журналы издаются на английском языке, что может снизить необходимую конкретность при публикации статьи, предназначенной для изучения особенностей местоположения. Например, в влиятельных испаноязычных статьях могут быть утеряны «такие темы, как местное трудовое законодательство» и другие особенности, предназначенные для социологов. ^[11]
Сохраняйте сбор данных и аналитические процессы открытыми, прозрачными и простыми.
Позвольте лицам, прошедшим оценку, проверить данные и анализ.
Учитывайте различия в практиках публикаций и цитирования по областям.
- Рецензирование и уровень цитирования могут сильно различаться в зависимости от дисциплины, например, «журналы с самым высоким рейтингом по математике имеют импакт-фактор около 3; журналы с самым высоким рейтингом по клеточной биологии имеют импакт-фактор около 30». ^[12]
Базируйте оценку отдельных исследователей на качественном суждении об их портфолио.
Избегайте неуместной конкретики и ложной точности .
- По мнению Хикса и др., использование научных показателей может предшествовать сильным предположениям, которые не обязательно верны. Например, при взгляде на конкретного ученого низкий уровень цитирования может привести к тому, что исследователь заподозрит низкое качество исследований, что подразумевает причинно-следственную связь . Предоставление разъяснений, а также многочисленных и надежных показателей может снизить неуместную конкретность. Ложная точность возможна, когда производители индикаторов, такие как Clarivate (которая публикует ежегодные отчеты о цитировании журналов ), пытаются создать точный импакт-фактор журнала (т.е. три десятичных знака). Хикс и др. утверждают, что концептуальная двусмысленность и случайная изменчивость количества цитирований делают ненужным выделение таких индексов, как импакт-факторы журналов, в столь точной степени, поскольку это может способствовать чрезмерному сравнению и конкуренции между издателями. ^[1]
Признайте системное воздействие оценки и показателей.
Регулярно проверяйте показатели и обновляйте их.

Прием

Премия Джона Зимана 2016 г.

В 2016 году Лейденский манифест был удостоен Премии Джона Зимана Европейской ассоциации изучения науки и технологий за усилия по расширению наукометрических знаний среди научного сообщества в целом. Президент EASST Фред Стюард заявил, что LM «подчеркивает ситуативность с точки зрения различных когнитивных областей и исследовательских миссий, а также более широкого социально-экономического, национального и регионального контекста». ^[13] Эта награда способствовала укреплению LM как продолжающейся общественной дискуссии в научном сообществе. Награда была хорошо принята ведущим автором Дайаной Хикс. ^[4]

Лейденский манифест , Метрический прилив и ДОРА

Лейденский манифест приобрел популярность после его публикации, в основном среди научного издательского сообщества, стремившегося реформировать свою практику. LM часто цитируется наряду с другими подобными публикациями; это DORA и британский академический обзор The Metric Tide . ^[4]^[14] В публичном заявлении Университета Лидса было поддержано обязательство использовать принципы LM вместе с DORA и The Metric Tide для дальнейшего совершенствования исследований. ^[15]

Общественное одобрение

LIBER , объединение европейских исследовательских библиотек, опубликовало подробный обзор LM в 2017 году. В нем сделан вывод о том, что LM является «прочным фундаментом», на котором академические библиотеки могут основывать свою оценку показателей. ^[16]

Elsevier , мировой лидер в области исследовательских публикаций и информационной аналитики, объявил 14 июля 2020 года, что он одобрит LM, чтобы руководить разработкой улучшенной оценки исследований. Elsevier заявил, что принципы манифеста уже близки по своей природе к их показателям CiteScore 2019 года , которые, вкратце, представляют собой «улучшенную методологию расчета» для «более надежного, справедливого и быстрого показателя воздействия исследований». ^[17] Такое согласование еще больше популяризировало LM, а также проиллюстрировало сдвиг в практике оценки в известных исследовательских публикациях.

Комитет -библиометрии Университета Лафборо LIS решил основывать свои принципы на принципах LM, а не на DORA, потому что, по словам их политического менеджера Элизабет Гэдд, LM придерживается «более широкого подхода к ответственному использованию всех библиометрических данных в ряде дисциплин». и настройки». ^[18] Стивен Карри, председатель руководящего комитета DORA, прокомментировал это заявление, подчеркнув, что DORA стремится расширить свой «дисциплинарный и географический охват». ^[19] Тем не менее, он все же дал понять, что университет должен иметь право выбирать: следовать либо DORA, либо LM, либо ни одному из них, при условии, что будет предоставлено разумное обоснование.

Дальнейшие применения

Дэвид Мохер и др. В контексте « Проблем науки и технологий» сослался на LM , что академические учреждения не задают «правильные вопросы» (т. е. планирование исследований, сроки, воспроизводимость и результаты) для оценки ученых. Мохер и др. критиковать одержимость журнальными импакт-факторами и «играми» исследователей наукометрии. ^[20] Вместо этого Мохер и др. выступать за использование DORA и LM при оценке отдельных ученых и исследований.

Т. Канчан и К. Кришан описывают в письме в журнале Science and Engineering Ethics, почему LM является «одним из лучших критериев» для оценки научных исследований, особенно с учетом «крысиных бегов» за публикации в научном сообществе. Канчан и Кришан подчеркивают, что использование LM приведет к «прогрессу науки и общества в целом». ^[21]

См. также

Ссылки

^ Перейти обратно: ^а ^б ^с ^д Хикс, Диана; Воутерс, Пол; Уолтман, Людо; де Рийке, Сара; Рафолс, Исмаэль (22 апреля 2015 г.). «Библиометрия: Лейденский манифест метрик исследований» . Природа . 520 (7548): 429–431. Бибкод : 2015Natur.520..429H . дои : 10.1038/520429а . hdl : 10261/132304 . ISSN 0028-0836 . ПМИД 25903611 .
^ «STI 2014 Лейден — 19-я Международная конференция по показателям науки и технологий» . НТИ 2014 . Проверено 30 ноября 2020 г.
^ «Лейденский манифест исследований метрики» . Лейденский манифест исследований метрики . Проверено 4 декабря 2020 г.
^ Перейти обратно: ^а ^б ^с «Лучшие практики в области показателей исследований: беседа с ведущим автором Лейденского манифеста — YouTube» . www.youtube.com . Проверено 4 декабря 2020 г.
^ «DORA – Сан-Францисская декларация по оценке исследований (DORA)» . sfdora.org . Проверено 4 декабря 2020 г.
^ ван Раан, Энтони Ф.Дж.; ван Леувен, Тед Н.; Виссер, Мартин С.; ван Эк, Нис Ян; Уолтман, Людо (июль 2010 г.). «Соперники за корону: Ответ Оптофу и Лейдесдорфу» . Журнал информаметрики . 4 (3): 431–435. arXiv : 1003.2113 . дои : 10.1016/j.joi.2010.03.008 . S2CID 10780959 .
^ «Мировой рейтинг университетов» . Высшее образование Times (THE) . 19 сентября 2018 г. Проверено 4 декабря 2020 г.
^ «Мировой рейтинг университетов ARWU 2020 | Академический рейтинг университетов мира» . www.shanghairanking.com . Проверено 4 декабря 2020 г.
^ Ларивьер, Винсент; Сугимото, Кэссиди Р. (2019), Глензель, Вольфганг; Моед, Хенк Ф.; Шмох, Ульрих; Телуолл, Майк (ред.), «Импакт-фактор журнала: краткая история, критика и обсуждение побочных эффектов» , Справочник Springer по индикаторам науки и технологий , Справочники Springer, Cham: Springer International Publishing, стр. 3–24, arXiv : 1801.08992 , doi : 10.1007/978-3-030-02511-3_1 , ISBN 978-3-030-02511-3 , S2CID 3677889 , получено 4 декабря 2020 г.
^ Лейденский манифест по метрикам исследований , получено 5 декабря 2020 г.
^ Лопес Пиньейро, Карла; Хикс, Диана (01 января 2015 г.). «Восприятие испанской социологии отечественной и зарубежной аудиторией различается и имеет последствия для оценки» . Оценка исследований . 24 (1): 78–89. doi : 10.1093/reseval/rvu030 . ISSN 0958-2029 .
^ Уолтман, Людо; Калеро-Медина, Клара; Костен, Йост; Нойонс, Эд CM; Тейссен, Роберт Дж.В.; Эк, урожденная Ян ван; Леувен, Тед Н. ван; Раан, Энтони Ф.Дж. Ван; Виссер, Мартин С.; Воутерс, Пол (2012). «Лейденский рейтинг 2011/2012: сбор данных, показатели и интерпретация» . Журнал Американского общества информатики и технологий . 63 (12): 2419–2432. arXiv : 1202.3941 . дои : 10.1002/asi.22708 . ISSN 1532-2890 . S2CID 935166 .
^ «Премия Джона Зимана 2016 года за Лейденский манифест» . КВТС . Проверено 05 декабря 2020 г.
^ «Метрический прилив – исследования Англии» . re.ukri.org . Проверено 4 декабря 2020 г.
^ «Ответственные метрики в оценке исследований» . Служба исследований и инноваций . Проверено 05 декабря 2020 г.
^ Кумбс, Сара К.; Питерс, Изабелла (13 ноября 2017 г.). «Лейденский манифест на рассмотрении: чему библиотеки могут научиться из него» . Перспективы цифровых библиотек . 33 (4): 324–338. дои : 10.1108/dlp-01-2017-0004 . hdl : 11108/323 . ISSN 2059-5816 .
^ «Elsevier поддерживает Лейденский манифест в качестве руководства для разработки улучшенной оценки исследований» . www.elsevier.com . Проверено 05 декабря 2020 г.
^ Гэдд, Лиззи (9 июля 2018 г.). «ДОРА, Лейденский манифест и право выбора университета» . Библиомаг . Проверено 05 декабря 2020 г.
^ Стивен. «ДОРА, Лейденский манифест и право выбора университета: комментарий» . Взаимное пространство . Проверено 05 декабря 2020 г.
^ Мохер, Дэвид; Нодет, Флориан; Кристеа, Иоана А.; Мидема, Фрэнк; Иоаннидис, Джон П.А.; Гудман, Стивен Н. (29 марта 2018 г.). «Оценка ученых для найма, продвижения по службе и пребывания в должности» . ПЛОС Биология . 16 (3): e2004089. дои : 10.1371/journal.pbio.2004089 . ISSN 1545-7885 . ПМЦ 5892914 . ПМИД 29596415 .
^ Канчан, Танудж; Кришан, Кевал (апрель 2019 г.). «Лейденский манифест и оценка исследований» . Наука и инженерная этика . 25 (2): 643–644. дои : 10.1007/s11948-017-0012-2 . ISSN 1353-3452 . ПМИД 29264830 . S2CID 29821298 .

[:0-1] Перейти обратно: ^а ^б ^с ^д Хикс, Диана; Воутерс, Пол; Уолтман, Людо; де Рийке, Сара; Рафолс, Исмаэль (22 апреля 2015 г.). «Библиометрия: Лейденский манифест метрик исследований» . Природа . 520 (7548): 429–431. Бибкод : 2015Natur.520..429H . дои : 10.1038/520429а . hdl : 10261/132304 . ISSN 0028-0836 . ПМИД 25903611 .

[2] «STI 2014 Лейден — 19-я Международная конференция по показателям науки и технологий» . НТИ 2014 . Проверено 30 ноября 2020 г.

[3] «Лейденский манифест исследований метрики» . Лейденский манифест исследований метрики . Проверено 4 декабря 2020 г.

[:1-4] Перейти обратно: ^а ^б ^с «Лучшие практики в области показателей исследований: беседа с ведущим автором Лейденского манифеста — YouTube» . www.youtube.com . Проверено 4 декабря 2020 г.

[5] «DORA – Сан-Францисская декларация по оценке исследований (DORA)» . sfdora.org . Проверено 4 декабря 2020 г.

[6] ван Раан, Энтони Ф.Дж.; ван Леувен, Тед Н.; Виссер, Мартин С.; ван Эк, Нис Ян; Уолтман, Людо (июль 2010 г.). «Соперники за корону: Ответ Оптофу и Лейдесдорфу» . Журнал информаметрики . 4 (3): 431–435. arXiv : 1003.2113 . дои : 10.1016/j.joi.2010.03.008 . S2CID 10780959 .

[7] «Мировой рейтинг университетов» . Высшее образование Times (THE) . 19 сентября 2018 г. Проверено 4 декабря 2020 г.

[8] «Мировой рейтинг университетов ARWU 2020 | Академический рейтинг университетов мира» . www.shanghairanking.com . Проверено 4 декабря 2020 г.

[9] Ларивьер, Винсент; Сугимото, Кэссиди Р. (2019), Глензель, Вольфганг; Моед, Хенк Ф.; Шмох, Ульрих; Телуолл, Майк (ред.), «Импакт-фактор журнала: краткая история, критика и обсуждение побочных эффектов» , Справочник Springer по индикаторам науки и технологий , Справочники Springer, Cham: Springer International Publishing, стр. 3–24, arXiv : 1801.08992 , doi : 10.1007/978-3-030-02511-3_1 , ISBN 978-3-030-02511-3 , S2CID 3677889 , получено 4 декабря 2020 г.

[10] Лейденский манифест по метрикам исследований , получено 5 декабря 2020 г.

[11] Лопес Пиньейро, Карла; Хикс, Диана (01 января 2015 г.). «Восприятие испанской социологии отечественной и зарубежной аудиторией различается и имеет последствия для оценки» . Оценка исследований . 24 (1): 78–89. doi : 10.1093/reseval/rvu030 . ISSN 0958-2029 .

[12] Уолтман, Людо; Калеро-Медина, Клара; Костен, Йост; Нойонс, Эд CM; Тейссен, Роберт Дж.В.; Эк, урожденная Ян ван; Леувен, Тед Н. ван; Раан, Энтони Ф.Дж. Ван; Виссер, Мартин С.; Воутерс, Пол (2012). «Лейденский рейтинг 2011/2012: сбор данных, показатели и интерпретация» . Журнал Американского общества информатики и технологий . 63 (12): 2419–2432. arXiv : 1202.3941 . дои : 10.1002/asi.22708 . ISSN 1532-2890 . S2CID 935166 .

[13] «Премия Джона Зимана 2016 года за Лейденский манифест» . КВТС . Проверено 05 декабря 2020 г.

[14] «Метрический прилив – исследования Англии» . re.ukri.org . Проверено 4 декабря 2020 г.

[15] «Ответственные метрики в оценке исследований» . Служба исследований и инноваций . Проверено 05 декабря 2020 г.

[16] Кумбс, Сара К.; Питерс, Изабелла (13 ноября 2017 г.). «Лейденский манифест на рассмотрении: чему библиотеки могут научиться из него» . Перспективы цифровых библиотек . 33 (4): 324–338. дои : 10.1108/dlp-01-2017-0004 . hdl : 11108/323 . ISSN 2059-5816 .

[17] «Elsevier поддерживает Лейденский манифест в качестве руководства для разработки улучшенной оценки исследований» . www.elsevier.com . Проверено 05 декабря 2020 г.

[18] Гэдд, Лиззи (9 июля 2018 г.). «ДОРА, Лейденский манифест и право выбора университета» . Библиомаг . Проверено 05 декабря 2020 г.

[19] Стивен. «ДОРА, Лейденский манифест и право выбора университета: комментарий» . Взаимное пространство . Проверено 05 декабря 2020 г.

[20] Мохер, Дэвид; Нодет, Флориан; Кристеа, Иоана А.; Мидема, Фрэнк; Иоаннидис, Джон П.А.; Гудман, Стивен Н. (29 марта 2018 г.). «Оценка ученых для найма, продвижения по службе и пребывания в должности» . ПЛОС Биология . 16 (3): e2004089. дои : 10.1371/journal.pbio.2004089 . ISSN 1545-7885 . ПМЦ 5892914 . ПМИД 29596415 .

[21] Канчан, Танудж; Кришан, Кевал (апрель 2019 г.). «Лейденский манифест и оценка исследований» . Наука и инженерная этика . 25 (2): 643–644. дои : 10.1007/s11948-017-0012-2 . ISSN 1353-3452 . ПМИД 29264830 . S2CID 29821298 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]