Статчек
Statcheck — это пакет R, предназначенный для обнаружения статистических ошибок в рецензируемых по психологии . статьях [1] путем поиска в статьях статистических результатов, повторения расчетов, описанных в каждой статье, и сравнения двух значений, чтобы увидеть, совпадают ли они. [2] Он использует тот факт, что статьи о психологических исследованиях, как правило, сообщают о своих результатах в соответствии с рекомендациями, опубликованными Американской психологической ассоциацией (APA). [3] Это приводит к нескольким недостаткам: он может обнаруживать только результаты, представленные полностью и в точном соответствии с рекомендациями APA; [4] и он не может обнаружить статистику, которая включена только в таблицы в документе. [5] Еще одним ограничением является то, что Statcheck не может обрабатывать статистические поправки к статистике тестирования, такие как поправки Гринхауса-Гейссера или Бонферрони, которые на самом деле делают тесты более консервативными. [6] Некоторые журналы начали пилотировать Statcheck в рамках процесса рецензирования . Statcheck — бесплатное программное обеспечение , распространяемое под лицензией GNU GPL v3. [7]
Срок действия
[ редактировать ]В 2017 году разработчики Statcheck опубликовали препринт , в котором пришли к выводу, что программа точно выявляет статистические ошибки в 95% случаев. [8] Это исследование достоверности включало более 1000 проверенных вручную тестов, среди которых 5,00% оказались противоречивыми. [9] Исследование показало, что Statcheck распознает 60% всех статистических тестов. Повторный анализ этих данных показал, что если программа помечала тест как противоречивый, он был правильным в 60,4% случаев. И наоборот, если тест был действительно противоречивым, Statcheck отмечал это примерно в 51,8% случаев (эта оценка включала необнаруженные тесты и предполагала, что они имели тот же уровень несоответствий, что и обнаруженные тесты). В целом точность Statcheck составила 95,9%, что на полпроцента выше ожидаемого уровня вероятности в 95,4%, если принять все тесты за чистую монету. Компания Statcheck консервативно предвзято (примерно на одно стандартное отклонение) относилась к тестам с пометкой. [10]
В более поздних исследованиях Statcheck использовался для проверки статей, опубликованных в канадских психологических журналах, и на основе 30-летней выборки таких статей был обнаружен такой же уровень ошибок в статистических отчетах, как и у первоначальных авторов. В том же исследовании также было обнаружено множество опечаток в онлайн-версиях относительно старых статей, и их исправление снизило предполагаемый процент ошибочно зарегистрированных тестов. [11]
История
[ редактировать ]Statcheck был впервые разработан в 2015 году Мишелем Нуйтеном из Тилбургского университета и Сашей Эпскампом из Амстердамского университета . [12] [8] Позже в том же году Нуйтен и ее коллеги опубликовали с использованием Statcheck статью о более чем 30 000 статей по психологии и сообщили, что «половина всех опубликованных статей по психологии [...] содержала по крайней мере одно значение p, которое не соответствовало его тесту». [13] Исследование было впоследствии положительно описано в журнале Nature . [14] [15] В 2016 году Нюйтен и Эпскамп получили премию Лимера-Розенталя в области открытых социальных наук от Инициативы Беркли по прозрачности в социальных науках за создание Statcheck. [16]
В 2016 году исследователь Тилбургского университета Крис Хартгеринк использовал Statcheck для сканирования более 50 000 статей по психологии и опубликовал результаты в PubPeer ; впоследствии он опубликовал данные, извлеченные из этих статей, в статье в журнале Data . [14] [17] Хартгеринк сказал Motherboard : «Мы проверяем, насколько надежна реальная наука, представленная наукой». [18] Он также сообщил Vox , что намерен использовать Statcheck для выполнения функции, аналогичной проверки орфографии . программе [12] В результате действия Хартгеринка также были отправлены оповещения по электронной почте каждому исследователю, который был автором или соавтором статьи, которую он пометил. Эти сообщения и их размещение на общественном форуме вызвали споры, что побудило Немецкое психологическое общество выпустить заявление, осуждающее такое использование Statcheck. [14] Психолог Дороти В.М. Бишоп , у которой две собственные статьи были отмечены Statcheck, раскритиковала программу за то, что она публично пометила многие статьи (включая одну из ее собственных), несмотря на то, что не обнаружила в них никаких статистических ошибок. [19] Другие критики утверждали, что Statcheck сообщила об ошибках в документах, которые на самом деле их не содержали, из-за того, что инструмент не смог правильно прочитать статистику из некоторых статей. [20]
Журналы, которые начали пилотное использование Statcheck в процессе рецензирования, включают Psychoological Science , [21] Канадский журнал человеческой сексуальности , [22] и Журнал экспериментальной социальной психологии . [23] Издательство открытого доступа . PsychOpen также использовало его во всех статьях, принятых к публикации в своих журналах с 2017 года [24]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Нюйтен, Мишель Б. (28 февраля 2017 г.). «BayesMed и статистика» . Апс наблюдатель . 30 (3) . Проверено 18 октября 2018 г.
- ^ Бейкер, Моня (25 ноября 2016 г.). «Программное обеспечение для проверки статистики возбуждает психологию» . Природа . 540 (7631): 151–152. Бибкод : 2016Natur.540..151B . дои : 10.1038/540151a . ISSN 0028-0836 . ПМИД 27905454 .
- ^ Рен, Джонатан Д. (15 июня 2018 г.). «Алгоритмический аутсорсинг обнаружения статистических ошибок и других проблем» . Журнал ЭМБО . 37 (12): e99651. дои : 10.15252/embj.201899651 . ISSN 0261-4189 . ПМК 6003655 . ПМИД 29794111 .
- ^ Коломбо, Маттео; Дуев, Георгий; Нюйтен, Мишель Б.; Шпренгер, Ян (12 апреля 2018 г.). «Несоответствия статистических отчетов в экспериментальной философии» . ПЛОС ОДИН . 13 (4): e0194360. Бибкод : 2018PLoSO..1394360C . дои : 10.1371/journal.pone.0194360 . ISSN 1932-6203 . ПМЦ 5896892 . ПМИД 29649220 .
- ^ ван дер Зи, Тим; Анайя, Иордания; Браун, Николас Дж.Л. (10 июля 2017 г.). «Статистическая изжога: попытка переварить четыре публикации о пицце из Корнеллской лаборатории продуктов питания и брендов» . БМК Питание . 3 (1): 54. дои : 10.1186/s40795-017-0167-x . ISSN 2055-0928 . ПМК 7050813 . ПМИД 32153834 .
- ^ Шмидт, Томас (2016). «Источники ложных срабатываний и ложных отрицательных результатов в алгоритме Statcheck». arXiv : 1610.01010 [ q-bio.QM ].
- ^ «Statcheck/ОПИСАНИЕ у мастера · MicheleNuijten/Statcheck» . Гитхаб .
- ^ Перейти обратно: а б Чавла, Далмит Сингх (28 ноября 2017 г.). «Спорные программы обнаруживают удивительно точные ошибки в статьях по психологии» . Наука . Проверено 18 октября 2018 г.
- ^ Нюйтен, Мишель Б. «Действительность инструмента «Statcheck» при обнаружении несоответствий в статистической отчетности» . PsyArXiv .
- ^ Шмидт, Томас. «Statcheck не работает: Все цифры» . PsyArXiv .
- ^ Грин, Кристофер Д.; Аббас, Сахир; Белливо, Арли; Берибский, Наталья; Дэвидсон, Ян Дж.; ДиДжованни, Джулиан; Хейдари, Кристал; Мартин, Шейн М.; Оосенбруг, Эрик (август 2018 г.). «Statcheck в Канаде: какая часть журнальных статей CPA содержит ошибки в сообщении значений p?» . Канадская психология . 59 (3): 203–210. дои : 10.1037/cap0000139 . ISSN 1878-7304 . S2CID 149813772 .
- ^ Перейти обратно: а б Резник, Брайан (30 сентября 2016 г.). «Бот просканировал тысячи исследований в поисках простых математических ошибок. Результаты вызывают беспокойство» . Вокс . Проверено 18 октября 2018 г.
- ^ Нюйтен, Мишель Б.; Хартгеринк, Крис Х.Дж.; ван Ассен, Марсель Алм; Эпскамп, Саша; Вихертс, Йелте М. (23 октября 2015 г.). «Распространенность ошибок статистической отчетности в психологии (1985–2013)» . Методы исследования поведения . 48 (4): 1205–1226. дои : 10.3758/s13428-015-0664-2 . ISSN 1554-3528 . ПМК 5101263 . ПМИД 26497820 .
- ^ Перейти обратно: а б с Бураньи, Стивен (01 февраля 2017 г.). «Война высоких технологий с научным мошенничеством» . Хранитель . Проверено 18 октября 2018 г.
- ^ Бейкер, Моня (28 октября 2015 г.). «Умное программное обеспечение обнаруживает статистические ошибки в статьях по психологии» . Природа . дои : 10.1038/nature.2015.18657 . ISSN 1476-4687 . S2CID 187878096 . Проверено 19 октября 2018 г.
- ^ «Мишель Нюйтен» . Инициатива Беркли по прозрачности в социальных науках . 16 декабря 2016 г. Проверено 19 октября 2018 г.
- ^ Хартгеринк, Крис (23 сентября 2016 г.). «688 112 статистических результатов: статьи по психологии интеллектуального анализа контента для результатов статистических тестов» . Данные . 1 (3): 14. дои : 10.3390/data1030014 .
- ^ Бураньи, Стивен (5 сентября 2016 г.). «Ученые обеспокоены «рецензированием с помощью алгоритма» » . Материнская плата . Проверено 18 октября 2018 г.
- ^ «Вот почему более 50 000 исследований по психологии скоро будут иметь записи в PubPeer» . Часы втягивания . 2016-09-02 . Проверено 18 октября 2018 г.
- ^ Стокстад, Эрик (21 сентября 2018 г.). «Отряд правды». Наука . 361 (6408): 1189–1191. Бибкод : 2018Sci...361.1189S . дои : 10.1126/science.361.6408.1189 . ISSN 0036-8075 . ПМИД 30237339 . S2CID 52309610 .
- ^ Фридман, Леонард П.; Венугопалан, Гаутам; Висман, Розанн (2 мая 2017 г.). «Воспроизводимость2020: Прогресс и приоритеты» . F1000Исследования . 6 : 604. дои : 10.12688/f1000research.11334.1 . ISSN 2046-1402 . ПМК 5461896 . ПМИД 28620458 .
- ^ Сакалук, Джон К.; Грэм, Синтия А. (17 ноября 2017 г.). «Содействие прозрачному освещению конфликтов интересов и статистическому анализу в журнале секс-исследований» . Журнал сексуальных исследований . 55 (1): 1–6. дои : 10.1080/00224499.2017.1395387 . ISSN 0022-4499 . ПМИД 29148841 .
- ^ JESP пилотирует использование statcheck . Проверено 19 октября 2018 г.
{{cite book}}:|website=игнорируется ( помогите ) - ^ «PsychOpen использует инструмент Statcheck для проверки качества» . ПсихОткрытый . 10 апреля 2017 г. Проверено 23 октября 2018 г.
Внешние ссылки
[ редактировать ]| Функции |  | |
|---|---|---|
| Реализации |
| |
| Пакеты | ||
| Интерфейсы | ||
| Люди | ||
| Организации |
| |
| Публикации | ||