Исследовательские степени свободы
Степени свободы исследователя — это концепция, относящаяся к присущей гибкости процессу планирования и проведения научного эксперимента , а также анализа его результатов. Этот термин отражает тот факт, что исследователи могут выбирать между несколькими способами сбора и анализа данных, и эти решения могут приниматься либо произвольно, либо потому, что они, в отличие от других возможных вариантов, дают положительный и статистически значимый результат. [1] Степени свободы исследователя имеют положительные стороны, например, дают возможность смотреть на природу под разными углами, позволяя генерировать новые открытия и гипотезы. [2] [3] [4] Однако степени свободы исследователей могут привести к сбору данных и другим сомнительным исследовательским практикам, когда различные интерпретации и анализы воспринимаются как нечто само собой разумеющееся. [5] [6] Их широкое использование представляет собой неотъемлемое методологическое ограничение научных исследований и способствует завышенному количеству ложноположительных результатов. [1] Они также могут привести к завышению величины эффекта . [7]
Хотя концепция степеней свободы исследователя в основном обсуждалась в контексте психологии , она может повлиять на любую научную дисциплину. [1] [8] Как и предвзятость публикации , существование исследовательских степеней свободы может привести к завышенной степени асимметрии воронкообразных графиков . [9] Это также потенциальное объяснение p-хакинга , поскольку исследователи имеют очень много степеней свободы, особенно в социальных и поведенческих науках. Анализ мультивселенной — это метод, который помогает выявить эти степени свободы. Исследования с меньшим размером выборки более подвержены искажающему влиянию степеней свободы исследователя. [10]
Примеры
[ редактировать ]Стеген и др. (2016) показали, как, начиная с одного набора необработанных данных, применение различных разумных решений по обработке данных может привести к появлению множества наборов обработанных данных (так называемых мультивселенных данных), что часто приводит к различным статистическим результатам. [11] Вихертс и др. (2016) предоставили список из 34 степеней свободы (DF), которыми обладают исследователи при проведении психологических исследований. Перечисленные ДФ охватывают все этапы исследовательского процесса: от формулирования гипотезы до представления результатов. Они включают в себя проведение поисковых, свободных от гипотез исследований, которые, как отмечают авторы, «...пронизывают многие исследовательские DF, которые мы описываем ниже на более поздних этапах исследования». Другие ФР, перечисленные в этой статье, включают создание множества управляемых независимых переменных и измерение дополнительных переменных, которые могут быть выбраны для анализа позже. [7]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: а б с Симмонс, Джозеф П.; Нельсон, Лейф Д.; Симонсон, Ури (ноябрь 2011 г.). «Ложноположительная психология: нераскрытая гибкость в сборе и анализе данных позволяет представить все что угодно как значимое». Психологическая наука . 22 (11): 1359–1366. дои : 10.1177/0956797611417632 . ISSN 0956-7976 . ПМИД 22006061 . S2CID 13802986 .
- ^ Тьюки, JW (1977). Разведочный анализ данных Том 2 . Пирсон.
- ^ Бокс, Джордж Э.П. (декабрь 1976 г.). «Наука и статистика» . Журнал Американской статистической ассоциации . 71 (356): 791–799. дои : 10.2307/2286841 . JSTOR 2286841 .
- ^ Грут, Адриан Д. де; Грут, Адрианус Дингеман де (1978). Мысль и выбор в шахматах . Психологические исследования (2-е изд.). Гаага: Мутон. ISBN 978-90-279-7914-8 .
- ^ Вихертс, Желте М.; Вельдкамп, Кузье Л.С.; Августейн, Хильда Э.М.; Бейкер, Марджан; ван Аэрт, Робби СМ; ван Ассен, Марсель АЛМ (2016). «Степени свободы в планировании, проведении, анализе и составлении отчетов о психологических исследованиях: контрольный список, позволяющий избежать взлома» . Границы в психологии . 7 :1832.дои : 10.3389 / fpsyg.2016.01832 . ISSN 1664-1078 . ПМК 5122713 . ПМИД 27933012 .
- ^ Симмонс, Джозеф П.; Нельсон, Лейф Д.; Симонсон, Ури (17 октября 2011 г.). «Ложноположительная психология» . Психологическая наука . 22 (11): 1359–1366. дои : 10.1177/0956797611417632 . ISSN 0956-7976 . ПМИД 22006061 . S2CID 13802986 .
- ^ Jump up to: а б Вихертс, Желте М.; Вельдкамп, Кузье Л.С.; Августейн, Хильда Э.М.; Бейкер, Марджан; ван Аэрт, Робби СМ; ван Ассен, Марсель АЛМ (25 ноября 2016 г.). «Степени свободы в планировании, проведении, анализе и составлении отчетов о психологических исследованиях: контрольный список, позволяющий избежать взлома» . Границы в психологии . 7 :1832.дои : 10.3389 / fpsyg.2016.01832 . ISSN 1664-1078 . ПМК 5122713 . ПМИД 27933012 .
- ^ Коретта, Стефано; Касильяс, Джозеф В.; Россиг, Саймон; Франке, Майкл; Ан, Байрон; Аль-Хури, Али Х.; Аль-Тамими, Джалал; Алотаиби, Наджд Э.; Аль-Шахори, Мохаммед К.; Альтмиллер, Рут М.; Арантес, Пабло; Атанасопулу, Анжелики; Баезе-Берк, Мелисса М.; Бейли, Джордж; Сангма, Чеман Байра А (июль 2023 г.). «Многомерные сигналы и аналитическая гибкость: оценка степеней свободы в анализе человеческой речи» . Достижения в методах и практике психологической науки . 6 (3). дои : 10.1177/25152459231162567 . HDL : 2346/95600 . ISSN 2515-2459 .
- ^ Картер, Эван С.; Маккалоу, Майкл Э. (30 июля 2014 г.). «Предвзятость публикаций и модель самоконтроля с ограниченной силой: были ли переоценены доказательства истощения эго?» . Границы в психологии . 5 : 823. doi : 10.3389/fpsyg.2014.00823 . ISSN 1664-1078 . ПМК 4115664 . ПМИД 25126083 .
- ^ Швейцер, Джеффри; Ферли, Филип (март 2016 г.). «Воспроизводимые исследования в области психологии спорта и физических упражнений: роль размера выборки». Психология спорта и физических упражнений . 23 : 114–122. doi : 10.1016/j.psychsport.2015.11.005 .
- ^ Стиген, Сара; Тюрлинкс, Фрэнсис; Гельман, Эндрю; Ванпаемель, Вольф (сентябрь 2016 г.). «Повышение прозрачности посредством анализа мультивселенной» . Перспективы психологической науки . 11 (5): 702–712. дои : 10.1177/1745691616658637 . ISSN 1745-6916 . ПМИД 27694465 .