Анализ мультивселенной
Анализ мультивселенной — это научный метод, который определяет, а затем запускает набор правдоподобных альтернативных моделей или статистических тестов для одной гипотезы. [ 1 ] Это метод решения проблемы, заключающейся в том, что «научный процесс ставит исследователей перед множеством, казалось бы, незначительных, но нетривиальных точек принятия решений, каждая из которых может привести к изменчивости результатов исследования». [ 2 ] Проблема, также известная как степени свободы исследователя. [ 3 ] или как сад расходящихся тропинок . Этот метод возник в ответ на кризис доверия и репликации, происходящий в науке, поскольку он может диагностировать хрупкость или надежность результатов исследования. Анализ мультивселенной использовался в областях психологии. [ 4 ] и нейробиология. [ 5 ] Это также форма метаанализа, позволяющая исследователям предоставить доказательства того, как различные спецификации модели влияют на результаты одной и той же гипотезы, и, таким образом, может указать ученым, где им может потребоваться более совершенная теория или причинно-следственные модели .
Подробности
[ редактировать ]Анализ мультивселенной чаще всего дает большое количество результатов, которые имеют тенденцию идти во всех направлениях. Это означает, что большинство исследований не предлагают консенсуса или конкретного отклонения гипотезы. На данный момент его самая большая польза заключается в предоставлении доказательств против выводов, основанных на результатах отдельных исследований, или в предоставлении доказательств того, какие спецификации модели с большей или меньшей вероятностью вызовут больший или более устойчивый эффект (или нет).
Данные против отдельных исследований или статистических моделей полезны для выявления потенциальных ложноположительных результатов. Например, печально известное исследование пришло к выводу, что ураганы женского пола более смертоносны, чем ураганы мужского пола. [ 6 ] В последующем исследовании [ 7 ] Исследователи запустили тысячи моделей, используя одни и те же данные об ураганах, но внося различные правдоподобные корректировки в регрессионную модель. Построив кривую плотности всех коэффициентов регрессии, они показали, что коэффициент исходного исследования был экстремальным выбросом.
В исследовании влияния порядка рождения [ 8 ] Исследователи визуализировали мультивселенную правдоподобных моделей, используя кривую спецификации , которая позволяет исследователям визуально проверять график всех результатов модели в сравнении с различными спецификациями модели. Они смогли показать, что их результаты подтверждают предыдущие исследования о влиянии порядка рождения на интеллект, но предоставили доказательства против влияния на удовлетворенность жизнью и различные черты личности.
Ссылки
[ редактировать ]- ^ Стиген, Сара; Тюрлинкс, Фрэнсис; Гельман, Эндрю; Ванпаемель, Вольф (сентябрь 2016 г.). «Повышение прозрачности посредством анализа мультивселенной» . Перспективы психологической науки . 11 (5): 702–712. дои : 10.1177/1745691616658637 .
- ^ Брезнау, Нейт; и др. (28 октября 2022 г.). «Наблюдение за многими исследователями, использующими одни и те же данные и гипотезы, открывает скрытую вселенную неопределенности» . Труды Национальной академии наук . 119 (44). дои : 10.1073/pnas.2203150119 . hdl : 2066/285367 .
- ^ Вихертс, Желте М.; Вельдкамп, Кузье Л.С.; Августейн, Хильда Э.М.; Бейкер, Марджан; ван Аэрт, Робби СМ; ван Ассен, Марсель АЛМ (2016). «Степени свободы в планировании, проведении, анализе и составлении отчетов о психологических исследованиях: контрольный список, позволяющий избежать взлома» . Границы в психологии . 7 :1832.дои : 10.3389 / fpsyg.2016.01832 . ПМК 5122713 . ПМИД 27933012 .
- ^ Хардер, Дженна А. (2020). «Мультивселенная методов: расширение анализа мультивселенной для принятия решений по сбору данных» . Перспективы психологической науки . 15 (5): 1158–1177. дои : 10.1177/1745691620917678 . ISSN 1745-6916 .
- ^ Клейсон, Питер Э. (01 марта 2024 г.). «За пределами единых парадигм, конвейеров и результатов: использование мультивселенного анализа в психофизиологии» . Международный журнал психофизиологии . 197 : 112311. doi : 10.1016/j.ijpsycho.2024.112311 . ISSN 0167-8760 .
- ^ Юнг, Киджу; Шавитт, Шэрон; Вишванатан, Мадху; Хильбе, Джозеф М. (17 июня 2014 г.). «Женские ураганы более смертоносны, чем мужские» . Труды Национальной академии наук . 111 (24): 8782–8787. дои : 10.1073/pnas.1402786111 . ПМК 4066510 . ПМИД 24889620 .
- ^ Муньос, Джон; Янг, Кристобаль (август 2018 г.). «Мы выполнили 9 миллиардов регрессий: устранение ложных срабатываний за счет устойчивости вычислительной модели» . Социологическая методология . 48 (1): 1–33. дои : 10.1177/0081175018777988 .
- ^ Рорер, Джулия М.; Эглофф, Борис; Шмукле, Стефан К. (декабрь 2017 г.). «Изучение влияния порядка рождения на узкие черты с использованием анализа кривой спецификации». Психологическая наука . 28 (12): 1821–1832. дои : 10.1177/0956797617723726 . hdl : 21.11116/0000-0000-3826-7 .