Проблема с разветвлением путей

Сад разветвляющихся троп — это проблема частого тестирования гипотез, посредством которой исследователи могут непреднамеренно давать ложноположительные результаты для проверяемой гипотезы, оставляя себе слишком много степеней свободы. В отличие от рыболовных экспедиций, таких как дноуглубительные работы , где публикуются только ожидаемые или явно значимые результаты, это позволяет добиться аналогичного эффекта, даже когда проводится только один эксперимент, посредством ряда вариантов реализации методов и анализа, которые сами по себе являются основан на данных по мере их наблюдения и обработки. ^[1]

История

Исследование разветвляющегося дерева решений при анализе данных в какой-то момент было сгруппировано с проблемой множественных сравнений как пример плохого статистического метода. Однако Гельман и Локен продемонстрировали ^[2] что это может произойти неявно исследователями, знакомыми с лучшими практиками, которые проводят только одно сравнение и оценивают свои данные только один раз.

Заблуждение состоит в том, что анализ свободен от множественных сравнений, несмотря на то, что у него было достаточно степеней свободы в выборе метода после просмотра некоторых или всех данных, чтобы получить одинаково обоснованные ложноположительные результаты. Степени свободы могут включать выбор между основными эффектами или взаимодействиями, методами исключения данных, необходимостью объединения различных исследований и методом анализа данных.

Анализ мультивселенной

Анализ мультивселенной — это подход, который учитывает множество аналитических путей, доступных при анализе данных. Эта концепция вдохновлена метафорическим «садом расходящихся тропинок», который представляет собой множество потенциальных анализов, которые можно провести на одном наборе данных. В анализе мультивселенной исследователи систематически меняют свой аналитический выбор, чтобы изучить ряд возможных результатов на основе одних и тех же необработанных данных. ^[3]^[4]^[5] Это включает в себя изменение переменных, таких как критерии включения/исключения данных, преобразования переменных, обработку выбросов, статистические модели и проверки гипотез, чтобы генерировать спектр результатов, которые могли бы быть получены при различных аналитических решениях.

Ключевые преимущества анализа мультивселенной включают в себя.

Прозрачность. Это делает аналитический процесс более прозрачным за счет открытого обсуждения влияния различных аналитических решений на результаты.
Прочность. Изучая, как выводы различаются в зависимости от ряда аналитических сценариев, исследователи могут оценить надежность своих выводов. Если вывод подтверждается многими правдоподобными анализами, он считается более надежным и с меньшей вероятностью является результатом произвольного принятия решений.
Определение последовательных решений. Это помогает определить, какие аналитические решения наиболее сильно влияют на результаты, помогая исследователям сделать более обоснованный методологический выбор в будущих исследованиях.

Этот подход ценен в областях, где результаты исследований чувствительны к методам анализа данных, таких как психология, ^[4] неврология, ^[5] экономика и социальные науки. Анализ мультивселенной направлен на смягчение проблем, связанных с воспроизводимостью и воспроизводимостью, путем выявления того, как разные аналитические варианты могут привести к разным выводам из одного и того же набора данных. Таким образом, это способствует более тонкому пониманию анализа данных, способствуя честности и достоверности научных исследований.

Концепции, тесно связанные с анализом мультивселенной, - это анализ кривой спецификации. ^[6] и оценка вибрационных воздействий. ^[7]

См. также

Ссылки

^ «Сад расходящихся тропинок» . FORRT – Структура открытого и воспроизводимого исследовательского обучения . Проверено 28 июля 2023 г.
^ Гельман, Эндрю; Локен, Эрик (14 ноября 2013 г.). «Сад разветвляющихся троп: почему множественные сравнения могут быть проблемой, даже если нет «рыболовной экспедиции» или «p-хакинга», а исследовательская гипотеза была выдвинута заранее» (PDF) .
^ Стиген, Сара; Тюрлинкс, Фрэнсис; Гельман, Эндрю; Ванпаемель, Вольф (2016). «Повышение прозрачности посредством анализа мультивселенной» . Перспективы психологической науки . 11 (5): 702–712. дои : 10.1177/1745691616658637 . ISSN 1745-6916 .
^ Jump up to: ^а ^б Хардер, Дженна А. (2020). «Мультивселенная методов: расширение анализа мультивселенной для принятия решений по сбору данных» . Перспективы психологической науки . 15 (5): 1158–1177. дои : 10.1177/1745691620917678 . ISSN 1745-6916 .
^ Jump up to: ^а ^б Клейсон, Питер Э. (01 марта 2024 г.). «За пределами единых парадигм, конвейеров и результатов: использование мультивселенного анализа в психофизиологии» . Международный журнал психофизиологии . 197 : 112311. doi : 10.1016/j.ijpsycho.2024.112311 . ISSN 0167-8760 .
^ Симонсон, Ури; Симмонс, Джозеф П.; Нельсон, Лейф Д. (2020). «Анализ кривой спецификации» . Природа человеческого поведения . 4 (11): 1208–1214. дои : 10.1038/s41562-020-0912-z . ISSN 2397-3374 .
^ Патель, Чираг Дж.; Берфорд, Белинда; Иоаннидис, Джон П.А. (2015). «Оценка вибрации эффектов за счет спецификации модели может продемонстрировать нестабильность наблюдательных ассоциаций» . Журнал клинической эпидемиологии . 68 (9): 1046–1058. дои : 10.1016/j.jclinepi.2015.05.029 . ISSN 0895-4356 . ПМЦ 4555355 . ПМИД 26279400 .

Эта статистике статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[1] «Сад расходящихся тропинок» . FORRT – Структура открытого и воспроизводимого исследовательского обучения . Проверено 28 июля 2023 г.

[2] Гельман, Эндрю; Локен, Эрик (14 ноября 2013 г.). «Сад разветвляющихся троп: почему множественные сравнения могут быть проблемой, даже если нет «рыболовной экспедиции» или «p-хакинга», а исследовательская гипотеза была выдвинута заранее» (PDF) .

[3] Стиген, Сара; Тюрлинкс, Фрэнсис; Гельман, Эндрю; Ванпаемель, Вольф (2016). «Повышение прозрачности посредством анализа мультивселенной» . Перспективы психологической науки . 11 (5): 702–712. дои : 10.1177/1745691616658637 . ISSN 1745-6916 .

[:0-4] Jump up to: ^а ^б Хардер, Дженна А. (2020). «Мультивселенная методов: расширение анализа мультивселенной для принятия решений по сбору данных» . Перспективы психологической науки . 15 (5): 1158–1177. дои : 10.1177/1745691620917678 . ISSN 1745-6916 .

[:1-5] Jump up to: ^а ^б Клейсон, Питер Э. (01 марта 2024 г.). «За пределами единых парадигм, конвейеров и результатов: использование мультивселенного анализа в психофизиологии» . Международный журнал психофизиологии . 197 : 112311. doi : 10.1016/j.ijpsycho.2024.112311 . ISSN 0167-8760 .

[6] Симонсон, Ури; Симмонс, Джозеф П.; Нельсон, Лейф Д. (2020). «Анализ кривой спецификации» . Природа человеческого поведения . 4 (11): 1208–1214. дои : 10.1038/s41562-020-0912-z . ISSN 2397-3374 .

[7] Патель, Чираг Дж.; Берфорд, Белинда; Иоаннидис, Джон П.А. (2015). «Оценка вибрации эффектов за счет спецификации модели может продемонстрировать нестабильность наблюдательных ассоциаций» . Журнал клинической эпидемиологии . 68 (9): 1046–1058. дои : 10.1016/j.jclinepi.2015.05.029 . ISSN 0895-4356 . ПМЦ 4555355 . ПМИД 26279400 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]