Эффект поиска в другом месте
Эффект поиска в другом месте — это явление в статистическом анализе научных экспериментов , когда кажущееся статистически значимое наблюдение могло на самом деле возникнуть случайно из-за огромного размера пространства параметров , подлежащего поиску. [1] [2] [3] [4] [5]
Как только возможность ошибки поиска в другом месте в анализе признана, ее можно компенсировать тщательным применением стандартных математических методов. [6] [7] [8]
Этот термин , более широко известный в статистике как проблема множественных сравнений , привлек некоторое внимание средств массовой информации в 2011 году в контексте поиска бозона Хиггса на Большом адронном коллайдере . [9]
Использовать
[ редактировать ]Многие статистические тесты дают значение p — вероятность того, что данный результат может быть получен случайно, если предположить, что гипотеза, которую человек пытается доказать, на самом деле ложна. Когда спрашивают: « ли X Влияет на Y ?», обычно варьируют X и смотрят, есть ли значительные изменения в Y. в результате Если это значение p меньше некоторого заранее определенного статистической значимости порога α , результат считается «значимым».
Однако если кто-то выполняет несколько тестов («ищет где-нибудь в другом месте», если первый тест не пройден), то значение p , равное 1/ n, ожидается, что будет возникать один раз за n тестов. Например, при отсутствии реального эффекта событие с p < 0,05 все равно произойдет в среднем один раз на каждые 20 выполненных тестов. Чтобы компенсировать это, вы можете разделить пороговое значение α на количество тестов n , чтобы результат был значимым, когда p < α / n . Или, что то же самое, умножьте наблюдаемое значение p на количество тестов (значимо, когда np < α ).
Это упрощенный случай; число n на самом деле представляет собой количество степеней свободы в тестах или количество фактически независимых тестов. Если они не полностью независимы, их число может быть меньше количества тестов.
Эффект поиска в другом месте является частой причиной «инфляции значимости», когда количество независимых тестов n недооценивается, поскольку неудавшиеся тесты не публикуются. В одной статье могут не упоминаться рассматриваемые альтернативные гипотезы, или статья, не дающая никаких результатов, может просто не быть опубликована вообще, что приводит к тому, что в журналах доминируют статистические выбросы.
Примеры
[ редактировать ]- Шведское исследование 1992 года попыталось определить, вызывают ли линии электропередач какие-либо негативные последствия для здоровья. Исследователи опросили всех, кто жил в радиусе 300 м от высоковольтных линий электропередачи, в течение 25 лет и обнаружили статистически значимое увеличение заболеваемости более чем 800 заболеваниями. Исследование показало, что заболеваемость детской лейкемией была в четыре раза выше среди тех, кто жил ближе всего к линиям электропередачи, и это подстегнуло шведское правительство к действию. Однако проблема с выводом заключалась в том, что они не смогли компенсировать эффект поиска в другом месте; в любой коллекции из 800 случайных выборок вполне вероятно, что по крайней мере одна из них будет как минимум на 3 стандартных отклонения выше ожидаемого значения, только по случайности. Последующие исследования не смогли показать какой-либо связи между линиями электропередачи и детской лейкемией, ни причинно-следственной связи, ни даже корреляции. [10]
Равноотстоящие последовательности букв «вики» и «Педия» встречаются в версии Книги Бытия короля Иакова (10:7-14). - Феномен «Библейский код» направлен на обнаружение нетипичных значительных групп слов, предсказывающих будущие события, скрытых в тексте еврейской Библии, взятой как необработанная последовательность букв без интервалов и организованных в различные сетки разных пропорций. Однако, как показала статья в Skeptical Inquirer , [11] это означает создание огромного количества сеток для проверки шаблонов или группировок путем разделения полной текстовой строки на ширины от нескольких до сотен тысяч букв, повторяя ширину для последующих строк. Затем в каждой из этих многочисленных сеток можно, в свою очередь, осуществлять дальнейший поиск по широкому кругу интересующих слов, пропуская через интервалы вперед или назад произвольные x букв в тексте (или x+1, x+2 и т. д.). ), в огромном перекрестном произведении параметризованных . возможностей, и связанное с ним совпадающее интересующее слово может быть любой ближайшей строкой в произвольном пропуске букв x + k или y + k, вперед или назад, так что объемы перестановок становятся огромными Таким образом, оставляя в стороне связанные вопросы, такие как предвзятость подтверждения , даже если в первой сетке не было обнаружено группировок, представляющих интерес или значимость, следующая итерация может быть опробована компьютером и так далее в массовом порядке , пока наконец не будут получены «чудесные» или «невероятные» группы. в. По сути, это равносильно тому, чтобы иметь дело с неинтересным покерную комбинацию, продолжая делать это в любых необходимых количествах, пока не будет получен стрит-флеш , рояль или даже множество подобных событий подряд, и называя колоду вдохновленной для достижения такого результата. Таким образом, автор Skeptical Inquirer смог добиться идентичного эффекта, просто применив одни и те же алгоритмы поиска как к англоязычному тексту Библии короля Иакова вместо якобы вдохновленной Богом версии на иврите, а затем столь же эффективно к обыденному и произвольному примеру текста 1987 года Верховного суда США Решение «Эдвардс против Агиларда» .
См. также
[ редактировать ]- Поправка Бонферрони
- Извлечение данных
- Закон действительно больших чисел : при достаточно большом размере выборки может произойти любая возмутительная вещь.
- Закон Литтлвуда : любой человек может ожидать, что с ним будет происходить «чудо» примерно раз в месяц.
- Заблуждение техасского снайпера
- Проблема множественных сравнений
Ссылки
[ редактировать ]- ^ Лайонс, Л. (2008). «Открытые статистические вопросы физики элементарных частиц». Анналы прикладной статистики . 2 (3): 887. arXiv : 0811.1663 . дои : 10.1214/08-AOAS163 .
- ^ «Краткое содержание: контроль «эффекта поиска в другом месте» » . Американское физическое общество. 2011.
- ^ Лори Энн Уайт (12 августа 2011 г.). «Слово недели: эффект взгляда в другом месте» . Стэнфордская национальная ускорительная лаборатория. Архивировано из оригинала 19 апреля 2012 года.
- ^ Дориго, Томмазо (16 октября 2009 г.). «Сверхъестественные совпадения и эффект взгляда в другое место» . Проверено 17 октября 2012 г.
- ^ Дориго, Томмазо (19 августа 2011 г.). «Должны ли вас волновать ваши данные? Пусть решает эффект поиска в другом месте» . Сотрудничество с CMS.
- ^ Гросс, Э.; Вителлс, О. (2010). «Пробные факторы для поиска других эффектов в физике высоких энергий». Европейский физический журнал C . 70 : 525. arXiv : 1005.1891 . Бибкод : 2010EPJC...70..525G . doi : 10.1140/epjc/s10052-010-1470-8 .
- ^ Байер, Адриан Э.; Селяк, Урош (2020). «Эффект поиска в другом месте с единой байесовской и частотной точек зрения» . Журнал космологии и физики астрочастиц . 2020 (10): 009–009. arXiv : 2007.13821 . дои : 10.1088/1475-7516/2020/10/009 .
- ^ Байер, Адриан Э.; Селяк, Урош; Робник, Якоб (2021). «Самокалибровка эффекта взгляда в другое место: быстрая оценка статистической значимости с использованием пиковых высот» . Ежемесячные уведомления Королевского астрономического общества . 508 (1): 1346–1357. arXiv : 2108.06333 . дои : 10.1093/mnras/stab2331 .
- ^ Том Чиверс (13 декабря 2011 г.). «Неподтвержденное обнаружение неуловимого бозона Хиггса» . Дейли Телеграф. Архивировано из оригинала 17 декабря 2011 г.
- ^ Палфриман, Джон (13 июня 1995 г.), «Потоки страха» , Frontline , PBS , получено 1 июля 2012 г.
- ^ Томас, Дэйв (1 ноября 1997 г.), «Скрытые послания и библейский код» , Skeptical Inquirer , CSICOP , получено 19 апреля 2015 г.