Парадокс Симпсона

Парадокс Симпсона для количественных данных: положительная тенденция (   ,   ) проявляется для двух отдельных групп, тогда как отрицательная тенденция (   ) появляется при объединении групп.

Визуализация парадокса Симпсона на данных, напоминающих изменчивость в реальном мире, указывает на то, что риск неправильной оценки истинной причинно-следственной связи может быть трудно обнаружить.

Парадокс Симпсона — это явление в области вероятности и статистики , при котором тенденция появляется в нескольких группах данных, но исчезает или меняется на противоположную при объединении групп. Этот результат часто встречается в статистике социальных и медицинских наук. и это особенно проблематично, когда данным о частоте необоснованно придается причинно-следственная интерпретация. Парадокс можно разрешить, если смешивающие переменные и причинно-следственные связи. при статистическом моделировании соответствующим образом учитывать (например, посредством кластерного анализа ).

Парадокс Симпсона использовался для иллюстрации того, какие вводящие в заблуждение результаты может привести к неправильному использованию статистики .

Эдвард Х. Симпсон впервые описал это явление в технической статье в 1951 году. но статистики Карл Пирсон (в 1899 г. ) и Удный Юл (в 1903 г. ) уже упоминал подобные эффекты ранее. Название « Парадокс Симпсона» было введено Колином Р. Блитом в 1972 году. Его также называют инверсией Симпсона , эффектом Юла-Симпсона , парадоксом слияния или парадоксом реверсии .

Математик Джордан Элленберг утверждает, что парадокс Симпсона ошибочно назван тем, что «здесь нет никакого противоречия, есть только два разных способа думать об одних и тех же данных», и предполагает, что его урок «на самом деле не в том, чтобы сказать нам, какую точку зрения принять, а в том, чтобы настаивать на том, чтобы мы придерживались и части, и целое в уме одновременно».

Примеры

Гендерная предвзятость Калифорнийского университета в Беркли

Один из самых известных примеров парадокса Симпсона связан с исследованием гендерных предубеждений среди поступающих в аспирантуру Калифорнийского университета в Беркли . Данные о приеме на осень 1973 года показали, что мужчины, подавшие заявления, были приняты с большей вероятностью, чем женщины, и разница была настолько велика, что вряд ли она была случайной.

	Все		Мужчины		Женщины
	Кандидаты	Допущенный	Кандидаты	Допущенный	Кандидаты	Допущенный
Общий	12,763	41%	8,442	44%	4,321	35%

Однако при учете информации о факультетах, на которые подаются заявления, разный процент отказов свидетельствует о разной сложности поступления на факультет, и в то же время это показало, что женщины, как правило, обращались на более конкурентоспособные факультеты с более низкими показателями приема. даже среди квалифицированных абитуриентов (например, на факультете английского языка), тогда как мужчины, как правило, подавались на менее конкурентоспособные факультеты с более высокими показателями поступления (например, на инженерный факультет). Объединенные и скорректированные данные показали «небольшую, но статистически значимую предвзятость в пользу женщин».

Данные шести крупнейших ведомств приведены ниже:

Отделение	Все		Мужчины		Женщины
	Кандидаты	Допущенный	Кандидаты	Допущенный	Кандидаты	Допущенный
А	933	64%	825	62%	108	82%
Б	585	63%	560	63%	25	68%
С	918	35%	325	37%	593	34%
Д	792	34%	417	33%	375	35%
И	584	25%	191	28%	393	24%
Ф	714	6%	373	6%	341	7%
Общий	4526	39%	2691	45%	1835	30%
Легенда:   больший процент успешных кандидатов, чем представители другого пола   большее количество претендентов, чем представители другого пола жирный шрифт — два факультета, на которые чаще всего обращаются заявки, для каждого пола.

Все данные показали, что в общей сложности 4 из 85 департаментов имеют значительную предвзятость по отношению к женщинам, а 6 - к мужчинам (не все представлены в таблице «шесть крупнейших департаментов» выше). Примечательно, что основанием для такого вывода было не количество предвзятых факультетов, а скорее гендерные показатели приема, объединенные по всем факультетам, с учетом доли отказов каждого факультета среди всех его претендентов.

Лечение камней в почках

Другой пример взят из реального медицинского исследования. сравнение показателей успеха двух методов лечения камней в почках . В таблице ниже показаны показатели успеха (термин « показатель успеха » здесь фактически означает долю успеха) и количество курсов лечения как небольших, так и крупных камней в почках, где лечение А включает открытые хирургические процедуры, а лечение Б включает закрытые хирургические процедуры. Цифры в скобках указывают количество успешных случаев по отношению к общему размеру группы.

Уход Размер камня	Лечение А	Лечение Б
Мелкие камни	Группа 1 93% (81/87)	Группа 2 87% (234/270)
Большие камни	Группа 3 73% (192/263)	Группа 4 69% (55/80)
Оба	78% (273/350)	83% (289/350)

Парадоксальный вывод заключается в том, что метод А более эффективен при использовании с камнями небольшого размера, а также при использовании с камнями большого размера, однако метод Б оказывается более эффективным при одновременном рассмотрении обоих размеров. В этом примере «скрытой» переменной (или мешающей переменной ), вызывающей парадокс, является размер камней, который ранее не был известен исследователям как важный, пока не были учтены его эффекты.

Какое лечение считается лучшим, определяется тем, какой коэффициент успеха (успехов/общее количество) выше. Изменение неравенства между двумя соотношениями при рассмотрении объединенных данных, что создает парадокс Симпсона, происходит потому, что два эффекта происходят одновременно:

1. Размеры групп, которые объединяются при игнорировании скрытой переменной, сильно различаются. Врачи склонны назначать пациентам с крупными камнями лучшее лечение А, а случаям с мелкими камнями — худшее лечение B. Таким образом, в общих показателях преобладают группы 3 и 2, а не две гораздо меньшие группы 1 и 4.
2. Скрытая переменная, размер камня, оказывает большое влияние на соотношение; т.е. на вероятность успеха больше влияет тяжесть случая, чем выбор лечения. Таким образом, группа пациентов с крупными камнями, использующая лечение А (группа 3), чувствует себя хуже, чем группа с мелкими камнями, даже если последние использовали худшее лечение Б (группа 2).

На основании этих эффектов видно, что возникает парадоксальный результат, поскольку влияние размера камней превосходит преимущества лучшего лечения (А). Короче говоря, менее эффективное лечение B оказалось более эффективным, поскольку его чаще применяли к случаям небольших камней, которые легче лечить.

Джейнс утверждает, что правильный вывод состоит в том, что, хотя лечение А остается заметно лучше, чем лечение Б, размер камня в почках более важен.

Средние показатели ударов

Типичным примером парадокса Симпсона являются средние показатели ударов игроков в профессиональном бейсболе . Один игрок может иметь более высокий средний показатель результативности, чем другой игрок, каждый год в течение ряда лет, но иметь более низкий средний показатель за все эти годы. Это явление может возникнуть, когда существуют большие различия в численности летучих мышей в разные годы. Математик Кен Росс продемонстрировал это, используя средние показатели двух бейсболистов, Дерека Джетера и Дэвида Джастиса , в 1995 и 1996 годах:

Год тесто	1995		1996		Комбинированный
Дерек Джетер	12/48	.250	183/582	.314	195/630	.310
Дэвид Джастис	104/411	.253	45/140	.321	149/551	.270

И в 1995, и в 1996 году у Джастиса был более высокий средний показатель (выделено жирным шрифтом), чем у Джетера. Однако, если объединить два бейсбольных сезона, Джетер показывает более высокий средний показатель, чем Джастис. По словам Росса, такое явление среди возможных пар игроков будет наблюдаться примерно раз в год.

Векторная интерпретация

Векторная интерпретация парадокса Симпсона

Парадокс Симпсона также можно проиллюстрировать с помощью двумерного векторного пространства . Уровень успеха ${\textstyle {\frac {p}{q}}}$ (т. е. успехи/попытки ) могут быть представлены вектором ${\vec {A}}=(q,p)$ с уклоном , ${\textstyle {\frac {p}{q}}}$. Тогда более крутой вектор означает более высокий уровень успеха. Если две ставки ${\textstyle {\frac {p_{1}}{q_{1}}}}$ и ${\textstyle {\frac {p_{2}}{q_{2}}}}$ объединяются, как в приведенных выше примерах, результат можно представить суммой векторов $(q_{1},p_{1})$ и $(q_{2},p_{2})$, который по правилу параллелограмма является вектором $(q_{1}+q_{2},p_{1}+p_{2})$, с уклоном ${\textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}}$.

Парадокс Симпсона гласит, что даже если вектор ${\vec {L}}_{1}$ (на рисунке оранжевым цветом) имеет меньший наклон, чем другой вектор ${\vec {B}}_{1}$ (синим цветом) и ${\vec {L}}_{2}$ имеет меньший наклон, чем ${\vec {B}}_{2}$, сумма двух векторов ${\vec {L}}_{1}+{\vec {L}}_{2}$ потенциально все еще может иметь больший наклон, чем сумма двух векторов ${\vec {B}}_{1}+{\vec {B}}_{2}$, как показано в примере. Чтобы это произошло, один из оранжевых векторов должен иметь больший наклон, чем один из синих векторов (здесь ${\vec {L}}_{2}$ и ${\vec {B}}_{1}$), и они обычно будут длиннее векторов с альтернативными индексами, что будет доминировать в общем сравнении.

Корреляция между переменными

Разворот Симпсона может также возникнуть в корреляциях , в которых две переменные кажутся имеющими (скажем) положительную корреляцию друг с другом, хотя на самом деле они имеют отрицательную корреляцию, причем разворот был вызван «скрытым» искажающим фактором. Берман и др. приведите пример из экономики, где набор данных предполагает, что общий спрос положительно коррелирует с ценой (то есть более высокие цены приводят к большему спросу), что противоречит ожиданиям. Анализ показывает, что время является смешанной переменной: отображение цены и спроса в зависимости от времени показывает ожидаемую отрицательную корреляцию за различные периоды, которая затем меняется на обратную и становится положительной, если влияние времени игнорируется путем простого построения графика спроса в зависимости от цены.

Психология

Психологический интерес к парадоксу Симпсона пытается объяснить, почему люди поначалу считают изменение знака невозможным. Вопрос в том, откуда у людей такая сильная интуиция и как она закодирована в сознании .

Парадокс Симпсона демонстрирует, что эту интуицию нельзя вывести ни из классической логики , ни из исчисления вероятностей , и, таким образом, побудил философов предположить, что она поддерживается врожденной причинной логикой, которая направляет людей в рассуждениях о действиях и их последствиях. Сэвиджа Принцип уверенности является примером того, что может повлечь за собой такая логика. Уточненная версия принципа уверенности Сэвиджа действительно может быть получена из исчисления Перла . и гласит: «Действие A , которое увеличивает вероятность события B в каждой субпопуляции C _i из C, должно также увеличить вероятность B в популяции в целом, при условии, что действие не меняет распределение субпопуляций». Это говорит о том, что знания о действиях и последствиях хранятся в форме, напоминающей причинные байесовские сети .

Вероятность

В статье Павлидеса и Перлмана Хаджикостаса представлено доказательство того, что в случайной таблице 2 × 2 × 2 с равномерным распределением парадокс Симпсона произойдет с вероятностью ровно 1 ⁄ 60 . Исследование Кока предполагает, что вероятность того, что парадокс Симпсона возникнет случайно в моделях путей (т. е. моделях, созданных путем анализа путей ) с двумя предикторами и одной критериальной переменной, составляет примерно 12,8 процента; немного выше, чем 1 случай на 8-путевые модели.

Второй парадокс Симпсона

Второй, менее известный парадокс также обсуждался в статье Симпсона 1951 года. Это может произойти, когда «разумная интерпретация» не обязательно находится в отдельных данных, как в примере с камнями в почках, а вместо этого может находиться в объединенных данных. Следует ли использовать секционированную или комбинированную форму данных, зависит от процесса, в результате которого возникли данные, а это означает, что правильную интерпретацию данных не всегда можно определить, просто наблюдая за таблицами.

Джудея Перл показала, что для того, чтобы секционированные данные представляли правильные причинно-следственные связи между любыми двумя переменными, $X$ и $Y$, переменные разделения должны удовлетворять графическому условию, называемому «критерий черного хода»:

1. Они должны блокировать все ложные пути между $X$ и $Y$
2. Никакая переменная не может быть затронута $X$

Этот критерий обеспечивает алгоритмическое решение второго парадокса Симпсона и объясняет, почему правильная интерпретация не может быть определена только на основе данных; два разных графика, оба совместимых с данными, могут диктовать два разных критерия «черного хода».

Когда критерию «черной двери» удовлетворяет набор Z ковариат, формула корректировки (см. Смешение» ) дает правильное причинное влияние X на Y. « -исчисление Перла, Если такого набора не существует, можно использовать do чтобы найти другие способы оценки причинного эффекта. Полнота до -исчисления можно рассматривать как предложение полного разрешения парадокса Симпсона.

Критика

Одна из критических замечаний заключается в том, что этот парадокс на самом деле вовсе не парадокс, а скорее неспособность должным образом объяснить мешающие переменные или рассмотреть причинно-следственные связи между переменными.

Другая критика очевидного парадокса Симпсона заключается в том, что он может быть результатом особого способа стратификации или группировки данных. Это явление может исчезнуть или даже обратить вспять, если данные стратифицированы по-другому или если учитывать разные мешающие переменные. Пример Симпсона фактически высветил явление, называемое несжимаемостью. это происходит, когда подгруппы с высокими долями не дают простых средних значений при объединении. Это говорит о том, что парадокс может быть не универсальным явлением, а скорее конкретным примером более общей статистической проблемы.

Критики очевидного парадокса Симпсона также утверждают, что внимание к парадоксу может отвлечь от более важных статистических проблем, таких как необходимость тщательного рассмотрения мешающих переменных и причинно-следственных связей при интерпретации данных.

Несмотря на эту критику, очевидный парадокс Симпсона остается популярной и интригующей темой в статистике и анализе данных. Его продолжают изучать и обсуждать исследователи и практики в самых разных областях, и он служит ценным напоминанием о важности тщательного статистического анализа и потенциальных ошибках упрощенной интерпретации данных.

См. также

• Псевдоним – эффект обработки сигнала
• Квартет Анскомба - четыре набора данных с одинаковой описательной статистикой, но с очень разными распределениями.
• Парадокс Берксона - тенденция неправильно интерпретировать статистические эксперименты, включающие условные вероятности.
• Сбор вишни – заблуждение неполных доказательств
• Парадокс Кондорсе - Внутреннее противоречие правления большинства
• Экологическая ошибка - логическая ошибка, возникающая, когда групповые характеристики применяются к отдельным людям.
• Джерримандеринг - форма политического манипулирования.
• Парадокс низкой массы тела при рождении - статистическая особенность веса детей при рождении
• Проблема с изменяемыми единицами площади – источник статистической погрешности
• Заблуждение прокурора – ошибка в мышлении, которая приводит к недооценке информации о базовой ставке. Страницы с краткими описаниями целей перенаправления.
• Феномен Уилла Роджерса – Статистический феномен и парадокс
• Ложная корреляция
• Смещение пропущенной переменной

Библиография

• Лейла Шнепс и Корали Колмез , Математика на суде. Как числа используются и злоупотребляются в зале суда , Basic Books, 2013. ISBN   978-0-465-03292-1 . (Шестая глава: «Математическая ошибка номер 6: парадокс Симпсона. Дело о половой предвзятости в Беркли: обнаружение дискриминации»).

Внешние ссылки

• Парадокс Симпсона в Стэнфордской энциклопедии философии , авторы Ян Шпренгер и Нафтали Вайнбергер.
• Как статистика может вводить в заблуждение – Марк Лидделл – видео и урок TED-Ed.
• Перл, Иудея , «Понимание парадокса Симпсона» (PDF)
• Парадокс Симпсона — небольшая статья Александра Богомольного о векторной интерпретации парадокса Симпсона.
• Колонка Wall Street Journal «Числа» от 2 декабря 2009 года была посвящена недавним случаям парадокса Симпсона в новостях. В частности, это парадокс Симпсона при сравнении уровня безработицы во время рецессии 2009 года с рецессией 1983 года.
• У тарелки, статистическая головоломка: понимание парадокса Симпсона , Артур Смит, 20 августа 2010 г.
• Парадокс Симпсона , видео Генри Райха из MinutePhysics