Тест хи-квадрат

Тест хи-квадрат (также хи-квадрат или $χ 2$ test ) — это проверка статистической гипотезы, используемая при анализе таблиц сопряженности , когда размеры выборки велики. Проще говоря, этот тест в первую очередь используется для проверки того, являются ли две категориальные переменные ( два измерения таблицы сопряженности ) независимыми, влияющими на статистику теста ( значения в таблице ). ^[1] Тест действителен , когда статистика теста распределена по хи-квадрату при нулевой гипотезе , в частности, по критерию хи-квадрат Пирсона и его вариантам. Критерий хи-квадрат Пирсона используется для определения того, существует ли статистически значимая разница между ожидаемыми частотами и наблюдаемыми частотами в одной или нескольких категориях таблицы сопряженности . Для таблиц непредвиденных обстоятельств с меньшим размером выборки точный критерий Фишера вместо этого используется .

В стандартных приложениях этого теста наблюдения классифицируются по взаимоисключающим классам. Если нулевая гипотеза об отсутствии различий между классами в популяции верна, тестовая статистика, рассчитанная на основе наблюдений, соответствует $χ 2$ частотное распределение . Цель теста — оценить, насколько вероятно, что наблюдаемые частоты будут предполагать, что нулевая гипотеза верна.

Тестовая статистика, следующая за $χ 2$ распределение происходит, когда наблюдения независимы. Есть еще $х 2$ тесты для проверки нулевой гипотезы независимости пары случайных величин, основанные на наблюдениях за парами.

Критерии хи-квадрат часто относятся к тестам, для которых распределение статистики теста приближается к $χ 2$ распределение асимптотически , что означает, что выборочное распределение (если нулевая гипотеза верна) тестовой статистики все более и более приближается к распределению хи-квадрат по мере увеличения размера выборки .

История

В 19 веке статистические аналитические методы в основном применялись при анализе биологических данных, и среди исследователей было принято предполагать, что наблюдения следуют нормальному распределению , например, сэр Джордж Эйри и Мэнсфилд Мерриман , чьи работы подверглись критике со стороны Карла Пирсона в его статье 1900 года. . ^[2]

В конце XIX века Пирсон заметил значительную асимметрию в некоторых биологических наблюдениях. Чтобы смоделировать наблюдения независимо от того, являются ли они нормальными или искаженными, Пирсон в серии статей, опубликованных с 1893 по 1916 год, ^[3]^[4]^[5]^[6] разработал распределение Пирсона , семейство непрерывных распределений вероятностей , которое включает нормальное распределение и множество асимметричных распределений, и предложил метод статистического анализа, состоящий из использования распределения Пирсона для моделирования наблюдения и выполнения теста согласия, чтобы определить, как ну, модель действительно соответствует наблюдениям.

Критерий хи-квадрат Пирсона

В 1900 году Пирсон опубликовал статью. ^[2] на $χ 2$ тест, который считается одной из основ современной статистики. ^[7] В этой статье Пирсон исследовал критерий согласия.

Предположим, что $n$ наблюдений в случайной выборке из совокупности разделены на $k$ взаимоисключающие классы с соответствующими наблюдаемыми числами наблюдений $x i$ (для $i = 1,2,\dots, k$ ), а нулевая гипотеза дает вероятность $p i$ того, что наблюдение попадает в $i$ -й класс. Итак, у нас есть ожидаемые числа $m i = np i$ для всех $i$ , где

{\begin{aligned}&\sum _{i=1}^{k}{p_{i}}=1\\[8pt]&\sum _{i=1}^{k}{m_{i}}=n\sum _{i=1}^{k}{p_{i}}=n\end{aligned}}

Пирсон предположил, что при условии, что нулевая гипотеза верна, при $n \to \infty$ предельным распределением приведенной ниже величины является $χ 2$ распределение.

X^{2}=\sum _{i=1}^{k}{\frac {(x_{i}-m_{i})^{2}}{m_{i}}}=\sum _{i=1}^{k}{{\frac {x_{i}^{2}}{m_{i}}}-n}

Пирсон сначала рассмотрел случай, когда ожидаемые числа $m i$ являются достаточно большими известными числами во всех ячейках, предполагая, что каждое наблюдение $x i$ может быть принято как нормально распределенное , и пришел к выводу, что в пределе, когда $n$ становится большим, $X 2$ следует за $χ 2$ распределение с $k - 1$ степенями свободы.

Однако затем Пирсон рассмотрел случай, в котором ожидаемые числа зависели от параметров, которые необходимо было оценить на основе выборки, и предположил, что, используя обозначения $mi m$ как истинные ожидаемые числа, а $' i как$ предполагаемые ожидаемые числа, разница

X^{2}-{X'}^{2}=\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m_{i}}}-\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m'_{i}}}

обычно будет положительным и достаточно малым, чтобы его можно было опустить. В заключение Пирсон утверждал, что если мы рассматриваем $X' 2$ а также распределено как $χ 2$ распределении с $k - 1$ степенями свободы, ошибка в этом приближении не повлияет на практические решения. Этот вывод вызвал некоторые разногласия в практическом применении и не был урегулирован в течение 20 лет до появления статей Фишера 1922 и 1924 годов. ^[8]^[9]

Другие примеры тестов хи-квадрат

Одна тестовая статистика , которая точно соответствует распределению хи-квадрат , — это проверка того, что дисперсия нормально распределенной совокупности имеет заданное значение, основанное на выборочной дисперсии . Такие тесты на практике встречаются редко, поскольку истинная дисперсия генеральной совокупности обычно неизвестна. Однако есть несколько статистических тестов, в которых распределение хи-квадрат приблизительно справедливо:

Точный тест Фишера

Точный критерий независимости, используемый вместо критерия хи-квадрат 2 × 2, см. в разделе « Точный критерий Фишера» .

Биномиальный тест

Точный тест, используемый вместо критерия хи-квадрат 2 × 1 для проверки соответствия, см. в разделе Биномиальный тест .

Другие тесты хи-квадрат

Критерий хи-квадрат Кокрана-Мантела-Хэнзеля .
Тест Макнемара , используемый в некоторых таблицах 2 × 2 с спариванием.
Тест аддитивности Тьюки
Тест -портманто при анализе временных рядов , проверка наличия автокорреляции
Тесты отношения правдоподобия в общем статистическом моделировании для проверки наличия доказательств необходимости перехода от простой модели к более сложной (где простая модель вложена в сложную).

Поправка Йейтса на непрерывность

Использование распределения хи-квадрат для интерпретации статистики хи-квадрат Пирсона требует предположения, что дискретная вероятность наблюдаемых биномиальных частот в таблице может быть аппроксимирована непрерывным распределением хи-квадрат . Это предположение не совсем верно и вносит некоторую погрешность.

Чтобы уменьшить ошибку аппроксимации, Фрэнк Йейтс предложил поправку на непрерывность, которая корректирует формулу теста хи-квадрат Пирсона путем вычитания 0,5 из абсолютной разницы между каждым наблюдаемым значением и его ожидаемым значением в таблице непредвиденных обстоятельств 2 × 2 . ^[10] Это уменьшает полученное значение хи-квадрат и, таким образом, увеличивает его p -значение .

Критерий хи-квадрат для определения дисперсии в нормальной популяции

Если выборка размера $n$ берется из генеральной совокупности, имеющей нормальное распределение , то получается результат (см. распределение выборочной дисперсии ), который позволяет проверить, имеет ли дисперсия генеральной совокупности заранее определенное значение. Например, производственный процесс мог находиться в стабильном состоянии в течение длительного периода, что позволяло определить значение отклонения практически без ошибок. Предположим, что вариант процесса тестируется, в результате чего формируется небольшая выборка из $n$ единиц продукции, вариация которой подлежит тестированию. Тестовая статистика $T$ в этом случае может быть установлена как сумма квадратов выборочного среднего значения, деленная на номинальное значение дисперсии (т. е. значение, которое будет проверяться как устойчивое). Тогда $T$ имеет распределение хи-квадрат с $n - 1$ степенями свободы . Например, если размер выборки равен 21, область приемлемости для $T$ с уровнем значимости 5% находится между 9,59 и 34,17.

Пример теста хи-квадрат для категориальных данных

Предположим, есть город с населением в 1 000 000 жителей и четырьмя кварталами $A$ , $B$ , $C$ и $D.$ : Берется случайная выборка из 650 жителей города, и их род занятий фиксируется как «белые воротнички», «синие воротнички» или «без воротничков» . Нулевая гипотеза заключается в том, что район проживания каждого человека не зависит от его профессиональной принадлежности. Данные сведены в таблицу:

	$А$	$Б$	$С$	$Д$	Общий
Белый воротничок	90	60	104	95	349
Синий воротничок	30	50	51	20	151
Без воротника	30	40	45	35	150
Общий	150	150	200	150	650

Давайте возьмем выборку из 150 человек, живущих в районе $А$ какая часть из 1 000 000 человек проживает в районе $А.$ , чтобы оценить , Аналогично мы берем ⁠ 349 / 650 ⁠, чтобы оценить, какую долю из 1 000 000 составляют служащие. Предполагая независимость согласно этой гипотезе, мы должны «ожидать», что число служащих в районе $А$ будет

150\times {\frac {349}{650}}\approx 80.54

Тогда в этой «ячейке» таблицы мы имеем

{\frac {\left({\text{observed}}-{\text{expected}}\right)^{2}}{\text{expected}}}={\frac {\left(90-80.54\right)^{2}}{80.54}}\approx 1.11

Сумма этих величин по всем ячейкам представляет собой тестовую статистику; в этом случае, $\approx 24.57$ . Согласно нулевой гипотезе эта сумма имеет приблизительно распределение хи-квадрат, число степеней свободы которого равно

({\text{number of rows}}-1)({\text{number of columns}}-1)=(3-1)(4-1)=6

Если тестовая статистика невероятно велика в соответствии с этим распределением хи-квадрат, то нулевую гипотезу независимости отвергают.

Связанным с этим вопросом является проверка на однородность. Предположим, что вместо того, чтобы давать каждому жителю каждого из четырех районов равные шансы на попадание в выборку, мы заранее решаем, сколько жителей каждого района включить. Тогда каждый житель имеет такой же шанс быть выбранным, как и все жители одного и того же района, но жители разных районов будут иметь разные вероятности быть выбранными, если четыре размера выборки не пропорциональны населению четырех районов. В таком случае мы будем проверять «однородность», а не «независимость». Вопрос в том, одинаковы ли пропорции «синих воротничков», «белых воротничков» и «нет воротничков» в четырех районах. Однако тест проводится таким же образом.

Приложения

В криптоанализе критерий хи-квадрат используется для сравнения распределения открытого текста и (возможно) расшифрованного зашифрованного текста . Наименьшее значение теста означает, что расшифровка прошла успешно с высокой вероятностью. ^[11]^[12] Этот метод можно обобщить для решения современных криптографических задач. ^[13]

В биоинформатике критерий хи-квадрат используется для сравнения распределения определенных свойств генов (например, геномного содержания, частоты мутаций, кластеризации сетей взаимодействия и т. д.), принадлежащих к различным категориям (например, гены болезней, важные гены, гены на определенная хромосома и т. д.). ^[14]^[15]

См. также

Ссылки

^ «Хи-квадрат – Социология 3112 – Факультет социологии – Университет Юты» . soc.utah.edu . Проверено 12 ноября 2022 г.
^ Перейти обратно: ^а ^б Пирсон, Карл (1900). «О том критерии, что данная система отклонений от вероятного в случае коррелированной системы переменных такова, что можно разумно предположить, что она возникла в результате случайной выборки» . Философский журнал . Серия 5. 50 (302): 157–175. дои : 10.1080/14786440009463897 .
^ Пирсон, Карл (1893). «Вклад в математическую теорию эволюции [аннотация]» . Труды Королевского общества . 54 : 329–333. дои : 10.1098/rspl.1893.0079 . JSTOR 115538 .
^ Пирсон, Карл (1895). «Вклад в математическую теорию эволюции, II: Асимметрия в однородном материале» . Философские труды Королевского общества . 186 : 343–414. Бибкод : 1895RSPTA.186..343P . дои : 10.1098/rsta.1895.0010 . JSTOR 90649 .
^ Пирсон, Карл (1901). «Математический вклад в теорию эволюции, X: Дополнение к мемуарам о асимметрии». Философские труды Королевского общества А. 197 (287–299): 443–459. Бибкод : 1901RSPTA.197..443P . дои : 10.1098/rsta.1901.0023 . JSTOR 90841 .
^ Пирсон, Карл (1916). «Математический вклад в теорию эволюции, XIX: Второе приложение к мемуарам о асимметрии» . Философские труды Королевского общества А. 216 (538–548): 429–457. Бибкод : 1916RSPTA.216..429P . дои : 10.1098/rsta.1916.0009 . JSTOR 91092 .
^ Кокран, Уильям Г. (1952). «Тест хи-квадрат на соответствие» . Анналы математической статистики . 23 (3): 315–345. дои : 10.1214/aoms/1177729380 . JSTOR 2236678 .
^ Фишер, Рональд А. (1922). «О толковании $χ 2$ из таблиц непредвиденных обстоятельств и расчета P». Журнал Королевского статистического общества . 85 (1): 87–94. doi : 10.2307/2340521 . JSTOR 2340521 .
^ Фишер, Рональд А. (1924). «Условия, при которых $χ 2$ Измеряет несоответствие между наблюдением и гипотезой». Журнал Королевского статистического общества . 87 (3): 442–450. JSTOR 2341149 .
^ Йейтс, Фрэнк (1934). «Таблица непредвиденных обстоятельств, включающая малые числа и $χ 2$ тест». Дополнение к журналу Королевского статистического общества . 1 (2): 217–235. doi : 10.2307/2983604 . JSTOR 2983604 .
^ «Статистика Хи-квадрат» . Практическая криптография . Архивировано из оригинала 18 февраля 2015 года . Проверено 18 февраля 2015 г.
^ «Использование хи-квадрата для взлома кодов» . Ресурсы IB по математике . Британская международная школа Пхукета. 15 июня 2014 г.
^ Рябко, Б. Я.; Стогниенко В.С.; Шокин, Ю. И. (2004). «Новый тест на случайность и его применение к некоторым криптографическим задачам» (PDF) . Журнал статистического планирования и выводов . 123 (2): 365–376. дои : 10.1016/s0378-3758(03)00149-6 . Проверено 18 февраля 2015 г.
^ Фельдман, И.; Ржецкий А.; Виткуп, Д. (2008). «Сетевые свойства генов, несущих наследственные мутации болезней» . ПНАС . 105 (11): 4323–432. Бибкод : 2008PNAS..105.4323F . дои : 10.1073/pnas.0701722105 . ПМК 2393821 . ПМИД 18326631 .
^ «Тесты хи-квадрат» (PDF) . Архивировано из оригинала (PDF) 29 июня 2018 года . Проверено 29 июня 2018 г.

Дальнейшее чтение

Вайсштейн, Эрик В. «Тест хи-квадрат» . Математический мир .
Кордер, ГВ; Форман, Д.И. (2014). Непараметрическая статистика: пошаговый подход . Нью-Йорк: Уайли. ISBN 978-1118840313 .
Гринвуд, Синди ; Никулин, М.С. (1996). Руководство по тестированию хи-квадрат . Нью-Йорк: Уайли. ISBN 0-471-55779-Х .
Никулин, М.С. (1973). Критерий хи-квадрат на нормальность . Материалы Международной Вильнюсской конференции по теории вероятностей и математической статистике . Том. 2. С. 119–122.
Багдонавичюс, Вилияндас Б.; Никулин, Михаил С. (2011). «Критерий согласия хи-квадрат для данных, подвергнутых цензуре справа» . Международный журнал прикладной математики и статистики . 24 :30–50. МР 2800388 .

[1] «Хи-квадрат – Социология 3112 – Факультет социологии – Университет Юты» . soc.utah.edu . Проверено 12 ноября 2022 г.

[Pearson1900-2] Перейти обратно: ^а ^б Пирсон, Карл (1900). «О том критерии, что данная система отклонений от вероятного в случае коррелированной системы переменных такова, что можно разумно предположить, что она возникла в результате случайной выборки» . Философский журнал . Серия 5. 50 (302): 157–175. дои : 10.1080/14786440009463897 .

[Pearson1893-3] Пирсон, Карл (1893). «Вклад в математическую теорию эволюции [аннотация]» . Труды Королевского общества . 54 : 329–333. дои : 10.1098/rspl.1893.0079 . JSTOR 115538 .

[Pearson1895-4] Пирсон, Карл (1895). «Вклад в математическую теорию эволюции, II: Асимметрия в однородном материале» . Философские труды Королевского общества . 186 : 343–414. Бибкод : 1895RSPTA.186..343P . дои : 10.1098/rsta.1895.0010 . JSTOR 90649 .

[Pearson1901-5] Пирсон, Карл (1901). «Математический вклад в теорию эволюции, X: Дополнение к мемуарам о асимметрии». Философские труды Королевского общества А. 197 (287–299): 443–459. Бибкод : 1901RSPTA.197..443P . дои : 10.1098/rsta.1901.0023 . JSTOR 90841 .

[Pearson1916-6] Пирсон, Карл (1916). «Математический вклад в теорию эволюции, XIX: Второе приложение к мемуарам о асимметрии» . Философские труды Королевского общества А. 216 (538–548): 429–457. Бибкод : 1916RSPTA.216..429P . дои : 10.1098/rsta.1916.0009 . JSTOR 91092 .

[Cochran1952-7] Кокран, Уильям Г. (1952). «Тест хи-квадрат на соответствие» . Анналы математической статистики . 23 (3): 315–345. дои : 10.1214/aoms/1177729380 . JSTOR 2236678 .

[Fisher1922-8] Фишер, Рональд А. (1922). «О толковании $χ 2$ из таблиц непредвиденных обстоятельств и расчета P». Журнал Королевского статистического общества . 85 (1): 87–94. doi : 10.2307/2340521 . JSTOR 2340521 .

[Fisher1924-9] Фишер, Рональд А. (1924). «Условия, при которых $χ 2$ Измеряет несоответствие между наблюдением и гипотезой». Журнал Королевского статистического общества . 87 (3): 442–450. JSTOR 2341149 .

[Yates-10] Йейтс, Фрэнк (1934). «Таблица непредвиденных обстоятельств, включающая малые числа и $χ 2$ тест». Дополнение к журналу Королевского статистического общества . 1 (2): 217–235. doi : 10.2307/2983604 . JSTOR 2983604 .

[practicalcrypto-11] «Статистика Хи-квадрат» . Практическая криптография . Архивировано из оригинала 18 февраля 2015 года . Проверено 18 февраля 2015 г.

[ibmath-12] «Использование хи-квадрата для взлома кодов» . Ресурсы IB по математике . Британская международная школа Пхукета. 15 июня 2014 г.

[elsevier-13] Рябко, Б. Я.; Стогниенко В.С.; Шокин, Ю. И. (2004). «Новый тест на случайность и его применение к некоторым криптографическим задачам» (PDF) . Журнал статистического планирования и выводов . 123 (2): 365–376. дои : 10.1016/s0378-3758(03)00149-6 . Проверено 18 февраля 2015 г.

[pnas-bics-14] Фельдман, И.; Ржецкий А.; Виткуп, Д. (2008). «Сетевые свойства генов, несущих наследственные мутации болезней» . ПНАС . 105 (11): 4323–432. Бибкод : 2008PNAS..105.4323F . дои : 10.1073/pnas.0701722105 . ПМК 2393821 . ПМИД 18326631 .

[chi-bics-15] «Тесты хи-квадрат» (PDF) . Архивировано из оригинала (PDF) 29 июня 2018 года . Проверено 29 июня 2018 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]