Распределение хи-квадрат

Эта статья о математике распределения хи-квадрат. Информацию о его использовании в статистике см. в разделе «Тест хи-квадрат» . Чтобы узнать о музыкальной группе, см. Chi2 (группа) .

Хи-квадрат

Функция плотности вероятности
Кумулятивная функция распределения
Обозначения	$\chi ^{2}(k)\;$ или $\chi _{k}^{2}\!$
Параметры	$k\in \mathbb {N} ^{*}~~$ (известные как «степени свободы»)
Поддерживать	$x\in (0,+\infty )\;$ если $k=1$, в противном случае $x\in [0,+\infty )\;$
PDF	${\frac {1}{2^{k/2}\Gamma (k/2)}}\;x^{k/2-1}e^{-x/2}\;$
CDF	${\frac {1}{\Gamma (k/2)}}\;\gamma \left({\frac {k}{2}},\,{\frac {x}{2}}\right)\;$
Иметь в виду	$k$
медиана	$\approx k{\bigg (}1-{\frac {2}{9k}}{\bigg )}^{3}\;$
Режим	$\max(k-2,0)\;$
Дисперсия	$2k\;$
асимметрия	${\sqrt {8/k}}\,$
Избыточный эксцесс	${\frac {12}{k}}$
Энтропия	${\begin{aligned}{\frac {k}{2}}&+\log \left(2\Gamma {\Bigl (}{\frac {k}{2}}{\Bigr )}\right)\\&\!+\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)\end{aligned}}$
МГФ	$(1-2t)^{-k/2}{\text{ for }}t<{\frac {1}{2}}\;$
CF	$(1-2it)^{-k/2}$
ПГФ	$(1-2\ln t)^{-k/2}{\text{ for }}0<t<{\sqrt {e}}\;$

В теории вероятностей и статистике распределение хи-квадрат (также хи-квадрат или $\chi ^{2}$-распределение ) с $k$ Степени свободы – это распределение суммы квадратов $k$ независимые стандартные нормальные случайные величины.

Распределение хи-квадрат $\chi _{k}^{2}$ является частным случаем гамма-распределения и одномерного распределения Уишарта . В частности, если $X\sim \chi _{k}^{2}$ затем $X\sim {\text{Gamma}}(\alpha ={\frac {k}{2}},\theta =2)$ (где $\alpha$ параметр формы и $\theta$ масштабный параметр гамма-распределения) и $X\sim {\text{W}}_{1}(1,k)$.

Масштабированное распределение хи-квадрат $s^{2}\chi _{k}^{2}$ представляет собой репараметризацию гамма-распределения и одномерного распределения Уишарта . В частности, если $X\sim s^{2}\chi _{k}^{2}$ затем $X\sim {\text{Gamma}}(\alpha ={\frac {k}{2}},\theta =2s^{2})$ и $X\sim {\text{W}}_{1}(s^{2},k)$.

Распределение хи-квадрат — одно из наиболее широко используемых распределений вероятностей в статистике вывода , особенно при проверке гипотез и построении доверительных интервалов . Это распределение иногда называют центральным распределением хи-квадрат , частным случаем более общего нецентрального распределения хи-квадрат .

Распределение хи-квадрат используется в обычных тестах хи-квадрат для проверки соответствия наблюдаемого распределения теоретическому, независимости двух критериев классификации качественных данных , а также для определения доверительного интервала для оценки стандартного отклонения генеральной совокупности. нормального распределения из выборочного стандартного отклонения. Многие другие статистические тесты также используют это распределение, например, дисперсионный анализ Фридмана по рангам .

Определения

Если Z ₁ , ..., Z _k — независимые стандартные нормальные случайные величины, то сумма их квадратов

$Q\ =\sum _{i=1}^{k}Z_{i}^{2},$

распределяется согласно распределению хи-квадрат с k степенями свободы. Обычно это обозначается как

$Q\ \sim \ \chi ^{2}(k)\ \ {\text{or}}\ \ Q\ \sim \ \chi _{k}^{2}.$

Распределение хи-квадрат имеет один параметр: целое положительное число k , которое определяет количество степеней свободы (количество суммируемых случайных величин, Z _i s).

Введение

Распределение хи-квадрат используется в основном при проверке гипотез и в меньшей степени для определения доверительных интервалов дисперсии генеральной совокупности, когда основное распределение является нормальным. В отличие от более широко известных распределений, таких как нормальное распределение и экспоненциальное распределение , распределение хи-квадрат не так часто применяется при прямом моделировании природных явлений. Он возникает, среди прочего, при следующих проверках гипотез:

• Критерий хи-квадрат независимости в таблицах непредвиденных обстоятельств
• Критерий хи-квадрат на предмет соответствия наблюдаемых данных гипотетическим распределениям
• Тест отношения правдоподобия для вложенных моделей
• Логранговый тест в анализе выживаемости
• Критерий Кокрана-Мантела-Хензеля для стратифицированных таблиц непредвиденных обстоятельств
• лесной тест
• Оценка теста

Это также компонент определения t -распределения и F -распределения , используемого в t -тестах, дисперсионном анализе и регрессионном анализе.

Основной причиной, по которой распределение хи-квадрат широко используется при проверке гипотез, является его связь с нормальным распределением. Многие проверки гипотез используют тестовую статистику, например t -статистику в t -критерии. размера выборки n Для этих проверок гипотез по мере увеличения выборочное распределение тестовой статистики приближается к нормальному распределению ( центральная предельная теорема ). Поскольку статистика теста (например, t ) асимптотически нормально распределена, при условии, что размер выборки достаточно велик, распределение, используемое для проверки гипотез, может быть аппроксимировано нормальным распределением. Проверка гипотез с использованием нормального распределения хорошо понятна и относительно проста. Простейшим распределением хи-квадрат является квадрат стандартного нормального распределения. Таким образом, везде, где для проверки гипотезы можно использовать нормальное распределение, можно использовать распределение хи-квадрат.

Предположим, что $Z$ — случайная величина, выбранная из стандартного нормального распределения, где среднее значение равно $0$ и дисперсия $1$: $Z\sim N(0,1)$. Теперь рассмотрим случайную величину $Q=Z^{2}$. Распределение случайной величины $Q$ является примером распределения хи-квадрат: $\ Q\ \sim \ \chi _{1}^{2}$. Индекс 1 указывает, что это конкретное распределение хи-квадрат построено только из одного стандартного нормального распределения. Говорят, что распределение хи-квадрат, построенное путем возведения в квадрат одного стандартного нормального распределения, имеет 1 степень свободы. Таким образом, по мере увеличения размера выборки для проверки гипотезы распределение статистики теста приближается к нормальному распределению. Точно так же, как экстремальные значения нормального распределения имеют низкую вероятность (и дают малые значения p), экстремальные значения распределения хи-квадрат имеют низкую вероятность.

Дополнительная причина, по которой широко используется распределение хи-квадрат, заключается в том, что оно представляет собой распределение большой выборки в обобщенных тестах отношения правдоподобия (LRT). LRT имеют несколько полезных свойств; в частности, простые LRT обычно обеспечивают наивысшую способность отвергать нулевую гипотезу ( лемма Неймана – Пирсона ), и это также приводит к свойствам оптимальности обобщенных LRT. Однако нормальное приближение и приближение хи-квадрат действительны только асимптотически. По этой причине предпочтительнее использовать распределение t , а не нормальное приближение или приближение хи-квадрат для небольшого размера выборки. Аналогичным образом, при анализе таблиц непредвиденных обстоятельств приближение хи-квадрат будет плохим для небольшого размера выборки, и предпочтительнее использовать точный критерий Фишера . Рэмси показывает, что точный биномиальный тест всегда более эффективен, чем нормальное приближение.

Ланкастер показывает связи между биномиальным, нормальным распределениями и распределениями хи-квадрат следующим образом. Де Муавр и Лаплас установили, что биномиальное распределение можно аппроксимировать нормальным распределением. В частности, они показали асимптотическую нормальность случайной величины.

$\chi ={m-Np \over {\sqrt {Npq}}}$

где $m$ это наблюдаемое количество успехов в $N$ испытания, где вероятность успеха равна $p$, и $q=1-p$.

Возведение в квадрат обеих частей уравнения дает

$\chi ^{2}={(m-Np)^{2} \over Npq}$

С использованием $N=Np+N(1-p)$, $N=m+(N-m)$, и $q=1-p$, это уравнение можно переписать как

$\chi ^{2}={(m-Np)^{2} \over Np}+{(N-m-Nq)^{2} \over Nq}$

Выражение справа имеет форму, которую Карл Пирсон обобщил бы до формы

$\chi ^{2}=\sum _{i=1}^{n}{\frac {(O_{i}-E_{i})^{2}}{E_{i}}}$

где

$\chi ^{2}$ = Кумулятивная критерийная статистика Пирсона, которая асимптотически приближается к $\chi ^{2}$ распределение; $O_{i}$ = количество наблюдений типа $i$; $E_{i}=Np_{i}$ = ожидаемая (теоретическая) частота типа $i$, утверждаемый нулевой гипотезой о том, что доля типа $i$ среди населения есть $p_{i}$; и $n$ = количество ячеек в таблице.

В случае биномиального исхода (подбрасывания монеты) биномиальное распределение может быть аппроксимировано нормальным распределением (при достаточно больших $n$). Поскольку квадрат стандартного нормального распределения представляет собой распределение хи-квадрат с одной степенью свободы, вероятность такого результата, как 1 голова в 10 испытаниях, может быть аппроксимирована либо путем непосредственного использования нормального распределения, либо распределения хи-квадрат для нормализованная квадратичная разница между наблюдаемым и ожидаемым значением. Однако многие проблемы включают в себя более двух возможных результатов бинома и вместо этого требуют 3 или более категорий, что приводит к полиномиальному распределению. Подобно тому, как де Муавр и Лаплас искали и нашли нормальное приближение к биному, Пирсон искал и нашел вырожденное многомерное нормальное приближение к полиномиальному распределению (числа в каждой категории в сумме дают общий размер выборки, который считается фиксированным). . Пирсон показал, что распределение хи-квадрат возникло в результате такой многомерной нормальной аппроксимации полиномиального распределения с тщательным учетом статистической зависимости (отрицательных корреляций) между количеством наблюдений в разных категориях.

плотности

Функция плотности вероятности (pdf) распределения хи-квадрат равна

$f(x;\,k)={\begin{cases}{\dfrac {x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma \left({\frac {k}{2}}\right)}},&x>0;\\0,&{\text{otherwise}}.\end{cases}}$

где ${\textstyle \Gamma (k/2)}$ обозначает гамма-функцию , которая имеет значения в замкнутой форме для целых чисел $k$.

Для выводов pdf в случаях одного, двух и $k$ степеней свободы см. Доказательства, связанные с распределением хи-квадрат .

распределения

Оценка Чернова для CDF и хвоста (1-CDF) случайной величины хи-квадрат с десятью степенями свободы ( $k=10$)

Его кумулятивная функция распределения :

$F(x;\,k)={\frac {\gamma ({\frac {k}{2}},\,{\frac {x}{2}})}{\Gamma ({\frac {k}{2}})}}=P\left({\frac {k}{2}},\,{\frac {x}{2}}\right),$

где $\gamma (s,t)$ – нижняя неполная гамма-функция и ${\textstyle P(s,t)}$ – регуляризованная гамма-функция .

В частном случае $k=2$ эта функция имеет простую форму:

$F(x;\,2)=1-e^{-x/2}$

которое легко получить интегрированием $f(x;\,2)={\frac {1}{2}}e^{-x/2}$ напрямую. Целочисленная рекуррентность гамма-функции позволяет легко вычислить $F(x;\,k)$ для других небольших, даже $k$.

Таблицы кумулятивной функции распределения хи-квадрат широко доступны, и эта функция включена во многие электронные таблицы и все статистические пакеты .

Сдача в аренду $z\equiv x/k$, можно получить границы Чернова для нижнего и верхнего хвостов CDF. Для случаев, когда $0<z<1$ (включая все случаи, когда этот CDF меньше половины): $F(zk;\,k)\leq (ze^{1-z})^{k/2}.$

Хвост связан для случаев, когда $z>1$, аналогично, есть

$1-F(zk;\,k)\leq (ze^{1-z})^{k/2}.$

Еще одно приближение для CDF, смоделированного по образцу куба гауссианы, см. в разделе « Нецентральное распределение хи-квадрат» .

Свойства

Теорема Кокрена

Основная статья: теорема Кокрена

Если $Z_{1},...,Z_{n}$ являются независимыми одинаково распределенными (iid), стандартными нормальными случайными величинами, тогда $\sum _{t=1}^{n}(Z_{t}-{\bar {Z}})^{2}\sim \chi _{n-1}^{2}$где ${\bar {Z}}={\frac {1}{n}}\sum _{t=1}^{n}Z_{t}.$

Прямое и элементарное доказательство состоит в следующем. Пусть $Z\sim {\mathcal {N}}({\bar {0}},1\!\!1)$ быть вектором $n$ независимые нормально распределенные случайные величины,и ${\bar {Z}}$ их среднее значение. Затем $\sum _{t=1}^{n}(Z_{t}-{\bar {Z}})^{2}~=~\sum _{t=1}^{n}Z_{t}^{2}-n{\bar {Z}}^{2}~=~Z^{\top }[1\!\!1-{\textstyle {\frac {1}{n}}}{\bar {1}}{\bar {1}}^{\top }]Z~=:~Z^{\top }\!MZ$где $1\!\!1$ - единичная матрица и ${\bar {1}}$ вектор «все». $M$ имеет один собственный вектор $b_{1}:={\textstyle {\frac {1}{\sqrt {n}}}}{\bar {1}}$ с собственным значением $0$, и $n-1$ собственные векторы $b_{2},...,b_{n}$ (все ортогонально $b_{1}$) с собственным значением $1$,который можно выбрать так, чтобы $Q:=(b_{1},...,b_{n})$ является ортогональной матрицей.Поскольку также $X:=Q^{\top }\!Z\sim {\mathcal {N}}({\bar {0}},Q^{\top }\!1\!\!1Q)={\mathcal {N}}({\bar {0}},1\!\!1)$,у нас есть $\sum _{t=1}^{n}(Z_{t}-{\bar {Z}})^{2}~=~Z^{\top }\!MZ~=~X^{\top }\!Q^{\top }\!MQX~=~X_{2}^{2}+...+X_{n}^{2}~\sim ~\chi _{n-1}^{2},$что доказывает утверждение.

Аддитивность

Из определения распределения хи-квадрат следует, что сумма независимых переменных хи-квадрат также распределена по хи-квадрату. В частности, если $X_{i},i={\overline {1,n}}$ являются независимыми переменными хи-квадрат с $k_{i}$, $i={\overline {1,n}}$ степеней свободы соответственно, тогда $Y=X_{1}+\cdots +X_{n}$ распределен по хи-квадрату с $k_{1}+\cdots +k_{n}$ степени свободы.

Выборочное среднее

Выборочное среднее значение $n$ iid переменные хи-квадрат степени $k$ распределяется согласно гамма-распределению с формой $\alpha$ и масштабировать $\theta$ параметры:

${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\sim \operatorname {Gamma} \left(\alpha =n\,k/2,\theta =2/n\right)\qquad {\text{where }}X_{i}\sim \chi ^{2}(k)$

Асимптотически , учитывая, что для масштабного параметра $\alpha$ стремясь к бесконечности, гамма-распределение сходится к нормальному распределению с ожиданием $\mu =\alpha \cdot \theta$ и дисперсия $\sigma ^{2}=\alpha \,\theta ^{2}$, выборочное среднее сходится к:

${\overline {X}}\xrightarrow {n\to \infty } N(\mu =k,\sigma ^{2}=2\,k/n)$

Обратите внимание, что мы получили бы тот же результат, если бы вместо этого использовали центральную предельную теорему , отметив, что для каждой переменной хи-квадрат степени $k$ ожидание $k$ и его дисперсия $2\,k$ (и, следовательно, дисперсия выборочного среднего ${\overline {X}}$ существование $\sigma ^{2}={\frac {2k}{n}}$).

Энтропия

Дифференциальная энтропия определяется выражением

$h=\int _{0}^{\infty }f(x;\,k)\ln f(x;\,k)\,dx={\frac {k}{2}}+\ln \left[2\,\Gamma \left({\frac {k}{2}}\right)\right]+\left(1-{\frac {k}{2}}\right)\,\psi \!\left({\frac {k}{2}}\right),$

где $\psi (x)$ это функция Дигаммы .

Распределение хи-квадрат - это распределение вероятностей максимальной энтропии для случайной величины. $X$ для чего $\operatorname {E} (X)=k$ и $\operatorname {E} (\ln(X))=\psi (k/2)+\ln(2)$ фиксированы. Поскольку хи-квадрат относится к семейству гамма-распределений, его можно получить, подставив соответствующие значения в ожидание логарифмического момента гамма . Для вывода из более основных принципов см. вывод в моментообразующей функции достаточной статистики .

Нецентральные моменты

Моменты около нуля распределения хи-квадрат с $k$ степени свободы задаются

$\operatorname {E} (X^{m})=k(k+2)(k+4)\cdots (k+2m-2)=2^{m}{\frac {\Gamma \left(m+{\frac {k}{2}}\right)}{\Gamma \left({\frac {k}{2}}\right)}}.$

Кумулянты

Кумулянты легко получить в степенной ряд разложением логарифма характеристической функции :

$\kappa _{n}=2^{n-1}(n-1)!\,k$

Концентрация

Распределение хи-квадрат демонстрирует сильную концентрацию вокруг своего среднего значения. Стандарт Лорана-Массара. границы:

$\operatorname {P} (X-k\geq 2{\sqrt {kx}}+2x)\leq \exp(-x)$

$\operatorname {P} (k-X\geq 2{\sqrt {kx}})\leq \exp(-x)$

Одним из последствий является то, что если $v\sim N(0,1)^{n}$ является гауссовским случайным вектором в $\mathbb {R} ^{n}$, то как размерность $n$ растет, квадрат длины вектора плотно концентрируется вокруг $n$ с шириной $n^{1/2+\alpha }$:

$$Pr(\|v\|^{2}\in [n-2n^{1/2+\alpha },n+2n^{1/2+\alpha }+2n^{\alpha }])\geq 1-e^{-n^{\alpha }}$$

где показатель степени $\alpha$ может быть выбрано любое значение в $(0,1/2)$.

Асимптотические свойства

Приблизительная формула медианы (из преобразования Вильсона – Хилферти) по сравнению с числовым квантилем (вверху); а также разница ( синий ) и относительная разница ( красный ) между числовым квантилем и приблизительной формулой (внизу). Для распределения хи-квадрат имеют смысл только положительные целые числа степеней свободы (круги).

По центральной предельной теореме , поскольку распределение хи-квадрат представляет собой сумму $k$ независимых случайных величин с конечным средним значением и дисперсией, оно сходится к нормальному распределению при больших $k$. Для многих практических целей, например, $k>50$ распределение достаточно близко к нормальному , поэтому разницу можно игнорировать. В частности, если $X\sim \chi ^{2}(k)$, тогда как $k$ стремится к бесконечности, распределение $(X-k)/{\sqrt {2k}}$ стремится к стандартному нормальному распределению. Однако сходимость происходит медленно, асимметрия поскольку ${\sqrt {8/k}}$ и эксцесс избыточный $12/k$.

Выборочное распределение $\ln(\chi ^{2})$ сходится к нормальности гораздо быстрее, чем выборочное распределение $\chi ^{2}$, поскольку логарифмическое преобразование устраняет большую часть асимметрии.

Другие функции распределения хи-квадрат быстрее сходятся к нормальному распределению. Некоторые примеры:

• Если $X\sim \chi ^{2}(k)$ затем ${\sqrt {2X}}$ примерно нормально распределяется со средним значением ${\sqrt {2k-1}}$ и единичная дисперсия (1922, Р. А. Фишер , см. (18.23), стр. 426 Джонсона.
• Если $X\sim \chi ^{2}(k)$ затем ${\sqrt[{3}]{X/k}}$ примерно нормально распределяется со средним значением $1-{\frac {2}{9k}}$ и дисперсия ${\frac {2}{9k}}.$ Это известно как преобразование Вильсона–Хилферти , см. (18.24), с. 426 Джонсона.
  • Это нормализующее преобразование приводит непосредственно к обычно используемому медианному приближению. $k{\bigg (}1-{\frac {2}{9k}}{\bigg )}^{3}\;$ путем обратного преобразования среднего значения, которое также является медианой нормального распределения.

Связанные дистрибутивы

• Как $k\to \infty$, $(\chi _{k}^{2}-k)/{\sqrt {2k}}~{\xrightarrow {d}}\ N(0,1)\,$ ( нормальное распределение )
• $\chi _{k}^{2}\sim {\chi '}_{k}^{2}(0)$ ( нецентральное распределение хи-квадрат с параметром нецентральности $\lambda =0$)
• Если $Y\sim \mathrm {F} (\nu _{1},\nu _{2})$ затем $X=\lim _{\nu _{2}\to \infty }\nu _{1}Y$ имеет распределение хи-квадрат $\chi _{\nu _{1}}^{2}$

• В частном случае, если $Y\sim \mathrm {F} (1,\nu _{2})\,$ затем $X=\lim _{\nu _{2}\to \infty }Y\,$ имеет распределение хи-квадрат $\chi _{1}^{2}$

• $\|{\boldsymbol {N}}_{i=1,\ldots ,k}(0,1)\|^{2}\sim \chi _{k}^{2}$ Квадрат нормы k ( стандартных нормально распределенных переменных представляет собой распределение хи-квадрат с k степенями свободы )
• Если $X\sim \chi _{\nu }^{2}\,$ и $c>0\,$, затем $cX\sim \Gamma (k=\nu /2,\theta =2c)\,$. ( гамма-распределение )
• Если $X\sim \chi _{k}^{2}$ затем ${\sqrt {X}}\sim \chi _{k}$ ( распределение ци )
• Если $X\sim \chi _{2}^{2}$, затем $X\sim \operatorname {Exp} (1/2)$ является экспоненциальным распределением . (Подробнее см. в разделе гамма-распределение .)
• Если $X\sim \chi _{2k}^{2}$, затем $X\sim \operatorname {Erlang} (k,1/2)$ является распределением Эрланга .
• Если $X\sim \operatorname {Erlang} (k,\lambda )$, затем $2\lambda X\sim \chi _{2k}^{2}$
• Если $X\sim \operatorname {Rayleigh} (1)\,$ ( распределение Рэлея ) тогда $X^{2}\sim \chi _{2}^{2}\,$
• Если $X\sim \operatorname {Maxwell} (1)\,$ ( распределение Максвелла ) тогда $X^{2}\sim \chi _{3}^{2}\,$
• Если $X\sim \chi _{\nu }^{2}$ затем ${\tfrac {1}{X}}\sim \operatorname {Inv-} \chi _{\nu }^{2}\,$ ( Распределение обратного хи-квадрата )
• Распределение хи-квадрат является частным случаем распределения Пирсона III типа.
• Если $X\sim \chi _{\nu _{1}}^{2}\,$ и $Y\sim \chi _{\nu _{2}}^{2}\,$ тогда независимы ${\tfrac {X}{X+Y}}\sim \operatorname {Beta} ({\tfrac {\nu _{1}}{2}},{\tfrac {\nu _{2}}{2}})\,$ ( бета-распределение )
• Если $X\sim \operatorname {U} (0,1)\,$ ( равномерное распределение ), тогда $-2\log(X)\sim \chi _{2}^{2}\,$
• Если $X_{i}\sim \operatorname {Laplace} (\mu ,\beta )\,$ затем $\sum _{i=1}^{n}{\frac {2|X_{i}-\mu |}{\beta }}\sim \chi _{2n}^{2}\,$
• Если $X_{i}$ следует обобщенному нормальному распределению (версия 1) с параметрами $\mu ,\alpha ,\beta$ затем $\sum _{i=1}^{n}{\frac {2|X_{i}-\mu |^{\beta }}{\alpha }}\sim \chi _{2n/\beta }^{2}\,$
• Распределение хи-квадрат представляет собой преобразование распределения Парето.
• Т-распределение Стьюдента представляет собой преобразование распределения хи-квадрат.
• Т-распределение Стьюдента можно получить из распределения хи-квадрат и нормального распределения.
• Нецентральное бета-распределение можно получить как преобразование распределения хи-квадрат и нецентрального распределения хи-квадрат.
• Нецентральное t-распределение можно получить из нормального распределения и распределения хи-квадрат.

Переменная хи-квадрат с $k$ Степени свободы определяются как сумма квадратов $k$ независимые стандартные нормальные случайные величины.

Если $Y$ это $k$-мерный гауссов случайный вектор со средним вектором $\mu$ и ранг $k$ ковариационная матрица $C$, затем $X=(Y-\mu )^{T}C^{-1}(Y-\mu )$ распределен по хи-квадрату с $k$ степени свободы.

Сумма квадратов статистически независимых гауссовских переменных с единичной дисперсией, которые не имеют нулевого среднего значения, дает обобщение распределения хи-квадрат, называемое нецентральным распределением хи-квадрат .

Если $Y$ представляет собой вектор $k$ iid стандартные нормальные случайные величины и $A$ это $k\times k$ симметричная ​ матрица ранга идемпотентная $k-n$, то квадратичная форма $Y^{T}AY$ хи-квадрат распределен с $k-n$ степени свободы.

Если $\Sigma$ это $p\times p$ положительно-полуопределенная ковариационная матрица со строго положительными диагональными элементами, то для $X\sim N(0,\Sigma )$ и $w$ случайный $p$-вектор, не зависящий от $X$ такой, что $w_{1}+\cdots +w_{p}=1$ и $w_{i}\geq 0,i=1,\ldots ,p,$ затем

${\frac {1}{\left({\frac {w_{1}}{X_{1}}},\ldots ,{\frac {w_{p}}{X_{p}}}\right)\Sigma \left({\frac {w_{1}}{X_{1}}},\ldots ,{\frac {w_{p}}{X_{p}}}\right)^{\top }}}\sim \chi _{1}^{2}.$

Распределение хи-квадрат также естественным образом связано с другими распределениями, возникающими из гауссианы. В частности,

• $Y$ является F-распределенным , $Y\sim F(k_{1},k_{2})$ если $Y={\frac {{X_{1}}/{k_{1}}}{{X_{2}}/{k_{2}}}}$, где $X_{1}\sim \chi _{k_{1}}^{2}$ и $X_{2}\sim \chi _{k_{2}}^{2}$ статистически независимы.
• Если $X_{1}\sim \chi _{k_{1}}^{2}$ и $X_{2}\sim \chi _{k_{2}}^{2}$ статистически независимы, то $X_{1}+X_{2}\sim \chi _{k_{1}+k_{2}}^{2}$. Если $X_{1}$ и $X_{2}$ не являются независимыми, то $X_{1}+X_{2}$ не распределен по хи-квадрату.

Обобщения

Распределение хи-квадрат получается как сумма квадратов k независимых гауссовских случайных величин с нулевым средним и единичной дисперсией. Обобщения этого распределения можно получить путем суммирования квадратов других типов гауссовых случайных величин. Ниже описано несколько таких распределений.

Линейная комбинация

Если $X_{1},\ldots ,X_{n}$ являются случайными величинами хи-квадрат и $a_{1},\ldots ,a_{n}\in \mathbb {R} _{>0}$, то распределение $X=\sum _{i=1}^{n}a_{i}X_{i}$ является частным случаем обобщенного распределения хи-квадрат .Замкнутое выражение для этого распределения неизвестно. Однако его можно эффективно аппроксимировать, используя свойство характеристических функций случайных величин хи-квадрат.

Распределения хи-квадрат

распределение хи

Основная статья: Нецентральное распределение хи-квадрат

Нецентральное распределение хи-квадрат получается из суммы квадратов независимых гауссовских случайных величин, имеющих единичную дисперсию и ненулевые средние значения.

хи-

Основная статья: Обобщенное распределение хи-квадрат

Обобщенное распределение хи-квадрат получается из квадратичной формы z'Az, где z - гауссовский вектор с нулевым средним, имеющий произвольную ковариационную матрицу, а A - произвольная матрица.

экспоненциальное и

Распределение хи-квадрат $X\sim \chi _{k}^{2}$ является частным случаем гамма -распределения , в котором $X\sim \Gamma \left({\frac {k}{2}},{\frac {1}{2}}\right)$ используя параметризацию скорости гамма-распределения (или $X\sim \Gamma \left({\frac {k}{2}},2\right)$ с использованием масштабной параметризации гамма-распределения)где к — целое число.

Поскольку экспоненциальное распределение также является частным случаем гамма-распределения, мы также имеем это, если $X\sim \chi _{2}^{2}$, затем $X\sim \operatorname {Exp} \left({\frac {1}{2}}\right)$ является экспоненциальным распределением .

Распределение Эрланга также является частным случаем гамма-распределения, и поэтому мы также имеем это, если $X\sim \chi _{k}^{2}$ даже $k$, затем $X$ Распределен ли Эрланг с параметром формы $k/2$ и параметр масштабирования $1/2$.

Возникновение и применение

Распределение хи-квадрат имеет множество применений в статистическом выводе , например, в тестах хи-квадрат и при оценке дисперсий . Это касается проблемы оценки среднего значения нормально распределенной совокупности и проблемы оценки наклона линии регрессии через ее роль в t-распределении Стьюдента . Он входит во весь анализ дисперсионных задач благодаря своей роли в F-распределении , которое представляет собой распределение отношения двух независимых случайных величин хи-квадрат , каждая из которых разделена на соответствующие степени свободы.

Ниже приведены некоторые из наиболее распространенных ситуаций, в которых распределение хи-квадрат возникает из выборки, распределенной по Гауссу.

• если $X_{1},...,X_{n}$ являются идентификаторами $N(\mu ,\sigma ^{2})$ случайные величины , то $\sum _{i=1}^{n}(X_{i}-{\overline {X_{i}}})^{2}\sim \sigma ^{2}\chi _{n-1}^{2}$ где ${\overline {X_{i}}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$.
• В поле ниже показаны некоторые статистические данные, основанные на $X_{i}\sim N(\mu _{i},\sigma _{i}^{2}),i=1,\ldots ,k$ независимые случайные величины, распределения вероятностей которых связаны с распределением хи-квадрат:

Имя	Статистика
распределение хи-квадрат	$\sum _{i=1}^{k}\left({\frac {X_{i}-\mu _{i}}{\sigma _{i}}}\right)^{2}$
нецентральное распределение хи-квадрат	$\sum _{i=1}^{k}\left({\frac {X_{i}}{\sigma _{i}}}\right)^{2}$
распределение ци	${\sqrt {\sum _{i=1}^{k}\left({\frac {X_{i}-\mu _{i}}{\sigma _{i}}}\right)^{2}}}$
нецентральное распределение ци	${\sqrt {\sum _{i=1}^{k}\left({\frac {X_{i}}{\sigma _{i}}}\right)^{2}}}$

Распределение хи-квадрат также часто встречается при магнитно-резонансной томографии .

Вычислительные методы

Таблица х ² значения против p -значений

The ${\textstyle p}$-значение — это вероятность наблюдения тестовой статистики, по крайней мере, как экстремальной в распределении хи-квадрат. Соответственно, поскольку кумулятивная функция распределения (CDF) для соответствующих степеней свободы (df) дает вероятность получения значения, менее экстремального, чем эта точка, вычитание значения CDF из 1 дает значение p . Низкое значение p ниже выбранного уровня значимости указывает на статистическую значимость , т. е. на наличие достаточных доказательств для отклонения нулевой гипотезы. Уровень значимости 0,05 часто используется в качестве границы между значимыми и незначимыми результатами.

В таблице ниже указано количество значений p, соответствующих $\chi ^{2}$ для первых 10 степеней свободы.

Степени свободы (df)	$\chi ^{2}$ ценить
1	0.004	0.02	0.06	0.15	0.46	1.07	1.64	2.71	3.84	6.63	10.83
2	0.10	0.21	0.45	0.71	1.39	2.41	3.22	4.61	5.99	9.21	13.82
3	0.35	0.58	1.01	1.42	2.37	3.66	4.64	6.25	7.81	11.34	16.27
4	0.71	1.06	1.65	2.20	3.36	4.88	5.99	7.78	9.49	13.28	18.47
5	1.14	1.61	2.34	3.00	4.35	6.06	7.29	9.24	11.07	15.09	20.52
6	1.63	2.20	3.07	3.83	5.35	7.23	8.56	10.64	12.59	16.81	22.46
7	2.17	2.83	3.82	4.67	6.35	8.38	9.80	12.02	14.07	18.48	24.32
8	2.73	3.49	4.59	5.53	7.34	9.52	11.03	13.36	15.51	20.09	26.12
9	3.32	4.17	5.38	6.39	8.34	10.66	12.24	14.68	16.92	21.67	27.88
10	3.94	4.87	6.18	7.27	9.34	11.78	13.44	15.99	18.31	23.21	29.59
p -значение (вероятность)	0.95	0.90	0.80	0.70	0.50	0.30	0.20	0.10	0.05	0.01	0.001

Эти значения можно рассчитать, оценивая функцию квантиля (также известную как «обратный CDF» или «ICDF») распределения хи-квадрат; например, χ ² ICDF для p = 0,05 и df = 7 дает 2,1673 ≈ 2,17, как показано в таблице выше, учитывая, что 1 – p – это p значение из таблицы.

История

Это распределение впервые описал немецкий геодезист и статистик Фридрих Роберт Гельмерт в работах 1875–1876 гг. где он вычислил выборочное распределение выборочной дисперсии нормальной популяции. Таким образом, в немецком языке это традиционно было известно как Helmert'sche («Гельмертово») или «распределение Гельмерта».

Распределение было независимо переоткрыто английским математиком Карлом Пирсоном в контексте согласия , для чего он разработал свой критерий хи-квадрат Пирсона , опубликованный в 1900 году, с вычисленной таблицей значений, опубликованной в ( Элдертон 1902 ), собранной в ( Пирсон 1914 , стр. xxxi–xxxiii, 26–28, таблица XII).Название «хи-квадрат» в конечном итоге происходит от сокращения Пирсона для показателя степени в многомерном нормальном распределении с греческой буквой Chi , обозначающей −½χ. ² для того, что в современных обозначениях будет выглядеть как −½ x ^Т С ⁻¹ x (Σ — ковариационная матрица ). Однако идея семейства «распределений хи-квадрат» принадлежит не Пирсону, а возникла как дальнейшее развитие Фишера в 1920-х годах.

См. также

• Распределение ци
• Масштабированное обратное распределение хи-квадрат
• Гамма-распределение
• Обобщенное распределение хи-квадрат
• Нецентральное распределение хи-квадрат
• Критерий хи-квадрат Пирсона
• Уменьшенная статистика хи-квадрат
• Лямбда-распределение Уилкса
• Модифицированное полунормальное распределение с PDF-файлом на $(0,\infty )$ дается как $f(x)={\frac {2\beta ^{\alpha /2}x^{\alpha -1}\exp(-\beta x^{2}+\gamma x)}{\Psi {\left({\frac {\alpha }{2}},{\frac {\gamma }{\sqrt {\beta }}}\right)}}}$, где $\Psi (\alpha ,z)={}_{1}\Psi _{1}\left({\begin{matrix}\left(\alpha ,{\frac {1}{2}}\right)\\(1,0)\end{matrix}};z\right)$ обозначает Пси-функцию Фокса–Райта .

Дальнейшее чтение

• Хальд, Андерс (1998). История математической статистики с 1750 по 1930 годы . Нью-Йорк: Уайли. ISBN  978-0-471-17912-2 .
• Элдертон, Уильям Пэйлин (1902). «Таблицы для проверки соответствия теории наблюдениям» . Биометрика . 1 (2): 155–163. дои : 10.1093/биомет/1.2.155 .
• «Распределение хи-квадрат» , Энциклопедия математики , EMS Press , 2001 [1994]
• Пирсон, Карл (1914). «О вероятности того, что два независимых распределения частоты на самом деле являются выборками одной и той же популяции, с особым упором на недавнюю работу по идентичности штаммов трипаносом». Биометрика . 10 : 85–154. дои : 10.1093/биомет/10.1.85 .

Внешние ссылки

• Самое раннее использование некоторых математических слов: статья о хи-квадрате имеет краткую историю.
• Конспекты курса по тестированию пригодности по критерию хи-квадрат из курса 101 по статистике Йельского университета.
• Демонстрация Mathematica , показывающая выборочное распределение различных статистических данных по хи-квадрату, например Σ x ², для нормальной популяции.
• Простой алгоритм аппроксимации cdf и обратного cdf для распределения хи-квадрат с помощью карманного калькулятора
• Значения распределения Хи-квадрат