G -тест

В статистике ранее G -тесты представляют собой отношения правдоподобия или максимального правдоподобия тесты статистической значимости , которые все чаще используются в ситуациях, когда тесты хи-квадрат . рекомендовались

Формулировка

Общая формула для G :

$G=2\sum _{i}{O_{i}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)},$

где ${\textstyle O_{i}\geq 0}$ наблюдаемое количество в ячейке, ${\textstyle E_{i}>0}$ ожидаемое количество при нулевой гипотезе , ${\textstyle \ln }$ обозначает натуральный логарифм , а сумма берется по всем непустым ячейкам. В результате ${\textstyle G}$ распределено по принципу хи-квадрат .

Кроме того, общее наблюдаемое количество должно быть равно общему ожидаемому количеству:

$$\sum _{i}O_{i}=\sum _{i}E_{i}=N$$

где ${\textstyle N}$ общее количество наблюдений.

Вывод

Мы можем получить значение G -теста из теста логарифмического отношения правдоподобия , где базовой моделью является полиномиальная модель.

Предположим, у нас есть образец ${\textstyle x=(x_{1},\ldots ,x_{m})}$ где каждый ${\textstyle x_{i}}$ сколько раз объект типа ${\textstyle i}$ наблюдалось. Кроме того, пусть ${\textstyle n=\sum _{i=1}^{m}x_{i}}$ быть общее количество наблюдаемых объектов. Если мы предположим, что базовая модель является полиномиальной, то тестовая статистика определяется формулой

$$\ln \left({\frac {L({\tilde {\theta }}|x)}{L({\hat {\theta }}|x)}}\right)=\ln \left({\frac {\prod _{i=1}^{m}{\tilde {\theta }}_{i}^{x_{i}}}{\prod _{i=1}^{m}{\hat {\theta }}_{i}^{x_{i}}}}\right)$$

где ${\textstyle {\tilde {\theta }}}$ является нулевой гипотезой и ${\hat {\theta }}$ — это оценка максимального правдоподобия (MLE) параметров с учетом данных. Напомним, что для полиномиальной модели MLE ${\textstyle {\hat {\theta }}_{i}}$ учитывая некоторые данные, определяется

$${\hat {\theta }}_{i}={\frac {x_{i}}{n}}$$

Кроме того, мы можем представить каждый параметр нулевой гипотезы ${\tilde {\theta }}_{i}$ как

$${\tilde {\theta }}_{i}={\frac {e_{i}}{n}}$$

Таким образом, подставив представления ${\textstyle {\tilde {\theta }}}$ и ${\textstyle {\hat {\theta }}}$ в логарифмическом отношении правдоподобия уравнение упрощается до

$${\begin{aligned}\ln \left({\frac {L({\tilde {\theta }}|x)}{L({\hat {\theta }}|x)}}\right)&=\ln \prod _{i=1}^{m}\left({\frac {e_{i}}{x_{i}}}\right)^{x_{i}}\\&=\sum _{i=1}^{m}x_{i}\ln \left({\frac {e_{i}}{x_{i}}}\right)\\\end{aligned}}$$

Переименуйте переменные ${\textstyle e_{i}}$ с ${\textstyle E_{i}}$ и ${\textstyle x_{i}}$ с ${\textstyle O_{i}}$. Наконец, умножьте на коэффициент ${\textstyle -2}$ (используется, чтобы сделать формулу G-теста асимптотически эквивалентной формуле теста хи-квадрат Пирсона ) для достижения формы

${\begin{alignedat}{2}G&=&\;-2\sum _{i=1}^{m}O_{i}\ln \left({\frac {E_{i}}{O_{i}}}\right)\\&=&2\sum _{i=1}^{m}O_{i}\ln \left({\frac {O_{i}}{E_{i}}}\right)\end{alignedat}}$

Эвристически можно представить $~O_{i}~$ как непрерывный и стремящийся к нулю, и в этом случае $~O_{i}\ln O_{i}\to 0~,$ а члены с нулевыми наблюдениями можно просто отбросить. Однако ожидаемое количество в каждой ячейке должно быть строго больше нуля для каждой ячейки ( $~E_{i}>0~\forall \,i~$), чтобы применить метод.

Распространение и использование

Учитывая нулевую гипотезу о том, что наблюдаемые частоты являются результатом случайной выборки из распределения с заданными ожидаемыми частотами, распределение G распределение примерно представляет собой хи-квадрат с тем же количеством степеней свободы , что и в соответствующем тесте хи-квадрат.

Для очень маленьких выборок полиномиальный критерий согласия и точный критерий Фишера для таблиц сопряженности или даже выбор байесовской гипотезы предпочтительнее G -критерия. Макдональд рекомендует всегда использовать точный критерий (точный критерий согласия, точный критерий Фишера ), если общий размер выборки меньше 1000.

В размере выборки в 1000 нет ничего волшебного, это просто красивое круглое число, находящееся в пределах диапазона, в котором точный критерий, критерий хи-квадрат и G -критерий дадут почти одинаковые p значения . Электронные таблицы, калькуляторы веб-страниц и SAS без труда проведут точный тест на выборке размером 1000 человек.

— Джон Х. Макдональд

G -тесты рекомендуются, по крайней мере, начиная с издания 1981 года «Биометрии» , учебника по статистике Роберта Р. Сокала и Ф. Джеймса Рольфа .

Связь с другими показателями

Связь с тестом хи-квадрат

Обычно используемые тесты хи-квадрат для проверки соответствия распределению и независимости в таблицах непредвиденных обстоятельств на самом деле являются аппроксимацией логарифмического отношения правдоподобия , на котором G -тесты. основаны

Общая формула статистики критерия хи-квадрат Пирсона:

$\chi ^{2}=\sum _{i}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}~.$

Аппроксимация G хи-квадратом получается путем разложения Тейлора второго порядка натурального логарифма вокруг 1 (см. #Вывод (хи-квадрат) ниже).У нас есть $G\approx \chi ^{2}$ когда наблюдаемое имеет значение $~O_{i}~$ близки к ожидаемым значениям $~E_{i}~.$ Однако когда эта разница велика, $~\chi ^{2}~$ приближение начинает разрушаться. Здесь влияние выбросов в данных будет более выраженным, и это объясняет, почему $~\chi ^{2}~$ тесты терпят неудачу в ситуациях с небольшим количеством данных.

Для выборок разумного размера G -тест и критерий хи-квадрат приведут к одним и тем же выводам. Однако приближение к теоретическому распределению хи-квадрат для G -теста лучше, чем для критерия хи-квадрат Пирсона . В случаях, когда $~O_{i}>2\cdot E_{i}~$ для некоторых случаев ячейки G -тест всегда лучше, чем тест хи-квадрат.

Для проверки согласия G -критерий бесконечно более эффективен, чем критерий хи-квадрат в смысле Бахадура, но оба теста одинаково эффективны в смысле Питмана или в смысле Ходжеса и Лемана.

Вывод (хи-квадрат)

Учитывать

$G=2\sum _{i}{O_{i}\ln \left({\frac {O_{i}}{E_{i}}}\right)}~,$

и пусть $O_{i}=E_{i}+\delta _{i}$ с $\sum _{i}\delta _{i}=0~,$ так что общее количество отсчетов остается прежним. После замены находим

$G=2\sum _{i}{(E_{i}+\delta _{i})\ln \left(1+{\frac {\delta _{i}}{E_{i}}}\right)}~.$

Расширение Тейлора вокруг $1+{\frac {\delta _{i}}{E_{i}}}$ может быть выполнено с помощью $\ln(1+x)=x-{\frac {1}{2}}x^{2}+{\mathcal {O}}(x^{3})$. Результат

$G=2\sum _{i}(E_{i}+\delta _{i})\left({\frac {\delta _{i}}{E_{i}}}-{\frac {1}{2}}{\frac {\delta _{i}^{2}}{E_{i}^{2}}}+{\mathcal {O}}\left(\delta _{i}^{3}\right)\right)~,$ и условия распространения, которые мы находим,

$G=2\sum _{i}\delta _{i}+{\frac {1}{2}}{\frac {\delta _{i}^{2}}{E_{i}}}+{\mathcal {O}}\left(\delta _{i}^{3}\right)~.$

Теперь, используя тот факт, что $~\sum _{i}\delta _{i}=0~$ и $~\delta _{i}=O_{i}-E_{i}~,$ мы можем написать результат,

$~G\approx \sum _{i}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}~.$

с расхождением Кульбака

Статистика G -теста пропорциональна отличию Кульбака-Лейблера теоретического распределения от эмпирического распределения:

${\begin{aligned}G&=2\sum _{i}{O_{i}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)}=2N\sum _{i}{o_{i}\cdot \ln \left({\frac {o_{i}}{e_{i}}}\right)}\\&=2N\,D_{\mathrm {KL} }(o\|e),\end{aligned}}$

где N — общее количество наблюдений и $o_{i}$ и $e_{i}$ – эмпирическая и теоретическая частоты соответственно.

к

Для анализа таблиц сопряженности значение G также можно выразить через взаимную информацию .

Позволять

$N=\sum _{ij}{O_{ij}}\;$ , $\;\pi _{ij}={\frac {O_{ij}}{N}}\;$ , $\;\pi _{i.}={\frac {\sum _{j}O_{ij}}{N}}\;$, и $\;\pi _{.j}={\frac {\sum _{i}O_{ij}}{N}}\;$.

Тогда G можно выразить в нескольких альтернативных формах:

$G=2\cdot N\cdot \sum _{ij}{\pi _{ij}\left(\ln(\pi _{ij})-\ln(\pi _{i.})-\ln(\pi _{.j})\right)},$

$G=2\cdot N\cdot \left[H(r)+H(c)-H(r,c)\right],$

$G=2\cdot N\cdot \operatorname {MI} (r,c)\,,$

где энтропия дискретной случайной величины $X\,$ определяется как

$H(X)=-{\sum _{x\in {\text{Supp}}(X)}p(x)\log p(x)}\,,$

и где

$\operatorname {MI} (r,c)=H(r)+H(c)-H(r,c)\,$

- взаимная информация между вектором-строкой r и вектором-столбцом c таблицы сопряженности.

Это также можно показать что обратное взвешивание частоты документов, обычно используемое для поиска текста, является аппроксимацией G, применимой, когда сумма строк для запроса намного меньше, чем сумма строк для остальной части корпуса. Аналогичным образом, результат байесовского вывода, примененный к выбору одного полиномиального распределения для всех строк таблицы сопряженности вместе взятых, по сравнению с более общей альтернативой отдельного многочлена для каждой строки, дает результаты, очень похожие на G. статистику

Приложение

• Тест Макдональда-Крейтмана в статистической генетике представляет собой применение G -теста.
• Даннинг представил тест сообществу компьютерной лингвистики , где он сейчас широко используется.
• Программа R-scape (используемая Rfam ) использует G-тест для обнаружения ковариаций между положениями выравнивания последовательностей РНК.

Статистическое программное обеспечение

• Быстрые реализации в R можно найти в пакетах AMR и Rfast . Для пакета AMR команда g.test который работает точно так же, как chisq.test из базы RR также есть функция правдоподобия.test. Архивировано 16 декабря 2013 г. в функции Wayback Machine в Deducer. Архивировано 9 марта 2012 г. в пакете Wayback Machine . Примечание. -тест Фишера G в пакете GeneCycle языка программирования R ( fisher.g.test) реализует не G -тест, как описано в этой статье, а скорее точный тест Фишера гауссовского белого шума во временном ряду.
• Другая реализация R для вычисления статистики G и соответствующих значений p предоставляется пакетом R entropy . Команды Gstat для стандартной статистики G и связанного с ней значения p и Gstatindep для статистики G, применяемой для сравнения совместного распределения и распределения продуктов для проверки независимости.
• В SAS можно провести G -тест, применив /chisq вариант после proc freq.
• В Stata можно провести G -тест, применив lr вариант после tabulate команда.
• В Java используйте org.apache.commons.math3.stat.inference.GTest.
• В Python используйте scipy.stats.power_divergence с lambda_=0.

Внешние ссылки

• Г ² /Калькулятор логарифмического правдоподобия