Тест на нормальность

В статистике лежащая в основе набора данных , тесты на нормальность используются для определения того, хорошо ли набор данных смоделирован нормальным распределением , и для расчета вероятности того, что случайная величина, будет нормально распределена.

Точнее, тесты представляют собой форму выбора модели и могут интерпретироваться несколькими способами, в зависимости от интерпретации вероятности :

В терминах описательной статистики измеряется степень соответствия нормальной модели данным – если соответствие плохое, то данные плохо моделируются в этом отношении с помощью нормального распределения, без вынесения суждения о какой-либо базовой переменной.
При частотной статистики проверке статистических гипотез данные проверяются на соответствие нулевой гипотезе , согласно которой они нормально распределяются.
В байесовской статистике никто не «проверяет нормальность» как таковую, а скорее вычисляет вероятность того, что данные происходят из нормального распределения с заданными параметрами μ , σ (для всех μ , σ ), и сравнивает это с вероятностью того, что данные берутся из других рассматриваемых распределений, проще всего использовать фактор Байеса (определяющий относительную вероятность увидеть данные с учетом разных моделей) или, более точно, взяв априорное распределение возможных моделей и параметров и вычислив апостериорное распределение с учетом вычисленных вероятностей.

Тест на нормальность используется для определения того, были ли выборочные данные взяты из нормально распределенной совокупности (в пределах некоторого допуска). Ряд статистических тестов, таких как t-критерий Стьюдента и односторонний и двусторонний дисперсионный анализ, требуют нормально распределенной выборочной совокупности.

Графические методы

Неофициальный подход к проверке нормальности состоит в сравнении гистограммы выборочных данных с нормальной кривой вероятности. Эмпирическое распределение данных (гистограмма) должно иметь колоколообразную форму и напоминать нормальное распределение. Это может быть трудно увидеть, если выборка мала. В этом случае можно было бы приступить к регрессии данных по квантилям нормального распределения с тем же средним значением и дисперсией, что и выборка. Отсутствие соответствия линии регрессии предполагает отклонение от нормальности (см. коэффициент Андерсона-Дарлинга и минитаб).

Графическим инструментом для оценки нормальности является график нормальной вероятности , график квантиль-квантиль (график QQ) стандартизированных данных в сравнении со стандартным нормальным распределением . Здесь корреляция между данными выборки и нормальными квантилями (показатель степени соответствия) показывает, насколько хорошо данные моделируются нормальным распределением. Для нормальных данных точки на графике QQ должны располагаться примерно на прямой линии, что указывает на высокую положительную корреляцию. Эти графики легко интерпретировать, а также имеют то преимущество, что выбросы легко выявляются.

Тест на обратную сторону конверта

Простой тест на обратной стороне конверта берет максимум и минимум выборки и вычисляет их z-показатель или, точнее, t-статистику. (количество стандартных отклонений выборки, при которых выборка выше или ниже среднего значения выборки), и сравнивает ее с правилом 68–95–99,7 :если имеется событие 3 σ (точнее, событие 3 с ) и существенно меньше 300 выборок или событие 4 с и значительно меньше 15 000 выборок, то нормальное распределение будет занижать максимальную величину отклонений в данных выборки.

Этот тест полезен в случаях, когда кто-то сталкивается с риском эксцесса - когда имеют значение большие отклонения - и имеет преимущества, заключающиеся в том, что его очень легко вычислять и передавать: нестатистики могут легко понять, что «события 6 σ очень редки в нормальном распределении». .

Частотные тесты

Критерии одномерной нормальности включают следующее:

Критерий К-квадрата Д'Агостино ,
тест Жарка-Бера ,
тест Андерсона-Дарлинга ,
критерий Крамера–фон Мизеса ,
Критерий Колмогорова-Смирнова (он работает только в том случае, если среднее значение и дисперсия нормального предполагаются известными в соответствии с нулевой гипотезой),
Критерий Лиллиефорса (на основе критерия Колмогорова-Смирнова, с поправкой на оценку среднего значения и дисперсии на основе данных),
тест Шапиро-Уилка и
Критерий хи-квадрат Пирсона .

Исследование 2011 года пришло к выводу, что Шапиро-Уилк имеет лучшую мощность для заданной значимости, за ним следует Андерсон-Дарлинг при сравнении тестов Шапиро-Уилка, Колмогорова-Смирнова, Лиллиефорса и Андерсона-Дарлинга. ^[1]

В некоторых опубликованных работах рекомендуется использовать тест Жарка-Бера. ^[2]^[3] но у теста есть слабость. В частности, тест имеет низкую мощность для распределений с короткими хвостами, особенно для бимодальных распределений. ^[4] Некоторые авторы отказались включать его результаты в свои исследования из-за его плохой общей эффективности. ^[5]

Исторически третий и четвертый стандартизированные моменты ( асимметрия и эксцесс ) были одними из самых ранних тестов на нормальность. Тест Лина-Мудхолкара специально нацелен на асимметричные альтернативы. ^[6] Критерий Жара-Бера сам по себе основан на оценках асимметрии и эксцесса . Многомерные критерии асимметрии и эксцесса Мардиа обобщают тесты моментов на многомерный случай. ^[7] Другие статистические данные ранних испытаний включают отношение среднего абсолютного отклонения к стандартному отклонению и диапазона к стандартному отклонению. ^[8]

Более поздние тесты на нормальность включают энергетический тест. ^[9] (Секели и Риццо) и тесты, основанные на эмпирической характеристической функции (ECF) (например, Эппс и Пулли, ^[10] Хенце-Цирклер, ^[11] тест ПТВЭ ^[12]). Тесты энергии и ECF являются мощными тестами, которые применяются для проверки одномерной или многомерной нормальности и статистически согласуются с общими альтернативами.

Нормальное распределение имеет самую высокую энтропию среди всех распределений для данного стандартного отклонения. Существует ряд тестов на нормальность, основанных на этом свойстве, первый из которых принадлежит Васичеку. ^[13]

Байесовские тесты

Расхождения Кульбака-Лейблера между всеми апостериорными распределениями наклона и дисперсии не указывают на ненормальность. Однако соотношение ожиданий этих апостериорных показателей и ожидание отношений дают результаты, аналогичные статистике Шапиро-Уилка, за исключением очень маленьких выборок, когда используются неинформативные априорные данные. ^[14]

Шпигельхальтер предлагает использовать фактор Байеса для сравнения нормальности с другим классом альтернатив распределения. ^[15] Этот подход был расширен Фарреллом и Роджерсом-Стюартом. ^[16]

Приложения

Одним из применений тестов на нормальность являются остатки модели линейной регрессии . ^[17] Если они не имеют нормального распределения, остатки не следует использовать в Z-тестах или в любых других тестах, полученных из нормального распределения, таких как t-тесты , F-тесты и тесты хи-квадрат . Если остатки не распределены нормально, то зависимая переменная или хотя бы одна объясняющая переменная может иметь неправильную функциональную форму, или важные переменные могут отсутствовать и т. д. Исправление одной или нескольких из этих систематических ошибок может привести к получению остатков, которые имеют нормальное распределение; другими словами, ненормальность остатков часто является недостатком модели, а не проблемой данных. ^[18]

См. также

Примечания

^ Разали, Норнадия; Вау, Яп Би (2011). «Сравнение мощности тестов Шапиро-Уилка, Колмогорова-Смирнова, Лиллифорса и Андерсона-Дарлинга» (PDF) . Журнал статистического моделирования и аналитики . 2 (1): 21–33. Архивировано из оригинала (PDF) 30 июня 2015 г.
^ Судья Джордж Г.; Гриффитс, МЫ; Хилл, Р. Картер; Люткеполь, Хельмут ; Ли, Т. (1988). Введение в теорию и практику эконометрики (второе изд.). Уайли. стр. 890–892. ISBN 978-0-471-08277-4 .
^ Гуджарати, Дамодар Н. (2002). Основная эконометрика (Четвертое изд.). МакГроу Хилл. стр. 147–148. ISBN 978-0-07-123017-9 .
^ Тадевальд, Торстен; Бюнинг, Герберт (1 января 2007 г.). «Тест Жара-Бера и его конкуренты для проверки нормальности - сравнение мощности». Журнал прикладной статистики . 34 (1): 87–105. CiteSeerX 10.1.1.507.1186 . дои : 10.1080/02664760600994539 . S2CID 13866566 .
^ Сюрюджю, Барыш (1 сентября 2008 г.). «Сравнение мощности и моделирование тестов согласия» . Компьютеры и математика с приложениями . 56 (6): 1617–1625. дои : 10.1016/j.camwa.2008.03.010 .
^ Лин, CC; Мудхолкар, GS (1980). «Простой тест на нормальность против асимметричных альтернатив». Биометрика . 67 (2): 455–461. дои : 10.1093/biomet/67.2.455 .
^ Мардия, КВ (1970). Меры многомерной асимметрии и эксцесса с приложениями. Биометрика 57, 519–530.
^ Филлибен, Джей-Джей (февраль 1975 г.). «Тестирование коэффициента корреляции вероятностного графика на нормальность». Технометрика . 17 (1): 111–117. дои : 10.2307/1268008 . JSTOR 1268008 .
^ Секели, Г.Дж. и Риццо, М.Л. (2005) Новый тест на многомерную нормальность, Журнал многомерного анализа 93, 58–80.
^ Эппс, Т.В., и Шкив, Л.Б. (1983). Тест на нормальность, основанный на эмпирической характеристической функции. Биометрика 70, 723–726.
^ Хенце Н. и Цирклер Б. (1990). Класс инвариантных и непротиворечивых тестов многомерной нормальности. Коммуникации в статистике – теория и методы 19, 3595–3617.
^ Хенце Н. и Вагнер Т. (1997). Новый подход к тестам BHEP на многомерную нормальность. Журнал многомерного анализа 62, 1–23.
^ Васичек, Олдрич (1976). «Тест на нормальность, основанный на энтропии выборки». Журнал Королевского статистического общества . Серия Б (Методическая). 38 (1): 54–59. JSTOR 2984828 .
^ Young KDS (1993), «Байесовская диагностика для проверки предположений о нормальности». Журнал статистических вычислений и моделирования , 47 (3–4), 167–180.
^ Шпигельхальтер, ди-джей (1980). Комплексный тест на нормальность для небольших выборок. Биометрика, 67, 493–496. два : 10.1093/biomet/67.2.493
^ Фаррелл, П.Дж., Роджерс-Стюарт, К. (2006) «Комплексное исследование тестов на нормальность и симметрию: расширение теста Шпигельхальтера». Журнал статистических вычислений и моделирования , 76 (9), 803–816. дои : 10.1080/10629360500109023
^ Портни, Л.Г. и Уоткинс, член парламента (2000). Основы клинических исследований: приложения к практике . Нью-Джерси: Здоровье Прентис Холл. стр. 516–517. ISBN 0838526950 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Пек, Джолинн; Вонг, Октавия; Вонг, Августин CM (06 ноября 2018 г.). «Как бороться с ненормальностью: таксономия подходов, рассмотренная и проиллюстрированная» . Границы в психологии . 9 : 2104. doi : 10.3389/fpsyg.2018.02104 . ISSN 1664-1078 . ПМК 6232275 . ПМИД 30459683 .

Дальнейшее чтение

Ральф Б. Д'Агостино (1986). «Тесты нормального распределения». В Д'Агостино, РБ; Стивенс, Массачусетс (ред.). Методы согласия . Нью-Йорк: Марсель Деккер. ISBN 978-0-8247-7487-5 .

Генри С. Тоуд-младший (2002). Проверка на нормальность . Нью-Йорк: Marcel Dekker, Inc., стр. 479 . ISBN 978-0-8247-9613-6 .

[1] Разали, Норнадия; Вау, Яп Би (2011). «Сравнение мощности тестов Шапиро-Уилка, Колмогорова-Смирнова, Лиллифорса и Андерсона-Дарлинга» (PDF) . Журнал статистического моделирования и аналитики . 2 (1): 21–33. Архивировано из оригинала (PDF) 30 июня 2015 г.

[2] Судья Джордж Г.; Гриффитс, МЫ; Хилл, Р. Картер; Люткеполь, Хельмут ; Ли, Т. (1988). Введение в теорию и практику эконометрики (второе изд.). Уайли. стр. 890–892. ISBN 978-0-471-08277-4 .

[3] Гуджарати, Дамодар Н. (2002). Основная эконометрика (Четвертое изд.). МакГроу Хилл. стр. 147–148. ISBN 978-0-07-123017-9 .

[4] Тадевальд, Торстен; Бюнинг, Герберт (1 января 2007 г.). «Тест Жара-Бера и его конкуренты для проверки нормальности - сравнение мощности». Журнал прикладной статистики . 34 (1): 87–105. CiteSeerX 10.1.1.507.1186 . дои : 10.1080/02664760600994539 . S2CID 13866566 .

[5] Сюрюджю, Барыш (1 сентября 2008 г.). «Сравнение мощности и моделирование тестов согласия» . Компьютеры и математика с приложениями . 56 (6): 1617–1625. дои : 10.1016/j.camwa.2008.03.010 .

[6] Лин, CC; Мудхолкар, GS (1980). «Простой тест на нормальность против асимметричных альтернатив». Биометрика . 67 (2): 455–461. дои : 10.1093/biomet/67.2.455 .

[7] Мардия, КВ (1970). Меры многомерной асимметрии и эксцесса с приложениями. Биометрика 57, 519–530.

[8] Филлибен, Джей-Джей (февраль 1975 г.). «Тестирование коэффициента корреляции вероятностного графика на нормальность». Технометрика . 17 (1): 111–117. дои : 10.2307/1268008 . JSTOR 1268008 .

[9] Секели, Г.Дж. и Риццо, М.Л. (2005) Новый тест на многомерную нормальность, Журнал многомерного анализа 93, 58–80.

[10] Эппс, Т.В., и Шкив, Л.Б. (1983). Тест на нормальность, основанный на эмпирической характеристической функции. Биометрика 70, 723–726.

[11] Хенце Н. и Цирклер Б. (1990). Класс инвариантных и непротиворечивых тестов многомерной нормальности. Коммуникации в статистике – теория и методы 19, 3595–3617.

[12] Хенце Н. и Вагнер Т. (1997). Новый подход к тестам BHEP на многомерную нормальность. Журнал многомерного анализа 62, 1–23.

[13] Васичек, Олдрич (1976). «Тест на нормальность, основанный на энтропии выборки». Журнал Королевского статистического общества . Серия Б (Методическая). 38 (1): 54–59. JSTOR 2984828 .

[14] Young KDS (1993), «Байесовская диагностика для проверки предположений о нормальности». Журнал статистических вычислений и моделирования , 47 (3–4), 167–180.

[15] Шпигельхальтер, ди-джей (1980). Комплексный тест на нормальность для небольших выборок. Биометрика, 67, 493–496. два : 10.1093/biomet/67.2.493

[16] Фаррелл, П.Дж., Роджерс-Стюарт, К. (2006) «Комплексное исследование тестов на нормальность и симметрию: расширение теста Шпигельхальтера». Журнал статистических вычислений и моделирования , 76 (9), 803–816. дои : 10.1080/10629360500109023

[17] Портни, Л.Г. и Уоткинс, член парламента (2000). Основы клинических исследований: приложения к практике . Нью-Джерси: Здоровье Прентис Холл. стр. 516–517. ISBN 0838526950 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[18] Пек, Джолинн; Вонг, Октавия; Вонг, Августин CM (06 ноября 2018 г.). «Как бороться с ненормальностью: таксономия подходов, рассмотренная и проиллюстрированная» . Границы в психологии . 9 : 2104. doi : 10.3389/fpsyg.2018.02104 . ISSN 1664-1078 . ПМК 6232275 . ПМИД 30459683 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]