Kolmogorov–Smirnov test

Иллюстрация статистики Колмогорова – Смирнова. Красная линия — это модельный CDF , синяя линия — эмпирический CDF , а черная стрелка — статистика KS.

В статистике тест Колмогорова –Смирнова ( тест КС или тест КС ) — это непараметрический тест равенства непрерывных (или прерывистых, см. раздел 2.2 ) одномерных распределений вероятностей , который можно использовать для проверки того, ли выборка пришла из заданного эталонного распределения вероятностей (одновыборочный критерий K–S) или для проверки того, произошли ли две выборки из одного и того же распределения (двухвыборочный критерий K–S). Интуитивно понятно, что тест предоставляет метод качественного ответа на вопрос: «Насколько вероятно, что мы увидим такую ​​коллекцию образцов, если бы они были взяты из этого распределения вероятностей?» или, во втором случае, «Насколько вероятно, что мы увидим два набора таких выборок, если они были взяты из одного и того же (но неизвестного) распределения вероятностей?».Назван в честь Андрея Колмогорова и Николая Смирнова .

Статистика Колмогорова-Смирнова количественно определяет расстояние между эмпирической функцией распределения выборки и кумулятивной функцией распределения эталонного распределения или между эмпирическими функциями распределения двух выборок. Нулевое распределение этой статистики рассчитывается при нулевой гипотезе о том, что выборка взята из эталонного распределения (в случае с одной выборкой) или что выборки взяты из одного и того же распределения (в случае с двумя выборками). В одновыборочном случае распределение, рассматриваемое в рамках нулевой гипотезы, может быть непрерывным (см. раздел 2 ), чисто дискретным или смешанным (см. раздел 2.2 ). В случае двух выборок (см. раздел 3 ) распределение, рассматриваемое в рамках нулевой гипотезы, является непрерывным, но в остальном не ограничено. Однако испытание с двумя выборками также может быть выполнено в более общих условиях, которые допускают неоднородность, неоднородность и зависимость между выборками.

Двухвыборочный критерий K–S является одним из наиболее полезных и общих непараметрических методов сравнения двух выборок, поскольку он чувствителен к различиям как в расположении, так и в форме эмпирических кумулятивных функций распределения двух выборок.

Критерий Колмогорова-Смирнова можно модифицировать, чтобы он служил критерием согласия . В частном случае проверки нормальности распределения выборки стандартизируются и сравниваются со стандартным нормальным распределением. Это эквивалентно установке среднего значения и дисперсии эталонного распределения, равных выборочным оценкам, и известно, что их использование для определения конкретного эталонного распределения изменяет нулевое распределение тестовой статистики (см. Тест с оценочными параметрами ). Различные исследования показали, что даже в этой скорректированной форме тест менее эффективен для проверки нормальности, чем тест Шапиро-Уилка или тест Андерсона-Дарлинга . Однако эти другие тесты имеют свои недостатки. Например, известно, что критерий Шапиро-Уилка не работает хорошо в образцах со многими одинаковыми значениями.

Одновыборочная статистика Колмогорова – Смирнова

Эмпирическая функция распределения F _n для n независимых и одинаково распределенных (iid) упорядоченных наблюдений X _i определяется как

$F_{n}(x)={\frac {{\text{number of (elements in the sample}}\leq x)}{n}}={\frac {1}{n}}\sum _{i=1}^{n}1_{(-\infty ,x]}(X_{i}),$

где $1_{(-\infty ,x]}(X_{i})$ – индикаторная функция , равная 1, если $X_{i}\leq x$ и равен 0 в противном случае.

Колмогорова – Смирнова Статистика для данной кумулятивной функции распределения F ( x ) равна

$D_{n}=\sup _{x}|F_{n}(x)-F(x)|$

где sup _x — верхняя грань набора расстояний. Интуитивно понятно, что статистика берет наибольшую абсолютную разницу между двумя функциями распределения по всем значениям x .

По теореме Гливенко–Кантелли , если выборка происходит из распределения ( x ) , то Dn _F сходится к 0 почти наверняка в пределе, когда $n$ уходит в бесконечность. Колмогоров усилил этот результат, эффективно обеспечив скорость этой сходимости (см. Распределение Колмогорова ). Теорема Донскера дает еще более сильный результат.

На практике статистика требует относительно большого количества точек данных (по сравнению с другими критериями согласия, такими как статистика теста Андерсона-Дарлинга ), чтобы правильно отвергнуть нулевую гипотезу.

Распределение Колмогорова

распределения Колмогорова Иллюстрация PDF-файла

Распределение Колмогорова — это распределение случайной величины

$K=\sup _{t\in [0,1]}|B(t)|$

где B ( t ) — броуновский мост . Кумулятивная распределения K функция определяется выражением

$\operatorname {Pr} (K\leq x)=1-2\sum _{k=1}^{\infty }(-1)^{k-1}e^{-2k^{2}x^{2}}={\frac {\sqrt {2\pi }}{x}}\sum _{k=1}^{\infty }e^{-(2k-1)^{2}\pi ^{2}/(8x^{2})},$

которая также может быть выражена тэта-функцией Якоби $\vartheta _{01}(z=0;\tau =2ix^{2}/\pi )$. И форма критерия Колмогорова-Смирнова, и ее асимптотическое распределение при нулевой гипотезе были опубликованы Андреем Колмогоровым , а таблицу распределения опубликовал Николай Смирнов . Доступны рекуррентные соотношения для распределения тестовой статистики в конечных выборках.

При нулевой гипотезе, что выборка происходит из гипотетического распределения F ( x ),

${\sqrt {n}}D_{n}{\xrightarrow {n\to \infty }}\sup _{t}|B(F(t))|$

по распределению , где B ( t ) — броуновский мост. Если F непрерывно, то при нулевой гипотезе ${\sqrt {n}}D_{n}$ сходится к распределению Колмогорова, не зависящему от F . Этот результат также известен как теорема Колмогорова.

Точность этого предела как приближение к точному cdf $K$ когда $n$ конечно, не очень впечатляет: даже когда $n=1000$, соответствующая максимальная ошибка составляет около $0.9~\%$; эта ошибка увеличивается до $2.6~\%$ когда $n=100$ и совершенно неприемлемо $7~\%$ когда $n=10$. Однако очень простой способ замены $x$ к

$x+{\frac {1}{6{\sqrt {n}}}}+{\frac {x-1}{4n}}$

в аргументе тета-функции Якоби сводит эти ошибки к $0.003~\%$, $0.027\%$, и $0.27~\%$ соответственно; такая точность обычно считается более чем достаточной для всех практических приложений.

Критерий согласия или критерий Колмогорова – Смирнова можно построить, используя критические значения распределения Колмогорова. Этот тест асимптотически справедлив, когда $n\to \infty .$ Он отвергает нулевую гипотезу на уровне $\alpha$ если

${\sqrt {n}}D_{n}>K_{\alpha },\,$

где K _α находится из

$\operatorname {Pr} (K\leq K_{\alpha })=1-\alpha .\,$

Асимптотическая мощность этого теста равна 1.

Быстрые и точные алгоритмы расчета CDF $\operatorname {Pr} (D_{n}\leq x)$ или его дополнение для произвольного $n$ и $x$, доступны по адресу:

• и для непрерывных нулевых распределений с кодом на C и Java, который можно найти.

• для чисто дискретного, смешанного или непрерывного распределения нулей, реализованного в пакете KSgeneral проекта R по статистическим вычислениям , который для данной выборки также вычисляет статистику теста KS и ее p-значение. Альтернативную реализацию C++ можно получить по адресу.

Тест с расчетными параметрами

Если форма или параметры F ( x ) определяются на основе данных X _i, критические значения, определенные таким образом, являются недействительными. В таких случаях может потребоваться метод Монте-Карло или другие методы, но для некоторых случаев подготовлены таблицы. Подробности о необходимых изменениях в тестовой статистике и критических значениях для нормального и экспоненциального распределения были опубликованы. и более поздние публикации также включают дистрибутив Gumbel . Тест Лиллиефорса представляет собой частный случай нормального распределения. Логарифмическое преобразование может помочь преодолеть случаи, когда данные теста Колмогорова не соответствуют предположению, что они получены из нормального распределения.

При использовании оцениваемых параметров возникает вопрос, какой метод оценки следует использовать. Обычно это метод максимального правдоподобия , но, например, для нормального распределения MLE имеет большую ошибку смещения на сигме. Вместо этого использование подгонки момента или минимизации KS оказывает большое влияние на критические значения, а также некоторое влияние на мощность испытания. Если нам нужно решить для данных Student-T с df = 2 с помощью теста KS, могут ли данные быть нормальными или нет, тогда оценка ML, основанная на H ₀ (данные нормальны, поэтому использование стандартного отклонения для масштаба) даст много большее расстояние KS, чем посадка с минимальным KS. В этом случае нам следует отклонить H ₀ , что часто происходит с MLE, поскольку стандартное отклонение выборки может быть очень большим для данных T-2, но при минимизации KS мы можем получить слишком низкое KS, чтобы отклонить H ₀ . В случае Student-T модифицированный тест KS с оценкой KS вместо MLE действительно делает тест KS немного хуже. Однако в других случаях такой модифицированный тест KS приводит к немного большей мощности теста.

Дискретное и смешанное распределение нулей

В предположении, что $F(x)$ не убывает и непрерывен справа, со счетным (возможно, бесконечным) числом скачков, статистика теста KS может быть выражена как:

$D_{n}=\sup _{x}|F_{n}(x)-F(x)|=\sup _{0\leq t\leq 1}|F_{n}(F^{-1}(t))-F(F^{-1}(t))|.$

Из правонепрерывности $F(x)$, отсюда следует, что $F(F^{-1}(t))\geq t$ и $F^{-1}(F(x))\leq x$ и, следовательно, распределение $D_{n}$ зависит от нулевого распределения $F(x)$, т. е. уже не является свободным от распределения, как в непрерывном случае. Поэтому был разработан быстрый и точный метод расчета точного и асимптотического распределения $D_{n}$ когда $F(x)$ является чисто дискретным или смешанным, реализовано на C++ и в пакете KSgeneral языка Р. ​Функции disc_ks_test(), mixed_ks_test() и cont_ks_test() вычислите также статистику теста KS и значения p для чисто дискретных, смешанных или непрерывных нулевых распределений и произвольных размеров выборки. Тест KS и его p-значения для дискретных нулевых распределений и небольших размеров выборки также рассчитываются в как часть пакета dgof языка R. Основные статистические пакеты, среди которых SAS PROC NPAR1WAY, Был ksmirnov реализовать тест KS в предположении, что $F(x)$ является непрерывным, что является более консервативным, если нулевое распределение на самом деле не является непрерывным (см. ).

Двухвыборочный критерий Колмогорова – Смирнова

Иллюстрация двухвыборочной статистики Колмогорова – Смирнова. Красные и синие линии соответствуют эмпирической функции распределения, а черная стрелка — статистике KS для двух выборок.

Тест Колмогорова-Смирнова также можно использовать для проверки того, различаются ли два основных одномерных распределения вероятностей. В этом случае статистика Колмогорова–Смирнова имеет вид

$D_{n,m}=\sup _{x}|F_{1,n}(x)-F_{2,m}(x)|,$

где $F_{1,n}$ и $F_{2,m}$ – эмпирические функции распределения первой и второй выборки соответственно, $\sup$ является супремум-функцией .

Для больших выборок нулевая гипотеза отвергается на уровне $\alpha$ если

$D_{n,m}>c(\alpha ){\sqrt {\frac {n+m}{n\cdot m}}}.$

Где $n$ и $m$ – размеры первой и второй выборки соответственно. Стоимость $c({\alpha })$ приведены в таблице ниже для наиболее распространенных уровней $\alpha$

$\alpha$	0.20	0.15	0.10	0.05	0.025	0.01	0.005	0.001
$c({\alpha })$	1.073	1.138	1.224	1.358	1.48	1.628	1.731	1.949

и вообще к

$c\left(\alpha \right)={\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1}{2}}}},$

так что условие читается

$D_{n,m}>{\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1+{\tfrac {m}{n}}}{2m}}}}.$

Здесь опять же, чем больше размеры выборки, тем более чувствительна минимальная граница: при заданном соотношении размеров выборки (например, $m=n$), минимальная граница масштабируется в размере любого из образцов в соответствии с его обратным квадратным корнем.

Обратите внимание, что тест с двумя выборками проверяет, происходят ли две выборки данных из одного и того же распределения. Здесь не уточняется, что это за общее распределение (например, нормальное оно или ненормальное). Опять же опубликованы таблицы критических значений. Недостатком одномерного теста Колмогорова-Смирнова является то, что он не очень мощный, поскольку разработан с учетом всех возможных типов различий между двумя функциями распределения. Некоторые утверждают, что тест Куккони , первоначально предложенный для одновременного сравнения местоположения и масштаба, может быть гораздо более мощным, чем тест Колмогорова-Смирнова при сравнении двух функций распределения.

Двухвыборочные тесты КС применялись в экономике для обнаружения асимметричных эффектов и изучения естественных экспериментов.

Установка доверительных пределов для формы функции распределения

Основная статья: неравенство Дворецкого – Кифера – Вольфовица

Хотя тест Колмогорова-Смирнова обычно используется для проверки того, является ли данное F ( x ) основным распределением вероятностей F _n ( x ), процедуру можно инвертировать, чтобы получить доверительные пределы для самого F ( x ). Если выбрать критическое значение тестовой статистики D _α такое, что P( D _n > D _α ) = α , то полоса шириной ± D _α вокруг F _n ( x ) будет полностью содержать F ( x ) с вероятностью 1 − альфа .

Статистика Колмогорова – Смирнова в более чем одном измерении.

Многомерный критерий согласия Колмогорова-Смирнова без распределения был предложен Джастелом , Пенья и Замаром (1997). В тесте используется статистика, построенная с использованием преобразования Розенблатта, и разработан алгоритм для ее вычисления в двумерном случае. Также представлен приблизительный тест, который можно легко вычислить в любом измерении.

Статистику теста Колмогорова-Смирнова необходимо изменить, если аналогичный тест будет применяться к многомерным данным . Это непросто, поскольку максимальная разница между двумя совместными кумулятивными функциями распределения обычно не совпадает с максимальной разницей любой из дополнительных функций распределения. Таким образом, максимальная разница будет различаться в зависимости от того, какой из $\Pr(X<x\land Y<y)$ или $\Pr(X<x\land Y>y)$ или используется любая из двух других возможных схем. Можно было бы потребовать, чтобы результат используемого теста не зависел от того, какой выбор сделан.

Один из подходов к обобщению статистики Колмогорова-Смирнова на более высокие размерности, который отвечает вышеуказанной проблеме, состоит в том, чтобы сравнить CDF двух выборок со всеми возможными порядками и взять наибольшую из набора результирующих статистик KS. В измерениях d есть 2 ^д − 1 такой заказ. Одна из таких вариаций принадлежит Павлину. (см. также Госсет для 3D-версии)и еще один Фазано и Франческини. (см. Lopes et al. для сравнения и подробностей вычислений). Критические значения тестовой статистики могут быть получены путем моделирования, но они зависят от структуры зависимости в совместном распределении.

В одном измерении статистика Колмогорова-Смирнова идентична так называемому звездному расхождению D, поэтому другим естественным расширением KS для более высоких измерений было бы просто использовать D также и для более высоких измерений. К сожалению, звездное несоответствие трудно вычислить в больших размерностях.

В 2021 году была предложена функциональная форма многомерной статистики теста KS, которая упростила задачу оценки хвостовых вероятностей многомерной статистики теста KS, необходимой для статистического теста. Для многомерного случая, если F _i — i-й непрерывный маргинал распределения вероятностей с k переменными, то

${\sqrt {n}}D_{n}\xrightarrow {n\to \infty } \max _{1\leq i\leq k}\sup _{t}|B(F_{i}(t))|$

поэтому предельное распределение не зависит от предельных распределений.

Реализации

Тест Колмогорова-Смирнова реализован во многих программах. Большинство из них реализуют как одновыборочный, так и двухвыборочный тест.

• В Mathematica есть KolmogorovSmirnovTest .
• MATLAB В наборе инструментов статистики есть kstest и kstest2 для одновыборочных и двухвыборочных тестов Колмогорова-Смирнова соответственно.
• Пакет R «KSgeneral» вычисляет статистику теста KS и ее значения p при произвольном, возможно, дискретном, смешанном или непрерывном нулевом распределении.
• R Базовый пакет статистики реализует тест как ks.test {stats} в своем пакете stats.
• SAS реализует тест в своей процедуре PROC NPAR1WAY.
• В Python пакет SciPy . реализует тест в функции scipy.stats.kstest
• SYSTAT (SPSS Inc., Чикаго, Иллинойс)
• В Java есть реализация этого теста, предоставленная Apache Commons .
• В KNIME есть узел, реализующий этот тест на основе приведенной выше реализации Java.
• У Джулии есть пакет HypothesisTests.jl с функцией ExactOneSampleKSTest(x::AbstractVector{<:Real}, d::UnivariateDistribution).
• StatsDirect (StatsDirect Ltd, Манчестер, Великобритания) реализует все распространенные варианты .
• Stata (Stata Corporation, Колледж-Стейшн, Техас) реализует тест в команде ksmirnov (тест Колмогорова-Смирнова на равенство распределений).
• ПСПП реализует тест в режиме КОЛМОГОРОВ-СМИРНОВ (или с помощью функции ярлыка КС).
• Пакет ресурсов реальной статистики для Excel запускает тест как KSCRIT и KSPROB.

См. также

• тест Лепажа
• Тест Куккони
• тест Койпера
• Тест Шапиро-Уилка
• Тест Андерсона-Дарлинга
• Тест Крамера-фон Мизеса
• Метрика Вассерштейна

Дальнейшее чтение

• Дэниел, Уэйн В. (1990). «Одновыборочный тест Колмогорова–Смирнова ». Прикладная непараметрическая статистика (2-е изд.). Бостон: PWS-Кент. стр. 100-1 319–330. ISBN  978-0-534-91976-4 .
• Иди, WT; Д. Дриджард; Ф.Е. Джеймс; М. Роос; Б. Садулет (1971). Статистические методы в экспериментальной физике . Амстердам: Северная Голландия. стр. 269–271. ISBN  978-0-444-10117-4 .
• Стюарт, Алан; Орд, Кейт; Арнольд, Стивен [Ф.] (1999). Классический вывод и линейная модель . Продвинутая теория статистики Кендалла. Том. 2А (Шестое изд.). Лондон: Арнольд. стр. 25.37–25.43. ISBN  978-0-340-66230-4 . МР   1687411 .
• Кордер, ГВ; Форман, Д.И. (2014). Непараметрическая статистика: пошаговый подход . Уайли. ISBN  978-1-118-84031-3 .
• Стивенс, Массачусетс (1979). «Тест соответствия логистическому распределению на основе эмпирической функции распределения». Биометрика . 66 (3): 591–595. дои : 10.1093/biomet/66.3.591 .

Внешние ссылки

• «Тест Колмогорова–Смирнова» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Краткое введение
• Объяснение теста KS
• JavaScript-реализация одно- и двусторонних тестов
• Онлайн калькулятор с тестом КС
• Код C++ с открытым исходным кодом для вычисления распределения Колмогорова и выполнения теста KS.
• Статья об оценке распределения Колмогорова ; содержит реализацию C. Этот метод используется в Matlab .
• Статья о вычислении двустороннего распределения Колмогорова – Смирнова ; вычисление cdf статистики KS на C или Java.
• Paper powerlaw: пакет Python для анализа распределений с тяжелым хвостом ; Джефф Олстотт, Эд Буллмор, Дитмар Пленц. Помимо прочего, он также выполняет тест Колмогорова-Смирнова. Исходный код и установщики пакета powerlaw доступны на PyPi .