Тест на перестановку

Тест на перестановку (также называемый тестом повторной рандомизации или тестом перестановки) — это точный статистический тест гипотез, в котором используется доказательство от противного .Тест на перестановку включает в себя две или более выборки. Нулевая гипотеза состоит в том, что все выборки происходят из одного и того же распределения. $H_{0}:F=G$. В соответствии с нулевой гипотезой распределение тестовой статистики получается путем расчета всех возможных значений тестовой статистики при возможных перестановках наблюдаемых данных. Таким образом, тесты на перестановку являются формой повторной выборки .

Тесты на перестановки можно понимать как тестирование суррогатных данных , при котором суррогатные данные в соответствии с нулевой гипотезой получаются путем перестановок исходных данных.

Другими словами, метод, с помощью которого лечение распределяется между субъектами в экспериментальном плане, отражается в анализе этого плана. Если метки взаимозаменяемы при нулевой гипотезе, то полученные тесты дают точные уровни значимости; см. также возможность замены . Затем на основе тестов можно получить доверительные интервалы. Эта теория возникла на основе работ Рональда Фишера и Э. Дж. Питмана 1930-х годов.

Перестановочные тесты не следует путать со рандомизированными тестами .

Метод

Анимация теста перестановки, вычисляемого на наборах из 4 и 5 случайных значений. 4 значения красного цвета взяты из одного распределения, а 5 значений синего цвета — из другого; мы хотели бы проверить, различны ли средние значения двух распределений. Гипотеза состоит в том, что среднее значение первого распределения выше среднего значения второго; нулевая гипотеза состоит в том, что обе группы выборок взяты из одного и того же распределения. Существует 126 различных способов поместить 4 значения в одну группу и 5 в другую (9-выберите-4 или 9-выберите-5). Из них один соответствует исходной маркировке, а остальные 125 представляют собой «перестановки», которые генерируют гистограмму средних разностей. ${\hat {\mu }}_{1}-{\hat {\mu }}_{2}$ показано. Значение p гипотезы оценивается как доля перестановок, которые дают разницу, большую или большую, чем разница средних значений исходных выборок. В этом примере нулевую гипотезу нельзя отвергнуть на уровне p = 5% .

Чтобы проиллюстрировать основную идею теста перестановки, предположим, что мы собираем случайные величины $X_{A}$ и $X_{B}$ для каждой особи из двух групп $A$ и $B$ чьи выборочные средние значения ${\bar {x}}_{A}$ и ${\bar {x}}_{B}$, и что мы хотим знать, $X_{A}$ и $X_{B}$ происходят из того же дистрибутива. Позволять $n_{A}$ и $n_{B}$ быть размером выборки, собранной из каждой группы. Тест на перестановку предназначен для определения того, достаточно ли велика наблюдаемая разница между выборочными средними, чтобы на некотором уровне значимости отвергнуть нулевую гипотезу H. $_{0}$ что данные, взятые из $A$ взяты из того же распределения, что и данные, полученные из $B$.

Тест проходит следующим образом. Сначала рассчитывается разница средних между двумя выборками: это наблюдаемое значение тестовой статистики, $T_{\text{obs}}$.

Далее наблюдения групп $A$ и $B$ объединяются, а разница в выборочных средних рассчитывается и регистрируется для каждого возможного способа разделения объединенных значений на две группы по размеру. $n_{A}$ и $n_{B}$ (т.е. для каждой перестановки групповых меток A и B). Набор этих рассчитанных различий представляет собой точное распределение возможных различий (для этой выборки) при нулевой гипотезе о том, что групповые метки взаимозаменяемы (т. е. назначаются случайным образом).

Одностороннее значение p теста рассчитывается как доля выборочных перестановок, в которых разница в средних значениях превышала $T_{\text{obs}}$. Двустороннее значение p теста рассчитывается как доля выборочных перестановок, в которых абсолютная разница была больше, чем $|T_{\text{obs}}|$.Многие реализации тестов перестановок требуют, чтобы сами наблюдаемые данные учитывались как одна из перестановок, чтобы p-значение перестановки никогда не было равно нулю.

В качестве альтернативы, если единственная цель теста — отвергнуть или не отвергнуть нулевую гипотезу, можно отсортировать записанные различия, а затем наблюдать, если $T_{\text{obs}}$ содержится в середине $(1-\alpha )\times 100$% из них, для некоторого уровня значимости $\alpha$. Если это не так, мы отвергаем гипотезу об идентичных кривых вероятности на $\alpha \times 100\%$ уровень значимости.

Для парных выборок необходимо применить тест парной перестановки.

с

Тесты на перестановку — это подмножество непараметрической статистики . Предполагая, что наши экспериментальные данные получены на основе данных, измеренных в двух группах лечения, метод просто генерирует распределение средних различий в предположении, что две группы не различаются с точки зрения измеряемой переменной. Исходя из этого, затем используется наблюдаемая статистика ( $T_{\text{obs}}$ выше), чтобы увидеть, в какой степени эта статистика является особенной, т. е. вероятность наблюдения величины такого значения (или большего), если метки лечения были просто рандомизированы после лечения.

В отличие от тестов перестановок, распределения, лежащие в основе многих популярных «классических» статистических тестов, таких как t -test , F -test , z -test и χ ² тест , получены из теоретических распределений вероятностей . Точный критерий Фишера является примером широко используемого параметрического теста для оценки связи между двумя дихотомическими переменными. Когда размеры выборки очень велики, критерий хи-квадрат Пирсона даст точные результаты. Для небольших выборок нельзя предположить, что эталонное распределение хи-квадрат дает правильное описание распределения вероятностей тестовой статистики, и в этой ситуации использование точного критерия Фишера становится более подходящим.

Тесты на перестановку существуют во многих ситуациях, когда параметрические тесты отсутствуют (например, при построении оптимального теста, когда потери пропорциональны размеру ошибки, а не ее квадрату). Все простые и многие относительно сложные параметрические тесты имеют соответствующую версию теста перестановок, которая определяется с использованием той же статистики теста, что и параметрический тест, но получает значение p из распределения перестановок этой статистики для конкретной выборки, а не из теоретического распределение, полученное на основе параметрического предположения. Например, таким образом можно построить перестановку t -test , перестановку ${\textstyle \chi ^{2}}$ тест ассоциации, перестановочная версия теста Али для сравнения дисперсий и так далее.

Основным недостатком перестановочных тестов является то, что они

• Может требовать больших вычислительных ресурсов и может потребовать «собственного» кода для трудновычислимой статистики. Это необходимо переписывать для каждого случая.
• В основном используются для определения значения p. Инверсия теста для получения доверительных областей/интервалов требует еще большего объема вычислений.

Преимущества

Критерии перестановки существуют для любой тестовой статистики, независимо от того, известно ли ее распределение. Таким образом, каждый всегда свободен в выборе статистики, которая лучше всего различает гипотезу и альтернативу и которая минимизирует потери.

Тесты перестановки можно использовать для анализа несбалансированных проектов. и для объединения зависимых тестов на смеси категориальных, порядковых и метрических данных (Песарин, 2001). . Их также можно использовать для анализа качественных данных, которые были обработаны количественно (т. е. преобразованы в числа). Тесты перестановок могут быть идеальными для анализа квантованных данных, которые не удовлетворяют статистическим предположениям, лежащим в основе традиционных параметрических тестов (например, t-тестов, ANOVA). см . ПЕРМАНОВА .

До 1980-х годов бремя создания эталонного распределения было непосильным, за исключением наборов данных с небольшим размером выборки.

С 1980-х годов появление относительно недорогих быстрых компьютеров и разработка новых сложных алгоритмов определения путей, применимых в особых ситуациях, сделали применение методов перестановочного тестирования практичным для решения широкого круга задач. Он также инициировал добавление опций точного теста в основные пакеты статистического программного обеспечения и появление специализированного программного обеспечения для выполнения широкого спектра точных тестов с одной и несколькими переменными и расчета «точных» доверительных интервалов на основе тестов.

Ограничения

Важным предположением, лежащим в основе теста перестановки, является то, что наблюдения можно обменивать при нулевой гипотезе. Важным следствием этого предположения является то, что тесты на разницу в местоположении (например, t-критерий перестановки) требуют равной дисперсии при условии нормальности. В этом отношении классический перестановочный t-критерий имеет ту же слабость, что и классический t-критерий Стьюдента ( проблема Беренса-Фишера ). Эту проблему можно решить так же, как классический t-критерий был расширен для обработки неравных дисперсий: используя статистику Уэлча с поправкой Саттертуэйта на степени свободы. Третьей альтернативой в этой ситуации является использование теста на основе начальной загрузки . Статистик Филип Гуд объясняет разницу между тестами перестановок и бутстрап-тестами следующим образом: «Перестановки проверяют гипотезы, касающиеся распределений; бутстрапы проверяют гипотезы, касающиеся параметров. В результате бутстрап влечет за собой менее строгие предположения». Бутстрап-тесты не являются точными. В некоторых случаях тест на перестановку, основанный на правильно стьюдентизированной статистике, может быть асимптотически точным, даже если предположение об обменности нарушается. Тесты на основе Bootstrap могут проверять нулевую гипотезу. $H_{0}:F\neq G$ и, следовательно, подходят для проведения проверки эквивалентности .

Тестирование Монте-Карло

Асимптотически эквивалентный тест на перестановку может быть создан, когда существует слишком много возможных упорядочений данных, чтобы обеспечить полный перебор удобным способом. Это делается путем создания эталонного распределения методом выборки Монте-Карло , при котором берется небольшая (по отношению к общему числу перестановок) случайная выборка из возможных повторов.Осознание того, что это можно применить к любому перестановочному тесту в любом наборе данных, стало важным прорывом в области прикладной статистики. Самые ранние известные ссылки на этот подход — Иден и Йейтс (1933) и Двасс (1957). Этот тип теста на перестановку известен под разными названиями: тест на приблизительную перестановку , тест на перестановку Монте-Карло или тест на случайную перестановку .

После $N$ случайных перестановок, можно получить доверительный интервал для значения p на основе биномиального распределения, см. Доверительный интервал биномиальной пропорции . Например, если после $N=10000$ случайных перестановок, значение p оценивается как ${\widehat {p}}=0.05$, то 99% доверительный интервал для истинного $p$ (тот, который получится в результате перебора всех возможных перестановок) равен $\left[{\hat {p}}-z{\sqrt {\frac {0.05(1-0.05)}{10000}}},{\hat {p}}+z{\sqrt {\frac {0.05(1-0.05)}{10000}}}\right]=[0.045,0.055]$.

С другой стороны, цель оценки p-значения чаще всего состоит в том, чтобы решить, является ли $p\leq \alpha$, где $\scriptstyle \ \alpha$ порог, при котором нулевая гипотеза будет отклонена (обычно $\alpha =0.05$). В приведенном выше примере доверительный интервал говорит нам только о том, что существует примерно 50% вероятность того, что значение p меньше 0,05, т.е. совершенно неясно, следует ли отклонять нулевую гипотезу на уровне $\alpha =0.05$.

Если только важно знать, $p\leq \alpha$ для данного $\alpha$, логично продолжать моделирование до тех пор, пока не будет выполнено утверждение $p\leq \alpha$ можно установить, является ли оно истинным или ложным с очень низкой вероятностью ошибки. Учитывая границу $\epsilon$ о допустимой вероятности ошибки (вероятности обнаружить, что ${\widehat {p}}>\alpha$ когда на самом деле $p\leq \alpha$ или наоборот), вопрос о том, сколько перестановок сгенерировать, можно рассматривать как вопрос о том, когда прекратить генерировать перестановки, основываясь на результатах моделирования, чтобы гарантировать, что вывод (который либо является $p\leq \alpha$ или $p>\alpha$) верно с вероятностью не менее $1-\epsilon$. ( $\epsilon$ обычно выбирается чрезвычайно малым, например, 1/1000.) Для достижения этой цели были разработаны правила остановки. который может быть реализован с минимальными дополнительными вычислительными затратами. Фактически, в зависимости от истинного базового значения p часто оказывается, что количество требуемых симуляций чрезвычайно мало (например, всего 5, а часто и не превышает 100), прежде чем решение может быть принято с виртуальной уверенностью.

Примеры тестов

• Перестановочный анализ дисперсии
• Рейтинг продукта

См. также

• Ранговый тест
• тест Лепажа

Литература

Оригинальные ссылки:

• Фишер, Р.А. (1935) План экспериментов , Нью-Йорк: Хафнер
• Питман, EJG (1937) «Критерии значимости, которые можно применять к выборкам из любой популяции», Приложение Королевского статистического общества , 4: 119–130 и 225–32 (части I и II). JSTOR   2984124 JSTOR   2983647
• Питман, EJG (1938). «Критерии значимости, которые можно применять к выборкам из любой совокупности. Часть III. Критерий дисперсионного анализа». Биометрика . 29 (3–4): 322–335. дои : 10.1093/biomet/29.3-4.322 .

Современные ссылки:

• Коллингридж, DS (2013). «Букварь по квантовому анализу данных и тестированию перестановок». Журнал исследований смешанных методов . 7 (1): 79–95. дои : 10.1177/1558689812454457 . S2CID   124618343 .
• Эджингтон, Э.С., и Онгена, П. (2007) Рандомизационные тесты , 4-е изд. Нью-Йорк: Чепмен и Холл / CRC ISBN   9780367577711
• Гуд, Филипп И. (2005) Перестановка, параметрические и бутстреп-тесты гипотез , 3-е изд., Springer ISBN   0-387-98898-X
• Хорошо, П. (2002). «Расширения понятия взаимозаменяемости и их приложения» . Журнал современных прикладных статистических методов . 1 (2): 243–247. дои : 10.22237/jmasm/1036110240 .
• Луннеборг, Клифф. (1999) Анализ данных путем повторной выборки , Duxbury Press. ISBN   0-534-22110-6 .
• Пезарин, Ф. (2001). Многомерные перестановочные тесты: с приложениями в биостатистике , John Wiley & Sons . ISBN   978-0471496700
• Уэлч, WJ (1990). «Построение перестановочных тестов». Журнал Американской статистической ассоциации . 85 (411): 693–698. дои : 10.1080/01621459.1990.10474929 .

Вычислительные методы:

• Мехта, ЧР; Патель, НР (1983). «Сетевой алгоритм для выполнения точного теста Фишера в таблицах непредвиденных обстоятельств rxc». Журнал Американской статистической ассоциации . 78 (382): 427–434. дои : 10.1080/01621459.1983.10477989 .
• Мехта, ЧР; Патель, Северная Каролина; Сенчаудхури, П. (1988). «Выборка по важности для оценки точных вероятностей в перестановочном выводе». Журнал Американской статистической ассоциации . 83 (404): 999–1005. дои : 10.1080/01621459.1988.10478691 .
• Гилл, PMW (2007). «Эффективный расчет p-значений в тестах значимости линейной статистики» (PDF) . Журнал статистических вычислений и моделирования . 77 (1): 55–61. CiteSeerX   10.1.1.708.1957 . дои : 10.1080/10629360500108053 . S2CID   1813706 .

тестов

• Гуд, ПИ (2012) Руководство для практикующих специалистов по методам повторной выборки.
• Гуд, ПИ (2005) Перестановочные, параметрические и бутстреп-тесты гипотез
• Хестерберг, Т.К., Д.С. Мур, С. Монаган, А. Клипсон и Р. Эпштейн (2005): Методы начальной загрузки и тесты перестановок , программное обеспечение .
• Мур, Д.С., Г. Маккейб, В. Дакворт и С. Склов (2003): Методы начальной загрузки и тесты перестановок
• Саймон, Дж. Л. (1997): Передискретизация: новая статистика .
• Ю, Чонг Хо (2003): Методы повторной выборки: концепции, приложения и обоснование. Практическая оценка, исследования и оценка, 8(19) . (статистическая загрузка)
• Передискретизация: союз компьютеров и статистики (дайджесты ERIC)
• Пезарин Ф., Салмасо Л. (2010). Тесты перестановки сложных данных: теория, приложения и программное обеспечение. Уайли. https://www.google.de/books/edition/Permutation_Tests_for_Complex_Data/9PWVTOanxPUC?hl=de