р -значение

Не путать с P-фактором .

При проверке значимости нулевой гипотезы $p$-ценить — это вероятность получения результатов теста, по крайней мере, столь же экстремальных, как фактически наблюдаемый результат , при условии, что нулевая гипотеза верна. Очень маленькое значение p означает, что такой экстремальный наблюдаемый результат был бы очень маловероятен при нулевой гипотезе. Несмотря на то, что сообщение о p -значениях статистических тестов является обычной практикой в ​​​​академических публикациях во многих количественных областях, неверная интерпретация и неправильное использование p-значений широко распространены и являются основной темой в математике и метанауке . В 2016 году Американская статистическая ассоциация (ASA) сделала официальное заявление, что « p -значения не измеряют вероятность того, что изучаемая гипотеза верна, или вероятность того, что данные были получены исключительно случайным образом» и что « p - значение или статистическая значимость не измеряют размер эффекта или важность результата» или «доказательства относительно модели или гипотезы». Тем не менее, целевая группа ASA в 2019 году опубликовала заявление о статистической значимости и воспроизводимости, в котором заключила: « p -значения и тесты значимости при правильном применении и интерпретации повышают строгость выводов, сделанных на основе данных».

Основные понятия

В статистике каждая гипотеза относительно неизвестного распределения вероятностей набора случайных величин, представляющих наблюдаемые данные. $X$в некоторых исследованиях называется статистической гипотезой . Если мы формулируем только одну гипотезу и цель статистической проверки состоит в том, чтобы увидеть, является ли эта гипотеза обоснованной, но не исследовать другие конкретные гипотезы, то такая проверка называется проверкой нулевой гипотезы .

Поскольку наша статистическая гипотеза по определению утверждает какое-то свойство распределения, нулевая гипотеза — это гипотеза по умолчанию, при которой это свойство не существует. Нулевая гипотеза обычно заключается в том, что какой-то параметр (например, корреляция или разница между средними значениями) в интересующих популяциях равен нулю. Наша гипотеза могла бы указать распределение вероятностей $X$точно, или же может быть указано только, что оно принадлежит к какому-то классу распределений. Часто мы сводим данные к одной числовой статистике, например: $T$, чье предельное распределение вероятностей тесно связано с основным вопросом, представляющим интерес в исследовании.

Значение p используется в контексте проверки нулевой гипотезы для количественной оценки статистической значимости результата, при этом результатом является наблюдаемое значение выбранной статистики. $T$. Чем ниже значение p , тем ниже вероятность получения этого результата, если нулевая гипотеза верна. Результат считается статистически значимым, если он позволяет отвергнуть нулевую гипотезу. При прочих равных условиях меньшие значения p считаются более сильным доказательством против нулевой гипотезы.

Грубо говоря, отказ от нулевой гипотезы подразумевает наличие достаточных доказательств против нее.

В качестве конкретного примера: если нулевая гипотеза утверждает, что определенная сводная статистика $T$ следует стандартному нормальному распределению ${\mathcal {N}}(0,1),$ то отказ от этой нулевой гипотезы может означать, что (i) среднее значение $T$ не равно 0, или (ii дисперсия ) $T$ не равно 1, или (iii) $T$обычно не распространяется. Различные тесты одной и той же нулевой гипотезы будут более или менее чувствительны к различным альтернативам. Однако даже если нам удастся отвергнуть нулевую гипотезу для всех трех альтернатив, и даже если мы знаем, что распределение нормальное, а дисперсия равна 1, проверка нулевой гипотезы не скажет нам, какие ненулевые значения среднего значения сейчас являются наиболее правдоподобно. Чем больше независимых наблюдений из одного и того же распределения вероятностей, тем точнее будет тест и тем выше точность, с которой можно будет определить среднее значение и показать, что оно не равно нулю; но это также повысит важность оценки реальной или научной значимости этого отклонения.

и

Определение

Значение p — это вероятность при нулевой гипотезе получить действительную тестовую статистику, по крайней мере столь же экстремальную, как и полученная. Рассмотрим наблюдаемую тестовую статистику $t$ из неизвестного дистрибутива $T$. Тогда p значение $p$ это то, какова была бы априорная вероятность наблюдения значения тестовой статистики, по крайней мере, столь же «экстремального», как $t$ если нулевая гипотеза $H_{0}$были правдой. То есть:

• $p=\Pr(T\geq t\mid H_{0})$ для одностороннего правостороннего распределения тестовой статистики.
• $p=\Pr(T\leq t\mid H_{0})$ для одностороннего левого распределения тестовой статистики.
• $p=2\min\{\Pr(T\geq t\mid H_{0}),\Pr(T\leq t\mid H_{0})\}$для двустороннего распределения тестовой статистики. Если распределение $T$ симметричен относительно нуля, то $p=\Pr(|T|\geq |t|\mid H_{0}).$

Интерпретации

Ошибка, которую практикующий статистик счел бы более важным избегать (что является субъективным суждением), называется ошибкой первого рода. Первое требование математической теории состоит в том, чтобы вывести такие критерии проверки, которые гарантировали бы, что вероятность совершения ошибки первого рода будет равна (или приблизительно равна или не превысит) заданному числу α, например α = 0,05 или 0,01. и т. д. Это число называется уровнем значимости.

- Ежи Нейман, «Появление математической статистики».

В тесте значимости нулевая гипотеза $H_{0}$ отклоняется, если значение p меньше или равно заранее определенному пороговому значению $\alpha$, который называется альфа-уровнем или уровнем значимости . $\alpha$ не выводится из данных, а скорее устанавливается исследователем перед изучением данных. $\alpha$обычно устанавливается равным 0,05, хотя иногда используются более низкие уровни альфа. В 2018 году группа статистиков под руководством Дэниела Бенджамина предложила принять значение 0,005 в качестве стандартного значения статистической значимости во всем мире.

Различные значения p , основанные на независимых наборах данных, можно комбинировать, например, используя комбинированный тест вероятности Фишера .

Распространение

Значение p является функцией выбранной тестовой статистики. $T$и поэтому является случайной величиной . Если нулевая гипотеза фиксирует распределение вероятностей $T$ точно (например $H_{0}:\theta =\theta _{0},$ где $\theta$ является единственным параметром), и если это распределение непрерывно, то, когда нулевая гипотеза верна, p значение равномерно распределяется между 0 и 1. Независимо от истинности $H_{0}$, значение p не фиксировано; если один и тот же тест повторяется независимо со свежими данными, p на каждой итерации обычно получают разные значения .

Обычно наблюдается только одно значение p , относящееся к гипотезе, поэтому значение p интерпретируется с помощью теста значимости, и не предпринимается никаких усилий для оценки распределения, на основе которого оно было получено. Когда доступен набор p -значений (например, при рассмотрении группы исследований по одному и тому же предмету), распределение p -значений иногда называют p -кривой. P - кривую можно использовать для оценки надежности научной литературы, например, путем выявления предвзятости публикации или p -хакинга .

сложной

В задачах проверки параметрических гипотез простая или точечная гипотеза относится к гипотезе, в которой предполагается, что значение параметра представляет собой одно число. Напротив, в составной гипотезе значение параметра задается набором чисел. Когда нулевая гипотеза является составной (или распределение статистики дискретно), тогда, когда нулевая гипотеза верна, вероятность получения значения p , меньшего или равного любому числу от 0 до 1, по-прежнему меньше или равен этому числу. Другими словами, остается тот случай, когда очень маленькие значения относительно маловероятны, если нулевая гипотеза верна, и что проверка значимости на уровне $\alpha$ получается путем отклонения нулевой гипотезы, если значение p меньше или равно $\alpha$.

Например, при проверке нулевой гипотезы о том, что распределение является нормальным со средним значением, меньшим или равным нулю, в сравнении с альтернативой, что среднее значение больше нуля ( $H_{0}:\mu \leq 0$, дисперсия известна), нулевая гипотеза не определяет точное распределение вероятностей соответствующей тестовой статистики. В данном примере это будет Z- статистика , принадлежащая одностороннему одновыборочному Z -тесту. Для каждого возможного значения теоретического среднего статистика Z -теста имеет различное распределение вероятностей. В этих обстоятельствах значение p определяется путем выбора наименее благоприятного случая нулевой гипотезы, который обычно находится на границе между нулевой и альтернативной гипотезой. Это определение обеспечивает взаимодополняемость p-значений и альфа-уровней: $\alpha =0.05$ означает, что нулевую гипотезу отвергают только в том случае, если значение p меньше или равно $0.05$, и проверка гипотезы действительно будет иметь максимальную частоту ошибок первого рода, равную $0.05$.

Использование

Значение p широко используется при проверке статистических гипотез , особенно при проверке значимости нулевой гипотезы. В этом методе перед проведением исследования сначала выбирают модель ( нулевая гипотеза ) и уровень альфа α (чаще всего 0,05). Если после анализа данных значение p меньше α , это означает, что наблюдаемые данные достаточно несовместимы с нулевой гипотезой , чтобы нулевая гипотеза была отклонена. Однако это не доказывает, что нулевая гипотеза ложна. Значение p само по себе не устанавливает вероятности гипотез. Скорее, это инструмент для принятия решения о том, следует ли отвергать нулевую гипотезу.

Злоупотребление

Основная статья: Неправильное использование p-значений

По данным ASA , широко распространено мнение, что значения p часто неправильно используются и неверно интерпретируются. Одна из практик, которая подверглась особой критике, - это принятие альтернативной гипотезы для любого значения p , номинально меньшего 0,05, без других подтверждающих доказательств. Хотя значения p полезны при оценке того, насколько данные несовместимы с определенной статистической моделью, необходимо также учитывать контекстуальные факторы, такие как «план исследования, качество измерений, внешние доказательства изучаемого явления, и обоснованность предположений, лежащих в основе анализа данных». Другая проблема заключается в том, что значение p часто неправильно понимают как вероятность того, что нулевая гипотеза верна.

Некоторые статистики предложили отказаться от p -значений и больше сосредоточиться на другой статистике, основанной на выводах. такие как доверительные интервалы , отношения правдоподобия , или факторы Байеса , но идут жаркие споры о осуществимости этих альтернатив. Другие предложили удалить фиксированные пороги значимости и интерпретировать значения p как непрерывные показатели силы доказательств против нулевой гипотезы. Третьи предлагали сообщать наряду со значениями p априорную вероятность реального эффекта, которая потребуется для получения ложноположительного риска (т. е. вероятности отсутствия реального эффекта) ниже заранее определенного порога (например, 5%).

Тем не менее, в 2019 году рабочая группа ASA собралась для рассмотрения вопроса об использовании статистических методов в научных исследованиях, в частности, проверки гипотез и значений p , а также их связи с воспроизводимостью. В нем говорится, что «Различные меры неопределенности могут дополнять друг друга; ни одна мера не служит всем целям», упоминается p в качестве одной из этих мер -значение. Они также подчеркивают, что значения p могут предоставить ценную информацию при рассмотрении конкретного значения, а также при сравнении с некоторым пороговым значением. В целом в нем подчеркивается, что « p -значения и критерии значимости, если их правильно применять и интерпретировать, повышают строгость выводов, сделанных на основе данных».

Расчет

Обычно, $T$это тестовая статистика . Тестовая статистика — это результат скалярной функции всех наблюдений. Эта статистика представляет собой одно число, например t -статистику или F -статистику . Таким образом, статистика теста соответствует распределению, определяемому функцией, используемой для определения этой статистики теста, и распределением входных данных наблюдений.

Для важного случая, когда предполагается, что данные представляют собой случайную выборку из нормального распределения, в зависимости от характера тестовой статистики и интересующих гипотез о ее распределении были разработаны различные тесты нулевой гипотезы. Некоторые из таких тестов - это z -тест для гипотез относительно среднего нормального распределения с известной дисперсией, t -тест , основанный на Стьюдента t -распределении подходящей статистики для гипотез относительно среднего нормального распределения, когда дисперсия неизвестна, F - тест , основанный на F -распределении еще одной статистики для гипотез, касающихся дисперсии. Для данных другой природы, например категориальных (дискретных) данных, можно построить тестовые статистики, распределение нулевых гипотез которых основано на нормальных аппроксимациях соответствующих статистических данных, полученных путем применения центральной предельной теоремы для больших выборок, как в случае с хи Пирсона. -квадратный тест .

Таким образом, для вычисления значения p требуется нулевая гипотеза, статистика теста (вместе с решением, выполняет ли исследователь односторонний или двусторонний тест ) и данные. Несмотря на то, что вычисление тестовой статистики по заданным данным может быть простым, вычисление выборочного распределения при нулевой гипотезе, а затем вычисление его кумулятивной функции распределения (CDF) часто является сложной проблемой. Сегодня эти вычисления выполняются с использованием статистического программного обеспечения, часто с помощью числовых методов (а не точных формул), но в начале и середине 20-го века вместо этого это делалось с помощью таблиц значений и интерполированных или экстраполированных p -значений из этих дискретные значения . Вместо того, чтобы использовать таблицу значений p , Фишер инвертировал CDF, опубликовав список значений тестовой статистики для заданных фиксированных значений p ; это соответствует вычислению функции квантиля (обратного CDF).

Пример

Основная статья: Проверка честности монеты

Проверка честности монеты

В качестве примера статистического теста проводится эксперимент, чтобы определить, ли подбрасывание монеты является справедливым (равная вероятность выпадения орла или решки) или несправедливо предвзятым (один результат более вероятен, чем другой).

Предположим, что результаты эксперимента показывают, что монета выпала орлом в 14 случаях из 20 подбрасываний. Полные данные $X$будет последовательностью, в двадцать раз превышающей символ «H» или «T». Статистикой, на которой можно сосредоточиться, может быть общее число $T$голов. Нулевая гипотеза состоит в том, что монета честная и подбрасывания монеты не зависят друг от друга. Если рассматривать правосторонний тест, что будет иметь место, если кто-то действительно заинтересован в возможности того, что монета смещена в сторону падения орла, то p -значение этого результата - это вероятность того, что честная монета упадет орлом в точке минимум 14 раз из 20 бросков. Эту вероятность можно вычислить из биномиальных коэффициентов как

${\begin{aligned}&\Pr(14{\text{ heads}})+\Pr(15{\text{ heads}})+\cdots +\Pr(20{\text{ heads}})\\&={\frac {1}{2^{20}}}\left[{\binom {20}{14}}+{\binom {20}{15}}+\cdots +{\binom {20}{20}}\right]={\frac {60\,460}{1\,048\,576}}\approx 0.058.\end{aligned}}$

Эта вероятность представляет собой значение p , учитывающее только экстремальные результаты, благоприятствующие выпадению орла. Это называется односторонним тестом . Однако кого-то могут заинтересовать отклонения в любом направлении, в пользу орла или решки. двустороннее значение p Вместо этого можно рассчитать , которое учитывает отклонения в пользу орла или решки. Поскольку биномиальное распределение симметрично для честной монеты, двустороннее значение p просто в два раза превышает рассчитанное выше одностороннее значение p : двустороннее значение p равно 0,115.

В приведенном выше примере:

• Нулевая гипотеза ( H ₀ ): монета честная, Pr(орёл) = 0,5.
• Статистика теста: Количество голов.
• Уровень альфа (обозначенный порог значимости): 0,05.
• Наблюдение О : 14 голов из 20 бросков.
• Двустороннее p -значение наблюдения O при H ₀ = 2 × min(Pr(количество голов ≥ 14 голов), Pr(количество голов ≤ 14 голов)) = 2 × min(0,058, 0,978) = 2 × 0,058 = 0,115.

Pr(количество голов ≤ 14 голов) = 1 − Pr(количество голов ≥ 14 голов) + Pr(количество голов = 14) = 1 − 0,058 + 0,036 = 0,978; однако симметрия этого биномиального распределения делает ненужными вычисления для определения меньшей из двух вероятностей. Здесь рассчитанное значение p превышает 0,05, что означает, что данные попадают в диапазон того, что произошло бы в 95% случаев, если бы монета была честной. Следовательно, нулевая гипотеза не отвергается на уровне 0,05.

Однако если бы была получена еще одна голова, результирующее значение p (двустороннее) составило бы 0,0414 (4,14%), и в этом случае нулевая гипотеза была бы отклонена на уровне 0,05.

План многоэтапного эксперимента

Разница между двумя значениями слова «крайний» проявляется, когда мы рассматриваем многоэтапный эксперимент по проверке честности монеты. Предположим, мы спланировали эксперимент следующим образом:

• Подбросьте монету дважды. Если оба варианта выпадут «орел» или «решка», завершите эксперимент.
• В противном случае подбросьте монету еще 4 раза.

Этот эксперимент имеет 7 типов исходов: 2 орла, 2 решки, 5 орлов, 1 решка, ..., 1 орел, 5 решок. Теперь мы рассчитаем p -значение результата «3 орла 3 решки».

Если мы используем тестовую статистику ${\text{heads}}/{\text{tails}}$, то при нулевой гипотезе равно ровно 1 для двустороннего p -значения и ровно $19/32$ для одностороннего левого p- значения и то же самое для одностороннего правого p- значения.

Если мы рассмотрим каждый исход, который имеет равную или меньшую вероятность, чем «3 орла 3 решки», как «по крайней мере столь же экстремальный», то значение p будет в точности $1/2.$

Однако предположим, что мы запланировали просто подбросить монету 6 раз, что бы ни случилось, тогда второе определение значения p будет означать, что значение p для «3 орла 3 решки» равно ровно 1.

Таким образом, «по крайней мере столь же экстремальное» определение значения p глубоко контекстуально и зависит от того, что экспериментатор планировал сделать даже в ситуациях, которые не произошли.

История

Джон Арбутнот

Пьер-Симон Лаплас

Карл Пирсон

Рональд Фишер

Вычисления P -значения относятся к 1700-м годам, когда они рассчитывались для соотношения полов человека при рождении и использовались для расчета статистической значимости по сравнению с нулевой гипотезой о равной вероятности рождения мальчиков и девочек. Джон Арбутнот изучал этот вопрос в 1710 году. и изучил записи о рождении в Лондоне за каждый из 82 лет с 1629 по 1710 год. Каждый год количество мужчин, рожденных в Лондоне, превышало количество женщин. Учитывая, что большее количество рождений мальчиков и девочек одинаково вероятно, вероятность наблюдаемого исхода равна 1/2. ⁸² , или примерно 1 из 4 836 000 000 000 000 000 000 000; говоря современным языком, p -значение. Это исчезающе мало, что приводит Арбетнота к выводу, что это произошло не по воле случая, а по божественному провидению: «Отсюда следует, что правит Искусство, а не Случай». Говоря современным языком, он отверг нулевую гипотезу о равной вероятности рождения мальчиков и девочек при p = 1/2. ⁸² уровень значимости. Эту и другие работы Арбутнота называют «… первым использованием тестов значимости…». первый пример рассуждений о статистической значимости, и «… возможно, первый опубликованный отчет о непараметрическом тесте …», в частности, тест знаков ; подробности см. в разделе «История жестового теста» .

К этому же вопросу позже обратился Пьер-Симон Лаплас , который вместо этого использовал параметрический тест, моделируя количество рождений мужского пола с биномиальным распределением :

В 1770-е годы Лаплас рассматривал статистику почти полумиллиона рождений. Статистика показала преобладание мальчиков над девочками. Путем расчета значения p он пришел к выводу , что превышение было реальным, но необъяснимым эффектом.

было Значение p впервые формально введено Карлом Пирсоном в его тесте хи-квадрат Пирсона : используя распределение хи-квадрат и обозначая заглавной буквой P. Значения p для распределения хи-квадрат (для различных значений χ ² и степени свободы), теперь обозначенные как P, были рассчитаны в ( Elderton 1902 ), собраны в ( Pearson 1914 , стр. xxxi–xxxiii, 26–28, таблица XII) .

Использование p -значения в статистике было популяризировано Рональдом Фишером . и это играет центральную роль в его подходе к предмету. В своей влиятельной книге «Статистические методы для научных работников» (1925) Фишер предложил уровень p = 0,05, или вероятность случайного превышения 1 из 20, в качестве предела статистической значимости и применил его к нормальному распределению (как двусторонний критерий), что дает правило двух стандартных отклонений (при нормальном распределении) для статистической значимости (см. правило 68–95–99,7 ).

Затем он вычислил таблицу значений, аналогичную Элдертону, но, что важно, поменял роли χ ² и п. То есть вместо вычисления p для разных значений χ ² (и степени свободы n ), он вычислил значения χ ² которые дают определенные значения p , а именно 0,99, 0,98, 0,95, 0,90, 0,80, 0,70, 0,50, 0,30, 0,20, 0,10, 0,05, 0,02 и 0,01. Это позволило вычислить значения χ ² для сравнения с пороговыми значениями и поощрял использование значений p (особенно 0,05, 0,02 и 0,01) в качестве пороговых значений вместо того, чтобы рассчитывать и сообщать о самих значениях p . Затем были составлены таблицы того же типа ( Fisher & Yates 1938 ), что закрепило этот подход.

В качестве иллюстрации применения p -значений для планирования и интерпретации экспериментов в своей следующей книге « План экспериментов» (1935) Фишер представил с женщиной, дегустирующей чай : эксперимент что является архетипическим примером p - значения.

Чтобы оценить утверждение дамы о том, что она ( Мюриэл Бристоль ) могла на вкус отличить, как готовится чай (сначала добавляя в чашку молоко, затем чай или сначала чай, затем молоко), ей последовательно преподнесли 8 чашек: 4 приготовленных. в одну сторону 4 приготовили другую и попросили определить готовность каждой чашки (зная, что каждой чашки было по 4). В этом случае нулевая гипотеза заключалась в том, что у нее не было особых способностей, тест был точным тестом Фишера , а значение p было $1/{\binom {8}{4}}=1/70\approx 0.014,$поэтому Фишер был готов отвергнуть нулевую гипотезу (считая, что результат вряд ли был случайным), если бы все они были классифицированы правильно. (В реальном эксперименте Бристоль правильно классифицировал все 8 чашек.)

Фишер подтвердил порог p = 0,05 и объяснил его обоснование, заявив:

Для экспериментаторов обычно и удобно принимать 5 процентов в качестве стандартного уровня значимости в том смысле, что они готовы игнорировать все результаты, которые не достигают этого стандарта, и, таким образом, исключить из дальнейшего обсуждения больший уровень значимости. часть флуктуаций, которые случайные причины внесли в их экспериментальные результаты.

Он также применяет этот порог к планированию экспериментов, отмечая, что если бы было представлено только 6 чашек (по 3 каждой), то идеальная классификация дала бы только p -значение, равное $1/{\binom {6}{3}}=1/20=0.05,$ которые не соответствовали бы этому уровню значимости. Фишер также подчеркнул интерпретацию p как долгосрочной доли значений, по крайней мере столь же экстремальных, как и данные, при условии, что нулевая гипотеза верна.

В более поздних изданиях Фишер явно противопоставил использование p -значения для статистических выводов в науке методу Неймана-Пирсона, который он называет «процедурами принятия». Фишер подчеркивает, что, хотя фиксированные уровни, такие как 5%, 2% и 1%, удобны, можно использовать точное значение p , а сила доказательств может и будет пересмотрена в ходе дальнейших экспериментов. Напротив, процедуры принятия решений требуют четкого решения, приводящего к необратимым действиям, и эта процедура основана на цене ошибки, которая, как он утверждает, неприменима к научным исследованиям.

Связанные индексы

Значение E может относиться к двум концепциям, оба из которых связаны со значением p и оба играют роль в множественном тестировании . Во-первых, оно соответствует общей, более надежной альтернативе значению p, которая может учитывать необязательное продолжение экспериментов. Во-вторых, оно также используется для сокращения «ожидаемого значения», которое представляет собой ожидаемое количество раз, когда ожидается получение тестовой статистики, по крайней мере, такой же экстремальной, как та, которая фактически наблюдалась, если предположить, что нулевая гипотеза верна. Это ожидаемое значение является произведением количества тестов и значения p .

Значение q является аналогом значения p в отношении положительного уровня ложных открытий . Он используется при проверке нескольких гипотез для поддержания статистической мощности и минимизации количества ложноположительных результатов .

Вероятность направления ( pd ) — это байесовский числовой эквивалент p - значения. Он соответствует доле апостериорного распределения , которая имеет знак медианы, обычно варьируется от 50% до 100% и представляет собой уверенность, с которой эффект является положительным или отрицательным.

P-значения второго поколения расширяют концепцию p-значений, не считая чрезвычайно малые, практически нерелевантные величины эффекта значимыми.

См. также

• Т-критерий Стьюдента
• Поправка Бонферрони
• Контрноль
• Метод Фишера объединения p -значений
• Обобщенное p значение
• Среднее гармоническое p значение
• Метод Холма – Бонферрони
• Проблема множественных сравнений
• п -реп
• p -значения ошибка

Дальнейшее чтение

• Денворт Л. (октябрь 2019 г.). «Значительная проблема: стандартные научные методы подвергаются критике. Изменится ли что-нибудь?». Научный американец . 321 (4): 62–67 (63). Использование p значений в течение почти столетия [с 1925 года] для определения статистической значимости экспериментальных кризисам результатов способствовало возникновению иллюзии уверенности и [к] воспроизводимости во многих научных областях . Растет решимость реформировать статистический анализ... Некоторые [исследователи] предлагают изменить статистические методы, тогда как другие готовы отказаться от порога для определения «значимых» результатов.
• Элдертон В.П. (1902). «Таблицы для проверки соответствия теории наблюдениям» . Биометрика . 1 (2): 155–163. дои : 10.1093/биомет/1.2.155 .
• Фишер Р.А. (1925). Статистические методы для научных работников . Эдинбург, Шотландия: Оливер и Бойд. ISBN  978-0-05-002170-5 .
• Фишер Р.А. (1971) [1935]. План экспериментов (9-е изд.). Макмиллан. ISBN  978-0-02-844690-5 .
• Фишер Р.А., Йейтс Ф (1938). Статистические таблицы для биологических, сельскохозяйственных и медицинских исследований . Лондон, Англия. {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
• Стиглер С.М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN  978-0-674-40340-6 .
• Хаббард Р., Армстронг Дж.С. (2006). «Почему мы на самом деле не знаем, что означает статистическая значимость: последствия для преподавателей» (PDF) . Журнал маркетингового образования . 28 (2): 114–120. дои : 10.1177/0273475306288399 . hdl : 2092/413 . S2CID   34729227 . Архивировано из оригинала (PDF) 18 мая 2006 г.
• Хаббард Р., Линдси Р.М. (2008). «Почему значения P не являются полезным показателем доказательств при тестировании статистической значимости» (PDF) . Теория и психология . 18 (1): 69–88. дои : 10.1177/0959354307086923 . S2CID   143487211 . Архивировано из оригинала (PDF) 21 октября 2016 г. Проверено 28 августа 2015 г.
• Стиглер С. (декабрь 2008 г.). «Фишер и уровень 5%» . Шанс . 21 (4): 12. дои : 10.1007/s00144-008-0033-3 .
• Даллал Дж.Э. (2012). Маленький справочник статистической практики .
• Биау DJ, Джоллес Б.М., Порчер Р. (март 2010 г.). «Значение P и теория проверки гипотез: объяснение для новых исследователей» . Клиническая ортопедия и связанные с ней исследования . 468 (3): 885–892. дои : 10.1007/s11999-009-1164-4 . ПМЦ   2816758 . ПМИД   19921345 .
• Рейнхарт А. (2015). Неверная статистика: ужасно полное руководство . Пресс без крахмала . п. 176. ИСБН  978-1593276201 .
• Бенджамини, Йоав ; Де Во, Ричард Д.; Эфрон, Брэдли ; Эванс, Скотт; Гликман, Марк; Граубар, Барри И.; Он, Сюмин; Мэн, Сяо-Ли ; Рид, Нэнси ; Стиглер, Стивен М .; Вардеман, Стивен Б.; Викле, Кристофер К.; Райт, Томми; Янг, Линда Дж.; Кафадар, Карен (2021). «Заявление целевой группы президента ASA о статистической значимости и воспроизводимости» . Анналы прикладной статистики . 15 (3): 1084–1085. дои : 10.1214/21-AOAS1501 .
• Бенджамин, Дэниел Дж.; Бергер, Джеймс О.; Йоханнессон, Магнус; Носек, Брайан А.; Вагенмейкерс, Э.-Дж.; Берк, Ричард; Боллен, Кеннет А.; Брембс, Бьёрн; Браун, Лоуренс; Камерер, Колин; Чезарини, Дэвид; Чемберс, Кристофер Д.; Клайд, Мерлиз; Кук, Томас Д.; Де Бек, Пол; Динес, Золтан; Дребер, Анна; Иасваран, Кенни; Эфферсон, Чарльз; Фер, Эрнст; Фидлер, Фиона; Филд, Энди П.; Форстер, Малькольм; Джордж, Эдвард И.; Гонсалес, Ричард; Гудман, Стивен; Грин, Эдвин; Грин, Дональд П.; Гринвальд, Энтони Г.; Хэдфилд, Джаррод Д.; Хеджес, Ларри В.; Держись, Леонард; Хуа Хо, Тек; Хойтинк, Герберт; Грушка, Дэниел Дж.; Имаи, Косукэ; Имбенс, Гвидо; Иоаннидис, Джон П.А.; Чон, Минджон; Джонс, Джеймс Холланд; Кирхлер, Майкл; Лейбсон, Дэвид; Лист, Джон; Литтл, Родерик; Лупия, Артур; Машери, Эдуард; Максвелл, Скотт Э.; Маккарти, Майкл; Мур, Дон А.; Морган, Стивен Л.; Мунафо, Маркус; Накагава, Шиничи; Найхан, Брендан; Паркер, Тимоти Х.; Перикки, Луис; Перуджини, Марко; Рудер, Джефф; Руссо, Юдит; Савалей, Виктория; Шенбродт, Феликс Д.; Селлке, Томас; Синклер, Бетси; Тингли, Дастин; Ван Зандт, Триша; Вазире, Симине; Уоттс, Дункан Дж.; Уиншип, Кристофер; Вулперт, Роберт Л.; Се, Ю; Янг, Кристобаль; Зинман, Джонатан; Джонсон, Вален Э. (1 сентября 2017 г.). «Переопределить статистическую значимость» . Природа человеческого поведения . 2 (1): 6–10. дои : 10.1038/s41562-017-0189-z . eISSN   2397-3374 . hdl : 10281/184094 . ПМИД   30980045 . S2CID   256726352 .

Внешние ссылки

• Бесплатные онлайн p -калькуляторы значений для различных конкретных тестов (хи-квадрат, F-критерий Фишера и т. д.).
• Понимание p -значений , включая Java-апплет, который иллюстрирует, как числовые значения p -значений могут создавать весьма обманчивое впечатление об истинности или ложности проверяемой гипотезы.
• StatQuest: значения P, четко объясненные на YouTube
• StatQuest: подводные камни P-значения и расчеты мощности на YouTube
• Science Is not Broken — статья о том, как можно манипулировать p -значениями, и интерактивный инструмент для ее визуализации.