P-представитель

При статистических гипотез проверке p-rep или p _Rep были предложены в качестве статистической альтернативы классическому p-значению . В то время как значение p — это вероятность получения результата при нулевой гипотезе, p-rep предназначен для вычисления вероятности повторения эффекта. Вывод p-rep содержал значительные математические ошибки.

Некоторое время Ассоциация психологических наук рекомендовала, чтобы в статьях, подаваемых в Psychoological Science и в другие их журналы, сообщалось о p-rep, а не о классическом p-значении. но это уже не так.

Расчет

Приближение по p

Функция P-rep (в логарифмическом масштабе)

Значение p-rep ( p _Rep ) можно аппроксимировать на основе p-значения ( p ) следующим образом:

$p_{\text{rep}}=\left[1+\left({\frac {p}{1-p}}\right)^{\frac {2}{3}}\right]^{-1}.$

Вышесказанное относится к односторонним распределениям.

Критика

Тот факт, что p-rep имеет однозначное соответствие со значением p, ясно показывает, что эта новая мера не несет никакой дополнительной информации, кроме той, которую передает значимость результата. Киллин признает недостаток информации, но предполагает, что p-rep лучше отражает то, как наивные экспериментаторы концептуализируют p-значения и проверку статистических гипотез .

Среди критических замечаний к p-rep можно назвать тот факт, что, хотя он и пытается оценить воспроизводимость, он игнорирует результаты других исследований, которые могут точно помочь в этой оценке. Например, эксперимент с каким-то маловероятным паранормальным явлением может дать p-rep 0,75. Большинство людей все равно не пришли бы к выводу, что вероятность репликации составляет 75%. Скорее, они пришли бы к выводу, что оно намного ближе к 0: экстраординарные утверждения требуют экстраординарных доказательств , а p-rep игнорирует это. Из-за этого p-rep на самом деле может быть труднее интерпретировать, чем классическое p-значение. Тот факт, что p-rep требует предположений об априорных вероятностях, чтобы быть действительным, усложняет его интерпретацию. Киллин утверждает, что новые результаты должны оцениваться сами по себе, без «бремени истории», с плоскими априорными значениями: именно это и дает p-rep. Более прагматичная оценка воспроизводимости будет включать предварительные знания, например, посредством метаанализа .

Критики также подчеркнули математические ошибки в оригинальной статье Киллина. Например, формула, связывающая размеры эффекта от двух повторений данного эксперимента, ошибочно использует одну из этих случайных величин в качестве параметра другой распределения вероятностей , хотя ранее он предполагал, что эти две переменные независимы . критические замечания, высказанные в ответе Киллина.

Дальнейшая критика статистики p-rep связана с логикой экспериментирования. Научная ценность воспроизводимых данных заключается в адекватном учете ранее неизмеренных факторов (например, неизмеренных переменных участников, предвзятости экспериментатора и т. д.). Идея о том, что отдельное исследование может уловить логическую вероятность таких неизмеренных факторов, влияющих на результат, и, таким образом, вероятность повторения является логической ошибкой.

Внешние ссылки

• Шиммак, Ульрих (19 сентября 2017 г.). «P-REP (2005–2009): Пересмотр эксперимента с целью замены p-значений вероятностью повторения эффекта» . Индекс воспроизводимости .