E-значения
При статистических гипотез проверке е-значения количественно определяют доказательства в данных против нулевой гипотезы (например, «монета честная» или, в медицинском контексте, «это новое лечение не имеет эффекта»). Они служат более надежной альтернативой p-значениям , устраняя некоторые недостатки последних.
В отличие от р-значений, е-значения могут иметь дело с необязательным продолжением: е-значения последующих экспериментов (например, клинических испытаний, касающихся одного и того же лечения) можно просто умножить, чтобы получить новое, «продуктовое» е-значение, которое представляет собой доказательства. в совместном эксперименте. Это работает, даже если, как это часто бывает на практике, решение о проведении последующих экспериментов может смутным, неизвестным образом зависеть от данных, полученных в более ранних экспериментах, и заранее неизвестно, сколько испытаний будет проведено: е-значение продукта остается значимой величиной, что приводит к тестам с контролем ошибок типа I. По этой причине электронные значения и их последовательное расширение, электронный процесс , являются фундаментальными строительными блоками для применимых в любое время статистических методов (например, доверительных последовательностей). Еще одно преимущество перед p-значениями заключается в том, что любое средневзвешенное значение e-значений остается e-значением, даже если отдельные e-значения произвольно зависимы. Это одна из причин, почему электронные значения также оказались полезными инструментами в множественное тестирование . [1]
E-значения можно интерпретировать по-разному: во-первых, обратная величина любого e-значения сама по себе является p-значением, но особым, консервативным, совершенно отличным от p-значений, используемых на практике. Во-вторых, они представляют собой широкое обобщение отношений правдоподобия и также связаны с факторами Байеса , но отличаются от них . В-третьих, они интерпретируются как ставки. Наконец, в последовательном контексте их также можно интерпретировать как приращения неотрицательных супермартингалов . Интерес к электронной стоимости резко возрос с 2019 года, когда был придуман термин «электронная стоимость» и несколько исследовательских групп достигли ряда прорывных результатов. Первая обзорная статья появилась в 2023 году. [2]
Определение и математическая основа
[ редактировать ]Пусть нулевая гипотеза быть задано как набор распределений данных . Обычно с каждым единый результат и фиксированный размер выборки или некоторое время остановки. Мы будем обращаться к таким , которые представляют полную последовательность результатов статистического эксперимента в виде выборки или партии результатов. Но в некоторых случаях также может быть неупорядоченным набором результатов или одним результатом.
Электронная переменная или электронная статистика — это неотрицательная случайная величина. такой, что под всем , его ожидаемое значение ограничено 1:
.
Значение, принимаемое электронной переменной называется e-значением . На практике термин e-значение (число) часто используется, когда на самом деле имеется в виду базовая e-переменная (случайная величина, то есть измеримая функция данных).
Интерпретации
[ редактировать ]Как консервативные значения p
[ редактировать ]Для любой электронной переменной и любой и все , он утверждает, что
Словами: представляет собой p-значение, а тест на основе e-значения с уровнем значимости , что отвергает если , имеет ошибку типа I, ограниченную . Но если для стандартных p-значений приведенное выше неравенство (*) обычно представляет собой равенство (для данных с непрерывными значениями) или почти равенство (для дискретных данных), то это не относится к e-переменным. Это делает тесты на основе значений e более консервативными (меньшую мощность), чем тесты, основанные на стандартных значениях p, и это цена, которую приходится платить за безопасность (т. е. сохранение гарантий ошибок типа I) при дополнительном продолжении и усреднении.
Как обобщения отношений правдоподобия
[ редактировать ]Позволять быть простой нулевой гипотезой. Позволять быть любым другим распределением на , и пусть
быть их отношением правдоподобия. Затем является электронной переменной. И наоборот, любая e-переменная относительно простого нуля можно записать как отношение правдоподобия относительно некоторого распределения . Таким образом, когда нуль простой, e-переменные совпадают с отношениями правдоподобия. Однако E-переменные существуют и для общих составных нулей, и тогда их можно рассматривать как обобщения отношений правдоподобия. Два основных способа создания электронных переменных, UI и RIPr (см. ниже), оба приводят к выражениям, которые также являются вариациями отношений правдоподобия.
Двумя другими стандартными обобщениями отношения правдоподобия являются (а) обобщенное отношение правдоподобия, используемое в стандартном классическом тесте отношения правдоподобия , и (б) фактор Байеса . Важно отметить, что ни (a), ни (b) не являются e-переменными в целом: обобщенные отношения правдоподобия в смысле (a) не являются e-переменными, если только альтернатива не проста (см. Ниже в разделе «универсальный вывод»). Факторы Байеса являются электронными переменными, если значение нуля простое. Чтобы убедиться в этом, обратите внимание, что если представляет собой статистическую модель, и априорная плотность на , то мы можем установить как указано выше, это предельное распределение Байеса с плотностью
а потом также является байесовским фактором против. . Если нулевое значение является составным, то некоторые специальные электронные переменные могут быть записаны как факторы Байеса с некоторыми совершенно особыми априорными значениями, но большинство факторов Байеса, с которыми можно столкнуться на практике, не являются электронными переменными, а многие электронные переменные, с которыми можно столкнуться на практике, не являются факторами Байеса. . [2]
Как ставки
[ редактировать ]Предположим, вы можете купить билет за 1 денежную единицу с неотрицательным выигрышем. . Заявления " является электронной переменной» и «если нулевая гипотеза верна, вы не ожидаете получить какие-либо деньги, если примете участие в этой ставке» логически эквивалентны. Это потому, что будучи электронной переменной, означает, что ожидаемая выгода от покупки билета равна выплате за вычетом стоимости, т.е. , который имеет ожидание . Основываясь на этой интерпретации, электронную стоимость продукта для последовательности тестов можно интерпретировать как сумму денег, которую вы заработали, последовательно делая ставки с выплатами, заданными отдельными электронными переменными, и всегда реинвестируя всю свою прибыль. [3]
Интерпретация ставок становится особенно наглядной, если мы перепишем электронную переменную как где имеет ожидание под всем и выбирается так, что поскольку любую e-переменную можно записать в Форма, хотя и с параметрическими нулями, записать ее как отношение правдоподобия обычно математически удобнее. с другой стороны, форма часто более удобна в непараметрических настройках. В качестве прототипного примера, [4] рассмотрим случай, когда с принимая значения в ограниченном интервале . В соответствии с , являются iid в соответствии с распределением со средним ; никаких других предположений о сделаны. Тогда мы можем сначала построить семейство e-переменных для отдельных результатов: , для любого (это для чего гарантированно будет неотрицательным). Затем мы можем определить новую e-переменную для полного вектора данных. взяв продукт
,
где это оценка для , основываясь только на прошлых данных и предназначен для того, чтобы сделать как можно больше в смысле «электронной мощности» или «GRO» (см. ниже). Воудби-Смит и Рамдас используют этот подход для построения «непараметрических» доверительных интервалов для среднего значения, которые имеют тенденцию быть значительно уже, чем те, которые основаны на более классических методах, таких как границы Чернова, Хеффдинга и Бернштейна . [4]
Фундаментальное свойство: необязательное продолжение.
[ редактировать ]E-значения более подходят, чем p-значения, когда ожидаются последующие тесты, включающие ту же нулевую гипотезу с другими данными или экспериментальными установками. Это включает, например, объединение отдельных результатов в метаанализ . Преимущество электронных значений в этом случае заключается в том, что они допускают необязательное продолжение. Действительно, они были использованы в, возможно, первом в мире полностью «онлайновом» метаанализе с явным контролем ошибок I типа. [5]
Неформально, необязательное продолжение подразумевает, что произведение любого количества e-значений, , определенное на независимых выборках , само по себе является e-значением, даже если определение каждого e-значения может зависеть от всех предыдущих результатов и независимо от того, какое правило используется для принятия решения о том, когда прекратить сбор новых образцов (например, для проведения новых испытаний). Отсюда следует, что для любого уровня значимости , если значение равно нулю, то вероятность того, что произведение e-значений когда-либо станет больше, чем ограничен . Таким образом, если мы решим объединить образцы, наблюдаемые до сих пор, и отклонить нулевое значение, если e-значение продукта больше, чем , то наша вероятность ошибки типа I остается ограниченной . Мы говорим, что тестирование, основанное на e-значениях, остается безопасным (действительно типа I) при необязательном продолжении .
Математически это показано, сначала показав, что произведение e-переменных образует неотрицательный мартингал с дискретным временем в фильтрации, генерируемой уравнением (отдельные e-переменные тогда являются приращениями этого мартингала). Результаты затем следуют как следствие необязательной теоремы Дуба об остановке и неравенства Вилле .
Мы уже неявно использовали электронные переменные продукта в приведенном выше примере, где мы определили электронные переменные для отдельных результатов. и разработал новую электронную стоимость, взяв продукты. Таким образом, в примере индивидуальные результаты играть роль «партий» (полных образцов) выше, и поэтому мы можем даже участвовать в произвольной остановке «внутри» исходной партии : мы можем остановить анализ данных по любому отдельному результату (не только «группе результатов»), который нам нравится, по любой причине, и отклонить, если продукт на данный момент превышает . Не все электронные переменные определены для групп результатов Тем не менее, таким способом можно разложить как произведение электронных значений каждого результата. Если это невозможно, мы не можем использовать их для произвольной остановки (в пределах выборки). ), но только для факультативного продолжения (из одного образца к следующему и так далее).
Конструкция и оптимальность
[ редактировать ]Если мы установим независимо от данных мы получаем тривиальное е-значение: это е-переменная по определению, но она никогда не позволит нам отвергнуть нулевую гипотезу. Этот пример показывает, что некоторые электронные переменные могут быть лучше других, в смысле, который будет определен ниже. Интуитивно понятно, что хорошей электронной переменной является та, которая имеет тенденцию быть большой (намного больше 1), если альтернатива верна. Это аналогично ситуации с p-значениями: как e-значения, так и p-значения могут быть определены без ссылки на альтернативу, но если альтернатива доступна, мы хотели бы, чтобы они были маленькими (p-значения) или большими ( e-значения) с высокой вероятностью. В стандартных проверках гипотез качество валидного теста формализуется понятием статистической мощности , но это понятие должно быть соответствующим образом модифицировано в контексте e-значений. [2] [6]
Стандартное понятие качества электронной переменной относительно заданной альтернативы. , используемый большинством авторов в этой области, является обобщением критерия Келли в экономике и (поскольку он действительно демонстрирует тесную связь с классической властью) иногда называется электронной властью ; [7] оптимальная e-переменная в этом смысле известна как логарифмически оптимальная или оптимальная по темпу роста (часто сокращенно GRO). [6] ). В случае простой альтернативы , электронная степень данной электронной переменной просто определяется как ожидание ; в случае составных альтернатив существуют различные версии (например, абсолютный наихудший случай, относительный наихудший случай) [6] электронной власти и GRO.
Простая альтернатива, простой нуль: отношение правдоподобия
[ редактировать ]Позволять и оба будут простыми. Тогда коэффициент правдоподобия e-переменная имеет максимальную e-мощность в указанном выше смысле, т.е. это GRO. [2]
Простая альтернатива, составной нуль: обратная проекция информации (RIPr)
[ редактировать ]Позволять быть простым и быть составным, таким, что все элементы имеют плотности (обозначенные строчными буквами) относительно одной и той же базовой меры. Грюнвальд и др. покажите, что при условиях слабой регулярности e-переменная GRO существует, существенно уникальна и имеет вид
где – это информационная проекция (RIPr) обратная к выпуклой оболочке . [6] При дальнейших условиях регулярности (и во всех встречавшихся до сих пор практически важных случаях) задаётся предельной плотностью Байеса : существует специфическое, уникальное распределение на такой, что .
Простая альтернатива, составной нуль: универсальный вывод (UI)
[ редактировать ]В той же обстановке, что и выше, [8] показать, что вообще при отсутствии условий регулярности
является электронной переменной (со вторым равенством, если MLE ( оценка максимального правдоподобия ) на основе данных всегда четко определен). Этот способ построения электронных переменных был назван методом универсального вывода (UI) , «универсальным», имея в виду тот факт, что не требуется никаких условий регулярности.
Составная альтернатива, простой ноль
[ редактировать ]Теперь позвольте быть простым и быть составным, таким, что все элементы имеют плотности относительно одной и той же базовой меры. В настоящее время существует два общих, тесно связанных способа получения электронных переменных, которые близки к оптимальным с точки зрения роста (соответствующим образом переопределенным). [2] для композита Роббинса ): метод смесей и метод плагина , первоначально принадлежит Уолду [9] но, по сути, заново открыт Филипом Давидом как «предварительный плагин». [10] и Йорма Риссанен как «прогнозирующий MDL ». [11] Метод смесей, по сути, сводится к «байесовскому подходу к числителю» (причина, по которой он не называется «байесовским методом», заключается в том, что, когда и нулевой, и альтернативный являются составными, числитель часто может не быть байесовским маргинальным): мы постулируем любой предварительное распространение на и установить
и используйте переменную e .
Чтобы объяснить метод плагина, предположим, что где представляют собой случайный процесс и пусть быть оценщиком на основе данных для . На практике обычно используется «сглаженная» оценка максимального правдоподобия (такая, как, например, коэффициенты регрессии в гребневой регрессии ), изначально установленная на некоторое «значение по умолчанию». . Теперь рекурсивно строится плотность для установив .
По сути, и метод смесей, и метод плагина можно рассматривать как изучение конкретной реализации альтернативы, которая хорошо объясняет данные. [2]
Составной нуль и альтернатива
[ редактировать ]В параметрических настройках мы можем просто объединить основные методы для составной альтернативы (получение или ) с основными методами для составного нуля (UI или RIPr, используя единый дистрибутив или как альтернатива). Обратите внимание, в частности, что при использовании метода плагина вместе с методом пользовательского интерфейса результирующая электронная переменная будет выглядеть так:
, но все же фундаментально отличается от него которое напоминает обобщенное отношение правдоподобия, используемое в классическом тесте отношения правдоподобия .
Преимущество метода UI по сравнению с RIPr заключается в том, что (а) его можно применять всякий раз, когда MLE можно эффективно вычислить - во многих таких случаях неизвестно, можно ли и как можно вычислить обратную информационную проекцию; и (б) что он «автоматически» дает не просто электронную переменную, а полный электронный процесс (см. ниже): если мы заменим в приведенной выше формуле общим временем остановки , результирующее соотношение по-прежнему является электронной переменной; для обратного проецирования информации эта автоматическая генерация электронного процесса применима только в особых случаях.
Его основным недостатком по сравнению с RIpr является то, что он может быть существенно неоптимальным с точки зрения критерия e-power/GRO, что означает, что он приводит к тестам, которые также имеют меньшую классическую статистическую мощность, чем методы на основе RIpr. Таким образом, для условий, в которых метод RIPr осуществим с вычислительной точки зрения и приводит к электронным процессам, ему следует отдать предпочтение. К ним относятся z-тест, t-тест и соответствующие линейные регрессии, тесты k-выборки с распределениями Бернулли, Гаусса и Пуассона и тест логранга ( для подмножества из них доступен пакет R ), а также тестирование условной независимости в соответствии с модели X. предположение [12] Однако во многих других задачах статистического тестирования в настоящее время (2023 г.) неизвестно, существуют ли быстрые реализации обратного проецирования информации, и они вполне могут не существовать (например, обобщенные линейные модели без предположения модели X).
В непараметрических настройках (таких как проверка среднего значения, как в приведенном выше примере, или непараметрическое тестирование с двумя выборками) часто более естественно рассматривать электронные переменные тип. Однако, хотя на первый взгляд они сильно отличаются от отношений правдоподобия, их часто все же можно интерпретировать как таковые, а иногда даже интерпретировать по-новому как реализацию версии конструкции RIPr. [2]
Наконец, на практике иногда прибегают к математически или вычислительно удобным комбинациям RIPr, UI и других методов. [2] Например, RIPr применяется для получения оптимальных электронных переменных для небольших блоков результатов, а затем они умножаются для получения электронных переменных для более крупных выборок - эти электронные переменные хорошо работают на практике, но больше не могут считаться оптимальными.
Третий метод построения: калибровка p-to-e (и e-to-p).
[ редактировать ]Существуют функции, которые преобразуют p-значения в e-значения. [13] [14] [15] Такие функции называются калибраторами p-to-e . Формально калибратор — это неотрицательная убывающая функция. который при применении к p-переменной (случайной величине, значением которой является p-значение ), дает e-переменную. Калибратор говорят, что он доминирует над другим калибратором если , и это доминирование является строгим, если неравенство строгое. Допустимым калибратором является тот, в котором не доминирует какой-либо другой калибратор. Можно показать, что для того, чтобы функция была калибратором, она должна иметь интеграл не более 1 по равномерной вероятностной мере.
Одно семейство допустимых калибраторов задается набором функций с . Другой калибратор получается путем интегрирования :
И наоборот, калибратор e-to-p преобразует значения e обратно в p-переменные. Интересно, что следующий калибратор доминирует над всеми остальными калибраторами e-to-p:
- .
Несмотря на теоретическую важность, калибровка не часто используется при практическом проектировании электронных переменных, поскольку полученные электронные переменные часто далеки от оптимального роста для любого заданного значения. . [6]
Электронные процессы
[ редактировать ]Определение
[ редактировать ]Теперь рассмотрим данные поступающие последовательно, представляя собой случайный процесс с дискретным временем . Позволять быть другим процессом с дискретным временем, где для каждого можно записать как (измеримую) функцию первого результаты. Мы звоним электронный процесс, если в течение любого времени остановки является электронной переменной, т.е. для всех .
В основных случаях время остановки можно определить по любому правилу, определяющему для каждого размера выборки , основываясь только на данных, наблюдаемых на данный момент, решить, следует ли прекращать сбор данных или нет. Например, это может быть «остановись, когда ты увидишь четыре последовательных результата больше 1», «остановись на ", или уровень- -агрессивное правило : «остановись, как только сможешь отклонить на уровне -уровень, то есть наименьший такой, что и так далее. С помощью электронных процессов мы получаем электронную переменную с любым таким правилом. Важно отметить, что аналитик данных может не знать правило, используемое для остановки. Например, ее начальник может сказать ей прекратить сбор данных, и она может не знать точно, почему - тем не менее, она получает действительную электронную переменную и контроль ошибок типа I. Это резко контрастирует с анализом данных, основанным на значениях p (который становится недействительным, если правила остановки не определены заранее) или в в стиле Вальда классический последовательный анализ (который работает с данными различной длины, но опять же с временем остановки, которое необходимо определить заранее). В более сложных случаях время остановки должно определяться относительно некоторой немного уменьшенной фильтрации , но это так. на практике не является большим ограничением. В частности, уровень. -агрессивное правило всегда разрешено. Из-за этой достоверности при необязательной остановке электронные процессы являются фундаментальным строительным блоком доверительных последовательностей, также известных как действительные в любое время доверительные интервалы. [16] [2]
Технически электронные процессы являются обобщениями тестовых супермартингалов , которые являются неотрицательными супермартингалами с начальным значением 1: любой тестовый супермартингал представляет собой электронный процесс, но не наоборот.
Строительство
[ редактировать ]Электронные процессы могут быть построены разными способами. Часто все начинают с электронного значения. для определение которого может зависеть от предыдущих данных, т.е.
для всех
(опять же, в сложных задачах тестирования это определение необходимо немного изменить, используя уменьшенную фильтрацию). Затем процесс продукта с является тестовым супермартингалом и, следовательно, также электронным процессом (обратите внимание, что мы уже использовали эту конструкцию в примере, описанном выше в разделе «электронные значения как ставки»: для фиксированных , e-значения зависели не от прошлых данных, а с помощью использования в зависимости от прошлого они становились зависимыми от прошлых данных).
Другой способ построить электронный процесс — использовать описанную выше универсальную конструкцию вывода для размеров выборки. Результирующая последовательность e-значений тогда всегда будет электронным процессом. [2]
История
[ редактировать ]Исторически е-значения неявно появляются как строительные блоки неотрицательных супермартингалов в новаторских работах известного математика Герберта Роббинса и некоторых его учеников над надежными в любое время доверительными методами. [16] Впервые е-значения (или что-то очень похожее на них) рассматриваются как величины, представляющие независимый интерес, в 1976 году другим известным математиком, Леонидом Левиным , в рамках теории алгоритмической случайности. За исключением вкладов пионера В. Вовка в различные статьи с разными сотрудниками (например, [14] [13] ) и независимое переосмысление концепции в совершенно другой области, [17] эта концепция вообще не прижилась до 2019 года, когда всего за несколько месяцев на arXiv появилось несколько новаторских статей нескольких исследовательских групп (соответствующие журнальные публикации, упомянутые ниже, иногда появляются годами позже). В них концепции наконец-то было дано собственное имя («S-Value». [6] и «Е-значение»; [15] в более поздних версиях своей статьи, [6] также адаптировано «E-Value»); описывая их общие свойства, [15] два общих способа их создания, [8] и их тесное отношение к ставкам [3] ). С тех пор интерес исследователей по всему миру резко возрос. В 2023 году появился первый обзорный документ «безопасных, действующих в любое время методов», в котором электронные значения играют центральную роль. [2]
Ссылки
[ редактировать ]- ^ Ван, Руоду; Рамдас, Адитья (1 июля 2022 г.). «Контроль частоты ложных обнаружений с помощью E-значений» . Журнал Королевского статистического общества, серия B: Статистическая методология . 84 (3): 822–852. arXiv : 2009.02824 . дои : 10.1111/rssb.12489 . ISSN 1369-7412 .
- ^ Jump up to: а б с д и ж г час я дж к Рамдас, Аадитья; Грюнвальд, Питер; Вовк, Владимир; Шафер, Гленн (1 ноября 2023 г.). «Теоретико-игровая статистика и безопасный вывод, действительный в любое время» . Статистическая наука . 38 (4). arXiv : 2210.01948 . дои : 10.1214/23-стс894 . ISSN 0883-4237 .
- ^ Jump up to: а б Шафер, Гленн (01 апреля 2021 г.). «Тестирование путем ставок: стратегия статистической и научной коммуникации» . Журнал Королевского статистического общества, серия A: Статистика в обществе . 184 (2): 407–431. дои : 10.1111/rssa.12647 . ISSN 0964-1998 .
- ^ Jump up to: а б Воудби-Смит, Ян; Рамдас, Адитья (16 февраля 2023 г.). «Оценка средств ограниченных случайных величин путем ставок» . Журнал Королевского статистического общества, серия B: Статистическая методология . 86 : 1–27. arXiv : 2010.09686 . дои : 10.1093/jrsssb/qkad009 . ISSN 1369-7412 .
- ^ Тер Шуре, Дж. А. (Юдит); Ли, Александр; Белин, Лиза; Бенн, Кристина С.; Бонтен, Марк Дж.М.; Чирилло, Джеффри Д.; Дамен, Джоанна А.А.; Фронтейра, Инес; Хендрикс, Келли Д. (19 декабря 2022 г.). Вакцина Bacillus Calmette-Guérin для снижения случаев заражения COVID-19 и госпитализаций среди медицинских работников – действующий систематический обзор и проспективный ALL-IN метаанализ данных отдельных участников из рандомизированных контролируемых исследований (Отчет). Инфекционные заболевания (кроме ВИЧ/СПИД). дои : 10.1101/2022.12.15.22283474 .
- ^ Jump up to: а б с д и ж г Грюнвальд, Питер; Де Хайде, Рианна; Кулен, Воутер (2024). «Безопасное тестирование» . Журнал Королевского статистического общества, серия B.
- ^ Ван, Цюци; Ван, Руоду; Зигель, Йоханна (2022). «Электронное бэктестирование» . Электронный журнал ССРН . дои : 10.2139/ssrn.4206997 . ISSN 1556-5068 .
- ^ Jump up to: а б Вассерман, Ларри; Рамдас, Аадитья; Балакришнан, Шивараман (06 июля 2020 г.). «Универсальный вывод» . Труды Национальной академии наук . 117 (29): 16880–16890. arXiv : 1912.11436 . дои : 10.1073/pnas.1922664117 . ISSN 0027-8424 . ПМИД 32631986 .
- ^ Вальд, Авраам (1947). Последовательный анализ (раздел 10.10) . Дж. Уайли и сыновья, Инкорпорейтед.
- ^ Дэвид, AP (15 июля 2004 г.). «Предварительный анализ» . Энциклопедия статистических наук . дои : 10.1002/0471667196.ess0335 . ISBN 978-0-471-15044-2 .
- ^ Риссанен, Дж. (июль 1984 г.). «Универсальное кодирование, информация, прогнозирование и оценка» . Транзакции IEEE по теории информации . 30 (4): 629–636. дои : 10.1109/тит.1984.1056936 . ISSN 0018-9448 .
- ^ Кандес, Эммануэль; Фань, Иньин; Янсон, Лукас; Льв, Джинчи (08 января 2018 г.). «В поисках золота: подделки «Модели-X» для многомерного выбора контролируемых переменных» . Журнал Королевского статистического общества, серия B: Статистическая методология . 80 (3): 551–577. arXiv : 1610.02351 . дои : 10.1111/rssb.12265 . ISSN 1369-7412 .
- ^ Jump up to: а б Шафер, Гленн; Шен, Александр; Верещагин, Николай; Вовк, Владимир (01 февраля 2011 г.). «Проверка мартингалов, байесовских факторов и p-значений» . Статистическая наука . 26 (1). arXiv : 0912.4269 . дои : 10.1214/10-стс347 . ISSN 0883-4237 .
- ^ Jump up to: а б Вовк В.Г. (январь 1993 г.). «Логика вероятности с применением к основам статистики» . Журнал Королевского статистического общества, серия B (методологический) . 55 (2): 317–341. дои : 10.1111/j.2517-6161.1993.tb01904.x . ISSN 0035-9246 .
- ^ Jump up to: а б с Вовк, Владимир; Ван, Руоду (01 июня 2021 г.). «Е-значения: калибровка, сочетание и применение» . Анналы статистики . 49 (3). arXiv : 1912.06116 . дои : 10.1214/20-aos2020 . ISSN 0090-5364 .
- ^ Jump up to: а б Дарлинг, Д.А.; Роббинс, Герберт (июль 1967 г.). «Доверительные последовательности для среднего, дисперсии и медианы» . Труды Национальной академии наук . 58 (1): 66–68. дои : 10.1073/pnas.58.1.66 . ISSN 0027-8424 . ПМЦ 335597 . ПМИД 16578652 .
- ^ Чжан, Яньбао; Глэнси, Скотт; Нилл, Эмануэль (22 декабря 2011 г.). «Асимптотически оптимальный анализ данных для отказа от локального реализма» . Физический обзор А. 84 (6): 062118. arXiv : 1108.2468 . дои : 10.1103/physreva.84.062118 . ISSN 1050-2947 .