Уровень ложного обнаружения

В статистике уровень ложных открытий ( FDR ) — это метод концептуализации уровня ошибок типа I при проверке нулевой гипотезы при проведении множественных сравнений . Процедуры контроля FDR предназначены для контроля FDR, который представляет собой ожидаемую долю «открытий» (отклоненных нулевых гипотез ), которые являются ложными (неверными отклонениями нулевых гипотез). ^[1] Аналогично, FDR — это ожидаемое отношение количества ложноположительных классификаций (ложных открытий) к общему количеству положительных классификаций (отклонений нуля). Общее количество отклонений нуля включает в себя как количество ложных срабатываний (FP), так и количество истинных срабатываний (TP). Проще говоря, ФДР = ФП/(ФП+ТП). Процедуры контроля FDR обеспечивают менее строгий контроль ошибок типа I по сравнению с процедурами контроля частоты ошибок по семейству (FWER) (такими как поправка Бонферрони ), которые контролируют вероятность хотя бы одной ошибки типа I. Таким образом, процедуры контроля FDR обладают большей эффективностью за счет увеличения количества ошибок первого рода. ^[2]

История

Технологические мотивы

Считается, что современное широкое использование FDR обусловлено и мотивировано развитием технологий, которые позволили собирать и анализировать большое количество различных переменных у нескольких людей (например, уровень экспрессии каждого из 10 000 различных генов). у 100 разных людей). ^[3] К концу 1980-х и 1990-м годам развитие «высокопроизводительных» наук, таких как геномика , позволило быстро собирать данные. Это, в сочетании с ростом вычислительной мощности, позволило беспрепятственно выполнять очень большое количество статистических тестов на заданном наборе данных. Технология микрочипов была типичным примером, поскольку она позволяла одновременно тестировать тысячи генов на дифференциальную экспрессию в двух биологических условиях. ^[4]

По мере того, как высокопроизводительные технологии стали обычным явлением, технологические и/или финансовые ограничения заставили исследователей собирать наборы данных с относительно небольшими размерами выборок (например, небольшое количество тестируемых людей) и большим количеством измеряемых переменных в каждой выборке (например, тысячи уровней экспрессии генов). В этих наборах данных слишком немногие из измеренных переменных показали статистическую значимость после классической поправки на множественные тесты со стандартными процедурами множественного сравнения . Это создало необходимость во многих научных сообществах отказаться от FWER и нескорректированного тестирования множественных гипотез в пользу других способов выделить и ранжировать в публикациях те переменные, которые демонстрируют заметные эффекты для отдельных лиц или методов лечения, которые в противном случае были бы отклонены как несущественные после стандартной поправки для множественных тестов. В ответ на это были предложены различные коэффициенты ошибок (и они стали широко использоваться в публикациях), которые менее консервативны, чем FWER, при выделении потенциально примечательных наблюдений. FDR полезен, когда исследователи ищут «открытия», которые дадут им возможность последующей работы (например, обнаружение многообещающих генов для последующих исследований), и заинтересованы в контроле доли «ложных версий», которые они готовы принять.

Литература

Концепция Рузвельта была официально описана Йоавом Бенджамини и Йосефом Хохбергом в 1995 году. ^[1] ( процедура BH ) как менее консервативный и, возможно, более подходящий подход для выявления немногих важных из тривиального множества протестированных эффектов. Рузвельт оказал особое влияние, поскольку он стал первой альтернативой FWER, получившей широкое признание во многих научных областях (особенно в науках о жизни, от генетики до биохимии, онкологии и наук о растениях). ^[3] В 2005 году статья Беньямини и Хохберга 1995 года была признана одной из 25 наиболее цитируемых статистических работ. ^[5]

До появления в 1995 году концепции Рузвельта в статистической литературе рассматривались различные идеи-предшественники. В 1979 году Холм предложил процедуру Холма . ^[6] пошаговый алгоритм управления FWER, который по меньшей мере не уступает по мощности известной регулировке Бонферрони . Этот пошаговый алгоритм сортирует p -значения и последовательно отклоняет гипотезы, начиная с наименьших p -значений.

Бенджамини (2010) сказал, что уровень ложных открытий, ^[3] а статья Бенджамини и Хохберга (1995) возникла из двух статей, посвященных множественному тестированию:

Первая статья написана Шведером и Спьотволлом (1982), которые предложили построить график ранжированных значений p и оценить количество истинных нулевых гипотез ( $m_{0}$ ) через линию, подходящую для глаз, начиная с наибольших значений p . ^[7] Значения p , отклоняющиеся от этой прямой линии, тогда должны соответствовать ложным нулевым гипотезам. Эта идея позже была развита в алгоритм и включала оценку $m_{0}$ в такие процедуры, как Бонферрони, Холм или Хохберг. ^[8] Эта идея тесно связана с графической интерпретацией процедуры БХ.
Вторая статья написана Бранко Соричем (1989), в которой введена терминология «открытия» в контексте проверки множественных гипотез. ^[9] Сорик использовал ожидаемое количество ложных открытий, разделенное на количество открытий. $\left(E[V]/R\right)$ как предупреждение о том, что «большая часть статистических открытий может быть ошибочной». Это привело Беньямини и Хохберга к мысли, что подобная частота ошибок может служить не просто предупреждением, а достойной целью для контроля.

В ходе независимых испытаний в 1995 году Бенджамини и Хохберг доказали, что процедура BH контролирует FDR. ^[1] В 1986 году Р. Дж. Саймс предложил ту же процедуру, что и « процедура Саймса », для управления FWER в слабом смысле (в соответствии с нулевой гипотезой пересечения), когда статистика независимы. ^[10]

Определения

Основываясь на приведенных ниже определениях, мы можем определить $Q$ как долю ложных открытий среди открытий (отклонений нулевой гипотезы): $Q={\frac {V}{R}}={\frac {V}{V+S}}.$ где $V$ количество ложных открытий и $S$ — число истинных открытий.

уровень ложного обнаружения ( FDR ) будет просто: Тогда ^[1] $\mathrm {FDR} =Q_{e}=\mathrm {E} \!\left[Q\right]=1-{\text{precision}},$ где $\mathrm {E} \!\left[Q\right]$ значение ожидаемое $Q$ . Цель состоит в том, чтобы поддерживать FDR ниже заданного порога q . Чтобы избежать деления на ноль , $Q$ определяется как 0, когда $R=0$ . Формально, $\mathrm {FDR} =\mathrm {E} \!\left[V/R|R>0\right]\cdot \mathrm {P} \!\left(R>0\right)$ . ^[1]

Классификация множественных проверок гипотез

В следующей таблице определены возможные результаты при проверке нескольких нулевых гипотез. Предположим, у нас есть количество m нулевых гипотез, обозначенных: $H 1, H 2, ..., H m .$ Используя статистический тест , мы отвергаем нулевую гипотезу, если тест признан значимым. Мы не отвергаем нулевую гипотезу, если тест незначим.Суммирование результатов каждого типа по всем H _i дает следующие случайные величины:

	Нулевая гипотеза верна (H ₀ )	Альтернативная гипотеза верна ( _HA )	Общий
Тест признан значимым	$V$	$С$	$Р$
Тест признан незначимым	$В$	$Т$	$m-R$
Общий	$m_{0}$	$m-m_{0}$	$м$

$m$ — общее количество проверенных гипотез.
$m_{0}$ — количество истинных нулевых гипотез , неизвестный параметр
$m-m_{0}$ количество истинных альтернативных гипотез
$V$ — количество ложных срабатываний (ошибка I рода) (также называемых «ложными открытиями»).
$S$ — количество истинных положительных результатов (также называемых «истинными открытиями»).
$T$ — количество ложноотрицательных результатов (ошибка II рода)
$U$ - количество истинных негативов
$R=V+S$ количество отвергнутых нулевых гипотез (также называемых «открытиями», истинными или ложными)

В $m$ проверки гипотез, из которых $m_{0}$ являются истинными нулевыми гипотезами, $R$ — наблюдаемая случайная величина, а $S$ , $T$ , $U$ и $V$ — ненаблюдаемые случайные величины .

Процедуры контроля

Настройки многих процедур таковы, что имеем $H_{1}\ldots H_{m}$ нулевые гипотезы проверены и $P_{1}\ldots P_{m}$ соответствующие им p -значения . Перечислим эти p -значения в порядке возрастания и обозначим их через $P_{(1)}\ldots P_{(m)}$ . Процедура, которая переходит от маленькой тестовой статистики к большой, будет называться повышающей процедурой. Аналогичным образом, в процедуре «понижения» мы переходим от большой соответствующей тестовой статистики к меньшей.

Процедура Бенджамини – Хохберга

Процедура Беньямини-Хохберга применяется к набору из m = 20 упорядоченных по возрастанию значений p с уровнем контроля ложного обнаружения α = 0,05. P-значения отвергнутой нулевой гипотезы (т.е. заявленных открытий) окрашены в красный цвет. Обратите внимание, что существуют отклоненные значения p, которые находятся выше линии отклонения (синего цвета), поскольку все нулевые гипотезы значений p, которые ранжированы до значения p последнего пересечения, отклоняются. Здесь аппроксимации MFDR = 0,02625 и AFDR = 0,00730.

Процедура Бенджамини – Хохберга (процедура повышения BH) контролирует FDR на уровне $\alpha$ . ^[1] Это работает следующим образом:

Для данного $\alpha$ , найдите наибольшее $k$ такое, что $P_{(k)}\leq {\frac {k}{m}}\alpha$
Отклонить нулевую гипотезу (т. е. объявить открытия) для всех $H_{(i)}$ для $i=1,\ldots ,k$

Геометрически это соответствует построению $P_{(k)}$ против $k$ (по $осям y$ и $x$ соответственно), рисование линии через начало координат с наклоном ${\frac {\alpha }{m}}$ и объявление открытий для всех точек слева, вплоть до последней точки, которая не находится над линией, включительно.

Процедура BH действительна, когда $m$ тестов независимы , а также при различных сценариях зависимости, но не является универсальной. ^[11] Он также удовлетворяет неравенству: $E(Q)\leq {\frac {m_{0}}{m}}\alpha \leq \alpha$ Если оценщик $m_{0}$ вводится в процедуру BH, больше не гарантируется достижение контроля FDR на желаемом уровне. ^[3] В оценщик могут потребоваться корректировки, и было предложено несколько модификаций. ^[12]^[13]^[14]^[15]

Обратите внимание, что среднее $\alpha$ для этих $m$ тестов ${\frac {\alpha (m+1)}{2m}}$ , Среднее(FDR $\alpha$ ) или МФДР, $\alpha$ с поправкой на $m$ независимых или положительно коррелированных тестов (см. AFDR ниже). Выражение MFDR здесь предназначено для одного пересчитанного значения $\alpha$ и не является частью метода Беньямини и Хохберга.

Процедура Бенджамини-Екутиэли

Процедура Бенджамини – Йекутиэли контролирует частоту ложных открытий при предположениях о произвольной зависимости. ^[11] Это уточнение изменяет порог и находит наибольшее значение $k$ такое, что: $P_{(k)}\leq {\frac {k}{m\cdot c(m)}}\alpha$

Если тесты независимы или положительно коррелируют (как в процедуре Беньямини-Хохберга): $c(m)=1$
При произвольной зависимости (в том числе и в случае отрицательной корреляции) c(m) — номер гармоники : $c(m)=\sum _{i=1}^{m}{\frac {1}{i}}$ .
Обратите внимание, что $c(m)$ можно аппроксимировать с помощью разложения в ряд Тейлора и постоянной Эйлера – Маскерони ( $\gamma =0.57721...$ ): $\sum _{i=1}^{m}{\frac {1}{i}}\approx \ln(m)+\gamma +{\frac {1}{2m}}.$

Используя MFDR и приведенные выше формулы, скорректированный MFDR (или AFDR) представляет собой минимум среднего значения. $\alpha$ для $m$ зависимых тестов, т. е. ${\frac {\mathrm {MFDR} }{c(m)}}={\frac {\alpha (m+1)}{2m[\ln(m)+\gamma ]+1}}$ . Другой способ справиться с зависимостью — это загрузка и повторная рандомизация. ^[4]^[16]^[17]

Процедура Стори-Тибширани

В процедуре Стори-Тибширани значения q используются для управления FDR.

Характеристики

Адаптивный и масштабируемый

Использование процедуры множественности, которая контролирует критерий FDR, является адаптивным и масштабируемым . Это означает, что контроль FDR может быть очень либеральным (если данные это оправдывают) или консервативным (действующим, близким к контролю FWER для разреженной проблемы) - все в зависимости от количества проверенных гипотез и уровня значимости. ^[3]

Критерий FDR адаптируется таким образом, что одно и то же количество ложных открытий (V) будет иметь разные последствия в зависимости от общего количества открытий (R). Это контрастирует с семейным критерием частоты ошибок. Например, если проверить 100 гипотез (скажем, 100 генетических мутаций или SNP на предмет ассоциации с некоторым фенотипом в некоторой популяции):

Если мы сделаем 4 открытия (R), то если 2 из них будут ложными открытиями (V), это часто будет очень дорого стоить. Тогда как,
Если мы сделаем 50 открытий (R), то наличие двух из них ложных открытий (V) часто обходится не очень дорого.

Критерий FDR является масштабируемым , поскольку одна и та же доля ложных открытий от общего числа открытий (Q) остается разумной для различного числа общих открытий (R). Например:

Если мы сделаем 100 открытий (R), то 5 из них будут ложными открытиями ( $q=5\%$ ) может быть не очень дорого.
Аналогично, если мы сделаем 1000 открытий (R), 50 из которых будут ложными открытиями (как и раньше, $q=5\%$ ) все еще может быть не очень дорогостоящим.

Зависимость между тестовой статистикой

Управление FDR с помощью процедуры линейного повышения BH на уровне q имеет несколько свойств, связанных со структурой зависимостей между тестовыми статистиками $m$ нулевых гипотез, которые корректируются. Если статистика теста:

Независимый: ^[11] $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
Независимый и непрерывный: ^[1] $\mathrm {FDR} ={\frac {m_{0}}{m}}q$
Положительная зависимость: ^[11] $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
В общем случае: ^[11] $\mathrm {FDR} \leq {\frac {m_{0}}{m}}{\frac {q}{1+{\frac {1}{2}}+{\frac {1}{3}}+\cdots +{\frac {1}{m}}}}\approx {\frac {m_{0}}{m}}{\frac {q}{\ln(m)+\gamma +{\frac {1}{2m}}}},$ где $\gamma$ – постоянная Эйлера–Машерони .

Доля истинных гипотез

Если все нулевые гипотезы верны ( $m_{0}=m$ ), то контроль ФДР на уровне $q$ гарантирует контроль над ФВЭР (это еще называют «слабым контролем ФДР» ): $\mathrm {FWER} =P\left(V\geq 1\right)=E\left({\frac {V}{R}}\right)=\mathrm {FDR} \leq q$ просто потому, что событие отклонения хотя бы одной истинной нулевой гипотезы $\{V\geq 1\}$ это именно то событие $\{V/R=1\}$ , и событие $\{V=0\}$ это именно то событие $\{V/R=0\}$ (когда $V=R=0$ , $V/R=0$ по определению). ^[1] Но если есть какие-то истинные открытия, которые предстоит сделать ( $m_{0}<m$ ), то $FWER \geq FDR$ . В этом случае появится возможность улучшить мощность обнаружения. Это также означает, что любая процедура, которая контролирует FWER, будет также контролировать FDR.

Средняя мощность

Среднюю мощность процедуры Беньямини-Хохберга можно вычислить аналитически. ^[18]

Связанные понятия

Открытию FDR предшествовало и последовало множество других типов ошибок. К ним относятся:

$PCER$ ( коэффициент ошибок при сравнении ) определяется как: $\mathrm {PCER} =E\left[{\frac {V}{m}}\right]$ . Проверка каждой гипотезы по отдельности на уровне $α$ гарантирует, что $\mathrm {PCER} \leq \alpha$ (это тестирование без поправки на кратность)
$FWER$ ( частота семейных ошибок ) определяется как: $\mathrm {FWER} =P(V\geq 1)$ . Существует множество процедур, контролирующих FWER .
$k{\text{-FWER}}$ (Хвостовая вероятность пропорции ложного открытия), предложенная Леманном и Романо, ван дер Лааном и др., ^{[ нужна ссылка ]} определяется как: $k{\text{-FWER}}=P(V\geq k)\leq q$ .
$k{\text{-FDR}}$ (также названный обобщенным Рузвельтом) . Саркаром в 2007 году ^[19]^[20]) определяется как: $k{\text{-FDR}}=E\left({\frac {V}{R}}I_{(V>k)}\right)\leq q$ .
$Q'$ — доля ложных открытий среди открытий», — предположил Сорик в 1989 году. ^[9] и определяется как: $Q'={\frac {E[V]}{R}}$ . Это смесь ожиданий и реализаций, и здесь возникает проблема контроля над $m_{0}=m$ . ^[1]
$\mathrm {FDR} _{-1}$ (или Фдр) использовался Беньямини и Хохбергом, ^[3] и позже названный Эфроном (2008) и ранее «Фдр». ^[21] Он определяется как: $\mathrm {FDR} _{-1}=Fdr={\frac {E[V]}{E[R]}}$ . Эту частоту ошибок нельзя строго контролировать, поскольку она равна 1, когда $m=m_{0}$ .
$\mathrm {FDR} _{+1}$ использовался Беньямини и Хохбергом, ^[3] и позже назван Стори (2002) «pFDR». ^[22] Он определяется как: $\mathrm {FDR} _{+1}=pFDR=E\left[\left.{\frac {V}{R}}\right|R>0\right]$ . Эту частоту ошибок нельзя строго контролировать, поскольку она равна 1, когда $m=m_{0}$ . Дж. Д. Стори продвигал использование pFDR (близкого родственника FDR) и значения q , которое можно рассматривать как долю ложных открытий, которую мы ожидаем в упорядоченной таблице результатов, вплоть до текущей строки. ^{[ нужна ссылка ]} Стори также выдвинул идею (также упомянутую Б.Х.), что фактическое количество нулевых гипотез $m_{0}$ , можно оценить по форме кривой распределения вероятностей . Например, в наборе данных, в котором все нулевые гипотезы верны, 50% результатов будут давать вероятности от 0,5 до 1,0 (а остальные 50% будут давать вероятности от 0,0 до 0,5). Поэтому мы можем оценить $m_{0}$ найдя количество результатов с $P>0.5$ и удвоить его, и это позволяет уточнить наш расчет pFDR при любом конкретном пороговом значении в наборе данных. ^[22]
Коэффициент ложного превышения (хвостовая вероятность FDP), определяемый как: ^[23] $\mathrm {P} \left({\frac {V}{R}}>q\right)$
$W{\text{-FDR}}$ (Взвешенный ФДР). С каждой гипотезой i связан вес $w_{i}\geq 0$ , веса отражают важность/цену. W-FDR определяется как: $W{\text{-FDR}}=E\left({\frac {\sum w_{i}V_{i}}{\sum w_{i}R_{i}}}\right)$ .
$FDCR$ (ставка стоимости ложного обнаружения). Вытекает из статистического управления процессом : с каждой гипотезой связана стоимость i. $\mathrm {c} _{i}$ и с гипотезой пересечения $H_{00}$ стоимость $c_{0}$ . Мотивация заключается в том, что остановка производственного процесса может повлечь за собой фиксированные затраты. Он определяется как: $\mathrm {FDCR} =E\left(c_{0}V_{0}+{\frac {\sum c_{i}V_{i}}{c_{0}R_{0}+\sum c_{i}R_{i}}}\right)$
$PFER$ (коэффициент ошибок на семью) определяется как: $\mathrm {PFER} =E(V)$ .
$FNR$ (ложные показатели необнаружения) от Саркара; Дженовезе и Вассерман ^{[ нужна ссылка ]} определяется как: $\mathrm {FNR} =E\left({\frac {T}{m-R}}\right)=E\left({\frac {m-m_{0}-(R-V)}{m-R}}\right)$
$\mathrm {FDR} (z)$ определяется как: $\mathrm {FDR} (z)={\frac {p_{0}F_{0}(z)}{F(z)}}$
$\mathrm {FDR}$ Локальный fdr определяется как: $\mathrm {FDR} ={\frac {p_{0}f_{0}(z)}{f(z)}}$

Ложный уровень покрытия

Коэффициент ложного покрытия (FCR) в некотором смысле является аналогом доверительного интервала FDR . FCR указывает средний уровень ложного покрытия, а именно не покрытия истинных параметров, среди выбранных интервалов. FCR обеспечивает одновременное покрытие на $1-\alpha$ уровень всех параметров, рассматриваемых в задаче. Интервалы с вероятностью одновременного покрытия 1-q могут контролировать FCR, который будет ограничен q . Существует множество процедур FCR, таких как: выбранный Бонферрони – скорректированный Бонферрони, ^{[ нужна ссылка ]} Скорректированные КИ, выбранные BH (Benjamini and Yekutieli (2005)), ^[24] Байес FCR (Екутиэли (2008)), ^{[ нужна ссылка ]} и другие методы Байеса. ^[25]

Байесовский подход

Были установлены связи между подходами ФДР и байесовскими подходами (включая эмпирические методы Байеса). ^[21]^[26]^[27] пороговые коэффициенты вейвлетов и выбор модели , ^[28]^[29]^[30]^[31]^[32]и обобщение доверительного интервала до уровня ложных заявлений о покрытии (FCR). ^[24]

См. также

Положительная прогностическая ценность

Ссылки

^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я Бенджамини Ю., Хохберг Ю. (1995). «Контроль количества ложных обнаружений: практичный и мощный подход к множественному тестированию». Журнал Королевского статистического общества, серия B. 57 (1): 289–300. МР 1325392 .
^ Шаффер, JP (январь 1995 г.). «Множественная проверка гипотез». Ежегодный обзор психологии . 46 (1): 561–584. дои : 10.1146/annurev.ps.46.020195.003021 . S2CID 7696063 . Гейл А16629837 .
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г Бенджамини Ю (2010). «Обнаружение уровня ложных открытий» . Журнал Королевского статистического общества, серия B. 72 (4): 405–416. дои : 10.1111/j.1467-9868.2010.00746.x .
^ Jump up to: ^а ^б Стори Дж.Д., Тибширани Р. (август 2003 г.). «Статистическая значимость для полногеномных исследований» . Труды Национальной академии наук Соединенных Штатов Америки . 100 (16): 9440–5. Бибкод : 2003PNAS..100.9440S . дои : 10.1073/pnas.1530509100 . ПМК 170937 . ПМИД 12883005 .
^ Райан Т.П., Вудалл WH (2005). «Самые цитируемые статистические статьи». Журнал прикладной статистики . 32 (5): 461–474. Бибкод : 2005JApSt..32..461R . дои : 10.1080/02664760500079373 . S2CID 109615204 .
^ Холм С. (1979). «Простая процедура последовательного отбраковывания множественных испытаний». Скандинавский статистический журнал . 6 (2): 65–70. JSTOR 4615733 . МР 0538597 .
^ Шведер Т., Спьётволл Э. (1982). «Графики P-значений для одновременной оценки множества тестов». Биометрика . 69 (3): 493–502. дои : 10.1093/biomet/69.3.493 .
^ Хохберг Ю., Бенджамини Ю. (июль 1990 г.). «Более мощные процедуры для проверки множественной значимости». Статистика в медицине . 9 (7): 811–8. дои : 10.1002/сим.4780090710 . ПМИД 2218183 .
^ Jump up to: ^а ^б Сорик Б (июнь 1989 г.). «Статистические «открытия» и оценка размера эффекта». Журнал Американской статистической ассоциации . 84 (406): 608–610. дои : 10.1080/01621459.1989.10478811 . JSTOR 2289950 .
^ Саймс Р.Дж. (1986). «Улучшенная процедура Бонферрони для множественных тестов значимости». Биометрика . 73 (3): 751–754. дои : 10.1093/biomet/73.3.751 .
^ Jump up to: ^а ^б ^с ^д ^и Бенджамини Ю., Екутиэли Д. (2001). «Контроль частоты ложных обнаружений при множественном тестировании с зависимостями» . Анналы статистики . 29 (4): 1165–1188. дои : 10.1214/aos/1013699998 . МР 1869245 .
^ Стори Дж. Д., Тейлор Дж. Э., Зигмунд Д. (2004). «Строгий контроль, консервативная точечная оценка и одновременная консервативная последовательность показателей ложных открытий: единый подход» . Журнал Королевского статистического общества, серия B. 66 : 187–205. дои : 10.1111/j.1467-9868.2004.00439.x . S2CID 12646251 .
^ Бенджамини Ю., Кригер А.М., Йекутиэли Д. (2006). «Адаптивные линейные процедуры повышения, контролирующие частоту ложных обнаружений». Биометрика . 93 (3): 491–507. дои : 10.1093/biomet/93.3.491 .
^ Гаврилов Ю., Бенджамини Ю., Саркар С.К. (2009). «Адаптивная процедура понижения с проверенным контролем FDR в условиях независимости». Анналы статистики . 37 (2): 619. arXiv : 0903.5373 . дои : 10.1214/07-AOS586 . S2CID 16913244 .
^ Бланшар Дж., Рокен Э. (2008). «Два простых достаточных условия для контроля Рузвельта». Электронный статистический журнал . 2 : 963–992. arXiv : 0802.1406 . дои : 10.1214/08-EJS180 . S2CID 16662020 .
^ Екутиэли Д., Бенджамини Ю. (1999). «Процедура управления частотой ложного обнаружения на основе повторной выборки для статистики зависимых испытаний». Дж. Статист. Планирование Инф . 82 (1–2): 171–196. дои : 10.1016/S0378-3758(99)00041-5 .
^ ван дер Лаан М.Дж., Дюдуа С. (2007). Множественные процедуры тестирования с применением в геномике . Нью-Йорк: Спрингер.
^ Глюк, Дебора Х; Мандель, Ян; Каримпур-Фард, Анис; Хантер, Лоуренс; Мюллер, Кейт Э. (30 января 2008 г.). «Точные расчеты средней мощности для процедуры Беньямини-Хохберга» . Международный журнал биостатистики . 4 (1): Статья 11. doi : 10.2202/1557-4679.1103 . ПМК 3020656 . ПМИД 21243075 .
^ Саркар СК (2007). «Пошаговые процедуры, управляющие обобщенным FWER и обобщенным FDR». Анналы статистики . 35 (6): 2405–20. arXiv : 0803.2934 . дои : 10.1214/009053607000000398 . S2CID 14784911 .
^ Саркар С.К., Го В (июнь 2009 г.). «Об обобщенной частоте ложных открытий». Анналы статистики . 37 (3): 1545–65. arXiv : 0906.3091 . дои : 10.1214/08-AOS617 . JSTOR 30243677 . S2CID 15746841 .
^ Jump up to: ^а ^б Эфрон Б (2008). «Микрочипы, эмпирический Байес и модель двух групп». Статистическая наука . 23 : 1–22. arXiv : 0808.0603 . дои : 10.1214/07-STS236 . S2CID 8417479 .
^ Jump up to: ^а ^б Стори Джей Ди (2002). «Прямой подход к уровню ложного обнаружения» (PDF) . Журнал Королевского статистического общества, серия B. 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . дои : 10.1111/1467-9868.00346 . S2CID 122987911 .
^ Бенджамини Ю. (декабрь 2010 г.). «Одновременный и выборочный вывод: текущие успехи и будущие проблемы». Биометрический журнал. Биометрическая газета . 52 (6): 708–21. дои : 10.1002/bimj.200900299 . ПМИД 21154895 . S2CID 8806192 .
^ Jump up to: ^а ^б Бенджамини Ю, Екутиэли Ю (2005). «Коэффициент ложного обнаружения, контролирующий доверительные интервалы для выбранных параметров». Журнал Американской статистической ассоциации . 100 (469): 71–80. дои : 10.1198/016214504000001907 . S2CID 23202143 .
^ Чжао З., Джин Хван Дж.Т. (2012). «Эмпирический коэффициент байесовского ложного покрытия, контролирующий доверительные интервалы». Журнал Королевского статистического общества, серия B. 74 (5): 871–891. дои : 10.1111/j.1467-9868.2012.01033.x . hdl : 10.1111/j.1467-9868.2012.01033.x . S2CID 111420152 .
^ Стори Джей Ди (2003). «Положительная частота ложных открытий: байесовская интерпретация и значение q» . Анналы статистики . 31 (6): 2013–2035. дои : 10.1214/aos/1074290335 .
^ Эфрон Б (2010). Крупномасштабный вывод . Издательство Кембриджского университета . ISBN 978-0-521-19249-1 .
^ Абрамович Ф., Бенджамини Ю., Донохо Д., Джонстон И.М. (2006). «Адаптация к неизвестной разреженности путем контроля частоты ложных открытий». Анналы статистики . 34 (2): 584–653. arXiv : math/0505374 . Бибкод : 2005math......5374A . дои : 10.1214/009053606000000074 . S2CID 7581060 .
^ Донохо Д., Джин Дж. (2006). «Асимптотическая минимаксность порога ложного обнаружения для разреженных экспоненциальных данных». Анналы статистики . 34 (6): 2980–3018. arXiv : математика/0602311 . Бибкод : 2006math......2311D . дои : 10.1214/009053606000000920 . S2CID 9080115 .
^ Бенджамини Ю, Гаврилов Ю (2009). «Простая процедура прямого выбора, основанная на контроле частоты ложных обнаружений». Анналы прикладной статистики . 3 (1): 179–198. arXiv : 0905.2819 . Бибкод : 2009arXiv0905.2819B . дои : 10.1214/08-AOAS194 . S2CID 15719154 .
^ Донохо Д., Джин Дж.С. (2004). «Высшая критика за обнаружение разреженных гетерогенных смесей». Анналы статистики . 32 (3): 962–994. arXiv : math/0410072 . Бибкод : 2004math.....10072D . дои : 10.1214/009053604000000265 . S2CID 912325 .
^ Стойка П., Бабу П. (2022). «Правила частоты ложных обнаружений (FDR) и частоты семейных ошибок (FER) для выбора модели в приложениях обработки сигналов». Открытый журнал IEEE по обработке сигналов . 3 (1): 403–416. дои : 10.1109/OJSP.2022.3213128 .

Внешние ссылки

Анализ частоты ложного обнаружения в R — список ссылок на популярные R. пакеты
Анализ частоты ложного обнаружения в Python — реализации процедур частоты ложного обнаружения на языке Python.
Уровень ложного обнаружения: исправленные и скорректированные P-значения - реализация MATLAB / GNU Octave и обсуждение разницы между исправленными и скорректированными p-значениями FDR.
Понимание уровня ложного обнаружения - сообщение в блоге
StatQuest: Рузвельт и метод Бенджамини-Хохберга четко объяснены на YouTube
Понимание частоты ложного обнаружения . Включает код Excel VBA для его реализации и пример разработки клеточной линии.

[BenjaminiHochberg1995-1] Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я Бенджамини Ю., Хохберг Ю. (1995). «Контроль количества ложных обнаружений: практичный и мощный подход к множественному тестированию». Журнал Королевского статистического общества, серия B. 57 (1): 289–300. МР 1325392 .

[2] Шаффер, JP (январь 1995 г.). «Множественная проверка гипотез». Ежегодный обзор психологии . 46 (1): 561–584. дои : 10.1146/annurev.ps.46.020195.003021 . S2CID 7696063 . Гейл А16629837 .

[Benjamini2010-3] Jump up to: ^а ^б ^с ^д ^и ^ж ^г Бенджамини Ю (2010). «Обнаружение уровня ложных открытий» . Журнал Королевского статистического общества, серия B. 72 (4): 405–416. дои : 10.1111/j.1467-9868.2010.00746.x .

[StoreyTibs2003-4] Jump up to: ^а ^б Стори Дж.Д., Тибширани Р. (август 2003 г.). «Статистическая значимость для полногеномных исследований» . Труды Национальной академии наук Соединенных Штатов Америки . 100 (16): 9440–5. Бибкод : 2003PNAS..100.9440S . дои : 10.1073/pnas.1530509100 . ПМК 170937 . ПМИД 12883005 .

[RYANA2005-5] Райан Т.П., Вудалл WH (2005). «Самые цитируемые статистические статьи». Журнал прикладной статистики . 32 (5): 461–474. Бибкод : 2005JApSt..32..461R . дои : 10.1080/02664760500079373 . S2CID 109615204 .

[6] Холм С. (1979). «Простая процедура последовательного отбраковывания множественных испытаний». Скандинавский статистический журнал . 6 (2): 65–70. JSTOR 4615733 . МР 0538597 .

[SCHWEDER1982-7] Шведер Т., Спьётволл Э. (1982). «Графики P-значений для одновременной оценки множества тестов». Биометрика . 69 (3): 493–502. дои : 10.1093/biomet/69.3.493 .

[Hochberg1990-8] Хохберг Ю., Бенджамини Ю. (июль 1990 г.). «Более мощные процедуры для проверки множественной значимости». Статистика в медицине . 9 (7): 811–8. дои : 10.1002/сим.4780090710 . ПМИД 2218183 .

[Soric1989-9] Jump up to: ^а ^б Сорик Б (июнь 1989 г.). «Статистические «открытия» и оценка размера эффекта». Журнал Американской статистической ассоциации . 84 (406): 608–610. дои : 10.1080/01621459.1989.10478811 . JSTOR 2289950 .

[Simes1986-10] Саймс Р.Дж. (1986). «Улучшенная процедура Бонферрони для множественных тестов значимости». Биометрика . 73 (3): 751–754. дои : 10.1093/biomet/73.3.751 .

[BenjaminiYekutieli2001-11] Jump up to: ^а ^б ^с ^д ^и Бенджамини Ю., Екутиэли Д. (2001). «Контроль частоты ложных обнаружений при множественном тестировании с зависимостями» . Анналы статистики . 29 (4): 1165–1188. дои : 10.1214/aos/1013699998 . МР 1869245 .

[Storey2004-12] Стори Дж. Д., Тейлор Дж. Э., Зигмунд Д. (2004). «Строгий контроль, консервативная точечная оценка и одновременная консервативная последовательность показателей ложных открытий: единый подход» . Журнал Королевского статистического общества, серия B. 66 : 187–205. дои : 10.1111/j.1467-9868.2004.00439.x . S2CID 12646251 .

[Benjamini2006-13] Бенджамини Ю., Кригер А.М., Йекутиэли Д. (2006). «Адаптивные линейные процедуры повышения, контролирующие частоту ложных обнаружений». Биометрика . 93 (3): 491–507. дои : 10.1093/biomet/93.3.491 .

[Gavrilov2009-14] Гаврилов Ю., Бенджамини Ю., Саркар С.К. (2009). «Адаптивная процедура понижения с проверенным контролем FDR в условиях независимости». Анналы статистики . 37 (2): 619. arXiv : 0903.5373 . дои : 10.1214/07-AOS586 . S2CID 16913244 .

[Blanchard2009-15] Бланшар Дж., Рокен Э. (2008). «Два простых достаточных условия для контроля Рузвельта». Электронный статистический журнал . 2 : 963–992. arXiv : 0802.1406 . дои : 10.1214/08-EJS180 . S2CID 16662020 .

[YekutieliBenjamini1999-16] Екутиэли Д., Бенджамини Ю. (1999). «Процедура управления частотой ложного обнаружения на основе повторной выборки для статистики зависимых испытаний». Дж. Статист. Планирование Инф . 82 (1–2): 171–196. дои : 10.1016/S0378-3758(99)00041-5 .

[VanDudoit2007-17] ван дер Лаан М.Дж., Дюдуа С. (2007). Множественные процедуры тестирования с применением в геномике . Нью-Йорк: Спрингер.

[18] Глюк, Дебора Х; Мандель, Ян; Каримпур-Фард, Анис; Хантер, Лоуренс; Мюллер, Кейт Э. (30 января 2008 г.). «Точные расчеты средней мощности для процедуры Беньямини-Хохберга» . Международный журнал биостатистики . 4 (1): Статья 11. doi : 10.2202/1557-4679.1103 . ПМК 3020656 . ПМИД 21243075 .

[19] Саркар СК (2007). «Пошаговые процедуры, управляющие обобщенным FWER и обобщенным FDR». Анналы статистики . 35 (6): 2405–20. arXiv : 0803.2934 . дои : 10.1214/009053607000000398 . S2CID 14784911 .

[20] Саркар С.К., Го В (июнь 2009 г.). «Об обобщенной частоте ложных открытий». Анналы статистики . 37 (3): 1545–65. arXiv : 0906.3091 . дои : 10.1214/08-AOS617 . JSTOR 30243677 . S2CID 15746841 .

[Efron2008-21] Jump up to: ^а ^б Эфрон Б (2008). «Микрочипы, эмпирический Байес и модель двух групп». Статистическая наука . 23 : 1–22. arXiv : 0808.0603 . дои : 10.1214/07-STS236 . S2CID 8417479 .

[Storey2002-22] Jump up to: ^а ^б Стори Джей Ди (2002). «Прямой подход к уровню ложного обнаружения» (PDF) . Журнал Королевского статистического общества, серия B. 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . дои : 10.1111/1467-9868.00346 . S2CID 122987911 .

[Benj2010second-23] Бенджамини Ю. (декабрь 2010 г.). «Одновременный и выборочный вывод: текущие успехи и будущие проблемы». Биометрический журнал. Биометрическая газета . 52 (6): 708–21. дои : 10.1002/bimj.200900299 . ПМИД 21154895 . S2CID 8806192 .

[BenjYekut2005-24] Jump up to: ^а ^б Бенджамини Ю, Екутиэли Ю (2005). «Коэффициент ложного обнаружения, контролирующий доверительные интервалы для выбранных параметров». Журнал Американской статистической ассоциации . 100 (469): 71–80. дои : 10.1198/016214504000001907 . S2CID 23202143 .

[Zhao2012-25] Чжао З., Джин Хван Дж.Т. (2012). «Эмпирический коэффициент байесовского ложного покрытия, контролирующий доверительные интервалы». Журнал Королевского статистического общества, серия B. 74 (5): 871–891. дои : 10.1111/j.1467-9868.2012.01033.x . hdl : 10.1111/j.1467-9868.2012.01033.x . S2CID 111420152 .

[Storey2003-26] Стори Джей Ди (2003). «Положительная частота ложных открытий: байесовская интерпретация и значение q» . Анналы статистики . 31 (6): 2013–2035. дои : 10.1214/aos/1074290335 .

[Efron2010-27] Эфрон Б (2010). Крупномасштабный вывод . Издательство Кембриджского университета . ISBN 978-0-521-19249-1 .

[Abramovichetel2006-28] Абрамович Ф., Бенджамини Ю., Донохо Д., Джонстон И.М. (2006). «Адаптация к неизвестной разреженности путем контроля частоты ложных открытий». Анналы статистики . 34 (2): 584–653. arXiv : math/0505374 . Бибкод : 2005math......5374A . дои : 10.1214/009053606000000074 . S2CID 7581060 .

[DonohoJin2006-29] Донохо Д., Джин Дж. (2006). «Асимптотическая минимаксность порога ложного обнаружения для разреженных экспоненциальных данных». Анналы статистики . 34 (6): 2980–3018. arXiv : математика/0602311 . Бибкод : 2006math......2311D . дои : 10.1214/009053606000000920 . S2CID 9080115 .

[BenjaminiGavrilov2009-30] Бенджамини Ю, Гаврилов Ю (2009). «Простая процедура прямого выбора, основанная на контроле частоты ложных обнаружений». Анналы прикладной статистики . 3 (1): 179–198. arXiv : 0905.2819 . Бибкод : 2009arXiv0905.2819B . дои : 10.1214/08-AOAS194 . S2CID 15719154 .

[DonohoJin2004-31] Донохо Д., Джин Дж.С. (2004). «Высшая критика за обнаружение разреженных гетерогенных смесей». Анналы статистики . 32 (3): 962–994. arXiv : math/0410072 . Бибкод : 2004math.....10072D . дои : 10.1214/009053604000000265 . S2CID 912325 .

[Stoica2022-32] Стойка П., Бабу П. (2022). «Правила частоты ложных обнаружений (FDR) и частоты семейных ошибок (FER) для выбора модели в приложениях обработки сигналов». Открытый журнал IEEE по обработке сигналов . 3 (1): 403–416. дои : 10.1109/OJSP.2022.3213128 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]