Чувствительность и специфичность

В медицине и статистике математически чувствительность и специфичность описывают точность теста, который сообщает о наличии или отсутствии заболевания. Если люди, у которых есть это заболевание, считаются «положительными», а те, у кого его нет, считаются «отрицательными», то чувствительность — это мера того, насколько хорошо тест может выявить истинно положительные результаты, а специфичность — это мера того, насколько хорошо тест может выявить истинно отрицательные результаты. :

Чувствительность (истинно положительный результат) — это вероятность положительного результата теста при условии , что человек действительно положительный.
Специфичность (истинно отрицательный показатель) — это вероятность отрицательного результата теста при условии, что у человека действительно отрицательный результат.

Если истинный статус заболевания неизвестен, чувствительность и специфичность можно определить относительно « теста золотого стандарта », который считается правильным. Для любого тестирования, как для диагностики , так и для скрининга , обычно существует компромисс между чувствительностью и специфичностью: более высокая чувствительность будет означать более низкую специфичность, и наоборот.

Тест, который надежно выявляет наличие заболевания и дает большое количество истинно положительных результатов и малое количество ложноотрицательных результатов, будет иметь высокую чувствительность. Это особенно важно, когда последствия отсутствия лечения заболевания являются серьезными и/или лечение очень эффективно и имеет минимальные побочные эффекты.

Тест, который надежно исключает лиц, у которых нет этого заболевания, что приводит к большому количеству истинно отрицательных результатов и низкому количеству ложноположительных результатов, будет иметь высокую специфичность. Это особенно важно, когда люди, у которых выявлено заболевание, могут подвергаться дополнительному тестированию, расходам, стигматизации, тревоге и т. д.

Термины «чувствительность» и «специфичность» были введены американским биостатистиком Джейкобом Йерушалми в 1947 году. ^{[ 1 ]}

существуют различные определения В рамках лабораторного контроля качества , где «аналитическая чувствительность» определяется как наименьшее количество вещества в образце, которое может быть точно измерено с помощью анализа (синоним предела обнаружения ), а «аналитическая специфичность» определяется как способность анализа для измерения одного конкретного организма или вещества, а не других. ^{[ 2 ]} Однако в этой статье речь идет о диагностической чувствительности и специфичности, как указано выше.

Заявление на скрининговое исследование

Представьте себе исследование, оценивающее тест, проверяющий людей на наличие заболевания. Каждый человек, проходящий тест, либо страдает этим заболеванием, либо не страдает им. Результат теста может быть положительным (классифицируя человека как больного) или отрицательным (классифицируя человека как не страдающего заболеванием). Результаты теста для каждого субъекта могут соответствовать или не соответствовать фактическому статусу субъекта. В этой настройке:

Истинно положительный результат: больных людей правильно идентифицируют как больных.
Ложное срабатывание: здоровых людей ошибочно идентифицируют как больных.
Истинно отрицательный результат: здоровых людей правильно идентифицируют как здоровых.
Ложноотрицательный результат: больных ошибочно принимают за здоровых.

После получения количества истинно положительных, ложно положительных, истинно отрицательных и ложно отрицательных результатов можно рассчитать чувствительность и специфичность теста. Если окажется, что чувствительность высока, то любой человек, у которого есть это заболевание, скорее всего, будет классифицирован как положительный по результатам теста. С другой стороны, если специфичность высока, любой человек, у которого нет заболевания, скорее всего, будет классифицирован тестом как отрицательный. На веб-сайте НИЗ есть обсуждение того, как рассчитываются эти коэффициенты. ^{[ 3 ]}

Определение

Чувствительность

Рассмотрим пример медицинского теста для диагностики состояния. Чувствительность (иногда также называемая уровнем выявления в клинических условиях) относится к способности теста правильно выявлять больных пациентов среди тех, у кого действительно есть это заболевание. ^{[ 4 ]} Математически это можно выразить так:

{\begin{aligned}{\text{sensitivity}}&={\frac {\text{number of true positives}}{{\text{number of true positives}}+{\text{number of false negatives}}}}\\[8pt]&={\frac {\text{number of true positives}}{\text{total number of sick individuals in population}}}\\[8pt]&={\text{probability of a positive test given that the patient has the disease}}\end{aligned}}

Отрицательный результат теста с высокой чувствительностью может быть полезен для «исключения» заболевания. ^{[ 4 ]} поскольку он редко ставит неверный диагноз тем, у кого есть заболевание. Тест со 100% чувствительностью позволит распознать всех пациентов с заболеванием при положительном результате теста. В этом случае отрицательный результат теста окончательно исключит наличие заболевания у пациента. Однако положительный результат теста с высокой чувствительностью не обязательно является основанием для «подтверждения» заболевания. Предположим, что «поддельный» тестовый набор спроектирован таким образом, чтобы всегда давать положительные результаты. При использовании на больных пациентах все пациенты получают положительный результат, что дает тесту 100% чувствительность. Однако чувствительность не учитывает ложные срабатывания. Фальшивый тест также дает положительный результат у всех здоровых пациентов, что дает процент ложноположительных результатов в 100%, что делает его бесполезным для обнаружения или «вынесения решения» о заболевании. ^{[ нужна ссылка ]}

При расчете чувствительности не учитываются неопределенные результаты испытаний. Если тест невозможно повторить, неопределенные образцы либо должны быть исключены из анализа (количество исключений должно быть указано при указании чувствительности), либо могут рассматриваться как ложноотрицательные (что дает наихудшее значение чувствительности и, следовательно, может ее занижать). ). ^{[ нужна ссылка ]}

Тест с более высокой чувствительностью имеет меньшую частоту ошибок второго рода .

Специфика

Рассмотрим пример медицинского теста для диагностики заболевания. Специфичность относится к способности теста правильно отклонять тест от здоровых пациентов без каких-либо заболеваний. Математически это можно записать так:

{\begin{aligned}{\text{specificity}}&={\frac {\text{number of true negatives}}{{\text{number of true negatives}}+{\text{number of false positives}}}}\\[8pt]&={\frac {\text{number of true negatives}}{\text{total number of well individuals in population}}}\\[8pt]&={\text{probability of a negative test given that the patient is well}}\end{aligned}}

Положительный результат теста с высокой специфичностью может быть полезен для «подтверждения» заболевания, поскольку тест редко дает положительные результаты у здоровых пациентов. ^{[ 5 ]} Тест со 100% специфичностью позволит распознать всех пациентов без заболевания по отрицательному результату теста, поэтому положительный результат теста будет окончательно определять наличие заболевания. Однако отрицательный результат теста с высокой специфичностью не обязательно позволяет «исключить» заболевание. Например, тест, который всегда дает отрицательный результат, будет иметь специфичность 100 %, поскольку специфичность не учитывает ложноотрицательные результаты. Подобный тест даст отрицательный результат для пациентов с этим заболеванием, что сделает его бесполезным для «исключения» заболевания.

Тест с более высокой специфичностью имеет меньшую частоту ошибок I рода .

Графическая иллюстрация

Высокая чувствительность и низкая специфичность
Низкая чувствительность и высокая специфичность
Графическая иллюстрация чувствительности и специфичности.

Приведенная выше графическая иллюстрация призвана показать взаимосвязь между чувствительностью и специфичностью. Черная пунктирная линия в центре графика указывает на то, что чувствительность и специфичность одинаковы. При движении влево от черной пунктирной линии чувствительность увеличивается, достигая максимального значения 100% на линии А, а специфичность снижается. Чувствительность линии А составляет 100 %, поскольку в этот момент нет ложноотрицательных результатов, а это означает, что все отрицательные результаты теста являются истинно отрицательными. При движении вправо действует обратное: специфичность увеличивается, пока не достигает линии B и не становится 100%, а чувствительность снижается. Специфичность в строке B составляет 100%, поскольку количество ложноположительных результатов в этой строке равно нулю, что означает, что все положительные результаты теста являются истинно положительными.

Средняя сплошная линия на обоих рисунках, показывающих уровень чувствительности и специфичности, является точкой отсечения теста. Как описано ранее, перемещение этой линии приводит к компромиссу между уровнем чувствительности и специфичности. Левая часть этой линии содержит точки данных, которые тестируются ниже точки отсечения и считаются отрицательными (синие точки обозначают ложноотрицательные результаты (FN), белые точки — истинные отрицательные результаты (TN)). В правой части линии показаны точки данных, которые тестируются выше точки отсечения и считаются положительными (красные точки обозначают ложные срабатывания (FP)). Каждая сторона содержит 40 точек данных.

На рисунке, показывающем высокую чувствительность и низкую специфичность, имеются 3 ФН и 8 ФП. Используя тот факт, что положительные результаты = истинные положительные результаты (ТП) + FP, получаем TP = положительные результаты - FP, или TP = 40 - 8 = 32. Количество заболевших в наборе данных равно TP + FN, или 32 + 3 = 35. Таким образом, чувствительность составляет 32/35 = 91,4%. Используя тот же метод, получаем TN = 40 - 3 = 37, а количество здоровых людей 37 + 8 = 45, что дает специфичность 37/45 = 82,2 %.

На рисунке, показывающем низкую чувствительность и высокую специфичность, имеется 8 ФН и 3 ФП. Используя тот же метод, что и предыдущий рисунок, получаем ТП = 40 – 3 = 37. Число заболевших составляет 37 + 8 = 45, что дает чувствительность 37/45 = 82,2 %. Их 40 – 8 = 32 ТН. Таким образом, специфичность составляет 32/35 = 91,4%.

Результат теста со 100-процентной чувствительностью
Результат теста со 100-процентной специфичностью

Красная точка указывает на пациента с заболеванием. Красный фон указывает на область, в которой тест прогнозирует, что точка данных будет положительной. Истинно положительный результат на этом рисунке равен 6, а ложноотрицательный — 0 (поскольку все положительные условия правильно прогнозируются как положительные). Поэтому чувствительность 100% (от 6/(6+0) ). Эта ситуация также проиллюстрирована на предыдущем рисунке, где пунктирная линия находится в позиции A (левая часть прогнозируется моделью как отрицательная, правая часть прогнозируется моделью как положительная). Когда пунктирная линия, граница теста, находится в положении A, тест правильно предсказывает всю совокупность истинно положительного класса, но он не сможет правильно идентифицировать точку данных из истинно отрицательного класса.

Как и на ранее объясненном рисунке, красная точка обозначает пациента с заболеванием. Однако в этом случае зеленый фон указывает на то, что тест прогнозирует отсутствие у всех пациентов данного заболевания. Тогда количество точек данных, которые являются истинно отрицательными, равно 26, а количество ложноположительных результатов равно 0. Это приводит к 100% специфичности (от 26 / (26 + 0) ). Следовательно, чувствительность или специфичность сами по себе не могут использоваться для измерения эффективности теста.

Медицинское использование

В медицинской диагностике чувствительность теста — это способность теста правильно идентифицировать людей с заболеванием (истинно положительный показатель), тогда как специфичность теста — это способность теста правильно идентифицировать людей без заболевания (истинно отрицательный уровень). Если было проверено 100 пациентов с известным заболеванием и у 43 пациентов результат оказался положительным, то чувствительность теста составит 43%. Если протестировано 100 пациентов без каких-либо заболеваний, а 96 дают полностью отрицательный результат, то специфичность теста составляет 96%. Чувствительность и специфичность не зависят от распространенности теста, поскольку их значения являются неотъемлемой частью теста и не зависят от распространенности заболевания в интересующей популяции. ^{[ 6 ]} Положительные и отрицательные прогностические значения , но не чувствительность или специфичность, представляют собой значения, на которые влияет распространенность заболевания в тестируемой популяции. Эти концепции графически проиллюстрированы в этой прикладной байесовской клинической диагностической модели , которая показывает положительную и отрицательную прогностическую ценность в зависимости от распространенности, чувствительности и специфичности.

Заблуждения

Часто утверждают, что высокоспецифичный тест эффективен для исключения заболевания, если он положительный, тогда как высокочувствительный тест считается эффективным для исключения заболевания, если он отрицательный. ^{[ 7 ]}^{[ 8 ]} Это привело к широко используемой мнемонике SPPIN и SNNOUT, согласно которой высокоспецифичный тест , при положительном результате, определяет заболевание (SP-P-IN), а высокочувствительный тест отрицательном . , при результате , определяет заболевание вне болезни (SN-N-OUT). Однако оба эмпирических правила вводят в заблуждение, поскольку диагностическая эффективность любого теста определяется распространенностью тестируемого состояния, чувствительностью теста и его специфичностью. ^{[ 9 ]}^{[ 10 ]}^{[ 11 ]} Мнемоника SNNOUT имеет некоторую обоснованность, когда распространенность рассматриваемого состояния в тестируемой выборке чрезвычайно низка.

Компромисс между специфичностью и чувствительностью исследуется в ROC-анализе как компромисс между TPR и FPR (то есть отзывом и последствиями ). ^{[ 12 ]} Придание им одинакового веса оптимизирует информированность = специфичность + чувствительность – 1 = TPR – FPR, величина которого дает вероятность принятия обоснованного решения между двумя классами (> 0 представляет собой правильное использование информации, 0 представляет эффективность на уровне шансов, < 0 представляет собой неправильное использование информации). ^{[ 13 ]}

Индекс чувствительности

Индекс чувствительности или d' (произносится как «ди-простой») — это статистика, сигналов используемая в теории обнаружения . Он обеспечивает разделение между средствами распределения сигнала и шума по сравнению со стандартным отклонением распределения шума. Для нормально распределенного сигнала и шума со средним и стандартным отклонениями $\mu _{S}$ и $\sigma _{S}$ , и $\mu _{N}$ и $\sigma _{N}$ соответственно, d′ определяется как:

d^{\prime }={\frac {\mu _{S}-\mu _{N}}{\sqrt {{\frac {1}{2}}\left(\sigma _{S}^{2}+\sigma _{N}^{2}\right)}}}

^{[ 14 ]}

Оценку d' можно также получить на основе измерений частоты попаданий и частоты ложных тревог . Он рассчитывается как:

d' = Z (частота попаданий) − Z (частота ложных тревог), ^{[ 15 ]}

где функция Z ( p ), p ∈ [0, 1], является обратной кумулятивному распределению Гаусса .

d' — безразмерная статистика. Более высокий d' указывает на то, что сигнал легче обнаружить.

Матрица путаницы

Взаимосвязь между чувствительностью, специфичностью и подобными терминами можно понять, используя следующую таблицу. Рассмотрим группу с P положительными и N отрицательными экземплярами некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 , а также вывести несколько показателей с использованием этих четырех результатов, а именно:

		Прогнозируемое состояние		^{Источники:}^{[ 16 ]}^{[ 17 ]} ^{[ 18 ]}^{[ 19 ]}^{[ 20 ]}^{[ 21 ]}^{[ 22 ]}^{[ 23 ]} ^{вид разговаривать редактировать}
	Общая численность населения $= П + Н$	Прогнозируемый положительный результат (PP)	Прогнозируемый отрицательный результат (PN)	Информированность , информированность букмекерских контор (БМ) $= ТПР + ТНР - 1$	Порог распространенности (PT) $= .mw-parser-output .sfrac{white-space:nowrap}.mw-parser-output .sfrac.tion,.mw-parser-output .sfrac .tion{display:inline-block;vertical-align:-0.5em;font-size:85%;text-align:center}.mw-parser-output .sfrac .num{display:block;line-height:1em;margin:0.0em 0.1em;border-bottom:1px solid}.mw-parser-output .sfrac .den{display:block;line-height:1em;margin:0.1em 0.1em}.mw-parser-output .sr-only{border:0;clip:rect(0,0,0,0);clip-path:polygon(0px 0px,0px 0px,0px 0px);height:1px;margin:-1px;overflow:hidden;padding:0;position:absolute;width:1px}⁠ √ ТПР × ФПР - ФПР / ТПР - ФПР ⁠$
Фактическое состояние	Положительный (П) ^{[ а ]}	Истинно положительный (TP), ударять ^{[ б ]}	Ложноотрицательный (ЛН), пропустить, недооценка	Доля истинных положительных результатов (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, частота попаданий, мощность $= ⁠ ТП / П ⁠$ $= 1 - ФНР$	Ложноотрицательный показатель (FNR), процент промахов ошибка второго рода ^{[ с ]} $= ⁠ ФН / П ⁠$ $= 1 - ТПР$
Фактическое состояние	Отрицательный (Н) ^{[ д ]}	Ложноположительный (FP), ложная тревога, завышение оценок	Истинно отрицательный (TN), правильный отказ ^{[ и ]}	Ложноположительный показатель (FPR), вероятность ложной тревоги, выпадения ошибка типа I ^{[ ж ]} $= ⁠ ФП / Н ⁠$ $= 1 - ТНР$	Истинно отрицательный коэффициент (TNR), специфичность (SPC), селективность $= ТН = / Н 1$ $- ФПР$
	Распространенность $= ⁠ П / П + Н ⁠$	Положительная прогностическая ценность (PPV), точность $= ⁠ ТП / ПП ⁠$ $= 1 - ФДР$	Коэффициент ложного пропуска (FOR) $= ⁠ FN / PN ⁠$ $= 1 - NPV$	Положительное отношение правдоподобия (LR+) $= ⁠ TPR / FPR ⁠$	Отрицательное отношение правдоподобия (LR-) $= ⁠ FNR / TNR ⁠$
	Точность (АКК) $= ⁠ ТП + ТН / П + Н ⁠$	Уровень ложного обнаружения (FDR) $= ⁠ ФП / ПП ⁠$ $= 1 - ППВ$	Отрицательная прогностическая ценность (NPV) $= ⁠ ТН / ПН ⁠$ $= 1 - ДЛЯ$	Маркировка (МК), дельтаП (Δp) $= ППВ + ЧПС - 1$	Диагностическое отношение шансов (DOR) $= ⁠ ЛР+ / ЛР- ⁠$
	Сбалансированная точность (BA) $= ⁠ ТПР + ТНР / 2 ⁠$	F ₁ балл $= ⁠ 2 PPV \times TPR / PPV + TPR ⁠$ $= ⁠ 2 ТП / 2 ТП + ФП + ФН ⁠$	Индекс Фаулкса-Мэллоуза (FM) $= \sqrt ППВ \times TPR$	Коэффициент корреляции Мэтьюза (MCC) $= \sqrt TPR \times TNR \times PPV \times NPV$ $- \sqrt FNR \times FPR \times FOR \times FDR$	Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара $= ⁠ ТП / ТП + ФН + ФП ⁠$

^ количество реальных положительных случаев в данных
^ Результат теста, который правильно указывает на наличие состояния или характеристики.
^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
^ количество реальных отрицательных случаев в данных
^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного условия или атрибута.

Проработанный пример: Диагностический тест с чувствительностью 67% и специфичностью 91% применен к 2030 людям для поиска расстройства с распространенностью в популяции 1,48%.

		кала на скрытую кровь Результаты скринингового теста		^{вид разговаривать редактировать}
	Общая численность населения (население) = 2030 г.	Результат теста положительный	Результат теста отрицательный	Точность (АКК) = (ТП+ТН)/поп. = (20 + 1820) / 2030 ≈ 90.64%	F ₁ балл = 2 × ⁠ точность × отзыв / точность + отзыв ⁠ ≈ 0.174
Пациенты с рак кишечника (как подтверждено по эндоскопии )	Фактическое состояние положительный (АП) = 30 (2030 × 1.48%)	Истинно положительный (TP) = 20 (2030 × 1.48% × 67%)	Ложноотрицательный (ЛН) = 10 (2030 × 1.48% × (100% − 67%) )	Истинно положительный уровень (TPR), отзыв , чувствительность = ТП/АП = 20 / 30 ≈ 66.7%	Уровень ложноотрицательных результатов (FNR), процент промахов = ФН/АП = 10 / 30 ≈ 33.3%
Пациенты с рак кишечника (как подтверждено по эндоскопии )	Фактическое состояние отрицательный (АН) = 2000 (2030 × (100% − 1.48%) )	Ложное срабатывание (FP) = 180 (2030 × (100% − 1.48%) × (100% − 91%) )	Истинно отрицательный (TN) = 1820 (2030 × (100% − 1.48%) × 91%)	Частота ложных срабатываний (FPR), выпадения , вероятность ложной тревоги = ФП / АН = 180 / 2000 = 9.0%	Специфичность , селективность, процент истинно отрицательных результатов (TNR) = ТН / АН = 1820 / 2000 = 91%
	Распространенность = АП/поп. = 30 / 2030 ≈ 1.48%	Положительная прогностическая ценность (PPV), точность = ТП / (ТП + ФП) = 20 / (20 + 180) = 10%	Коэффициент ложного пропуска (FOR) = ФН / (ФН + ТН) = 10 / (10 + 1820) ≈ 0.55%	Положительное отношение правдоподобия (LR+) = ⁠ TPR / FPR ⁠ = (20 / 30) / (180 / 2000) ≈ 7.41	Отрицательное отношение правдоподобия (LR-) = ⁠ FNR / TNR ⁠ = (10 / 30) / (1820 / 2000) ≈ 0.366
		Уровень ложного обнаружения (FDR) = ФП / (ТП + ФП) = 180 / (20 + 180) = 90.0%	Отрицательная прогностическая ценность (NPV) = ТН / (ФН + ТН) = 1820 / (10 + 1820) ≈ 99.45%	Диагностическое отношение шансов (DOR) = ⁠ ЛР+ / ЛР- ⁠ ≈ 20.2

Связанные расчеты

Частота ложноположительных результатов (α) = ошибка I рода = 1 − специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
Частота ложноотрицательных результатов (β) = ошибка II рода = 1 − чувствительность = FN / (TP + FN) = 10 / (20 + 10) ≈ 33%
Мощность = чувствительность = 1 − β
положительного Отношение правдоподобия результата = чувствительность / (1 — специфичность) ≈ 0,67 / (1 — 0,91) ≈ 7,4.
Отрицательное отношение правдоподобия = (1 – чувствительность)/специфичность ≈ (1 – 0,67)/0,91 ≈ 0,37.
Порог распространенности = $PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}$ ≈ 0.2686 ≈ 26.9%

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно выявил две трети (66,7%) пациентов с колоректальным раком. ^{[ а ]} К сожалению, учет показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно выявлять колоректальный рак в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное выявление лиц, свободных от рака (NPV ≈ 99,5%). Таким образом, при рутинном скрининге колоректального рака у бессимптомных взрослых отрицательный результат дает важную информацию для пациента и врача, например, исключает рак как причину желудочно-кишечных симптомов или успокаивает пациентов, обеспокоенных развитием колоректального рака.

Оценка ошибок в указанной чувствительности или специфичности

Значения чувствительности и специфичности сами по себе могут вводить в заблуждение. Необходимо рассчитать чувствительность или специфичность «наихудшего случая», чтобы не полагаться на эксперименты с небольшим количеством результатов. Например, конкретный тест может легко показать 100% чувствительность, если его протестировать на соответствие золотому стандарту четыре раза, но один дополнительный тест на соответствие золотому стандарту, давший плохой результат, будет означать чувствительность только 80%. Распространенный способ сделать это — указать доверительный интервал биномиальной пропорции , часто рассчитываемый с использованием интервала оценки Вильсона.

Можно рассчитать доверительные интервалы чувствительности и специфичности, определяя диапазон значений, в пределах которого находится правильное значение при заданном уровне достоверности (например, 95%). ^{[ 26 ]}

Терминология в поиске информации

В поиске информации положительная прогностическая ценность называется точностью , а чувствительность — отзывом . В отличие от компромисса между специфичностью и чувствительностью, эти показатели не зависят от количества истинных отрицательных результатов, которое обычно неизвестно и намного превышает фактическое количество соответствующих и полученных документов. Такое предположение об очень большом количестве истинно отрицательных результатов по сравнению с положительными редко встречается в других приложениях. ^{[ 13 ]}

F -показатель можно использовать как единственный показатель эффективности теста для положительного класса. F-оценка — это среднее гармоническое значение точности и полноты:

F=2\times {\frac {{\text{precision}}\times {\text{recall}}}{{\text{precision}}+{\text{recall}}}}

На традиционном языке проверки статистических гипотез чувствительность теста называется статистической мощностью теста, хотя слово «мощность» в этом контексте имеет более общее значение, которое неприменимо в данном контексте. Чувствительный тест будет иметь меньше ошибок второго рода .

Терминология в анализе генома

Как и в области поиска информации , в области исследований по предсказанию генов количество истинных негативов (негенов) в геномных последовательностях обычно неизвестно и намного превышает фактическое количество генов (истинно положительных результатов). Удобный и интуитивно понятный термин «специфичность» в этой области исследований часто используется вместе с математической формулой точности и полноты , определенной в биостатистике. Пара определенных таким образом специфичности (как положительная прогностическая ценность) и чувствительности (истинно положительный уровень) представляет собой основные параметры, характеризующие точность алгоритмов прогнозирования генов. ^{[ 27 ]} ^{[ 28 ]} ^{[ 29 ]} ^{[ 30 ]} И наоборот, термин «специфичность» в смысле истинно отрицательного показателя вряд ли будет иметь практическое применение в области исследований в области анализа генома.

См. также

Примечания

^ У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике , например, по скринингу колоректального рака, описывают эти риски и преимущества. ^{[ 24 ]}^{[ 25 ]}

Ссылки

^ Йерушалми Дж (1947). «Статистические проблемы оценки методов медицинской диагностики с учетом рентгенологических методов». Отчеты общественного здравоохранения . 62 (2): 1432–39. дои : 10.2307/4586294 . JSTOR 4586294 . ПМИД 20340527 . S2CID 19967899 .
^ Саах Эй Джей, Гувер Д. Р. (1998). «[Возврат к чувствительности и специфичности: значение терминов в аналитическом и диагностическом языке]» . Энн Дерматол Венереол . 125 (4): 291–4. ПМИД 9747274 .
^ Парих Р., Матхай А., Парих С., Чандра Сехар Г., Томас Р. (2008). «Понимание и использование чувствительности, специфичности и прогностической ценности» . Индийский журнал офтальмологии . 56 (1): 45–50. дои : 10.4103/0301-4738.37595 . ПМК 2636062 . ПМИД 18158403 .
^ Jump up to: ^а ^б Альтман Д.Г., Бланд Дж.М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . БМЖ . 308 (6943): 1552. doi : 10.1136/bmj.308.6943.1552 . ПМК 2540489 . ПМИД 8019315 .
^ «СпПин и СнНоут» . Центр доказательной медицины (CEBM) . Проверено 18 января 2023 г.
^ Мангрулкар Р. «Диагностические рассуждения I и II» . Архивировано из оригинала 1 августа 2011 года . Проверено 24 января 2012 г.
^ «Доказательная диагностика» . Мичиганский государственный университет. Архивировано из оригинала 6 июля 2013 г. Проверено 23 августа 2013 г.
^ «Чувствительность и специфичность» . Курс доказательной медицины Медицинской школы Университета Эмори.
^ Барон Дж. А. (апрель – июнь 1994 г.). «Жаль, что это неправда». Принятие медицинских решений . 14 (2): 107. дои : 10.1177/0272989X9401400202 . ПМИД 8028462 . S2CID 44505648 .
^ Бойко Е.Ю. (апрель – июнь 1994 г.). «Исключение или постановление болезни с помощью самого чувствительного или специфического диагностического теста: короткий путь или неправильный поворот?». Принятие медицинских решений . 14 (2): 175–9. дои : 10.1177/0272989X9401400210 . ПМИД 8028470 . S2CID 31400167 .
^ Пьюснер Д., Батталья М., Миндер С., Маркс А., Бухер Х.К., Эггер М. (июль 2004 г.). «Постановка диагноза с помощью «СпПИн» и «СнНОут»: предупреждение» . БМЖ . 329 (7459): 209–13. дои : 10.1136/bmj.329.7459.209 . ПМЦ 487735 . ПМИД 15271832 .
^ Фосетт Т. (2006). «Введение в ROC-анализ». Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F . CiteSeerX 10.1.1.646.2144 . дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
^ Jump up to: ^а ^б Пауэрс ДМ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
^ Гейл С.Д., Perkel DJ (январь 2010 г.). «Путь базальных ганглиев управляет избирательными слуховыми реакциями в дофаминергических нейронах певчих птиц посредством растормаживания» . Журнал неврологии . 30 (3): 1027–37. doi : 10.1523/JNEUROSCI.3585-09.2010 . ПМЦ 2824341 . ПМИД 20089911 .
^ Макмиллан Н.А., компакт-диск Крилмана (15 сентября 2004 г.). Теория обнаружения: Руководство пользователя . Психология Пресс. п. 7. ISBN 978-1-4106-1114-7 .
^ Фосетт Т. (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
^ Проректор Ф, Том Фосетт (1 августа 2013 г.). «Наука о данных для бизнеса: что нужно знать об интеллектуальном анализе данных и аналитическом мышлении» . О'Рейли Медиа, Инк .
^ Пауэрс ДМ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
^ Тинг К.М. (2011). Саммут С., Уэбб Дж.И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8 .
^ Брукс Х, Браун Б, Эберт Б, Ферро С, Джоллифф И, Ко Тай, Роббер П, Стивенсон Д (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов» . Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
^ Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД 31898477 .
^ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и маркированность при оценке двухклассовой матрицы путаницы» . Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД 33541410 .
^ Тарват А. (август 2018 г.). «Классификация методов оценки» . Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
^ Лин Дж.С., Пайпер М.А., Пердью Л.А., Раттер К.М., Уэббер Э.М., О'Коннор Э., Смит Н., Уитлок Э.П. (21 июня 2016 г.). «Скрининг колоректального рака». ДЖАМА . 315 (23): 2576–2594. дои : 10.1001/jama.2016.3332 . ISSN 0098-7484 . ПМИД 27305422 .
^ Бенар Ф., Баркун А.Н., Мартель М., Рентельн Дв (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу колоректального рака у взрослых со средним риском: обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. дои : 10.3748/wjg.v24.i1.124 . ПМК 5757117 . ПМИД 29358889 .
^ «Онлайн-калькулятор диагностических тестов рассчитывает чувствительность, специфичность, коэффициенты правдоподобия и прогностические значения из таблицы 2х2 – калькулятор доверительных интервалов для прогностических параметров» . medcalc.org .
^ Бердж С. , Карлин С. (1997). «Прогнозирование полных генных структур в геномной ДНК человека» (PDF) . Журнал молекулярной биологии . 268 (1): 78–94. CiteSeerX 10.1.1.115.3107 . дои : 10.1006/jmbi.1997.0951 . ПМИД 9149143 . Архивировано из оригинала (PDF) 20 июня 2015 г.
^ «ГенМарк-ЭС» . Ломсадзе А (2005). «Обнаружение генов в новых геномах с помощью алгоритма самообучения» . Исследования нуклеиновых кислот . 33 (20): 6494–6906. дои : 10.1093/nar/gki937 . ПМК 1298918 . ПМИД 16314312 .
^ Корф I (2004). «Обнаружение генов в новых геномах» . БМК Биоинформатика . 5:59 . дои : 10.1186/1471-2105-5-59 . ПМК 421630 . ПМИД 15144565 .
^ Янделл М., Энце Д. (апрель 2012 г.). «Руководство для начинающих по аннотации генома эукариот». Обзоры природы. Генетика . 13 (5): 329–42. дои : 10.1038/nrg3174 . ПМИД 22510764 . S2CID 3352427 .

Дальнейшее чтение

Альтман Д.Г., Бланд Дж.М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . БМЖ . 308 (6943): 1552. doi : 10.1136/bmj.308.6943.1552 . ПМК 2540489 . ПМИД 8019315 .
Лунг Т.В. (сентябрь 2003 г.). «Понимание чувствительности и специфичности правого полушария мозга» . БМЖ . 327 (7417): 716–9. дои : 10.1136/bmj.327.7417.716 . ПМК 200804 . ПМИД 14512479 .

Внешние ссылки

[24] количество реальных положительных случаев в данных

[25] Результат теста, который правильно указывает на наличие состояния или характеристики.

[26] Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.

[27] количество реальных отрицательных случаев в данных

[28] Результат теста, который правильно указывает на отсутствие состояния или характеристики.

[29] Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного условия или атрибута.

[32] У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике , например, по скринингу колоректального рака, описывают эти риски и преимущества. ^{[ 24 ]}^{[ 25 ]}

[1] Йерушалми Дж (1947). «Статистические проблемы оценки методов медицинской диагностики с учетом рентгенологических методов». Отчеты общественного здравоохранения . 62 (2): 1432–39. дои : 10.2307/4586294 . JSTOR 4586294 . ПМИД 20340527 . S2CID 19967899 .

[Saah1998-2] Саах Эй Джей, Гувер Д. Р. (1998). «[Возврат к чувствительности и специфичности: значение терминов в аналитическом и диагностическом языке]» . Энн Дерматол Венереол . 125 (4): 291–4. ПМИД 9747274 .

[3] Парих Р., Матхай А., Парих С., Чандра Сехар Г., Томас Р. (2008). «Понимание и использование чувствительности, специфичности и прогностической ценности» . Индийский журнал офтальмологии . 56 (1): 45–50. дои : 10.4103/0301-4738.37595 . ПМК 2636062 . ПМИД 18158403 .

[BMJ-4] Jump up to: ^а ^б Альтман Д.Г., Бланд Дж.М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . БМЖ . 308 (6943): 1552. doi : 10.1136/bmj.308.6943.1552 . ПМК 2540489 . ПМИД 8019315 .

[cebm-5] «СпПин и СнНоут» . Центр доказательной медицины (CEBM) . Проверено 18 января 2023 г.

[6] Мангрулкар Р. «Диагностические рассуждения I и II» . Архивировано из оригинала 1 августа 2011 года . Проверено 24 января 2012 г.

[7] «Доказательная диагностика» . Мичиганский государственный университет. Архивировано из оригинала 6 июля 2013 г. Проверено 23 августа 2013 г.

[8] «Чувствительность и специфичность» . Курс доказательной медицины Медицинской школы Университета Эмори.

[pmid8028462-9] Барон Дж. А. (апрель – июнь 1994 г.). «Жаль, что это неправда». Принятие медицинских решений . 14 (2): 107. дои : 10.1177/0272989X9401400202 . ПМИД 8028462 . S2CID 44505648 .

[pmid8028470-10] Бойко Е.Ю. (апрель – июнь 1994 г.). «Исключение или постановление болезни с помощью самого чувствительного или специфического диагностического теста: короткий путь или неправильный поворот?». Принятие медицинских решений . 14 (2): 175–9. дои : 10.1177/0272989X9401400210 . ПМИД 8028470 . S2CID 31400167 .

[pmid15271832-11] Пьюснер Д., Батталья М., Миндер С., Маркс А., Бухер Х.К., Эггер М. (июль 2004 г.). «Постановка диагноза с помощью «СпПИн» и «СнНОут»: предупреждение» . БМЖ . 329 (7459): 209–13. дои : 10.1136/bmj.329.7459.209 . ПМЦ 487735 . ПМИД 15271832 .

[Fawcett2006-12] Фосетт Т. (2006). «Введение в ROC-анализ». Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F . CiteSeerX 10.1.1.646.2144 . дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .

[Powers2011-13] Jump up to: ^а ^б Пауэрс ДМ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.

[pmid20089911-14] Гейл С.Д., Perkel DJ (январь 2010 г.). «Путь базальных ганглиев управляет избирательными слуховыми реакциями в дофаминергических нейронах певчих птиц посредством растормаживания» . Журнал неврологии . 30 (3): 1027–37. doi : 10.1523/JNEUROSCI.3585-09.2010 . ПМЦ 2824341 . ПМИД 20089911 .

[MacmillanCreelman2004-15] Макмиллан Н.А., компакт-диск Крилмана (15 сентября 2004 г.). Теория обнаружения: Руководство пользователя . Психология Пресс. п. 7. ISBN 978-1-4106-1114-7 .

[16] Фосетт Т. (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .

[17] Проректор Ф, Том Фосетт (1 августа 2013 г.). «Наука о данных для бизнеса: что нужно знать об интеллектуальном анализе данных и аналитическом мышлении» . О'Рейли Медиа, Инк .

[18] Пауэрс ДМ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.

[19] Тинг К.М. (2011). Саммут С., Уэбб Дж.И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8 .

[20] Брукс Х, Браун Б, Эберт Б, Ферро С, Джоллифф И, Ко Тай, Роббер П, Стивенсон Д (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов» . Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.

[21] Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД 31898477 .

[22] Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и маркированность при оценке двухклассовой матрицы путаницы» . Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД 33541410 .

[23] Тарват А. (август 2018 г.). «Классификация методов оценки» . Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .

[30] Лин Дж.С., Пайпер М.А., Пердью Л.А., Раттер К.М., Уэббер Э.М., О'Коннор Э., Смит Н., Уитлок Э.П. (21 июня 2016 г.). «Скрининг колоректального рака». ДЖАМА . 315 (23): 2576–2594. дои : 10.1001/jama.2016.3332 . ISSN 0098-7484 . ПМИД 27305422 .

[31] Бенар Ф., Баркун А.Н., Мартель М., Рентельн Дв (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу колоректального рака у взрослых со средним риском: обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. дои : 10.3748/wjg.v24.i1.124 . ПМК 5757117 . ПМИД 29358889 .

[33] «Онлайн-калькулятор диагностических тестов рассчитывает чувствительность, специфичность, коэффициенты правдоподобия и прогностические значения из таблицы 2х2 – калькулятор доверительных интервалов для прогностических параметров» . medcalc.org .

[:0-34] Бердж С. , Карлин С. (1997). «Прогнозирование полных генных структур в геномной ДНК человека» (PDF) . Журнал молекулярной биологии . 268 (1): 78–94. CiteSeerX 10.1.1.115.3107 . дои : 10.1006/jmbi.1997.0951 . ПМИД 9149143 . Архивировано из оригинала (PDF) 20 июня 2015 г.

[35] «ГенМарк-ЭС» . Ломсадзе А (2005). «Обнаружение генов в новых геномах с помощью алгоритма самообучения» . Исследования нуклеиновых кислот . 33 (20): 6494–6906. дои : 10.1093/nar/gki937 . ПМК 1298918 . ПМИД 16314312 .

[36] Корф I (2004). «Обнаружение генов в новых геномах» . БМК Биоинформатика . 5:59 . дои : 10.1186/1471-2105-5-59 . ПМК 421630 . ПМИД 15144565 .

[Yandell2012-37] Янделл М., Энце Д. (апрель 2012 г.). «Руководство для начинающих по аннотации генома эукариот». Обзоры природы. Генетика . 13 (5): 329–42. дои : 10.1038/nrg3174 . ПМИД 22510764 . S2CID 3352427 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ а ]

[ б ]

[ с ]

[ д ]

[ и ]

[ ж ]

[ а ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 24 ]

[ 25 ]

v т и машинного обучения Метрики оценки
Regression	MSE MAE sMAPE MAPE MASE MSPE RMS RMSE/RMSD R² MDA MAD
Classification	F-score P4 Accuracy Precision Recall Kappa MCC AUC ROC Sensitivity and specificity Logarithmic Loss
Clustering	Silhouette Calinski-Harabasz index Davies-Bouldin Dunn index Hopkins statistic Jaccard index Rand index Similarity measure SMC SimHash
Ranking	MRR NDCG AP
Computer Vision	PSNR SSIM IoU
NLP	Perplexity BLEU
Deep Learning Related Metrics	Inception score FID
Recommender system	Coverage Intra-list Similarity
Similarity	Cosine similarity Euclidean distance Pearson correlation coefficient
Confusion matrix