Рабочая характеристика приемника

Кривая ROC трех предикторов расщепления пептида в протеасоме .

Кривая рабочей характеристики приемника , или кривая ROC , представляет собой графический график , который иллюстрирует производительность модели двоичного классификатора (также может использоваться для многоклассовой классификации) при различных пороговых значениях.

Кривая ROC представляет собой график зависимости истинно положительного результата (TPR) от уровня ложноположительного результата (FPR) при каждой настройке порога.

ROC также можно рассматривать как график статистической мощности как функции ошибки типа I правила принятия решения (когда производительность рассчитывается только на основе выборки совокупности, ее можно рассматривать как оценку этих величин). ). Таким образом, кривая ROC представляет собой чувствительность или отзыв как функцию частоты ложных срабатываний .

Учитывая, что распределения вероятностей как для истинно положительных, так и для ложноположительных результатов известны, кривая ROC получается как кумулятивная функция распределения (CDF, ​​площадь под распределением вероятностей из $-\infty$ до порога дискриминации) вероятности обнаружения по оси y в зависимости от CDF вероятности ложноположительного результата по оси x.

ROC-анализ предоставляет инструменты для выбора возможно оптимальных моделей и исключения неоптимальных моделей независимо от (и до определения) контекста затрат или распределения классов. ROC-анализ напрямую и естественным образом связан с анализом затрат/выгод от принятия диагностических решений .

Терминология

Уровень истинно положительных результатов также известен как чувствительность , отзыв или вероятность обнаружения . Уровень ложноположительных результатов также известен как вероятность ложной тревоги. и равен (1 − специфичность ). ROC также известен как кривая относительной рабочей характеристики, поскольку она представляет собой сравнение двух рабочих характеристик (TPR и FPR) при изменении критерия.

История

Кривая ROC была впервые разработана инженерами-электриками и радиолокационными инженерами во время Второй мировой войны для обнаружения объектов противника на полях сражений, начиная с 1941 года, что и привело к ее названию («рабочая характеристика приемника»).

Вскоре он был введен в психологию для объяснения перцептивного обнаружения стимулов. ROC-анализ используется в медицине , радиологии , биометрии , прогнозировании природных опасностей , метеорология , оценка производительности модели, и других областях на протяжении многих десятилетий и все чаще используется в исследованиях машинного обучения и интеллектуального анализа данных .

Основная концепция

См. также: Ошибки типа I и типа II и Чувствительность и специфичность.

Модель классификации ( классификатор или диагноз ) — это отображение экземпляров между определенными классами/группами. Поскольку результат классификатора или диагностики может быть произвольным действительным значением (непрерывный вывод), граница классификатора между классами должна определяться пороговым значением (например, чтобы определить, есть ли у человека гипертония, на основе измерения артериального давления ). Или это может быть дискретная метка класса, указывающая на один из классов.

Рассмотрим задачу прогнозирования двух классов ( бинарная классификация ), в которой результаты помечены либо как положительные ( p ), либо как отрицательные ( n ). Есть четыре возможных результата бинарного классификатора. Если результат прогноза равен p и фактическое значение также равно p , то это называется истинно положительным (TP); однако, если фактическое значение равно n , то оно считается ложноположительным ( FP). И наоборот, истинно отрицательный результат (TN) имеет место, когда и результат прогнозирования, и фактическое значение равны n , а ложноотрицательный результат (FN) — это когда результат прогнозирования равен n, а фактическое значение равно p .

Чтобы получить подходящий пример реальной проблемы, рассмотрим диагностический тест, целью которого является определить, есть ли у человека определенное заболевание. Ложноположительный результат в этом случае возникает, когда у человека положительный результат теста, но на самом деле он не болен. С другой стороны, ложноотрицательный результат возникает, когда у человека отрицательный результат теста, что позволяет предположить, что он здоров, хотя на самом деле у него действительно есть заболевание.

Рассмотрим эксперимент с P положительными и N отрицательными экземплярами для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 следующим образом:

		Прогнозируемое состояние		Источники:
	Общая численность населения = П + Н	Прогнозируемый положительный результат (PP)	Прогнозируемый отрицательный результат (PN)	Информированность , информированность букмекерских контор (БМ) = ТПР + ТНР − 1	Порог распространенности (PT) = ⁠ √ ТПР × ФПР - ФПР / ТПР - ФПР ⁠
Фактическое состояние	Положительный (П)	Истинно положительный (TP), ударять	Ложноотрицательный (ЛН), пропустить, недооценка	Доля истинных положительных результатов (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, частота попаданий, мощность = ⁠ ТП / П ⁠ = 1 − ФНР	Ложноотрицательный показатель (FNR), процент промахов ошибка второго рода = ⁠ ФН / П ⁠ = 1 − ТПР
	Отрицательный (Н)	Ложноположительный (FP), ложная тревога, завышение оценок	Истинно отрицательный (TN), правильный отказ	Ложноположительный показатель (FPR), вероятность ложной тревоги, выпадения ошибка типа I = ⁠ ФП / Н ⁠ = 1 − ТНР	Истинно отрицательный коэффициент (TNR), специфичность (SPC), селективность = ТН = / Н 1 − ФПР
	Распространенность = ⁠ П / П + Н ⁠	Положительная прогностическая ценность (PPV), точность = ⁠ ТП / ПП ⁠ = 1 − ФДР	Коэффициент ложного пропуска (FOR) = ⁠ FN / PN ⁠ = 1 − NPV	Положительное отношение правдоподобия (LR+) = ⁠ TPR / FPR ⁠	Отрицательное отношение правдоподобия (LR-) = ⁠ FNR / TNR ⁠
	Точность (АКК) = ⁠ ТП + ТН / П + Н ⁠	Уровень ложного обнаружения (FDR) = ⁠ ФП / ПП ⁠ = 1 − ППВ	Отрицательная прогностическая ценность (NPV) = ⁠ ТН / ПН ⁠ = 1 − ДЛЯ	Маркировка (МК), дельтаП (Δp) = ППВ + ЧПС − 1	Диагностическое отношение шансов (DOR) = ⁠ LR+ / LR− ⁠
	Сбалансированная точность (BA) = ⁠ ТПР + ТНР / 2 ⁠	F 1 балл = ⁠ 2 PPV × TPR / PPV + TPR ⁠ = ⁠ 2 ТП / 2 ТП + ФП + ФН ⁠	Индекс Фаулкса-Мэллоуза (FM) = √ ППВ × TPR	Коэффициент корреляции Мэтьюза (MCC) = √ TPR × TNR × PPV × NPV - √ FNR × FPR × FOR × FDR	Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара = ⁠ ТП / ТП + ФН + ФП ⁠

пространство РПЦ

Пространство ROC и графики четырех примеров прогнозирования.

Пространство ROC для «лучшего» и «худшего» классификатора.

Таблица непредвиденных обстоятельств может содержать несколько «показателей» оценки (см. информационное окно). Чтобы нарисовать кривую ROC, необходимы только частота истинно положительных результатов (TPR) и частота ложных срабатываний (FPR) (как функции некоторого параметра классификатора). TPR определяет, сколько правильных положительных результатов получено среди всех положительных образцов, доступных во время теста. FPR, с другой стороны, определяет, сколько ошибочных положительных результатов встречается среди всех отрицательных образцов, доступных во время теста.

Пространство ROC определяется FPR и TPR как оси X и Y соответственно, что отображает относительные компромиссы между истинным положительным результатом (выгоды) и ложным положительным результатом (затраты). Поскольку TPR эквивалентен чувствительности, а FPR равен 1 – специфичности, график ROC иногда называют графиком зависимости чувствительности от (1 – специфичности). Каждый результат прогнозирования или экземпляр матрицы путаницы представляет одну точку в пространстве ROC.

Наилучший возможный метод прогнозирования дал бы точку в верхнем левом углу или координату (0,1) пространства ROC, что представляет 100% чувствительность (без ложноотрицательных результатов) и 100% специфичность (без ложноположительных результатов). Точка (0,1) также называется идеальной классификацией . Случайное предположение даст точку на диагональной линии (так называемая линия отсутствия дискриминации ) от нижнего левого угла до верхнего правого угла (независимо от положительных и отрицательных базовых ставок ). Интуитивный пример случайного угадывания — решение путем подбрасывания монеты. По мере увеличения размера выборки точка ROC случайного классификатора стремится к диагональной линии. В случае сбалансированной монеты она будет стремиться к точке (0,5, 0,5).

Диагональ делит пространство РПЦ. Точки над диагональю представляют хорошие результаты классификации (лучше, чем случайная); точки ниже линии представляют собой плохие результаты (хуже, чем случайные результаты). Обратите внимание, что результат неизменно плохого предсказателя можно просто инвертировать, чтобы получить хороший предиктор.

Рассмотрим четыре результата прогнозирования из 100 положительных и 100 отрицательных случаев:

А	Б	С	С'
ТП = 63 ФН = 37 100 ФП = 28 ТН = 72 100 91 109 200	ТП = 77 ФН = 23 100 ФП = 77 ТН = 23 100 154 46 200	ТП = 24 ФН = 76 100 ФП = 88 ТН = 12 100 112 88 200	ТП = 76 ФН = 24 100 ФП = 12 ТН = 88 100 88 112 200
ТПР = 0,63	ТПР = 0,77	ТПР = 0,24	ТПР = 0,76
ФПР = 0,28	ФПР = 0,77	ФПР = 0,88	ФПР = 0,12
ППВ = 0,69	ППВ = 0,50	ППВ = 0,21	ППВ = 0,86
Ф1 = 0,66	Ф1 = 0,61	Ф1 = 0,23	Ф1 = 0,81
АСС = 0,68	АКК = 0,50	АСС = 0,18	АСС = 0,82

Графики четырех приведенных выше результатов в пространстве ROC приведены на рисунке. Результат метода A ясно показывает лучшую предсказательную силу среди A , B и C . Результат B лежит на линии случайного предположения (диагональной линии), и из таблицы видно, что точность B составляет 50%. Однако, когда C отражается через центральную точку (0,5,0,5), результирующий метод C' даже лучше, A. чем Этот зеркальный метод просто меняет предсказания любого метода или теста, создавшего C. таблицу непредвиденных обстоятельств Хотя исходный метод C имеет отрицательную предсказательную силу, простой пересмотр его решений приводит к новому методу прогнозирования C', который имеет положительную предсказательную силу. Когда метод C предсказывает p или n , метод C' будет прогнозировать n или p соответственно. Таким образом, тест C' будет работать лучше всего. Чем ближе результат таблицы непредвиденных обстоятельств к верхнему левому углу, тем лучше он прогнозирует, но расстояние от линии случайного предположения в любом направлении является лучшим индикатором того, какой прогностической силой обладает метод. Если результат находится ниже линии (т. е. метод хуже, чем случайное предположение), все предсказания метода должны быть отменены, чтобы использовать его мощность, тем самым перемещая результат выше линии случайного предположения.

Кривые в пространстве ROC

В бинарной классификации прогноз класса для каждого экземпляра часто делается на основе непрерывной случайной величины. $X$, который представляет собой «оценку», вычисленную для экземпляра (например, предполагаемую вероятность в логистической регрессии). Учитывая пороговый параметр $T$, экземпляр классифицируется как «положительный», если $X>T$и «отрицательный» в противном случае. $X$ следует плотности вероятности $f_{1}(x)$ если экземпляр действительно принадлежит классу «положительный», и $f_{0}(x)$ если иначе. Таким образом, истинный положительный уровень определяется выражением ${\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx$ а уровень ложноположительных результатов определяется выражением ${\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx$. Кривая ROC строится параметрически. ${\mbox{TPR}}(T)$ против ${\mbox{FPR}}(T)$ с $T$ как изменяющийся параметр.

Например, представьте, что уровни белка в крови у больных и здоровых людей обычно распределяются со средними значениями 2 г / дл и 1 г/дл соответственно. Медицинский тест может измерить уровень определенного белка в образце крови и классифицировать любое число, превышающее определенный порог, как указывающее на заболевание. Экспериментатор может настроить порог (зеленая вертикальная линия на рисунке), что, в свою очередь, изменит частоту ложных срабатываний. Увеличение порога приведет к меньшему количеству ложноположительных результатов (и большему количеству ложноотрицательных результатов), что соответствует движению кривой влево. Фактическая форма кривой определяется тем, насколько сильно перекрываются два распределения.

Критика

Пример кривой рабочей характеристики приемника (ROC), выделенной подобластью области под кривой (AUC) с низкой чувствительностью и низкой специфичностью красным цветом, а подобластью с высокой или достаточной чувствительностью и специфичностью зеленым цветом.

В некоторых исследованиях критикуются определенные применения кривой ROC и ее площади под кривой как меры для оценки бинарных классификаций, когда они не фиксируют информацию, относящуюся к приложению.

Основная критика кривой ROC, описанной в этих исследованиях, касается включения областей с низкой чувствительностью и низкой специфичностью (оба ниже 0,5) для расчета общей площади под кривой (AUC). как описано в сюжете справа.

По мнению авторов этих исследований, та часть области под кривой (с низкой чувствительностью и низкой специфичностью) относится к матрицам путаницы, где бинарные прогнозы дают плохие результаты, и поэтому не должна включаться в оценку общей производительности. Более того, эта часть AUC указывает на пространство с высоким или низким порогом матрицы неточности, что редко представляет интерес для ученых, выполняющих бинарную классификацию в какой-либо области.

Еще одна критика в адрес ROC и его области под кривой заключается в том, что они ничего не говорят о точности и отрицательной прогностической ценности.

Высокий ROC AUC, например 0,9, может соответствовать низким значениям точности и отрицательной прогностической ценности, например 0,2 и 0,1 в диапазоне [0, 1]. Если бы кто-то выполнил бинарную классификацию, получил ROC AUC 0,9 ​​и решил сосредоточиться только на этом показателе, он мог бы чрезмерно оптимистично поверить, что его бинарный тест был превосходным. Однако, если этот человек взглянет на значения точности и отрицательной прогностической ценности, он может обнаружить, что их значения низкие.

ROC AUC суммирует чувствительность и специфичность, но не дает информации о точности и отрицательной прогностической ценности.

Дальнейшие интерпретации

Иногда ROC используется для создания сводной статистики. Распространенные версии:

• точка пересечения кривой ROC с линией под углом 45 градусов, ортогональной к линии недискриминации - точка баланса, где чувствительность = специфичность
• точка пересечения кривой ROC с касательной под углом 45 градусов, параллельной линии отсутствия дискриминации, которая находится ближе всего к безошибочной точке (0,1) - также называемая J-статистикой Юдена и обобщаемая как информированность
• площадь между кривой ROC и линией недискриминации, умноженная на два, называется коэффициентом Джини , особенно в контексте кредитного скоринга . Его не следует путать с показателем статистической дисперсии, также называемым коэффициентом Джини .
• область между полной кривой ROC и треугольной кривой ROC, включающая только (0,0), (1,1) и одну выбранную рабочую точку $(tpr,fpr)$ - Последовательность
• площадь под кривой ROC, или «AUC» («площадь под кривой»), или A' (произносится как «a-prime»), или «c-статистика» («статистика соответствия»).
• индекс чувствительности d' (произносится как «d-prime»), расстояние между средним значением распределения активности в системе в условиях только шума и ее распределением в условиях только сигнала, деленное на их стандартное отклонение , при допущении что оба этих распределения нормальны с одинаковым стандартным отклонением. При этих предположениях форма ROC полностью определяется d' .

Однако любая попытка свести кривую ROC к единому числу теряет информацию о характере компромиссов конкретного алгоритма дискриминатора.

Вероятностная интерпретация

Площадь под кривой (часто называемая просто AUC) равна вероятности того, что классификатор поставит случайно выбранный положительный экземпляр выше, чем случайно выбранный отрицательный (при условии, что «положительный» ранг выше, чем «отрицательный»). Другими словами, при наличии одного случайно выбранного положительного экземпляра и одного случайно выбранного отрицательного экземпляра AUC — это вероятность того, что классификатор сможет определить, какой из них какой.

Это можно увидеть следующим образом: площадь под кривой определяется выражением (границы интеграла меняются местами, так как большой порог $T$ имеет меньшее значение по оси X)

$\operatorname {TPR} (T):T\to y(x)$

$\operatorname {FPR} (T):T\to x$

${\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}$

где $X_{1}$ это оценка положительного примера и $X_{0}$ - это оценка отрицательного экземпляра, и $f_{0}$ и $f_{1}$ представляют собой плотности вероятности, определенные в предыдущем разделе.

Площадь под кривой

Можно показать, что AUC тесно связана с U Манна-Уитни , который проверяет, оцениваются ли положительные результаты выше, чем отрицательные. Для предсказателя ${\textstyle f}$, несмещенная оценка его AUC может быть выражена следующей статистикой Уилкоксона-Манна-Уитни :

${\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},$

где ${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$ обозначает индикаторную функцию , которая возвращает 1, если $f(t_{0})<f(t_{1})$ в противном случае верните 0; ${\mathcal {D}}^{0}$ представляет собой набор отрицательных примеров, и ${\mathcal {D}}^{1}$ это набор положительных примеров.

В контексте кредитного скоринга часто используется измененная версия AUC:

$G_{1}=2\operatorname {AUC} -1$.

$G_{1}$ называется индексом Джини или коэффициентом Джини, но его не следует путать с мерой статистической дисперсии, которую также называют коэффициентом Джини . $G_{1}$ является частным случаем D Сомерса .

Также принято рассчитывать площадь под выпуклой оболочкой ROC (ROC AUCH = ROCH AUC), поскольку любая точка на отрезке линии между двумя результатами прогнозирования может быть получена путем случайного использования одной или другой системы с вероятностями, пропорциональными относительной длине противоположный компонент сегмента. Также возможно инвертировать вогнутости – так же, как на рисунке худшее решение может стать лучшим решением; вогнутости могут быть отражены в любом сегменте линии, но эта более крайняя форма слияния с гораздо большей вероятностью приведет к переобучению данных.

Сообщество машинного обучения чаще всего использует статистику ROC AUC для сравнения моделей. Эта практика подвергается сомнению, поскольку оценки AUC довольно зашумлены и страдают от других проблем. Тем не менее, согласованность AUC как меры совокупной эффективности классификации была подтверждена с точки зрения равномерного распределения ставок. и AUC был связан с рядом других показателей производительности, таких как показатель Брайера .

Другая проблема с ROC AUC заключается в том, что при уменьшении кривой ROC до одного числа игнорируется тот факт, что речь идет о компромиссах между различными системами или нанесенными точками производительности, а не о производительности отдельной системы, а также игнорируется возможность устранения вогнутости. , так что соответствующие альтернативные меры, такие как информированность или DeltaP. Эти меры по существу эквивалентны индексу Джини для одной точки прогнозирования с DeltaP' = Информированность = 2AUC-1, в то время как DeltaP = Маркированность представляет собой двойную величину (т.е. прогнозирование прогноза на основе реального класса), а их среднее геометрическое представляет собой коэффициент корреляции Мэтьюза. .

В то время как ROC AUC варьируется от 0 до 1 (при неинформативном классификаторе, дающем 0,5), альтернативные меры, известные как информированность , Уверенность и коэффициент Джини (в случае одной параметризации или одной системы) все имеют то преимущество, что 0 представляет собой случайную результативность, тогда как 1 представляет собой идеальную результативность, а -1 представляет собой «извращенный» случай полной информированности, всегда дающей неправильный ответ. Доведение шансов до 0 позволяет интерпретировать эти альтернативные шкалы как статистику Каппа. Было показано, что информированность имеет желательные характеристики для машинного обучения по сравнению с другими распространенными определениями каппы, такими как Коэн Каппа и Флейс Каппа .

Иногда бывает полезнее взглянуть на конкретную область кривой ROC, а не на всю кривую. Можно вычислить частичную AUC . Например, можно сосредоточиться на области кривой с низким уровнем ложноположительных результатов, которая часто представляет наибольший интерес для скрининговых тестов населения. Другой распространенный подход к задачам классификации, в которых P ≪ N (распространенный в приложениях биоинформатики), заключается в использовании логарифмической шкалы для оси x.

Область ROC под кривой также называется c-статистикой или c-статистикой .

Другие меры

Кривая TOC

Общая операционная характеристика (TOC) также характеризует диагностические возможности, предоставляя при этом больше информации, чем ROC. Для каждого порога ROC выявляет два соотношения: TP/(TP + FN) и FP/(FP + TN). Другими словами, РПЦ раскрывает ${\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}$ и ${\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}$. С другой стороны, TOC показывает общую информацию в таблице непредвиденных обстоятельств для каждого порога. Метод TOC раскрывает всю информацию, которую предоставляет метод ROC, а также дополнительную важную информацию, которую ROC не раскрывает, то есть размер каждой записи в таблице сопряженности для каждого порога. TOC также предоставляет популярный AUC ROC.

ROC-кривая

Эти цифры представляют собой кривые TOC и ROC, в которых используются одни и те же данные и пороговые значения. Рассмотрим точку, которая соответствует порогу 74. Кривая TOC показывает количество попаданий, равное 3, и, следовательно, количество промахов, равное 7. Кроме того, кривая TOC показывает, что количество ложных срабатываний равно 4 и количество правильных отклонений равно 16. В любой заданной точке ROC-кривой можно подобрать значения соотношений ${\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}$ и ${\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}$. Например, при пороге 74 очевидно, что координата x равна 0,2, а координата y равна 0,3. Однако этих двух значений недостаточно для построения всех записей базовой таблицы сопряженности два на два.

График компромисса ошибок обнаружения

Пример графика DET

Альтернативой кривой ROC является график компромисса ошибок обнаружения (DET), который отображает долю ложноотрицательных результатов (пропущенных обнаружений) по сравнению с частотой ложных срабатываний (ложных тревог) на нелинейно преобразованных осях X и Y. Функция преобразования представляет собой функцию квантиля нормального распределения, т.е. обратную кумулятивному нормальному распределению. По сути, это то же преобразование, что и zROC, описанное ниже, за исключением того, что используется дополнение к частоте попаданий, частоте промахов или ложноотрицательной частоте. Эта альтернатива затрачивает больше площади графика на интересующую область. Большая часть территории Китайской Республики не представляет особого интереса; в первую очередь важна область, прилегающая к оси Y и верхнему левому углу, который из-за использования частоты промахов вместо его дополнения, частоты попаданий, является нижним левым углом на графике DET. Кроме того, графики DET обладают полезным свойством линейности и линейным пороговым поведением для нормальных распределений. График DET широко используется в сообществе автоматического распознавания говорящих , где впервые было использовано название DET. Анализ производительности ROC на графиках с таким искривлением осей использовался психологами в исследованиях восприятия в середине 20-го века. где это было названо «бумагой двойной вероятности».

Z-оценка

Если к кривой ROC применить стандартную оценку , кривая преобразуется в прямую линию. Этот z-показатель основан на нормальном распределении со средним значением, равным нулю, и стандартным отклонением, равным единице. В теории прочности памяти следует предположить, что zROC не только линейен, но и имеет наклон 1,0. Нормальное распределение целей (изученных объектов, которые испытуемые должны вспомнить) и приманок (неизученных объектов, которые испытуемые пытаются вспомнить) является фактором, вызывающим линейность zROC.

Линейность кривой zROC зависит от стандартных отклонений распределения силы цели и приманки. Если стандартные отклонения равны, наклон будет равен 1,0. Если стандартное отклонение распределения силы цели больше, чем стандартное отклонение распределения силы приманки, то наклон будет меньше 1,0. В большинстве исследований было обнаружено, что наклон кривой zROC постоянно падает ниже 1, обычно между 0,5 и 0,9. Многие эксперименты дали наклон zROC 0,8. Наклон 0,8 означает, что изменчивость распределения силы цели на 25% больше, чем изменчивость распределения силы приманки.

Другая используемая переменная - это d' (d prime) (обсуждаемая выше в разделе «Другие меры»), которую легко выразить через z-значения. Хотя d ' является широко используемым параметром, следует признать, что он имеет значение только при строгом соблюдении очень строгих предположений теории прочности, сделанных выше.

Как и предполагалось, z-показатель ROC-кривой всегда линейен, за исключением особых ситуаций. Модель знакомства-воспоминания Йонелинаса представляет собой двумерное описание памяти узнавания. Вместо того, чтобы субъект просто отвечал «да» или «нет» на конкретный входной сигнал, субъект дает ощущение знакомства, которое действует как исходная кривая ROC. Что меняется, так это параметр Воспоминания (R). Предполагается, что воспоминание работает по принципу «все или ничего», и оно превосходит знакомство. Если бы не было компонента воспоминания, zROC имел бы прогнозируемый наклон 1. Однако при добавлении компонента воспоминания кривая zROC будет вогнутой вверх с уменьшенным наклоном. Эта разница в форме и наклоне является результатом дополнительного элемента изменчивости из-за того, что некоторые элементы вспоминаются. Пациенты с антероградной амнезией не могут вспомнить, поэтому их кривая Yonelinas zROC будет иметь наклон, близкий к 1,0.

История

Кривая ROC была впервые использована во время Второй мировой войны для анализа радиолокационных сигналов, прежде чем она была использована в теории обнаружения сигналов . После нападения на Перл-Харбор в 1941 году военные США начали новые исследования, направленные на повышение точности прогнозирования правильности обнаружения японских самолетов по сигналам радаров. Для этих целей они измеряли способность оператора радиолокационного приемника различать эти важные различия, что было названо рабочей характеристикой приемника.

В 1950-х годах кривые ROC использовались в психофизике для оценки обнаружения слабых сигналов человеком (а иногда и животными, не являющимися людьми). В медицине ROC-анализ широко используется при оценке диагностических тестов . Кривые ROC также широко используются в эпидемиологии и медицинских исследованиях и часто упоминаются в связи с доказательной медициной . В радиологии ROC-анализ является распространенным методом оценки новых радиологических методов. В социальных науках ROC-анализ часто называют коэффициентом точности ROC — распространенным методом оценки точности вероятностных моделей по умолчанию. Кривые ROC широко используются в лабораторной медицине для оценки диагностической точности теста, выбора оптимального порогового значения теста и сравнения диагностической точности нескольких тестов.

Кривые ROC также оказались полезными для оценки методов машинного обучения . Первое применение ROC в машинном обучении было сделано Спэкманом, который продемонстрировал ценность кривых ROC при сравнении и оценке различных алгоритмов классификации .

Кривые ROC также используются при проверке прогнозов в метеорологии.

Радар в деталях

Как уже упоминалось, кривые ROC имеют решающее значение для работы и теории радара . Сигналы, полученные на приемной станции, отраженные от цели, часто имеют очень низкую энергию по сравнению с минимальным уровнем шума . Отношение сигнала к шуму является важным показателем при определении того, будет ли обнаружена цель. Это соотношение сигнал/шум напрямую коррелирует с рабочими характеристиками приемника всей радиолокационной системы, которые используются для количественной оценки возможностей радиолокационной системы.

Рассмотрим разработку радиолокационной системы. Спецификация возможностей системы может быть предоставлена ​​с точки зрения вероятности обнаружения, $P_{D}$, с определенной терпимостью к ложным срабатываниям, $P_{FA}$. Упрощенную аппроксимацию требуемого отношения сигнал/шум на приемной станции можно рассчитать, решив

$P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X}}}\right)$

по отношению сигнал/шум ${\mathcal {X}}$. Здесь, ${\mathcal {X}}$ не измеряется в децибелах , как это принято во многих радиолокационных приложениях. Преобразование в децибелы осуществляется через ${\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}$. На основе этого рисунка можно решить общие записи в уравнении дальности действия радара (с коэффициентами шума), чтобы оценить требуемую эффективную излучаемую мощность .

Кривые ROC за пределами бинарной классификации

Расширение ROC-кривых для задач классификации с более чем двумя классами является громоздким. Два распространенных подхода для случаев, когда имеется несколько классов: (1) усреднение по всем парным значениям AUC. и (2) вычислить объем под поверхностью (VUS). Чтобы усреднить все парные классы, вычисляют AUC для каждой пары классов, используя только примеры из этих двух классов, как если бы других классов не было, а затем усредняют эти значения AUC по всем возможным парам. При наличии c классов будет c ( c − 1)/2 возможных пар классов.

Подход «объем под поверхностью» предполагает построение гиперповерхности, а не кривой, а затем измерение гиперобъема под этой гиперповерхностью. Каждое возможное правило принятия решения, которое можно использовать для классификатора классов c, можно описать с точки зрения его истинно положительных показателей (TPR ₁ ,..., TPR _c ) . Именно этот набор скоростей определяет точку, а набор всех возможных правил принятия решений дает облако точек, определяющих гиперповерхность. Согласно этому определению, VUS — это вероятность того, что классификатор сможет правильно пометить все примеры c , когда ему дан набор, в котором есть один случайно выбранный пример из каждого класса. Реализация классификатора, который знает, что его входной набор состоит из одного примера из каждого класса, может сначала вычислить оценку согласия для каждого из c. ² возможные пары примера с классом, а затем использовать венгерский алгоритм для максимизации суммы c выбранных оценок по всем c ! возможные способы назначить ровно один пример каждому классу.

Учитывая успех кривых ROC для оценки моделей классификации, также исследовалось расширение кривых ROC для других контролируемых задач. Заметными предложениями по решению проблем регрессии являются так называемые кривые характеристик ошибок регрессии (REC). и кривые регрессии ROC (RROC). В последнем случае кривые RROC становятся чрезвычайно похожими на кривые ROC для классификации с понятиями асимметрии, доминирования и выпуклой оболочки. Кроме того, площадь под кривыми RROC пропорциональна дисперсии ошибки регрессионной модели.

См. также

• Оценка Брайера
• Коэффициент детерминации
• Постоянная частота ложных тревог
• Компромисс ошибки обнаружения
• Теория обнаружения
• Оценка F1
• Ложная тревога
• Проверка гипотез на точность
• Точность и отзыв
• РАКЕТА
• Чувствительность и специфичность
• Общая рабочая характеристика

Внешние ссылки

• Анимированная демо-версия ROC
• демо РПЦ
• еще одна демонстрация РПЦ
• Видеообъяснение РПЦ
• Введение в общую операционную характеристику: полезность в оценке модели изменения земель
• Как запустить пакет TOC в R
• Пакет TOC R на Github
• Рабочая книга Excel для создания кривых TOC

Дальнейшее чтение

• Балакришнан, Нараянасвами (1991); Справочник по логистическому распределению , Marcel Dekker, Inc., ISBN   978-0-8247-8587-1
• Браун, Кристофер Д.; Дэвис, Герберт Т. (2006). «Кривые рабочие характеристики приемника и соответствующие меры принятия решений: учебное пособие». Хемометрика и интеллектуальные лабораторные системы . 80 : 24–38. doi : 10.1016/j.chemolab.2005.05.004 .
• Ротелло, Карен М.; Хейт, Эван; Дубе, Чад (2014). «Когда больше данных направляет нас неправильно: повторение с неправильной зависимой мерой закрепляет ошибочные выводы» (PDF) . Психономический бюллетень и обзор . 22 (4): 944–954. дои : 10.3758/s13423-014-0759-2 . ПМИД   25384892 . S2CID   6046065 .
• Фосетт, Том (2004). «Графики ROC: примечания и практические рекомендации для исследователей» (PDF) . Буквы для распознавания образов . 27 (8): 882–891. CiteSeerX   10.1.1.145.4649 . дои : 10.1016/j.patrec.2005.10.012 .
• Гонен, Митхат (2007); Анализ кривых рабочих характеристик приемника с использованием SAS , SAS Press, ISBN   978-1-59994-298-8
• Грин, Уильям Х., (2003) Эконометрический анализ , пятое издание, Prentice Hall , ISBN   0-13-066189-9
• Хигерти, Патрик Дж.; Ламли, Томас; Пепе, Маргарет С. (2000). «Зависящие от времени кривые ROC для цензурированных данных о выживании и диагностический маркер». Биометрия . 56 (2): 337–344. дои : 10.1111/j.0006-341x.2000.00337.x . ПМИД   10877287 . S2CID   8822160 .
• Хосмер, Дэвид В.; и Лемешоу, Стэнли (2000); Прикладная логистическая регрессия , 2-е изд., Нью-Йорк, штат Нью-Йорк: Wiley , ISBN   0-471-35632-8
• Ласко, Томас А.; Бхагват, Джуй Г.; Цзоу, Келли Х.; Оно-Мачадо, Люсила (2005). «Использование кривых рабочих характеристик приемников в биомедицинской информатике». Журнал биомедицинской информатики . 38 (5): 404–415. CiteSeerX   10.1.1.97.9674 . дои : 10.1016/j.jbi.2005.02.008 . ПМИД   16198999 .
• Но, Жан-Франсуа; Сын Бритальдо Соарес; Понтиус-младший, Роберт Гилмор; Гутьеррес, Мишель Фарфан; РОДРИГЕС, Герман (2013). «Набор инструментов для ROC-анализа пространственных моделей» . Международный геоинформационный журнал ISPRS . 2 (3): 869–887. Бибкод : 2013IJGI....2..869M . дои : 10.3390/ijgi2030869 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Понтиус-младший, Роберт Гилмор; Пармантье, Бенуа (2014). «Рекомендации по использованию относительной эксплуатационной характеристики (ROC)» . Ландшафтная экология . 29 (3): 367–382. дои : 10.1007/s10980-013-9984-8 . S2CID   15924380 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Понтиус-младший, Роберт Гилмор; Пачеко, Пабло (2004). «Калибровка и проверка модели нарушения лесов в Западных Гатах, Индия, 1920–1990 годы» . Геожурнал . 61 (4): 325–334. дои : 10.1007/s10708-004-5049-5 . S2CID   155073463 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Понтиус-младший, Роберт Гилмор; Батчу, Киран (2003). «Использование относительных рабочих характеристик для количественной оценки уверенности в прогнозировании места изменения земного покрова в Индии». Транзакции в ГИС . 7 (4): 467–484. дои : 10.1111/1467-9671.00159 . S2CID   14452746 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Понтиус-младший, Роберт Гилмор; Шнайдер, Лаура (2001). «Проверка модели изменения землепользования методом ROC для водораздела Ипсвича, Массачусетс, США» . Сельское хозяйство, экосистемы и окружающая среда . 85 (1–3): 239–248. дои : 10.1016/S0167-8809(01)00187-6 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Стефан, Карстен; Весселинг, Себастьян; Шинк, Таня; Юнг, Клаус (2003). «Сравнение восьми компьютерных программ для анализа рабочих характеристик приемника» . Клиническая химия . 49 (3): 433–439. дои : 10.1373/49.3.433 . ПМИД   12600955 .
• Светс, Джон А.; Доус, Робин М.; и Монахан, Джон (2000); Лучшие решения посредством науки , Scientific American , октябрь, стр. 82–87.
• Цзоу, Келли Х.; О'Мэлли, А. Джеймс; Маури, Лаура (2007). «Анализ рабочих характеристик приемника для оценки диагностических тестов и прогнозных моделей» . Тираж . 115 (5): 654–7. дои : 10.1161/circulationaha.105.594929 . ПМИД   17283280 .
• Чжоу, Сяо-Хуа; Обуховски, Нэнси А .; МакКлиш, Донна К. (2002). Статистические методы в диагностической медицине . Нью-Йорк, штат Нью-Йорк: Wiley & Sons. ISBN  978-0-471-34772-9 .
• Чикко Д.; Джурман Г. (2023). «Коэффициент корреляции Мэтьюза (MCC) должен заменить ROC AUC в качестве стандартного показателя для оценки бинарной классификации» . Добыча биоданных . 16 (1): 4. дои : 10.1186/s13040-023-00322-4 . ПМЦ   9938573 . ПМИД   36800973 .