Частичная площадь под кривой ROC

Частичная площадь под кривой ROC (pAUC) — это показатель производительности двоичного классификатора.

Он рассчитывается на основе кривой рабочей характеристики приемника (ROC) , которая иллюстрирует диагностические возможности данной системы двоичного классификатора при изменении ее порога дискриминации. Кривая ROC создается путем построения графика истинной положительной оценки (TPR) и ложной положительной частоты (FPR) при различных пороговых значениях.

Пример кривой ROC и площади под кривой (AUC).

Площадь под кривой ROC (AUC) часто используется для суммирования в одном числе диагностических возможностей классификатора. AUC просто определяется как область пространства ROC, которая находится ниже кривой ROC.

Однако в пространстве Китайской Республики есть регионы, где значения FPR или TPR неприемлемы или нежизнеспособны на практике. Например, область, где FPR больше 0,8, предполагает, что более 80% отрицательных субъектов ошибочно классифицируются как положительные: это неприемлемо во многих реальных случаях. Как следствие, AUC, вычисленная во всем пространстве ROC (т. е. как с FPR, так и с TPR в диапазоне от 0 до 1), может давать вводящие в заблуждение показания.

Чтобы преодолеть это ограничение AUC, было предложено вычислить площадь под кривой ROC в области пространства ROC, которая соответствует интересным (т.е. практически жизнеспособным или приемлемым) значениям FPR и TPR.

Основная концепция

В пространстве ROC, где x=FPR (частота ложноположительных результатов) и y=ROC(x)=TPR (частота истинно положительных результатов), это

Кривые ROC созданы бинарными классификаторами Ca и Cb. Темно-зеленая область находится под обеими кривыми. Светло-зеленая область находится под областью Cb, но не под областью Ca. Синяя область находится под областью Ca, но не под областью Cb.

$AUC=\int _{x=0}^{1}ROC(x)\ dx$

AUC широко используется, особенно для сравнения характеристик двух (или более) бинарных классификаторов: классификатор, достигающий наивысшего значения AUC, считается лучшим. Однако при сравнении двух классификаторов $C_{a}$ и $C_{b}$, возможны три ситуации:

1. кривая ROC $C_{a}$ никогда не находится выше кривой ROC $C_{b}$
2. кривая ROC $C_{a}$ никогда не находится ниже кривой ROC $C_{b}$
3. Кривые ROC классификаторов пересекаются.

Существует общее мнение, что в случае 1 классификатора $C_{b}$ предпочтительнее, а в случае 2) классификатор $C_{a}$ предпочтительнее. Вместо этого в случае 3) существуют области пространства ROC, где $C_{a}$ предпочтительнее и другие регионы, где $C_{b}$ предпочтительнее. Это наблюдение привело к оценке точности классификаций путем вычисления показателей производительности, которые учитывают только определенную область интереса (RoI) в пространстве ROC, а не все пространство. Эти показатели производительности обычно известны как «частичная AUC» (pAUC): pAUC — это площадь выбранной области пространства ROC, которая лежит под кривой ROC.

Частичная AUC, полученная путем ограничения FPR

Идея частичной AUC изначально была предложена с целью ограничить оценку данных кривых ROC диапазоном ложноположительных результатов, которые считаются интересными для диагностических целей. Таким образом, частичная AUC рассчитывалась как площадь под кривой ROC в вертикальной полосе пространства ROC, где FPR находится в диапазоне [ $FPR_{low}$, $FPR_{high}$].

pAUC рассчитывается как площадь под кривой, где $0.1\leq FPR\leq 0.3$	pAUC рассчитывается как площадь под кривой, где $0.2\leq FPR\leq 0.4$

pAUC, вычисленный путем ограничения FPR, помогает сравнить две частичные области. Тем не менее, у него есть несколько ограничений:

• РоИ должна представлять собой вертикальную полосу пространства РПЦ;
• не приводятся критерии для определения рентабельности инвестиций: ожидается, что какой-либо эксперт сможет определить $FPR_{low}$ и $FPR_{high}$;
• при сравнении двух классификаторов через связанные ROC-кривые относительно небольшое изменение в выборе RoI может привести к разным выводам: в приведенном выше примере рассматривается диапазон, где $0.1\leq FPR\leq 0.3$ приводит к выводу, что $C_{b}$ лучше, учитывая группу, в которой $0.2\leq FPR\leq 0.4$ приводит к выводу, что $C_{a}$ лучше.

Частичная AUC, полученная путем ограничения TPR

Другой тип частичной AUC получается путем ограничения частоты истинно положительных результатов, а не частоты ложных срабатываний. То есть частичная AUC — это площадь под кривой ROC и над горизонтальной линией. $TPR=TPR_{0}$.

Частичная AUC рассчитывается как площадь под кривой ROC и выше. $TPR_{0}$

Другими словами, pAUC вычисляется в той части пространства ROC, где истинная положительная частота превышает заданный порог. $TPR_{0}$ (верхний предел не используется, поскольку ограничивать количество истинных положительных результатов не имеет смысла).

Это предложение также имеет несколько ограничений:

• ограничивая долю истинно положительных результатов, также неявно устанавливается ограничение на долю ложных срабатываний;
• не приводятся критерии для определения рентабельности инвестиций: ожидается, что эксперты смогут определить минимально приемлемый уровень истинно положительных результатов;
• при сравнении двух классификаторов через соответствующие ROC-кривые относительно небольшое изменение в выборе RoI может привести к разным выводам: это происходит, когда $TPR_{0}$ находится близко к точке пересечения данных кривых ROC.

Частичная AUC, полученная путем ограничения FPR и TPR.

«Двустороннее» значение pAUC определялось путем ограничения как истинно положительных, так и ложноотрицательных показателей. Минимальное значение $TPR_{0}$ указывается для TPR и максимального значения $FPR_{0}$ установлен для FPR, поэтому RoI представляет собой верхний левый прямоугольник с вершинами в точках ( $FPR_{0}$, $TPR_{0}$), ( $FPR_{0}$, 1), (0, 1) и (0, $TPR_{0}$). Двусторонняя pAUC — это площадь под кривой ROC, принадлежащая такому прямоугольнику.

Двусторонняя pAUC явно более гибкая, чем pAUC, определяемая ограничением только FPR или TPR. Фактически, последние два типа pAUC можно рассматривать как частные случаи двусторонней pAUC.

Частичная AUC рассчитывается, где $FPR\leq FPR_{0}$ и $TPR\geq TPR_{0}$.

Как и в случае с pAUC, описанным выше, при сравнении двух классификаторов с помощью связанных кривых ROC относительно небольшое изменение в выборе RoI может привести к различным выводам. Это особенно деликатный вопрос, поскольку не приводятся критерии определения ROI (как и в случае с другими упомянутыми pAUC, ожидается, что эксперты смогут определить $TPR_{0}$ и $FPR_{0}$).

Частичная AUC, полученная путем применения объективных ограничений к интересующей области.

Было определено несколько объективных и обоснованных критериев для определения рентабельности инвестиций. В частности, вычисление pAUC может быть ограничено областью, где

• рассматриваемые классификаторы лучше (по некоторым выбранным метрикам производительности), чем случайная классификация;
• рассматриваемые классификаторы достигают хотя бы минимального значения некоторых выбранных показателей производительности;
• стоимость из-за ошибок классификации рассматриваемыми классификаторами является приемлемой.

Определение рентабельности инвестиций на основе эффективности случайной классификации

Возможный способ определения области, в которой вычисляется pAUC, состоит в исключении областей ROC-пространства, которые представляют характеристики хуже, чем производительность, достигнутая с помощью случайной классификации.

Случайная классификация оценивает данный элемент положительно с вероятностью. $\rho$ и отрицательный с вероятностью (1- $\rho$). В наборе данных из n элементов, из которых AP на самом деле положительны, наилучшее предположение получается, установив $\rho ={\frac {AP}{n}}$ ( $\rho$ также известно как «распространенность» положительных результатов в наборе данных).

pAUC рассчитывается в регионе, где TPR, FPR и точность лучше, чем средние значения случайной классификации.

Было показано, что случайная классификация с $\rho ={\frac {AP}{n}}$ достигает $TPR=\rho$, $precision=\rho$, и $FPR=\rho$, в среднем. Следовательно, если выбранными показателями производительности являются TPR, FPR и точность, рентабельность инвестиций должна быть ограничена той частью пространства ROC, где $TPR>\rho$, $FPR<\rho$, и $precision>\rho$. Было показано, что эта область представляет собой прямоугольник с вершинами в (0,0), (0,1), ( $\rho$, 1) и ( $\rho$, $\rho$).

Этот метод решает проблемы ограничения TPR и FPR, когда необходимо вычислить двустороннее pAUC: $FPR_{0}=TPR_{0}=\rho$.

Индикатор «Соотношение соответствующих площадей» (RRA)

Для расчета pAUC необходимо сначала определить ROI. Например, если требуется более высокая точность, чем средняя случайная классификация, RoI представляет собой прямоугольник, имеющий вершины в (0,0), (0,1), ( $\rho$, 1) и ( $\rho$, $\rho$). Это означает, что размер рентабельности инвестиций варьируется в зависимости от $\rho$. Кроме того, идеальный ROC, т. е. тот, который проходит через точку (0,1), имеет pAUC= $\rho$(1- $\rho$).

Чтобы получить индикатор на основе pAUC, учитывающий $\rho$ и диапазоны в [0,1], был предложен RRA:

$RRA={pAUC \over area\ of\ the\ RoI}$

RRA=1 указывает на идеальную точность, а RRA=0 указывает на то, что область под кривой ROC, принадлежащая RoI, равна нулю; таким образом, точность не лучше, чем у случайной классификации.

Определение рентабельности инвестиций на основе некоторого порогового значения показателя производительности.

pAUC рассчитывается в области, где Phi>0,35.

Для двоичных классификаторов доступно несколько показателей производительности. Одним из самых популярных является коэффициент Фи. (также известный как коэффициент корреляции Мэтьюза ). Phi измеряет, насколько лучше (или хуже) классификация по отношению к случайной классификации, которая характеризуется Phi = 0. Согласно эталонным значениям, предложенным Коэном, можно принять Phi = 0,35 как минимально приемлемый уровень Phi для классификации. В пространстве ROC Phi, равная ненулевой константе, соответствует дуге эллипса, а Phi = 0 соответствует диагонали, т.е. точкам, где FPR=TPR. Итак, рассмотрение части ROC, где Phi>0,35, соответствует определению RoI как части пространства ROC над эллипсом. pAUC — это площадь над эллипсом и под кривой ROC.

Определение рентабельности инвестиций на основе стоимости неправильной классификации

Большинство бинарных классификаторов дают неправильную классификацию, что приводит к определенным затратам.

Стоимость C ошибок классификации определяется как $C=c_{FN}FN+c_{FP}FP$, где $c_{FN}$ - унитарная стоимость ложноотрицательного результата, $c_{FP}$ — унитарная стоимость ложноположительного результата, а FN и FP — соответственно количество ложноотрицательных и ложноположительных результатов.

Нормализованная стоимость NC определяется как $NC={\frac {C}{n(c_{FN}+c_{FP})}}$.

Установив $\lambda ={\frac {c_{FN}}{c_{FP}+c_{FN}}}$, мы получаем $NC=\lambda \rho (1-TPR)+(1-\lambda )(1-\rho )FPR$

Среднее значение NC, полученное с помощью случайной классификации, равно $NC_{rnd}={\frac {AP\cdot AN}{n^{2}}}$

Чтобы оценить классификатор, исключив характеристики, стоимость которых превышает $NC_{rnd}$, можно определить рентабельность инвестиций, при которой нормализованная стоимость ниже, чем $NC_{rnd}$: такая область находится над линией

${\frac {AP\cdot AN}{n^{2}}}=\lambda \rho (1-TPR)(1-\lambda )(1-\rho )FPR$

pAUC рассчитывается в ROI, где $NC<\mu NC_{rnd}$, когда $\lambda =0.9$

Также возможно определить рентабельность инвестиций, где NC меньше доли. $\mu$ из $NC_{rnd}$. В таком случае нижней границей ROI является линия

$TPR={\frac {1-\lambda }{\lambda }}{\frac {1-\rho }{\rho }}(FPR-\mu \rho )+1-\mu (1-\rho )$

Различные значения $\lambda$ Определите рентабельность инвестиций так же, как некоторые из наиболее известных показателей производительности:

• $\lambda =0$ эквивалентно использованию FPR для разграничения области инвестиций.
• $\lambda =1-\rho$ эквивалентно использованию точности для разграничения области инвестиций
• $\lambda =1-{\frac {\rho }{2}}$ эквивалентно использованию счета F-1 для разграничения ROI
• $\lambda =1$ эквивалентно использованию TPR для разграничения рентабельности инвестиций

Таким образом, выбор показателя производительности приравнивается к выбору конкретного значения относительной стоимости ложноположительных результатов по отношению к ложноотрицательным. В пространстве ROC наклон линии, представляющей постоянные нормированные затраты (следовательно, постоянные общие затраты), зависит от $\lambda$или, что то же самое, от используемых показателей производительности.

Это обычная практика выбрать в качестве наилучшей классификации точку ROC-кривой с наибольшим значением J Юдена =TPR−FPR. При рассмотрении затрат, связанных с неправильными классификациями, эта практика соответствует выдвижению гипотезы об относительной стоимости ложноположительных и ложноотрицательных результатов, которая редко бывает верной.

Как рассчитать pAUC и RRA

обеспечения для расчета pAUC и RRA доступны для Python и R. Библиотеки программного