Правило классификации

Учитывая популяцию, каждый член которой принадлежит к одному из множества различных наборов или классов , правило классификации или классификатор — это процедура, с помощью которой прогнозируется, что каждый элемент совокупности совокупности принадлежит одному из классов. ^[1] Идеальная классификация — это такая классификация, в которой каждый элемент популяции отнесен к тому классу, к которому он действительно принадлежит. Классификатор Байеса — это классификатор, который оптимально назначает классы на основе известных атрибутов (т. е. признаков или регрессоров) классифицируемых элементов.

Особый вид правил классификации — бинарная классификация , предназначенная для задач, в которых имеется только два класса.

Тестирование правил классификации

Учитывая набор данных, состоящий из пар x и y , где x обозначает элемент популяции, а y — класс, к которому он принадлежит, правило классификации h ( x ) — это функция, которая присваивает каждому элементу x предсказанный класс. ${\hat {y}}=h(x).$ Бинарная классификация такова, что метка y может принимать только одно из двух значений.

Истинные метки y _{могут быть известны ,} но они не обязательно будут соответствовать их приближениям. ${\hat {y_{i}}}=h(x_{i})$ . В бинарной классификации элементы, которые классифицированы неправильно, называются ложноположительными и ложноотрицательными.

Некоторые правила классификации являются статическими функциями. Другие могут быть компьютерными программами. Компьютерный классификатор может обучаться или реализовывать правила статической классификации. Для набора обучающих данных истинные метки y _j неизвестны, но основной целью процедуры классификации является то, что аппроксимация ${\hat {y_{j}}}=h(x_{j})\approx y_{j}$ насколько это возможно, когда о качестве этого приближения необходимо судить на основе статистических или вероятностных свойств генеральной совокупности, на основе которой будут проводиться будущие наблюдения.

Учитывая правило классификации, тест классификации является результатом применения правила к конечной выборке исходного набора данных.

Бинарная и мультиклассовая классификация

Классификацию можно рассматривать как две отдельные проблемы — бинарную классификацию и мультиклассовую классификацию . В бинарной классификации, более понятной задаче, задействованы только два класса, тогда как многоклассовая классификация предполагает отнесение объекта к одному из нескольких классов. ^[2] Поскольку многие методы классификации были разработаны специально для бинарной классификации, многоклассовая классификация часто требует совместного использования нескольких двоичных классификаторов. Важным моментом является то, что во многих практических задачах двоичной классификации эти две группы не симметричны - интерес представляет не общая точность, а относительная пропорция различных типов ошибок. Например, при медицинском тестировании ложноположительный результат (обнаружение заболевания при его отсутствии) рассматривается иначе, чем ложноотрицательный результат (необнаружение заболевания при его наличии). В мультиклассовых классификациях классы могут рассматриваться симметрично (все ошибки эквивалентны) или асимметрично, что значительно сложнее.

Методы бинарной классификации включают пробит-регрессию и логистическую регрессию . Методы мультиклассовой классификации включают полиномиальный пробит и полиномиальный логит .

Матрица путаницы и классификаторы

Левая и правая половины соответственно содержат экземпляры, которые фактически имеют или не имеют условия. Овал содержит экземпляры, которые классифицируются (прогнозируются) как положительные (имеющие данное состояние). Зеленый и красный соответственно содержат экземпляры, которые классифицированы правильно (истинно) и неправильно (ложно).
TP = истинно положительный результат; TN = истинно отрицательный результат; FP=ложное срабатывание (ошибка типа I); FN = ложноотрицательный результат (ошибка II типа); TPR = истинно положительный уровень; FPR = частота ложноположительных результатов; PPV = положительная прогностическая ценность; NPV = отрицательная прогнозируемая ценность.

Если функция классификации не идеальна, появятся ложные результаты. В примере на изображении справа. На левой стороне линии (истинная сторона) находится 20 точек, хотя на самом деле только 8 из этих 20 были верными. В аналогичной ситуации для правой стороны линии (ложная сторона), где на правой стороне 16 точек, и 4 из этих 16 точек были неточно помечены как истинные. Используя расположение точек, мы можем построить матрицу путаницы для выражения значений. Мы можем использовать 4 разных показателя, чтобы выразить 4 различных возможных результата. Различают истинно положительный (TP), ложноположительный (FP), ложноотрицательный (FN) и истинно отрицательный (TN).

Пример матрицы путаницы
Предсказанный Действительный	Истинный	ЛОЖЬ
Истинный	8	4
ЛОЖЬ	12	12

Ложные срабатывания

Ложноположительные результаты возникают, когда тест ложно (неправильно) сообщает о положительном результате. Например, медицинский тест на заболевание может дать положительный результат, указывающий на то, что у пациента есть заболевание, даже если у пациента нет этого заболевания. Ложноположительный результат обычно обозначается как верхняя правая единица (отрицательное состояние X положительный результат теста) в матрице путаницы .

Ложноотрицательные результаты

С другой стороны, ложноотрицательные результаты возникают, когда тест ложно или неправильно сообщает об отрицательном результате. Например, медицинский тест на заболевание может дать отрицательный результат, указывающий на то, что у пациента нет заболевания, даже если он действительно болен. Ложноотрицательный результат обычно обозначается как нижняя левая единица (положительное состояние X отрицательный результат теста) в матрице путаницы .

Настоящие позитивы

Настоящие положительные результаты возникают, когда тест правильно сообщает о положительном результате. Например, медицинский тест на заболевание может дать положительный результат, указывающий на то, что у пациента есть заболевание. Это подтверждается, когда тест пациента подтверждает наличие заболевания. Истинно положительный результат обычно обозначается как верхняя левая единица (положительное состояние X положительный результат теста) в матрице путаницы .

Истинные негативы

Истинно отрицательный результат, когда тест правильно сообщает отрицательный результат. Например, медицинский тест на заболевание может дать положительный результат, указывающий на отсутствие у пациента заболевания. Это подтверждается, когда тесты пациентов также сообщают об отсутствии заболевания. Истинно отрицательный результат обычно обозначается как нижняя правая единица (отрицательное состояние X отрицательный результат теста) в матрице путаницы .

Приложение с теоремой Байеса

Мы также можем вычислить истинные положительные, ложные положительные, истинно отрицательные и ложные отрицательные результаты, используя теорему Байеса . Использование теоремы Байеса поможет описать Вероятность События (теория вероятностей) , основываясь на предварительном знании условий, которые могут быть связаны с событием. Четыре классификации выражены на примере ниже.

Если у тестируемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
Предположим, что только 0,1% населения страдает этим заболеванием, так что априорная вероятность наличия этого заболевания у случайно выбранного пациента составляет 0,001.
Пусть А представляет состояние, при котором у пациента имеется заболевание.
Пусть \neg A представляет состояние, при котором у пациента нет заболевания.
Пусть B представляет собой свидетельство положительного результата теста.
Пусть \neg B представляет собой свидетельство отрицательного результата теста.

С точки зрения истинно положительного, ложноположительного, ложноотрицательного и истинно отрицательного:

Ложноположительный результат — это вероятность P того, что \neg A (у пациента нет заболевания), затем B (у пациента положительный результат теста на заболевание), также выражается как P(\neg A|B)
Ложноотрицательный результат — это вероятность P того, что A (у пациента есть заболевание), а затем \neg B (у пациента отрицательный результат теста на заболевание), также выражается как P( A|\neg B)
Истинно положительный результат — это вероятность P того, что A (у пациента есть заболевание), а затем B (у пациента положительный результат теста на заболевание), также выражается как P(A|B).
Истинно отрицательный результат — это вероятность P того, что \neg A (у пациента нет заболевания), а затем \neg B (у пациента отрицательный результат теста на заболевание), также выражается как P(\neg A|\neg B)

Ложные срабатывания

Мы можем использовать теорему Байеса , чтобы определить вероятность того, что положительный результат на самом деле является ложноположительным. Мы обнаружили, что если заболевание встречается редко, то большинство положительных результатов могут быть ложноположительными, даже если тест относительно точен.

Наивно можно было бы подумать, что только 5% положительных результатов тестов являются ложными, но, как мы увидим, это совершенно неверно.

Предположим, что только 0,1% населения страдает этим заболеванием, так что априорная вероятность наличия этого заболевания у случайно выбранного пациента составляет 0,001.

Мы можем использовать теорему Байеса для расчета вероятности того, что положительный результат теста окажется ложноположительным.

{\begin{aligned}P(A|B)&={\frac {P(B|A)P(A)}{P(B|A)P(A)+P(B|\neg A)P(\neg A)}}\\\\&={\frac {0.99\times 0.001}{0.99\times 0.001+0.05\times 0.999}}\\~\\&\approx 0.019.\end{aligned}}

и, следовательно, вероятность того, что положительный результат является ложноположительным, составляет около 1–0,019 = 0,98, или 98%.

Несмотря на кажущуюся высокую точность теста, заболеваемость настолько низка, что подавляющее большинство пациентов с положительным результатом теста не страдают этим заболеванием. Тем не менее, доля пациентов с положительным результатом теста, у которых действительно есть заболевание (0,019), в 19 раз превышает долю людей, которые еще не прошли тест и у которых есть заболевание (0,001). Таким образом, тест не бесполезен, и повторное тестирование может повысить надежность результата.

Чтобы уменьшить проблему ложноположительных результатов, тест должен быть очень точным, сообщая об отрицательном результате, когда у пациента нет заболевания. Если тест показал отрицательный результат у пациентов без заболевания с вероятностью 0,999, то

P(A|B)={\frac {0.99\times 0.001}{0.99\times 0.001+0.001\times 0.999}}\approx 0.5,

так что 1 - 0,5 = 0,5 теперь - это вероятность ложноположительного результата.

Ложноотрицательные результаты

Мы можем использовать теорему Байеса , чтобы определить вероятность того, что отрицательный результат на самом деле является ложноотрицательным, используя приведенный выше пример:

{\begin{aligned}P(A|\neg B)&={\frac {P(\neg B|A)P(A)}{P(\neg B|A)P(A)+P(\neg B|\neg A)P(\neg A)}}\\\\&={\frac {0.01\times 0.001}{0.01\times 0.001+0.95\times 0.999}}\\~\\&\approx 0.0000105.\end{aligned}}

Вероятность того, что отрицательный результат является ложноотрицательным, составляет около 0,0000105 или 0,00105%. Если заболевание встречается редко, ложноотрицательные результаты не будут серьезной проблемой для теста.

Но если бы этим заболеванием страдало 60% населения, то вероятность ложноотрицательного результата была бы выше. При использовании вышеуказанного теста вероятность ложноотрицательного результата будет равна

{\begin{aligned}P(A|\neg B)&={\frac {P(\neg B|A)P(A)}{P(\neg B|A)P(A)+P(\neg B|\neg A)P(\neg A)}}\\\\&={\frac {0.01\times 0.6}{0.01\times 0.6+0.95\times 0.4}}\\~\\&\approx 0.0155.\end{aligned}}

Вероятность того, что отрицательный результат является ложноотрицательным, возрастает до 0,0155 или 1,55%.

Настоящие позитивы

Мы можем использовать теорему Байеса , чтобы определить вероятность того, что положительный результат на самом деле является истинно положительным, используя приведенный выше пример:

Если у тестируемого пациента есть заболевание, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
Если у тестируемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
Предположим, что только 0,1% населения страдает этим заболеванием, так что априорная вероятность наличия этого заболевания у случайно выбранного пациента составляет 0,001.

Пусть A представляет состояние, при котором у пациента имеется заболевание, а B представляет собой свидетельство положительного результата теста. Тогда вероятность того, что у пациента действительно имеется заболевание при положительном результате теста, равна:

{\begin{aligned}P(A|B)&={\frac {P(B|A)P(A)}{P(B|A)P(A)+P(B|\neg A)P(\neg A)}}\\\\&={\frac {0.99\times 0.001}{0.99\times 0.001+0.05\times 0.999}}\\~\\&\approx 0.019.\end{aligned}}

Вероятность того, что положительный результат является истинно положительным, составляет около 0,019%.

Истинные негативы

Мы также можем использовать теорему Байеса для расчета вероятности истинного отрицательного результата. Используя приведенные выше примеры:

Если у тестируемого пациента есть заболевание, тест дает положительный результат в 99% случаев или с вероятностью 0,99.

{\begin{aligned}P(\neg A|\neg B)&={\frac {P(\neg B|\neg A)P(A)}{P(\neg B|\neg A)P(\neg A)+P(\neg B|A)P(A)}}\\\\&={\frac {0.99\times 0.999}{0.99\times 0.999+0.05\times 0.001}}\\~\\&\approx 0.0000105.\end{aligned}}

Вероятность того, что отрицательный результат является истинно отрицательным, составляет 0,9999494 или 99,99%. Поскольку заболевание встречается редко, а соотношение положительных и положительных результатов велико, а соотношение отрицательных и отрицательных также велико, это приведет к большому проценту истинно отрицательных результатов.

Измерение классификатора с чувствительностью и специфичностью

При обучении классификатора может потребоваться измерить его производительность, используя общепринятые показатели чувствительности и специфичности. Может быть поучительно сравнить классификатор со случайным классификатором, который подбрасывает монетку в зависимости от распространенности заболевания. Предположим, что вероятность того, что человек болен этим заболеванием, равна $p$ и вероятность того, что они этого не сделают, равна $q=1-p$ . Предположим тогда, что у нас есть случайный классификатор, который с той же вероятностью предполагает, что у пациента есть заболевание. $p$ и догадывается, что он этого не сделает с такой же вероятностью $q$ .

Вероятность истинно положительного результата — это вероятность того, что у пациента есть заболевание, умноженная на вероятность того, что случайный классификатор угадает это правильно, или $p^{2}$ . По аналогичным рассуждениям вероятность ложноотрицательного результата равна $pq$ . Из приведенных выше определений чувствительность этого классификатора равна $p^{2}/(p^{2}+pq)=p$ . Используя аналогичные рассуждения, мы можем рассчитать специфичность как $q^{2}/(q^{2}+pq)=q$ .

Таким образом, хотя сам показатель не зависит от распространенности заболевания, эффективность этого случайного классификатора зависит от распространенности заболевания. Классификатор может иметь производительность, аналогичную этому случайному классификатору, но с более взвешенной монетой (более высокой чувствительностью и специфичностью). Таким образом, на эти меры может влиять распространенность заболевания. Альтернативным показателем эффективности является коэффициент корреляции Мэтьюза , по которому любой случайный классификатор получит средний балл 0.

Распространение этой концепции на небинарные классификации дает матрицу путаницы .

См. также

Примечания

Ссылки

^ Статья Mathworld для статистического теста
^ Хар-Пелед, С. , Рот, Д., Зимак, Д. (2003) «Классификация ограничений для мультиклассовой классификации и ранжирования». В: Беккер Б., Трун С., Обермайер К. (ред.) Достижения в области нейронных систем обработки информации 15: Материалы конференции 2002 г. , MIT Press. ISBN 0-262-02550-7

[1] Статья Mathworld для статистического теста

[2] Хар-Пелед, С. , Рот, Д., Зимак, Д. (2003) «Классификация ограничений для мультиклассовой классификации и ранжирования». В: Беккер Б., Трун С., Обермайер К. (ред.) Достижения в области нейронных систем обработки информации 15: Материалы конференции 2002 г. , MIT Press. ISBN 0-262-02550-7

[1]

[2]