Парадокс точности

Парадокс точности — это парадоксальный вывод о том, что точность не является хорошим показателем для прогнозных моделей при классификации в прогнозной аналитике . Это связано с тем, что простая модель может иметь высокий уровень точности, но быть слишком грубой, чтобы быть полезной. Например, если заболеваемость категории А является доминирующей и обнаруживается в 99% случаев, то точность прогнозирования того, что каждый случай относится к категории А, будет равна 99%. точность и полнота . В таких случаях лучшими мерами являются ^[1]^[2]Основная проблема заключается в том, что существует классовый дисбаланс между позитивным классом и негативным классом. Априорные вероятности для этих классов необходимо учитывать при анализе ошибок. Точность и полнота помогают, но точность также может быть искажена из-за очень несбалансированных априорных значений классов в тестовых наборах. ^{[ нужна ссылка ]}

Пример

Например, в городе с населением в 1 миллион человек есть десять террористов. Система профилирования приводит к следующей матрице путаницы :

Предсказанный сорт Фактический класс	Неудача	Проходить	Сумма
Неудача	10	0	10
Проходить	990	999000	999990
Сумма	1000	999000	1000000

Несмотря на то, что точность ⁠ 10 + 999000 / 1000000 ⁠ ≈ 99,9%, 990 из 1000 положительных прогнозов неверны. Точность ⁠ 10/10 + 990 ⁠ = 1% показывает его плохую производительность. Поскольку классы настолько несбалансированы, лучшим показателем является оценка F1 = ⁠ 2 × 0,01 × 1 / 0,01 + 1 ⁠ ≈ 2% (отзыв составляет ⁠ 10 + 0 / 10 ⁠ = 1).

Литература

Кубат, М. (2000). Решение проблемы несбалансированных обучающих наборов: односторонний отбор. Четырнадцатая международная конференция по машинному обучению.

См. также

Ложноположительный парадокс

Ссылки

^ Абма, BJM (10 сентября 2009 г.), Оценка инструментов управления требованиями с поддержкой анализа воздействия изменений на основе прослеживаемости (PDF) , Университет Твенте, стр. 86–87, заархивировано из оригинала (PDF) 25 ноября 2018 г. , получено 24 ноября 2018 г.
^ Вальверде-Альбасете; Карильо-де-Альборнос; Пелаес-Морено (2013), «Предложение о новых показателях оценки и методе визуализации результатов для задач анализа настроений», Оценка доступа к информации. Многоязычие, мультимодальность и визуализация , Springer, ISBN 9783642408021

Эта статистике статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[Abma-1] Абма, BJM (10 сентября 2009 г.), Оценка инструментов управления требованиями с поддержкой анализа воздействия изменений на основе прослеживаемости (PDF) , Университет Твенте, стр. 86–87, заархивировано из оригинала (PDF) 25 ноября 2018 г. , получено 24 ноября 2018 г.

[PNEM-2] Вальверде-Альбасете; Карильо-де-Альборнос; Пелаес-Морено (2013), «Предложение о новых показателях оценки и методе визуализации результатов для задач анализа настроений», Оценка доступа к информации. Многоязычие, мультимодальность и визуализация , Springer, ISBN 9783642408021

[1]

[2]