Матрица путаницы
В области машинного обучения и, в частности, проблемы статистической классификации , матрица путаницы , также известная как матрица ошибок , [1] это особый макет таблицы , который позволяет визуализировать работу алгоритма, обычно контролируемого обучения ; в обучении без учителя ее обычно называют матрицей соответствия .
Каждая строка матрицы представляет экземпляры реального класса, а каждый столбец представляет экземпляры прогнозируемого класса или наоборот — оба варианта встречаются в литературе. [2] Название происходит от того факта, что оно позволяет легко увидеть, не путает ли система два класса (т.е. обычно ошибочно маркирует один как другой).
Это особый вид таблицы сопряженности с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице сопряженности).
Пример [ править ]
Учитывая выборку из 12 человек, у 8 из которых был диагностирован рак, и у 4 человек без рака, где люди с раком относятся к классу 1 (положительные), а лица, не являющиеся раковыми, относятся к классу 0 (отрицательные), мы можем показать, что данные следующим образом:
| Индивидуальный номер | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Фактическая классификация | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 |
Предположим, что у нас есть классификатор, который каким-то образом различает людей с раком и без него. Мы можем взять 12 человек и пропустить их через классификатор. Затем классификатор делает 9 точных прогнозов и пропускает 3: 2 человека с раком, ошибочно предсказанные как свободные от рака (выборка 1 и 2), и 1 человек без рака, у которого ошибочно предсказано наличие рака (выборка 9).
| Индивидуальный номер | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Фактическая классификация | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 |
| Прогнозируемая классификация | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 |
Обратите внимание: если мы сравним фактический набор классификаций с прогнозируемым набором классификаций, есть 4 разных результата, которые могут привести к любому конкретному столбцу. Во-первых, если фактическая классификация положительна, а прогнозируемая классификация положительна (1,1), это называется истинно положительным результатом, поскольку положительный образец был правильно идентифицирован классификатором. Во-вторых, если фактическая классификация положительна, а прогнозируемая классификация отрицательна (1,0), это называется ложноотрицательным результатом, поскольку классификатор ошибочно идентифицирует положительный образец как отрицательный. В-третьих, если фактическая классификация отрицательна, а прогнозируемая классификация положительна (0,1), это называется ложноположительным результатом, поскольку отрицательный образец ошибочно идентифицируется классификатором как положительный. В-четвертых, если фактическая классификация отрицательна, а прогнозируемая классификация отрицательна (0,0), это называется истинно отрицательным результатом, поскольку классификатор правильно идентифицирует отрицательный образец.
Затем мы можем выполнить сравнение фактической и прогнозируемой классификаций и добавить эту информацию в таблицу, чтобы правильные результаты отображались зеленым цветом, чтобы их было легче идентифицировать.
| Индивидуальный номер | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Фактическая классификация | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 |
| Прогнозируемая классификация | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 |
| Результат | ФН | ФН | Город | Город | Город | Город | Город | Город | ФП | ТН | ТН | ТН |
В шаблоне любой двоичной матрицы путаницы используются четыре вида результатов, описанных выше (истинно положительные, ложноотрицательные, ложноположительные и истинно отрицательные), а также положительные и отрицательные классификации. Четыре результата можно сформулировать в виде матрицы путаницы 2×2 следующим образом:
| Прогнозируемое состояние | |||
| Общая численность населения = П + Н | Положительный (ПП) | Отрицательный (ПН) | |
Фактическое состояние | Положительный (П) | Истинно положительный (TP) | Ложноотрицательный (ЛН) |
| Отрицательный (Н) | Ложное срабатывание (FP) | Истинно отрицательный (TN) | |
| Источники: [3] [4] [5] [6] [7] [8] [9] [10] | |||
Цветовая гамма трех приведенных выше таблиц данных была выбрана в соответствии с этой матрицей путаницы, чтобы можно было легко различать данные.
Теперь мы можем просто суммировать результаты каждого типа, подставить их в шаблон и создать матрицу путаницы, которая будет кратко суммировать результаты тестирования классификатора:
| Прогнозируемое состояние | |||
| Общий 8 + 4 = 12 | Рак 7 | Нерак 5 | |
Фактическое состояние | Рак 8 | 6 | 2 |
| Нерак 4 | 1 | 3 | |
В этой матрице путаницы из 8 образцов с раком система решила, что в 2 нет рака, а из 4 образцов без рака она предсказала, что в 1 действительно был рак. Все правильные прогнозы расположены по диагонали таблицы (выделены зеленым), поэтому легко визуально проверить таблицу на наличие ошибок прогнозов, поскольку их будут представлять значения за пределами диагонали. Суммируя две строки матрицы путаницы, можно также вывести общее количество положительных (P) и отрицательных (N) выборок в исходном наборе данных, т.е. и .
Таблица путаницы [ править ]
В прогнозной аналитике таблица путаницы (иногда также называемая матрицей путаницы ) представляет собой таблицу с двумя строками и двумя столбцами, в которой сообщается количество истинных положительных результатов , ложных отрицательных результатов , ложных положительных результатов и истинных отрицательных результатов . Это позволяет провести более детальный анализ, чем просто наблюдение за долей правильных классификаций (точностью). Точность приведет к вводящим в заблуждение результатам, если набор данных несбалансирован; то есть когда количество наблюдений в разных классах сильно различается.
Например, если бы в данных было 95 образцов рака и только 5 образцов без рака, конкретный классификатор мог бы классифицировать все наблюдения как имеющие рак. Общая точность составит 95 %, но более подробно классификатор будет иметь 100 % уровень распознавания ( чувствительность ) для класса рака и 0 % уровень распознавания для класса, не связанного с раком. Оценка F1 в таких случаях еще более ненадежна, и здесь она составит более 97,4%, тогда как информированность устраняет такую предвзятость и дает 0 как вероятность осознанного решения для любой формы догадок (здесь всегда угадывание рака).
По мнению Давиде Чикко и Джузеппе Юрмана, наиболее информативным показателем для оценки матрицы путаницы является коэффициент корреляции Мэтьюза (MCC) . [11]
В матрицу путаницы можно включить и другие показатели, каждый из которых имеет свое значение и применение.
| Прогнозируемое состояние | Источники: [12] [13] [14] [15] [16] [17] [18] [19] | ||||
| Общая численность населения = П + Н | Прогнозируемый положительный результат (PP) | Прогнозируемый отрицательный результат (PN) | Информированность , информированность букмекерских контор (БМ) = ТПР + ТНР − 1 | Порог распространенности (PT) = √ ТПР × ФПР - ФПР / ТПР - ФПР | |
Фактическое состояние | Положительный (П) [а] | Истинно положительный (TP), ударять [б] | Ложноотрицательный (ЛН), пропустить, недооценка | Доля истинных положительных результатов (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, частота попаданий, мощность = ТП / П = 1 − ФНР | Ложноотрицательный показатель (FNR), процент промахов ошибка второго рода [с] = ФН / П = 1 − ТПР |
| Отрицательный (Н) [д] | Ложноположительный (FP), ложная тревога, завышение оценок | Истинно отрицательный (TN), правильный отказ [и] | Ложноположительный показатель (FPR), вероятность ложной тревоги, выпадения ошибка типа I [ф] = ФП / N = 1 − ТНР | Истинно отрицательный коэффициент (TNR), специфичность (SPC), селективность = ТН / Н = 1 − ФПР | |
| Распространенность = П / П+Н | Положительная прогностическая ценность (PPV), точность = ТП / ПП = 1 − ФДР | Коэффициент ложного пропуска (FOR) = ФН / ПН = 1 − ЧПС | Положительное отношение правдоподобия (LR+) = ТПР / ФПР | Отрицательное отношение правдоподобия (LR-) = ФНР / ТНР | |
| Точность (АКК) = ТП+ТН / П+Н | Уровень ложного обнаружения (FDR) = ФП / ПП = 1 − ППВ | Отрицательная прогностическая ценность (NPV) = ТН / ПН = 1 − ЗА | Маркировка (МК), дельтаП (Δp) = ППВ + ЧПС − 1 | Диагностическое отношение шансов (DOR) = ЛР+ / ЛР- | |
| Сбалансированная точность (BA) = ТПР + ТНР / 2 | F 1 балл = 2 PPV × TPR / PPV + TPR = 2 ТП / 2 ТП + ФП + ФН | Индекс Фаулкса-Мэллоуза (FM) = √ ППВ × TPR | Коэффициент корреляции Мэтьюза (MCC) = √ TPR × TNR × PPV × NPV - √ FNR × FPR × FOR × FDR | Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара = ТП / ТП + ФН + ФП | |
- ^ количество реальных положительных случаев в данных
- ^ Результат теста, который правильно указывает на наличие состояния или характеристики.
- ^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
- ^ количество реальных отрицательных случаев в данных
- ^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
- ^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного условия или атрибута.
с более чем двумя категориями путаницы Матрицы
Матрица неточностей не ограничивается бинарной классификацией и может использоваться также в многоклассовых классификаторах. [20] Матрицы путаницы, рассмотренные выше, имеют только два условия: положительное и отрицательное. Например, в таблице ниже обобщено общение на свистящем языке между двумя говорящими, нулевые значения опущены для ясности. [21]
Воспринимаемый гласный Гласный произведено | я | и | а | тот | в |
|---|---|---|---|---|---|
| я | 15 | 1 | |||
| и | 1 | 1 | |||
| а | 79 | 5 | |||
| тот | 4 | 15 | 3 | ||
| в | 2 | 2 |
См. также [ править ]
Ссылки [ править ]
- ^ Стеман, Стивен В. (1997). «Выбор и интерпретация показателей точности тематической классификации». Дистанционное зондирование окружающей среды . 62 (1): 77–89. Бибкод : 1997RSEnv..62...77S . дои : 10.1016/S0034-4257(97)00083-7 .
- ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63. S2CID 55767944 .
- ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F . дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
- ^ Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективный прогноз индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi : 10.1061/(ASCE)IS.1943-555X.0000512 . S2CID 213782055 .
- ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
- ^ Тин, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8 .
- ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов» . Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
- ^ Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД 31898477 .
- ^ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и маркированность при оценке двухклассовой матрицы путаницы» . Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД 33541410 .
- ^ Тарват А. (август 2018 г.). «Классификация методов оценки» . Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
- ^ Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД 31898477 .
- ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. дои : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .
- ^ Провост, Фостер; Том Фосетт (01 августа 2013 г.). «Наука о данных для бизнеса: что нужно знать об интеллектуальном анализе данных и аналитическом мышлении» . О'Рейли Медиа, Инк .
- ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
- ^ Тин, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8 .
- ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов» . Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
- ^ Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД 31898477 .
- ^ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и маркированность при оценке двухклассовой матрицы путаницы» . Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД 33541410 .
- ^ Тарват А. (август 2018 г.). «Классификация методов оценки» . Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
- ^ Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективный прогноз индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi : 10.1061/(ASCE)IS.1943-555X.0000512 . S2CID 213782055 .
- ^ Риалланд, Энни (август 2005 г.). «Фонологические и фонетические аспекты свистящих языков». Фонология . 22 (2): 237–271. CiteSeerX 10.1.1.484.4384 . дои : 10.1017/S0952675705000552 . S2CID 18615779 .
