Коэффициент Фи

В статистике коэффициент фи (или среднеквадратичный коэффициент непредвиденности , обозначаемый φ или r _φ ) является мерой связи двух двоичных переменных .

В машинном обучении он известен как коэффициент корреляции Мэтьюза (MCC) и используется как мера качества бинарных (двухклассовых) классификаций , введенных биохимиком Брайаном Мэтьюзом в 1975 году.

Представлено Карлом Пирсоном , а также известный как коэффициент Юла-фи, поскольку он был введен Удным Юлом в 1912 году. эта мера аналогична коэффициенту корреляции Пирсона по своей интерпретации.

Определение

Коэффициент корреляции Пирсона , оцененный для двух двоичных переменных, вернет коэффициент фи.

Две двоичные переменные считаются положительно связанными, если большая часть данных приходится на диагональные ячейки. Напротив, две двоичные переменные считаются отрицательно связанными, если большая часть данных выходит за пределы диагонали.

Если у нас есть таблица 2×2 для двух случайных величин x и y

	у = 1	у = 0	общий
х = 1	$n_{11}$	$n_{10}$	$n_{1\bullet }$
х = 0	$n_{01}$	$n_{00}$	$n_{0\bullet }$
общий	$n_{\bullet 1}$	$n_{\bullet 0}$	$n$

где n ₁₁ , n ₁₀ , n ₀₁ , n ₀₀ — неотрицательные числа наблюдений, которые в сумме дают n — общее количество наблюдений. Коэффициент фи, который описывает связь x и y, равен

$\phi ={\frac {n_{11}n_{00}-n_{10}n_{01}}{\sqrt {n_{1\bullet }n_{0\bullet }n_{\bullet 0}n_{\bullet 1}}}}.$

Phi связана с коэффициентом точечной бисериальной корреляции Коэна и d и оценивает степень связи между двумя переменными (2 × 2).

Коэффициент фи также можно выразить, используя только $n$, $n_{11}$, $n_{1\bullet }$, и $n_{\bullet 1}$, как

$\phi ={\frac {nn_{11}-n_{1\bullet }n_{\bullet 1}}{\sqrt {n_{1\bullet }n_{\bullet 1}(n-n_{1\bullet })(n-n_{\bullet 1})}}}.$

Максимальные значения

Хотя в вычислительном отношении коэффициент корреляции Пирсона сводится к коэффициенту фи в случае 2×2, в целом они не одинаковы. Коэффициент корреляции Пирсона находится в диапазоне от -1 до +1, где ±1 указывает на полное согласие или несогласие, а 0 указывает на отсутствие связи. Коэффициент фи имеет максимальное значение, которое определяется распределением двух переменных, если одна или обе переменные могут принимать более двух значений. См. Давенпорт и Эль-Санхури (1991). для подробного обсуждения.

Машинное обучение

MCC определяется идентично коэффициенту фи, введенному Карлом Пирсоном : также известный как коэффициент Юла-фи, поскольку он был введен Удным Юлом в 1912 году. Несмотря на эти предшественники, которые появились на несколько десятилетий раньше, чем использование Мэтьюза, термин MCC широко используется в области биоинформатики и машинного обучения.

Коэффициент учитывает истинные и ложные положительные и отрицательные результаты и обычно считается сбалансированной мерой, которую можно использовать, даже если классы имеют очень разные размеры. MCC, по сути, представляет собой коэффициент корреляции между наблюдаемыми и прогнозируемыми бинарными классификациями; он возвращает значение от −1 до +1. Коэффициент +1 представляет собой идеальное предсказание, 0 — не лучше, чем случайное предсказание, а —1 указывает на полное несоответствие между предсказанием и наблюдением. Однако, если MCC не равен ни −1, ни 0, ни +1, это не является надежным индикатором того, насколько предиктор похож на случайное угадывание, поскольку MCC зависит от набора данных. MCC тесно связан со статистикой хи-квадрат для таблицы непредвиденных обстоятельств 2 × 2.

$|{\text{MCC}}|={\sqrt {\frac {\chi ^{2}}{n}}}$

где n — общее количество наблюдений.

Хотя не существует идеального способа описания матрицы путаницы истинных, ложных положительных и отрицательных результатов с помощью одного числа, коэффициент корреляции Мэтьюза обычно считается одним из лучших таких показателей. Другие показатели, такие как доля правильных прогнозов (также называемая точностью ), бесполезны, когда два класса имеют очень разные размеры. Например, отнесение каждого объекта к более крупному набору позволяет добиться высокой доли правильных предсказаний, но в целом это бесполезная классификация.

MCC можно рассчитать непосредственно из матрицы путаницы по формуле:

${\text{MCC}}={\frac {{\mathit {TP}}\times {\mathit {TN}}-{\mathit {FP}}\times {\mathit {FN}}}{\sqrt {({\mathit {TP}}+{\mathit {FP}})({\mathit {TP}}+{\mathit {FN}})({\mathit {TN}}+{\mathit {FP}})({\mathit {TN}}+{\mathit {FN}})}}}$

В этом уравнении TP — количество истинных положительных результатов , TN — количество истинных отрицательных результатов , FP — количество ложных положительных результатов и FN — количество ложных отрицательных результатов . Если ровно одна из четырех сумм в знаменателе равна нулю, знаменатель можно произвольно установить равным единице; в результате коэффициент корреляции Мэтьюза равен нулю, что, как можно показать, является правильным предельным значением. В случае, если две или более суммы равны нулю (например, обе метки и прогнозы модели положительные или отрицательные), предел не существует.

МКК можно рассчитать по формуле:

${\text{MCC}}={\sqrt {{\mathit {PPV}}\times {\mathit {TPR}}\times {\mathit {TNR}}\times {\mathit {NPV}}}}-{\sqrt {{\mathit {FDR}}\times {\mathit {FNR}}\times {\mathit {FPR}}\times {\mathit {FOR}}}}$

используя положительную прогностическую ценность, истинно положительный уровень, истинно отрицательный уровень, отрицательную прогностическую ценность, уровень ложного обнаружения, уровень ложноотрицательного результата, уровень ложноположительного результата и уровень ложного пропуска.

Исходная формула, данная Мэтьюзом, была:

${\begin{aligned}N&={\mathit {TN}}+{\mathit {TP}}+{\mathit {FN}}+{\mathit {FP}}\\S&={\frac {{\mathit {TP}}+{\mathit {FN}}}{N}}\\P&={\frac {{\mathit {TP}}+{\mathit {FP}}}{N}}\\{\text{MCC}}&={\frac {{\mathit {TP}}/N-S\times P}{\sqrt {PS(1-S)(1-P)}}}\end{aligned}}$

Это соответствует формуле, приведенной выше. Как коэффициент корреляции , коэффициент корреляции Мэтьюза представляет собой среднее геометрическое коэффициентов регрессии задачи и ее двойника . Коэффициентами регрессии компонентов коэффициента корреляции Мэтьюза являются маркированность (Δp) и статистика Юдена J ( информированность или Δp'). Маркированность и информированность соответствуют разным направлениям информационного потока и обобщают J-статистику Юдена , $\delta$p-статистика, в то время как их среднее геометрическое обобщает коэффициент корреляции Мэтьюза на более чем два класса.

Некоторые ученые утверждают, что коэффициент корреляции Мэтьюза является наиболее информативным единственным показателем, позволяющим установить качество прогноза двоичного классификатора в контексте матрицы путаницы.

Пример

Учитывая выборку из 12 изображений, 8 кошек и 4 собак, где кошки относятся к классу 1, а собаки - к классу 0,

фактическое = [1,1,1,1,1,1,1,1,0,0,0,0],

предположим, что классификатор, который различает кошек и собак, обучен, и мы берем 12 изображений и пропускаем их через классификатор, и классификатор делает 9 точных прогнозов и пропускает 3: 2 кошки ошибочно предсказаны как собаки (первые 2 прогноза) и 1 собака ошибочно была предсказана как кошка (последнее предсказание).

прогноз = [0,0, 1 , 1 , 1 , 0 , 1 1 , 1 , 1 , , 0 , 0 ]

С помощью этих двух помеченных наборов (фактических и прогнозируемых) мы можем создать матрицу путаницы, которая будет суммировать результаты тестирования классификатора:

Предсказанный сорт Фактический класс	Кот	Собака
Кот	6	2
Собака	1	3

В этой матрице путаницы из 8 изображений кошек система решила, что 2 были собаками, а из 4 изображений собак она предсказала, что 1 — кошка. Все правильные прогнозы расположены по диагонали таблицы (выделены жирным шрифтом), поэтому легко визуально проверить таблицу на наличие ошибок прогнозов, поскольку они будут представлены значениями вне диагонали.

В абстрактных терминах матрица путаницы выглядит следующим образом:

Предсказанный сорт Фактический класс	П	Н
П	Город	ФН
Н	ФП	ТН

где P = положительный; Н = отрицательный; TP = истинно положительный результат; FP = ложное срабатывание; TN = истинно отрицательный результат; ФН = ложноотрицательный результат.

Подставляем числа из формулы:

${\text{MCC}}={\frac {6\times 3-1\times 2}{\sqrt {(6+1)\times (6+2)\times (3+1)\times (3+2)}}}={\frac {16}{\sqrt {1120}}}\approx 0.478$

Матрица путаницы

Основная статья: Матрица путаницы

Давайте определим эксперимент из P положительных экземпляров и N отрицательных экземпляров для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 следующим образом:

		Прогнозируемое состояние		Источники:
	Общая численность населения = П + Н	Прогнозируемый положительный результат (PP)	Прогнозируемый отрицательный результат (PN)	Информированность , информированность букмекерских контор (БМ) = ТПР + ТНР − 1	Порог распространенности (PT) = ⁠ √ ТПР × ФПР - ФПР / ТПР - ФПР ⁠
Фактическое состояние	Положительный (П)	Истинно положительный (TP), ударять	Ложноотрицательный (ЛН), промахнуться, недооценка	Доля истинных положительных результатов (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, частота попаданий, мощность = ⁠ ТП / П ⁠ = 1 − ФНР	Ложноотрицательный показатель (FNR), процент промахов ошибка второго рода = ⁠ ФН / П ⁠ = 1 − ТПР
	Отрицательный (Н)	Ложноположительный (FP), ложная тревога, завышение оценок	Истинно отрицательный (TN), правильный отказ	Ложноположительный показатель (FPR), вероятность ложной тревоги, выпадения ошибка типа I = ⁠ ФП / Н ⁠ = 1 − ТНР	Истинно отрицательный коэффициент (TNR), специфичность (SPC), селективность = ТН = / Н 1 − ФПР
	Распространенность = ⁠ П / П + Н ⁠	Положительная прогностическая ценность (PPV), точность = ⁠ ТП / ПП ⁠ = 1 − ФДР	Коэффициент ложного пропуска (FOR) = ⁠ FN / PN ⁠ = 1 − NPV	Положительное отношение правдоподобия (LR+) = ⁠ TPR / FPR ⁠	Отрицательное отношение правдоподобия (LR-) = ⁠ FNR / TNR ⁠
	Точность (АКК) = ⁠ ТП + ТН / П + Н ⁠	Уровень ложного обнаружения (FDR) = ⁠ ФП / ПП ⁠ = 1 − ППВ	Отрицательная прогностическая ценность (NPV) = ⁠ ТН / ПН ⁠ = 1 − ДЛЯ	Маркировка (МК), дельтаП (Δp) = ППВ + ЧПС − 1	Диагностическое отношение шансов (DOR) = ⁠ ЛР+ / ЛР- ⁠
	Сбалансированная точность (BA) = ⁠ ТПР + ТНР / 2 ⁠	F 1 балл = ⁠ 2 PPV × TPR / PPV + TPR ⁠ = ⁠ 2 ТП / 2 ТП + ФП + ФН ⁠	Индекс Фаулкса-Мэллоуза (FM) = √ ППВ × TPR	Коэффициент корреляции Мэтьюза (MCC) = √ TPR × TNR × PPV × NPV - √ FNR × FPR × FOR × FDR	Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара = ⁠ ТП / ТП + ФН + ФП ⁠

Мультиклассовый случай

Коэффициент корреляции Мэтьюза был обобщен на многоклассовый случай. Обобщение, названное $R_{K}$ статистика (для K разных классов) определялась как $K\times K$ матрица путаницы $C$.

${\text{MCC}}={\frac {\sum _{k}\sum _{l}\sum _{m}C_{kk}C_{lm}-C_{kl}C_{mk}}{{\sqrt {\sum _{k}\left(\sum _{l}C_{kl}\right)\left(\sum _{k'|k'\neq k}\sum _{l'}C_{k'l'}\right)}}{\sqrt {\sum _{k}\left(\sum _{l}C_{lk}\right)\left(\sum _{k'|k'\neq k}\sum _{l'}C_{l'k'}\right)}}}}$

При наличии более двух меток MCC больше не будет находиться в диапазоне от –1 до +1. Вместо этого минимальное значение будет между –1 и 0 в зависимости от истинного распределения. Максимальное значение всегда +1.

Эту формулу можно легче понять, определив промежуточные переменные:

• $t_{k}=\sum _{i}C_{ik}$ сколько раз действительно возникал класс k,
• $p_{k}=\sum _{i}C_{ki}$ сколько раз класс k был предсказан,
• $c=\sum _{k}C_{kk}$ общее количество правильно предсказанных образцов,
• $s=\sum _{i}\sum _{j}C_{ij}$ общее количество образцов. Это позволяет выразить формулу следующим образом:

${\text{MCC}}={\frac {cs-{\vec {t}}\cdot {\vec {p}}}{{\sqrt {s^{2}-{\vec {p}}\cdot {\vec {p}}}}{\sqrt {s^{2}-{\vec {t}}\cdot {\vec {t}}}}}}$

Предсказанный сорт Фактический класс	Кот	Собака		Сумма
Кот	6	2		8
Собака	1	3		4
Сумма	7	5		12

Использование приведенной выше формулы для вычисления меры MCC для рассмотренного выше примера собаки и кошки, где матрица путаницы рассматривается как пример 2 × Multiclass:

${\text{MCC}}={\frac {(6+3)\times {\color {green}12}\;-\;{\color {blue}5}\times {\color {brown}4}\;-\;{\color {purple}7}\times {\color {maroon}8}}{{\sqrt {{\color {green}12}^{2}-{\color {blue}5}^{2}-{\color {purple}7}^{2}}}{\sqrt {{\color {green}12}^{2}-{\color {brown}4}^{2}-{\color {maroon}8}^{2}}}}}={\frac {32}{\sqrt {4480}}}\approx 0.478$

Альтернативное обобщение коэффициента корреляции Мэтьюза на более чем два класса было дано Пауэрсом. по определению Корреляции как среднего геометрического Информированности и Маркированности .

Несколько обобщений коэффициента корреляции Мэтьюза на более чем два класса вместе с новыми метриками многомерной корреляции для многомерной классификации были представлены П. Стойкой и П. Бабу. .

Преимущества перед точностью и оценкой F1

Как объяснил Давиде Чикко в своей статье «Десять быстрых советов по машинному обучению в вычислительной биологии ». ( BioData Mining , 2017) и «Преимущества коэффициента корреляции Мэтьюса (MCC) над показателем F1 и точностью при оценке двоичной классификации» ( BMC Genomics , 2020), коэффициент корреляции Мэтьюза более информативен, чем показатель F1 и точность при оценке задач бинарной классификации, поскольку он учитывает балансовые коэффициенты четырех категорий матрицы путаницы (истинные положительные результаты, истинные отрицательные результаты, ложные положительные результаты, ложные негативы).

В предыдущей статье объясняется Совет 8 :

Чтобы получить общее представление о своем прогнозе, вы решаете воспользоваться общими статистическими показателями, такими как точность и показатель F1.

${\text{accuracy}}={\frac {TP+TN}{TP+TN+FP+FN}}$

(Уравнение 1, точность: худшее значение = 0; лучшее значение = 1)

${\text{F1 score}}={\frac {2TP}{2TP+FP+FN}}$

(Уравнение 2, оценка F1: худшее значение = 0; лучшее значение = 1)

Однако даже если точность и показатель F1 широко используются в статистике, оба могут вводить в заблуждение, поскольку они не полностью учитывают размер четырех классов матрицы путаницы при окончательном вычислении оценок.

Предположим, например, что у вас есть очень несбалансированный набор проверки, состоящий из 100 элементов, 95 из которых являются положительными элементами, и только 5 — отрицательными элементами (как описано в совете 5). Предположим также, что вы допустили некоторые ошибки при разработке и обучении классификатора машинного обучения, и теперь у вас есть алгоритм, который всегда предсказывает положительный результат. Представьте, что вы не в курсе этой проблемы.

Таким образом, применяя свой только положительный предиктор к несбалансированному набору проверки, вы получаете значения для категорий матрицы путаницы:

ТП = 95, ФП = 5; ТН = 0, ФН = 0.

Эти значения приводят к следующим показателям производительности: точность = 95 % и оценка F1 = 97,44 %. Прочитав эти чрезмерно оптимистичные оценки, вы будете очень счастливы и подумаете, что ваш алгоритм машинного обучения отлично справляется со своей задачей. Очевидно, вы пойдете по неправильному пути.

Напротив, чтобы избежать этих опасных обманчивых иллюзий, есть еще один показатель производительности, которым вы можете воспользоваться: коэффициент корреляции Мэтьюза [40] (MCC).

${\text{MCC}}={\frac {TP\times TN-FP\times FN}{\sqrt {(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}}$

(Уравнение 3, MCC: худшее значение = −1; лучшее значение = +1).

Учитывая долю каждого класса матрицы путаницы в формуле, ее оценка будет высокой только в том случае, если ваш классификатор хорошо справляется как с отрицательными, так и с положительными элементами.

В приведенном выше примере показатель MCC будет неопределенным (поскольку TN и FN будут равны 0, поэтому знаменатель уравнения 3 будет равен 0). Проверив это значение вместо точности и оценки F1, вы сможете заметить, что ваш классификатор движется в неправильном направлении, и вы поймете, что есть проблемы, которые вам следует решить, прежде чем продолжить.

Рассмотрим другой пример. Вы выполнили классификацию на том же наборе данных, что привело к следующим значениям для категорий матрицы путаницы:

ТП = 90, ФП = 4; ТН = 1, ФН = 5.

В этом примере классификатор хорошо справился с классификацией положительных экземпляров, но не смог правильно распознать отрицательные элементы данных. Опять же, итоговая оценка F1 и точность будут чрезвычайно высокими: точность = 91%, а оценка F1 = 95,24%. Как и в предыдущем случае, если бы исследователь проанализировал только эти два показателя оценки, не принимая во внимание MCC, он бы ошибочно решил, что алгоритм достаточно хорошо справляется со своей задачей, и у него возникла бы иллюзия успеха.

С другой стороны, проверка коэффициента корреляции Мэтьюза будет иметь решающее значение еще раз. В этом примере значение MCC будет 0,14 (уравнение 3), что указывает на то, что алгоритм работает аналогично случайному угадыванию. Действуя как сигнал тревоги, MCC сможет проинформировать специалиста по интеллектуальному анализу данных о том, что статистическая модель работает плохо.

По этим причинам мы настоятельно рекомендуем оценивать производительность каждого теста с помощью коэффициента корреляции Мэтьюза (MCC), а не точности и оценки F1, для любой проблемы двоичной классификации.

— Давиде Чикко, «Десять быстрых советов по машинному обучению в вычислительной биологии».

Отрывок Чикко можно рассматривать как одобрение оценки MCC в случаях с несбалансированными наборами данных. Это, однако, оспаривается; в частности, Чжу (2020) предлагает решительное опровержение.

Обратите внимание, что оценка F1 зависит от того, какой класс определен как положительный класс. В первом примере выше оценка F1 высока, поскольку класс большинства определяется как положительный класс. Инвертирование положительных и отрицательных классов приводит к следующей матрице путаницы:

ТП = 0, ФП = 0; ТН = 5, ФН = 95

Это дает оценку F1 = 0%.

MCC не зависит от того, какой класс является положительным, который имеет преимущество перед показателем F1, чтобы избежать неправильного определения положительного класса.

См. также

• Каппа Коэна
• Таблица непредвиденных обстоятельств
• V Крамера , аналогичная мера связи между номинальными переменными.
• Оценка F1
• Индекс Фаулкса-Мэллоуза
• Полихорическая корреляция (подтип: тетрахорическая корреляция), когда переменные рассматриваются как дихотомические версии (латентных) непрерывных переменных.