Каппа Коэна

Коэффициент каппа Коэна ( κ , строчная греческая каппа ) — это статистика , которая используется для измерения межэкспертной надежности (а также внутриэкспертной надежности ) для качественных (категориальных) элементов. Обычно считается, что это более надежный показатель, чем простой расчет процента согласия, поскольку κ учитывает возможность случайного возникновения согласия. Вокруг каппы Коэна существуют разногласия из-за сложности интерпретации показателей согласия. Некоторые исследователи предположили, что концептуально проще оценить разногласия между элементами.

История

Первое упоминание о каппаподобной статистике принадлежит Гальтону в 1892 году.

Основополагающая статья, представляющая каппу как новую технику, была опубликована Джейкобом Коэном в журнале «Образовательные и психологические измерения» в 1960 году.

Определение

Каппа Коэна измеряет согласие между двумя оценщиками, каждый из которых классифицирует N элементов в C взаимоисключающих категорий. Определение ${\textstyle \kappa }$ является

$\kappa \equiv {\frac {p_{o}-p_{e}}{1-p_{e}}}=1-{\frac {1-p_{o}}{1-p_{e}}},$

где p _o — относительное наблюдаемое согласие между оценщиками, а p _e — гипотетическая вероятность случайного согласия, используя наблюдаемые данные для расчета вероятностей того, что каждый наблюдатель случайно увидит каждую категорию. Если оценщики полностью согласны, то ${\textstyle \kappa =1}$. Если между оценщиками нет согласия, кроме того, которое можно было бы ожидать случайно (как указано в p _e ), ${\textstyle \kappa =0}$. Вполне возможно, что статистика будет отрицательной. что может произойти случайно, если между рейтингами двух оценщиков нет никакой связи, или может отражать реальную тенденцию оценщиков давать разные оценки.

Для k категорий необходимо N наблюдений для категоризации и $n_{ki}$ сколько раз оценщик i предсказал категорию k :

$p_{e}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

Это получается из следующей конструкции:

$p_{e}=\sum _{k}{\widehat {p_{k12}}}{\overset {\text{ind.}}{=}}\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}=\sum _{k}{\frac {n_{k1}}{N}}{\frac {n_{k2}}{N}}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

Где ${\widehat {p_{k12}}}$ — это предполагаемая вероятность того, что и оценщик 1, и оценщик 2 отнесут один и тот же элемент к категории k, в то время как ${\widehat {p_{k1}}}$ — это предполагаемая вероятность того, что оценщик 1 классифицирует элемент как k (аналогично для оценщика 2).Отношение ${\textstyle {\widehat {p_{k}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}}$ основан на предположении, что рейтинги двух оценщиков независимы . Термин ${\widehat {p_{k1}}}$ оценивается с использованием количества элементов, классифицированных как k оценщиком 1 ( $n_{k1}$) разделить на общее количество классифицируемых элементов ( $N$): ${\widehat {p_{k1}}}={n_{k1} \over N}$ (и аналогично для оценщика 2).

Матрица путаницы двоичной классификации

В традиционной матрице путаницы 2 × 2 , используемой в машинном обучении и статистике для оценки двоичных классификаций , формулу Каппа Коэна можно записать как:

$\kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}$

где TP — истинные положительные результаты, FP — ложные положительные результаты, TN — истинные отрицательные результаты, а FN — ложные отрицательные результаты. В этом случае каппа Коэна эквивалентна показателю навыков Хайдке, известному в метеорологии . Впервые эта мера была введена Мириком Хаскеллом Дулитлом в 1888 году.

Примеры

Простой пример

Предположим, вы анализировали данные, относящиеся к группе из 50 человек, подавших заявки на грант. Каждое предложение о гранте было прочитано двумя читателями, и каждый читатель сказал либо «Да», либо «Нет» на предложение. Предположим, что данные подсчета разногласий были следующими: где A и B — читатели, данные на главной диагонали матрицы (a и d) подсчитывают количество соглашений, а внедиагональные данные (b и c) подсчитывают количество разногласий:

Б А	Да	Нет
Да	а	б
Нет	с	д

например

Б А	Да	Нет
Да	20	5
Нет	10	15

Наблюдаемое пропорциональное согласие таково:

$p_{o}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7$

Чтобы вычислить p _e (вероятность случайного согласия), отметим, что:

• Читатель А сказал «Да» 25 заявителям и «Нет» 25 заявителям. Таким образом, читатель А сказал «Да» в 50% случаев.
• Читатель Б сказал «Да» 30 претендентам и «Нет» 20 претендентам. Таким образом, читатель Б сказал «Да» в 60% случаев.

Таким образом, ожидаемая вероятность того, что оба наугад скажут «да», равна:

$p_{\text{Yes}}={\frac {a+b}{a+b+c+d}}\cdot {\frac {a+c}{a+b+c+d}}=0.5\times 0.6=0.3$

Сходным образом:

$p_{\text{No}}={\frac {c+d}{a+b+c+d}}\cdot {\frac {b+d}{a+b+c+d}}=0.5\times 0.4=0.2$

Общая вероятность случайного соглашения — это вероятность того, что они согласились либо «Да», либо «Нет», т. е.:

$p_{e}=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5$

Итак, теперь, применяя нашу формулу для каппы Коэна, мы получаем:

$\kappa ={\frac {p_{o}-p_{e}}{1-p_{e}}}={\frac {0.7-0.5}{1-0.5}}=0.4$

Те же проценты, но разные цифры

Случай, который иногда считается проблемой с каппа Коэна, возникает при сравнении каппа, рассчитанного для двух пар оценщиков, с двумя оценщиками в каждой паре, имеющими одинаковое процентное согласие, но одна пара дает одинаковое количество оценок в каждом классе, в то время как другая пара дают очень разное количество оценок в каждом классе. (В приведенных ниже случаях уведомление B имеет 70 «да» и 30 «нет» в первом случае, но во втором эти числа меняются местами.) Например, в следующих двух случаях существует равное согласие между A и B (60 из 100 в обоих случаях) с точки зрения согласия в каждом классе, поэтому мы ожидаем, что относительные значения каппы Коэна отразят это. Однако вычисление каппы Коэна для каждого:

Б А	Да	Нет
Да	45	15
Нет	25	15

$\kappa ={\frac {0.60-0.54}{1-0.54}}=0.1304$

Б А	Да	Нет
Да	25	35
Нет	5	35

$\kappa ={\frac {0.60-0.46}{1-0.46}}=0.2593$

мы обнаруживаем, что во втором случае наблюдается большее сходство между А и В по сравнению с первым. Это связано с тем, что, хотя процентное согласие одинаково, процентное совпадение, которое могло бы произойти «случайно», в первом случае значительно выше (0,54 по сравнению с 0,46).

Характеристики

Проверка гипотез и доверительный интервал

Значение P для каппа сообщается редко, вероятно, потому, что даже относительно низкие значения каппа, тем не менее, могут значительно отличаться от нуля, но не иметь достаточной величины, чтобы удовлетворить исследователей. Тем не менее, его стандартная ошибка была описана. и рассчитывается с помощью различных компьютерных программ.

Доверительные интервалы для Каппа можно построить для ожидаемых значений Каппа, если бы мы проверили бесконечное количество элементов, используя следующую формулу:

$CI:\kappa \pm Z_{1-\alpha /2}SE_{\kappa }$

Где $Z_{1-\alpha /2}=1.960$ стандартный нормальный процентиль, когда $\alpha =5\%$, и $SE_{\kappa }={\sqrt {{p_{o}(1-p_{o})} \over {N(1-p_{e})^{2}}}}$

Это рассчитывается путем игнорирования того, что p _e оценивается на основе данных, и рассмотрения p _o как оцененной вероятности биномиального распределения с использованием асимптотической нормальности (т.е.: предполагая, что количество элементов велико и что p _o не близко к либо 0, либо 1). $SE_{\kappa }$ (и CI в целом) также можно оценить с помощью методов начальной загрузки .

Интерпретация величины

Каппа (вертикальная ось) и точность (горизонтальная ось) рассчитаны на основе одних и тех же смоделированных двоичных данных. Каждая точка на графике рассчитывается на основе пар судей, случайным образом оценивающих 10 субъектов на наличие диагноза X или нет. Обратите внимание, что в этом примере Каппа = 0 примерно эквивалентна точности = 0,5.

Если статистическая значимость не является полезным ориентиром, какая величина каппа отражает адекватное согласие? Руководящие принципы были бы полезны, но на их величину могут влиять и другие факторы, помимо согласия, что делает интерпретацию данной величины проблематичной. Как отметили Сим и Райт, двумя важными факторами являются распространенность (равновероятны ли коды или их вероятности различаются) и систематическая ошибка (являются ли предельные вероятности для двух наблюдателей одинаковыми или разными). При прочих равных условиях каппа выше, когда коды равновероятны. С другой стороны, каппы выше, когда коды распределяются двумя наблюдателями асимметрично. В отличие от изменений вероятности, эффект систематической ошибки сильнее, когда Каппа мала, чем когда она велика.

Еще одним фактором является количество кодов. По мере увеличения количества кодов каппы становятся выше. На основе моделирования Бэйкман и его коллеги пришли к выводу, что для склонных к ошибкам наблюдателей значения каппа были ниже, когда кодов было меньше. И, в соответствии с заявлением Сима и Райтс о распространенности, каппы были выше, когда коды были примерно равновероятными. Таким образом, Бэйкман и др. пришел к выводу, что «ни одно значение каппы не может считаться универсально приемлемым». Они также предоставляют компьютерную программу, которая позволяет пользователям вычислять значения каппы, указывая количество кодов, их вероятность и точность наблюдателя. Например, для равновероятных кодов и наблюдателей с точностью 85% значение каппа составляет 0,49, 0,60, 0,66 и 0,69, когда количество кодов равно 2, 3, 5 и 10 соответственно.

Тем не менее, в литературе появились рекомендации по величине. Возможно, первыми были Лэндис и Кох, которые охарактеризовали значения <0 как указывающие на отсутствие согласия, 0–0,20 как незначительное, 0,21–0,40 как удовлетворительное, 0,41–0,60 как умеренное, 0,61–0,80 как существенное и 0,81–1 как почти идеальное согласие. Однако этот набор руководящих принципов ни в коем случае не является общепринятым; Лэндис и Кох не предоставили никаких доказательств в поддержку этого, вместо этого основываясь на личном мнении. Было отмечено, что эти рекомендации могут быть скорее вредными, чем полезными. Фляйсса В равной степени произвольные рекомендации характеризуют каппу более 0,75 как отличную, от 0,40 до 0,75 — как удовлетворительную или хорошую, а ниже 0,40 — как плохую.

Каппа максимум

Каппа принимает свое теоретическое максимальное значение, равное 1, только тогда, когда оба наблюдателя одинаково распределяют коды, то есть когда соответствующие суммы строк и столбцов идентичны. Все, что меньше, — это меньше, чем идеальное согласие. Тем не менее, максимальное значение каппа, которое может быть достигнуто при неравных распределениях, помогает интерпретировать фактически полученное значение каппа. Уравнение для максимума κ :

$\kappa _{\max }={\frac {P_{\max }-P_{\exp }}{1-P_{\exp }}}$

где $P_{\exp }=\sum _{i=1}^{k}P_{i+}P_{+i}$, по-прежнему, $P_{\max }=\sum _{i=1}^{k}\min(P_{i+},P_{+i})$,

k = количество кодов, $P_{i+}$ - вероятности строк, а $P_{+i}$ — вероятности столбцов.

Ограничения

Каппа — это индекс, который учитывает наблюдаемое согласие по отношению к базовому соглашению. Однако исследователи должны тщательно рассмотреть, применимо ли базовое соглашение Каппы к конкретному вопросу исследования. Базовую линию Каппы часто называют совпадением случайно, что верно лишь отчасти. Базовое соглашение Каппы — это соглашение, которого можно было бы ожидать из-за случайного распределения, учитывая количества, указанные в предельных суммах квадратной таблицы непредвиденных обстоятельств. Таким образом, κ = 0, когда наблюдаемое распределение является явно случайным, независимо от количественного расхождения, ограниченного маргинальными итогами. Однако во многих случаях исследователей должно больше интересовать количественное расхождение в предельных итогах, чем расхождение в распределении, описываемое дополнительной информацией на диагонали квадратной таблицы непредвиденных обстоятельств. Таким образом, для многих приложений базовая линия Каппы скорее отвлекает, чем проясняет. Рассмотрим следующий пример:

Пример каппы

Сравнение 1

		Ссылка
		Г	Р
Сравнение	Г	1	14
	Р	0	1

Пропорция несогласия составляет 14/16 или 0,875. Разногласия возникают из-за количества, поскольку распределение оптимально. κ составляет 0,01.

Сравнение 2

		Ссылка
		Г	Р
Сравнение	Г	0	1
	Р	1	14

Пропорция несогласия составляет 2/16 или 0,125. Разногласия возникают из-за распределения, поскольку количества идентичны. Каппа равна -0,07.

Здесь сообщение о разногласиях в количестве и распределении является информативным, в то время как Каппа скрывает информацию. Кроме того, каппа создает некоторые проблемы при расчете и интерпретации, поскольку каппа — это соотношение. Отношение Каппы может возвращать неопределенное значение из-за нуля в знаменателе. Более того, соотношение не раскрывает ни числитель, ни знаменатель. Для исследователей более информативно сообщать о разногласиях по двум компонентам: количеству и распределению. Эти два компонента более четко описывают взаимосвязь между категориями, чем одна сводная статистика. Когда целью является точность прогнозирования, исследователям будет легче начать думать о способах улучшения прогноза, используя два компонента количества и распределения, а не одно соотношение каппа.

Чтобы узнать о мере разницы между двумя непрерывными переменными, см. коэффициент детерминации .

Некоторые исследователи выразили обеспокоенность по поводу склонности κ принимать частоты наблюдаемых категорий как данность, что может сделать его ненадежным для измерения согласия в таких ситуациях, как диагностика редких заболеваний. В таких ситуациях κ имеет тенденцию недооценивать согласие по редкой категории. По этой причине κ считается слишком консервативной мерой согласия. Другие оспаривайте утверждение, что каппа «принимает во внимание» случайное соглашение. Чтобы сделать это эффективно, потребуется точная модель того, как случайность влияет на решения оценщиков. Так называемая случайная корректировка статистики каппа предполагает, что, если нет полной уверенности, оценщики просто догадываются – очень нереалистичный сценарий. Более того, некоторые работы показали, как каппа-статистика может привести к неправильным выводам в отношении несбалансированных данных.

Связанная статистика

Пи Скотта

Похожая статистика, названная «пи» , была предложена Скоттом (1955). Каппа Коэна и пи Скотта различаются способом p _e расчета .

Каппа Флейса

Обратите внимание, что каппа Коэна измеряет согласие только между двумя оценщиками. Аналогичную меру согласия ( каппа Флейса ), используемую при наличии более двух оценщиков, см. в Fleiss (1971). Каппа Флейса, однако, представляет собой многооценочное обобщение статистики Пи Скотта , а не каппы Коэна. Каппа также используется для сравнения производительности в машинном обучении , но считается, что направленная версия, известная как информированность или статистика Юдена J, более подходит для обучения с учителем.

Взвешенная каппа

Взвешенная каппа позволяет по-разному оценивать разногласия. и особенно полезен при заказе кодов. Используются три матрицы: матрица наблюдаемых оценок, матрица ожидаемых оценок, основанная на случайном согласии, и матрица весов. Ячейки весовой матрицы, расположенные по диагонали (с верхнего левого угла на нижний правый), представляют согласие и, следовательно, содержат нули. Внедиагональные ячейки содержат веса, указывающие на серьезность этого несогласия. Часто ячейкам, расположенным одна за пределами диагонали, присваивается вес 1, двум — 2 и т. д.

Уравнение для взвешенного κ:

$\kappa =1-{\frac {\sum _{i=1}^{k}\sum _{j=1}^{k}w_{ij}x_{ij}}{\sum _{i=1}^{k}\sum _{j=1}^{k}w_{ij}m_{ij}}}$

где k = количество кодов и $w_{ij}$, $x_{ij}$, и $m_{ij}$ являются элементами весовой, наблюдаемой и ожидаемой матриц соответственно. Когда диагональные ячейки содержат веса 0, а веса всех недиагональных ячеек — 1, эта формула дает то же значение каппа, что и расчет, приведенный выше.

См. также

• Бангдивала's B
• Внутриклассовая корреляция
• Альфа Криппендорфа
• Статистическая классификация

Дальнейшее чтение

• Банерджи, М.; Капоццоли, Мишель; Максвини, Лаура; Синха, Дебаджьоти (1999). «За пределами каппы: обзор мер по соглашению между экспертами» . Канадский статистический журнал . 27 (1): 3–23. дои : 10.2307/3315487 . JSTOR   3315487 . S2CID   37082712 .
• Чикко, Д.; Уорренс, MJ; Джурман, Г. (2021). «Коэффициент корреляции Мэтьюза (MCC) более информативен, чем показатель Каппы и Брайера Коэна при оценке бинарной классификации» . Доступ IEEE . 9 : 78368–81. Бибкод : 2021IEEA...978368C . дои : 10.1109/access.2021.3084050 . hdl : 10281/430460 . S2CID   235308708 .
• Коэн, Джейкоб (1960). «Коэффициент согласия для номинальных шкал». Образовательные и психологические измерения . 20 (1): 37–46. дои : 10.1177/001316446002000104 . HDL : 1942/28116 . S2CID   15926286 .
• Коэн, Дж. (1968). «Взвешенная каппа: соглашение по номинальной шкале с учетом масштабного несогласия или частичного кредита». Психологический вестник . 70 (4): 213–220. дои : 10.1037/h0026256 . ПМИД   19673146 .
• Фляйсс, Дж.Л.; Коэн, Дж. (1973). «Эквивалентность взвешенной каппы и коэффициента внутриклассовой корреляции как меры надежности». Образовательные и психологические измерения . 33 (3): 613–9. дои : 10.1177/001316447303300309 . S2CID   145183399 .
• Сим, Дж.; Райт, CC (2005). «Статистика Каппа в исследованиях надежности: использование, интерпретация и требования к размеру выборки» . Физиотерапия . 85 (3): 257–268. дои : 10.1093/ptj/85.3.257 . ПМИД   15733050 .
• Уорренс, Дж. (2011). «Каппа Коэна — это средневзвешенное значение» . Статистическая методология . 8 (6): 473–484. дои : 10.1016/j.stamet.2011.06.002 . hdl : 1887/18062 .

Внешние ссылки

• Каппа, ее значение, проблемы и несколько альтернатив (ссылка неактивна по состоянию на 16 декабря 2022 г.)
• Статистика каппы: плюсы и минусы
• Реализации программного обеспечения
  • Программа для Windows «ComKappa» для каппы, взвешенной каппы и максимальной каппы (ошибка «Доступ запрещен (код ошибки 1020)» от 16 декабря 2022 г.)