Статистика Юдена J
J-статистика Юдена (также называемая индексом Юдена ) — это отдельная статистика, отражающая эффективность дихотомического диагностического теста. (Букмекерская контора) Информированность — это ее обобщение на многоклассовый случай, позволяющее оценить вероятность принятия обоснованного решения .
Определение
[ редактировать ]Юдена J- статистика
две правые величины обозначают чувствительность и специфичность . Таким образом, расширенная формула:
Индекс был предложен У. Дж. Юденом в 1950 году. [1] как способ подведения итогов выполнения диагностического исследования; однако формула была ранее опубликована в журнале Science К.С. Пирсом в 1884 году. [2] Его значение находится в диапазоне от -1 до 1 (включительно), [1] и имеет нулевое значение, когда диагностический тест дает одинаковую долю положительных результатов для групп с заболеванием и без него, т. е. тест бесполезен. Значение 1 указывает на отсутствие ложноположительных или ложноотрицательных результатов, т. е. тест идеален. Индекс придает равный вес ложноположительным и ложноотрицательным значениям, поэтому все тесты с одинаковым значением индекса дают одинаковую долю общего числа ошибочно классифицированных результатов. Хотя из этого уравнения можно получить значение меньше нуля (например, классификация дает только ложноположительные и ложноотрицательные результаты), значение меньше нуля просто указывает на то, что положительные и отрицательные метки поменялись местами. После исправления меток результат будет в диапазоне от 0 до 1.
Индекс Юдена часто используется в сочетании с анализом рабочих характеристик приемника (ROC). [3] Индекс определяется для всех точек кривой ROC, и максимальное значение индекса может использоваться в качестве критерия для выбора оптимальной точки отсечения, когда диагностический тест дает числовой, а не дихотомический результат. Индекс представлен графически как высота над линией шансов, а также эквивалентен площади под кривой, ограниченной одной рабочей точкой. [4]
Индекс Юдена также известен как deltaP'. [5] и обобщает дихотомический случай на многоклассовый как информированность. [4]
Использование единого индекса «обычно не рекомендуется», [6] но информированность или индекс Юдена — это вероятность осознанного решения (в отличие от случайного предположения) и учитывает все прогнозы. [4]
Несвязанная, но часто используемая комбинация основных статистических данных по поиску информации - это F-показатель , представляющий собой (возможно, взвешенное) гармоническое среднее значение отзыва и точности , где отзыв = чувствительность = уровень истинного положительного результата. Но специфичность и точность — это совершенно разные меры. F-показатель, как и отзыв и точность, учитывает только так называемые положительные прогнозы, при этом отзыв представляет собой вероятность предсказания только положительного класса, точность представляет собой вероятность того, что положительный прогноз окажется правильным, а F-показатель уравнивает эти вероятности при эффективное предположение, что положительные метки и положительные прогнозы должны иметь одинаковое распределение и распространенность , [4] аналогично предположению, лежащему в основе каппы Флейса . J Юдена, информированность, отзыв, точность и F-оценка по своей сути ненаправлены и направлены на оценку дедуктивной эффективности прогнозов в направлении, предложенном правилом, теорией или классификатором. DeltaP — это J Юдена, используемый для оценки обратного или абдуктивного направления, [4] [7] (и обобщается на случай мультикласса как Markedness ), что хорошо соответствует человеческому обучению ассоциаций ; правила и суеверия , когда мы моделируем возможную причинно-следственную связь ; [5] , а корреляция и каппа оцениваются двунаправленно.
Коэффициент корреляции Мэтьюза — это среднее геометрическое дихотомической коэффициента регрессии задачи и ее двойника , где компонентные коэффициенты регрессии коэффициента корреляции Мэтьюза — это deltaP и deltaP' (то есть J Юдена или I Пирса). [5] В основной статье о коэффициенте корреляции Мэтьюза обсуждаются два различных обобщения многоклассового случая, одно из которых представляет собой аналогичное среднее геометрическое информированности и маркированности. [4] Статистика каппа, такая как каппа Флейса и каппа Коэна, представляет собой методы расчета межоценочной надежности, основанные на различных предположениях о маргинальном или априорном распределениях, и все чаще используются в качестве точности с поправкой на случайность альтернативы в других контекстах (включая случай нескольких классов). Каппа Флейса, как и F-показатель, предполагает, что обе переменные взяты из одного и того же распределения и, следовательно, имеют одинаковую ожидаемую распространенность, в то время как каппа Коэна предполагает, что переменные взяты из разных распределений и относятся к модели ожиданий , которая предполагает, распространенность что независимый. [7]
Когда истинные преобладания двух положительных переменных равны, как предполагается в каппе Фляйсса и F-показателе, то есть количество положительных прогнозов соответствует количеству положительных классов в дихотомическом (два класса) случае, разные каппа и меры корреляции рушатся. идентичности с J Юдена, а также отзыв, точность и F-оценка также идентичны точности . [4] [7]
Ссылки
[ редактировать ]- ^ Jump up to: а б Юден, WJ (1950). «Индекс рейтинговых диагностических тестов» . Рак . 3 : 32–35. doi : 10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3 . ПМИД 15405679 .
- ^ Пирс, CS (1884 г.). «Численная мера успеха предсказаний». Наука . 4 (93): 453–454. doi : 10.1126/science.ns-4.93.453.b .
- ^ Шистерман, Э.Ф.; Перкинс, Нью-Джерси; Лю, А.; Бонделл, Х. (2005). «Оптимальная точка отсечения и соответствующий ей индекс Юдена для дискриминации людей с использованием объединенных образцов крови» . Эпидемиология . 16 (1): 73–81. дои : 10.1097/01.ede.0000147512.81966.ba . ПМИД 15613948 .
- ^ Jump up to: а б с д и ж г Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-оценки к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63. hdl : 2328/27165 .
- ^ Jump up to: а б с Перруче, П.; Пиреман, Р. (2004). «Использование распределительной информации при обработке слогов». Ж. Нейролингвистика . 17 (2–3): 97–119. дои : 10.1016/s0911-6044(03)00059-9 .
- ^ Эверитт Б.С. (2002) Кембриджский статистический словарь. ЧАШКА ISBN 0-521-81099-X
- ^ Jump up to: а б с Пауэрс, Дэвид М.В. (2012). Проблема с Каппой . Конференция Европейского отделения Ассоциации компьютерной лингвистики. стр. 345–355. HDL : 2328/27160 .