Калибровка (статистика)

Существует два основных варианта использования термина «калибровка» в статистике , которые обозначают особые типы задач статистического вывода . Калибровка может означать

процесс, обратный регрессии , где вместо предсказания будущей зависимой переменной на основе известных независимых переменных для прогнозирования соответствующей объясняющей переменной используется известное наблюдение зависимых переменных; ^[1]
процедуры статистической классификации для определения вероятностей членства в классе , которые оценивают неопределенность данного нового наблюдения, принадлежащего каждому из уже установленных классов.

Кроме того, калибровка используется в статистике с обычным общим значением калибровки . Например, калибровку модели можно также использовать для обозначения байесовского вывода о значении параметров модели с учетом некоторого набора данных или, в более общем смысле, для любого типа подгонки статистической модели . Как Филип Давид выразился , «прогнозист хорошо откалиброван , если, например, из тех событий, которым он приписывает вероятность 30 процентов, долгосрочная доля, которая действительно происходит, оказывается равной 30 процентам». ^[2]

В классификации

Калибровка в классификации означает преобразование оценок классификатора в вероятности членства в классе . Обзор методов калибровки для задач двухклассовой и многоклассовой классификации дан Гебелем (2009). ^[3] Классификатор может хорошо разделять классы, но быть плохо откалиброван, а это означает, что оцененные вероятности классов далеки от истинных вероятностей классов. В этом случае этап калибровки может помочь улучшить оцененные вероятности. Существует множество показателей, предназначенных для измерения степени, в которой классификатор выдает хорошо откалиброванные вероятности. Фундаментальная работа включает ожидаемую ошибку калибровки (ECE). ^[4] В 2020-е годы варианты включают ошибку адаптивной калибровки (ACE) и ошибку калибровки на основе тестирования (TCE), которые устраняют ограничения метрики ECE, которые могут возникнуть, когда оценки классификатора концентрируются на узком подмножестве диапазона [0,1]. ^[5]^[6]

Прогрессом 2020-х годов в оценке калибровки стало введение расчетного калибровочного индекса (ECI). ^[7] ECI расширяет концепцию ожидаемой ошибки калибровки (ECE), чтобы обеспечить более детальную меру калибровки модели, в частности, учитывая тенденции чрезмерной и недостаточной уверенности. Первоначально разработанный для двоичных настроек, ECI был адаптирован для многоклассовых настроек, предлагая как локальную, так и глобальную информацию о калибровке модели. Эта структура направлена на преодоление некоторых теоретических и интерпретационных ограничений существующих показателей калибровки. В результате серии экспериментов Famiglini et al. продемонстрировать эффективность системы в обеспечении более точного понимания уровней калибровки модели и обсудить стратегии уменьшения ошибок при оценке калибровки. Был предложен онлайн-инструмент для расчета как ECE, так и ECI. ^[8] Существуют следующие одномерные методы калибровки для преобразования оценок классификатора в вероятности членства в классе в случае двух классов:

Подход, основанный на присвоении значения, см. Garczarek (2002). ^[9]
Байесовский подход, см. Bennett (2002). ^[10]
Isotonic regression , see Zadrozny and Elkan (2002) ^[11]
Масштабирование Платта (форма логистической регрессии ), см. Льюис и Гейл (1994). ^[12] и Платт (1999) ^[13]
Калибровка байесовского объединения в квантили (BBQ), см. Naeini, Cooper, Hauskrecht (2015). ^[14]
Бета-калибровка, см. Kull, Filho, Flach (2017). ^[15]

В вероятностном предсказании и прогнозировании

В прогнозировании и прогнозировании оценка Брайера иногда используется для оценки точности предсказания набора прогнозов, в частности, для того, чтобы величина назначенных вероятностей отслеживала относительную частоту наблюдаемых результатов. Филип Э. Тетлок использует термин «калибровка» в этом смысле в своей книге «Суперпрогнозирование» 2015 года . ^[16] Это отличается от точности и прецизионности . Например, как выразился Дэниел Канеман : «Если вы придадите всем событиям, которые происходят, вероятность 0,6, а всем событиям, которые не происходят, вероятность 0,4, ваша калибровка идеальна, но ваша способность различать жалкая». ^[16] В метеорологии , в частности, что касается прогнозирования погоды , соответствующий способ оценки известен как умение прогнозировать .

В регрессии

Проблема калибровки в регрессии заключается в использовании известных данных о наблюдаемой взаимосвязи между зависимой и независимой переменной для оценки других значений независимой переменной на основе новых наблюдений зависимой переменной. ^[17]^[18]^[19] Это можно назвать «обратной регрессией»; ^[20] существует также срезная обратная регрессия . Существуют следующие методы многомерной калибровки для преобразования оценок классификатора в вероятности членства в классе в случае, когда количество классов превышает два:

Сведение к бинарным задачам и последующее парное связывание, см. Hastie and Tibshirani (1998). ^[21]
Калибровка Дирихле, озеро Гебель (2009 г.) ^[3]

Пример

Одним из примеров является датировка объектов с использованием наблюдаемых данных, таких как годичные кольца для дендрохронологии или углерод-14 для радиометрического датирования . Наблюдение вызвано возрастом датируемого объекта, а не наоборот, и цель состоит в том, чтобы использовать метод оценки дат на основе новых наблюдений. Проблема заключается в том , должна ли модель, используемая для связи известного возраста с наблюдениями, быть направлена на минимизацию ошибки наблюдения или минимизацию ошибки даты. Два подхода дадут разные результаты, и разница увеличится, если модель затем будет использоваться для экстраполяции на некотором расстоянии от известных результатов.

См. также

Калибровка – проверка точности измерительных устройств.
Калиброванная оценка вероятности . Субъективные вероятности назначаются таким образом, чтобы исторически отражать их неопределенность.
Конформное предсказание

Ссылки

^ Кук, Ян; Аптон, Грэм (2006). Оксфордский статистический словарь . Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-954145-4 .
^ Дэвид, AP (1982). «Хорошо калиброванный байесиан». Журнал Американской статистической ассоциации . 77 (379): 605–610. дои : 10.1080/01621459.1982.10477856 .
^ Jump up to: ^а ^б Гебель, Мартин (2009). Многомерная калибровка оценок классификатора в вероятностном пространстве (PDF) (кандидатская диссертация). Университет Дортмунда.
^ М. П. Наеини, Г. Купер и М. Хаускрект, Получение хорошо откалиброванных вероятностей с использованием байесовского метода.биннинг. В: Материалы конференции AAAI по искусственному интеллекту, 2015.
^ Дж. Никсон, М.В. Дюсенберри, Л. Чжан, Г. Джерфель и Д. Тран. Измерительная калибровка в глубоком обучении. В: Семинары ЦВПР (Том 2, №7), 2019.
^ Т. Мацубара, Н. Такс, Р. Мадд и И. Гай. TCE: основанный на тестировании подход к измерению погрешности калибровки. В: Материалы тридцать девятой конференции по неопределенности в искусственном интеллекте (UAI), PMLR, 2023.
^ Фамиглини, Лоренцо, Андреа Кампаньер и Федерико Кабица. «На пути к строгой системе оценки калибровки: достижения в показателях, методах и использовании». ECAI 2023. IOS Press, 2023. 645-652. Дой 10.3233/FAIA230327
^ Фамиглини, Лоренцо; Кампаньер, Андреа; Кабица, Федерико (2023), «На пути к строгой системе оценки калибровки: достижения в показателях, методах и использовании» , ECAI 2023 , IOS Press, стр. 645–652, doi : 10.3233/faia230327 , hdl : 10281/456604 , получено 25 марта 2024 г.
^ UM Garczarek « [1] Архивировано 23 ноября 2004 г. в Wayback Machine» , «Правила классификации в стандартизированных пространствах разделов»,Диссертация, Дортмундский университет, 2002 г.
^ П. Н. Беннетт, Использование асимметричных распределений для улучшения оценок вероятности классификатора текста: сравнение новых и стандартных параметрических методов, Технический отчет CMU-CS-02-126, Карнеги-Меллон, Школа компьютерных наук, 2002.
^ Б. Задрожный и К. Элкан, Преобразование оценок классификатора в точные многоклассовые оценки вероятности. В: Материалы Восьмой Международной конференции по обнаружению знаний и интеллектуальному анализу данных, 694–699, Эдмонтон, ACM Press, 2002.
^ Д.Д. Льюис и В.А. Гейл, Последовательный алгоритм обучения классификаторов текста. В: В. Б. Крофт и К. Дж. ван Рейсберген (ред.), Материалы 17-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR '94), 3–12. Нью-Йорк, Спрингер-Верлаг, 1994.
^ Дж. К. Платт, Вероятностные результаты для машин опорных векторов и сравнение с методами регуляризованного правдоподобия. В: А. Дж. Смола, П. Бартлетт, Б. Шёлкопф и Д. Шуурманс (ред.), Достижения в области классификаторов с большой маржой, 61–74. Кембридж, MIT Press, 1999.
^ Наеини М.П., Купер Г.Ф., Хаускрект М. Получение хорошо откалиброванных вероятностей с использованием байесовского биннинга. Материалы . Конференция AAAI по искусственному интеллекту Конференция AAAI по искусственному интеллекту. 2015;2015:2901-2907.
^ Меэлис Кулл, Тельмо Силва Фильо, Питер Флах; Материалы 20-й Международной конференции по искусственному интеллекту и статистике, PMLR 54:623-631, 2017.
^ Jump up to: ^а ^б «Мастер-класс Edge 2015: краткий курс суперпрогнозирования, класс II» . Edge.org . Фонд Края. 24 августа 2015 года . Проверено 13 апреля 2018 г. Калибровка — это когда я говорю, что вероятность того, что что-то произойдет, составляет 70 процентов, что-то происходит в 70 процентах случаев.
^ Браун, П.Дж. (1994) Измерение, регрессия и калибровка , OUP. ISBN 0-19-852245-2
^ Нг, К.Х., Пуи, А.Х. (2008) «Калибровочные интервалы в моделях линейной регрессии», Коммуникации в статистике - теория и методы , 37 (11), 1688–1696. [2]
^ Хардин, Дж. В., Шмидиш, Х., Кэрролл, Р. Дж. (2003) «Метод регрессионной калибровки для подбора обобщенных линейных моделей с аддитивной ошибкой измерения», Stata Journal , 3 (4), 361–372. ссылка , pdf
^ Дрейпер, Н.Л., Смит, Х. (1998) Прикладной регрессионный анализ, 3-е издание , Wiley. ISBN 0-471-17082-8
^ Т. Хасти и Р. Тибширани, « [3] », «Классификация по парному соединению». В: М. И. Джордан, М. Дж. Кернс и С. А. Солла (ред.), «Достижения в области нейронных систем обработки информации», том 10, Кембридж, MIT Press, 1998.

[1] Кук, Ян; Аптон, Грэм (2006). Оксфордский статистический словарь . Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-954145-4 .

[2] Дэвид, AP (1982). «Хорошо калиброванный байесиан». Журнал Американской статистической ассоциации . 77 (379): 605–610. дои : 10.1080/01621459.1982.10477856 .

[Gebel2009-3] Jump up to: ^а ^б Гебель, Мартин (2009). Многомерная калибровка оценок классификатора в вероятностном пространстве (PDF) (кандидатская диссертация). Университет Дортмунда.

[4] М. П. Наеини, Г. Купер и М. Хаускрект, Получение хорошо откалиброванных вероятностей с использованием байесовского метода.биннинг. В: Материалы конференции AAAI по искусственному интеллекту, 2015.

[5] Дж. Никсон, М.В. Дюсенберри, Л. Чжан, Г. Джерфель и Д. Тран. Измерительная калибровка в глубоком обучении. В: Семинары ЦВПР (Том 2, №7), 2019.

[6] Т. Мацубара, Н. Такс, Р. Мадд и И. Гай. TCE: основанный на тестировании подход к измерению погрешности калибровки. В: Материалы тридцать девятой конференции по неопределенности в искусственном интеллекте (UAI), PMLR, 2023.

[7] Фамиглини, Лоренцо, Андреа Кампаньер и Федерико Кабица. «На пути к строгой системе оценки калибровки: достижения в показателях, методах и использовании». ECAI 2023. IOS Press, 2023. 645-652. Дой 10.3233/FAIA230327

[8] Фамиглини, Лоренцо; Кампаньер, Андреа; Кабица, Федерико (2023), «На пути к строгой системе оценки калибровки: достижения в показателях, методах и использовании» , ECAI 2023 , IOS Press, стр. 645–652, doi : 10.3233/faia230327 , hdl : 10281/456604 , получено 25 марта 2024 г.

[9] UM Garczarek « [1] Архивировано 23 ноября 2004 г. в Wayback Machine» , «Правила классификации в стандартизированных пространствах разделов»,Диссертация, Дортмундский университет, 2002 г.

[10] П. Н. Беннетт, Использование асимметричных распределений для улучшения оценок вероятности классификатора текста: сравнение новых и стандартных параметрических методов, Технический отчет CMU-CS-02-126, Карнеги-Меллон, Школа компьютерных наук, 2002.

[11] Б. Задрожный и К. Элкан, Преобразование оценок классификатора в точные многоклассовые оценки вероятности. В: Материалы Восьмой Международной конференции по обнаружению знаний и интеллектуальному анализу данных, 694–699, Эдмонтон, ACM Press, 2002.

[12] Д.Д. Льюис и В.А. Гейл, Последовательный алгоритм обучения классификаторов текста. В: В. Б. Крофт и К. Дж. ван Рейсберген (ред.), Материалы 17-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR '94), 3–12. Нью-Йорк, Спрингер-Верлаг, 1994.

[13] Дж. К. Платт, Вероятностные результаты для машин опорных векторов и сравнение с методами регуляризованного правдоподобия. В: А. Дж. Смола, П. Бартлетт, Б. Шёлкопф и Д. Шуурманс (ред.), Достижения в области классификаторов с большой маржой, 61–74. Кембридж, MIT Press, 1999.

[14] Наеини М.П., Купер Г.Ф., Хаускрект М. Получение хорошо откалиброванных вероятностей с использованием байесовского биннинга. Материалы . Конференция AAAI по искусственному интеллекту Конференция AAAI по искусственному интеллекту. 2015;2015:2901-2907.

[15] Меэлис Кулл, Тельмо Силва Фильо, Питер Флах; Материалы 20-й Международной конференции по искусственному интеллекту и статистике, PMLR 54:623-631, 2017.

[Edge-II-16] Jump up to: ^а ^б «Мастер-класс Edge 2015: краткий курс суперпрогнозирования, класс II» . Edge.org . Фонд Края. 24 августа 2015 года . Проверено 13 апреля 2018 г. Калибровка — это когда я говорю, что вероятность того, что что-то произойдет, составляет 70 процентов, что-то происходит в 70 процентах случаев.

[17] Браун, П.Дж. (1994) Измерение, регрессия и калибровка , OUP. ISBN 0-19-852245-2

[18] Нг, К.Х., Пуи, А.Х. (2008) «Калибровочные интервалы в моделях линейной регрессии», Коммуникации в статистике - теория и методы , 37 (11), 1688–1696. [2]

[19] Хардин, Дж. В., Шмидиш, Х., Кэрролл, Р. Дж. (2003) «Метод регрессионной калибровки для подбора обобщенных линейных моделей с аддитивной ошибкой измерения», Stata Journal , 3 (4), 361–372. ссылка , pdf

[20] Дрейпер, Н.Л., Смит, Х. (1998) Прикладной регрессионный анализ, 3-е издание , Wiley. ISBN 0-471-17082-8

[21] Т. Хасти и Р. Тибширани, « [3] », «Классификация по парному соединению». В: М. И. Джордан, М. Дж. Кернс и С. А. Солла (ред.), «Достижения в области нейронных систем обработки информации», том 10, Кембридж, MIT Press, 1998.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]