Оценка Брайера

Оценка Брайера — это строго правильная функция оценки или строго правильное правило оценки , которая измеряет точность вероятностных прогнозов . Для одномерных прогнозов это строго эквивалентно среднеквадратичной ошибке применительно к предсказанным вероятностям.

Оценка Брайера применима к задачам, в которых прогнозы должны присваивать вероятности набору взаимоисключающих дискретных результатов или классов. Набор возможных результатов может быть бинарным или категориальным по своей природе, и вероятности, присвоенные этому набору результатов, должны в сумме равняться единице (где каждая отдельная вероятность находится в диапазоне от 0 до 1). Он был предложен Гленном В. Брайером в 1950 году.

Показатель Брайера можно рассматривать как функцию стоимости . Точнее, по всем пунктам $i\in {1...N}$ в наборе из N прогнозов показатель Брайера измеряет среднеквадратическую разницу между:

• Прогнозируемая вероятность, присвоенная возможным результатам для пункта i
• Фактический результат $o_{i}$

Следовательно, чем ниже оценка Брайера для набора прогнозов, тем лучше прогнозы откалиброваны. Обратите внимание, что показатель Брайера в его наиболее распространенной формулировке принимает значение от нуля до единицы, поскольку это квадрат наибольшей возможной разницы между прогнозируемой вероятностью (которая должна быть между нулем и единицей) и фактическим результатом (который может принимать значения только 0 или 1). В исходной (1950 г.) формулировке шкалы Брайера диапазон удвоен: от нуля до двух.

Оценка Брайера подходит для бинарных и категориальных результатов, которые могут быть структурированы как истинные или ложные, но не подходит для порядковых переменных, которые могут принимать три или более значений.

Определение

Наиболее распространенная формулировка шкалы Брайера:

$BS={\frac {1}{N}}\sum \limits _{t=1}^{N}(f_{t}-o_{t})^{2}\,\!$

в котором $f_{t}$ это вероятность, которая была предсказана, $o_{t}$ фактический результат события в конкретном случае $t$ ( $0$ если этого не произойдет и $1$ если это произойдет) и $N$ количество экземпляров прогнозирования. По сути, это среднеквадратическая ошибка прогноза. Эта формулировка чаще всего используется для бинарных событий (например, «дождь» или «нет дождя»). Приведенное выше уравнение является правильным правилом подсчета очков только для бинарных событий; если необходимо оценить прогноз по нескольким категориям, следует использовать исходное определение, данное Брайером ниже.

Пример

Предположим, что кто-то прогнозирует вероятность $P$ что в данный день пойдет дождь. Тогда оценка Брайера рассчитывается следующим образом:

• Если прогноз 100%( $P$ = 1) и идет дождь, тогда оценка Брайера равна 0, это лучший достижимый результат.
• Если прогноз составляет 100% и дождя нет, то оценка Брайера равна 1, это худший достижимый балл.
• Если прогноз 70%( $P$ = 0,70) и идет дождь, то показатель Брайера равен (0,70−1). ²  = 0.09.

• Напротив, если прогноз составляет 70% ( $P$ = 0,70) и дождя нет, то показатель Брайера равен (0,70−0). ²  = 0.49.
• Аналогично, если прогноз составляет 30% ( $P$ = 0,30) и идет дождь, то показатель Брайера равен (0,30−1). ²  = 0.49.
• Если прогноз 50%( $P$ = 0,50), то показатель Брайера равен (0,50−1) ²  = (0.50−0) ² = 0,25, независимо от того, идет ли дождь.

Исходное определение Брайера

Хотя приведенная выше формулировка является наиболее широко используемой, оригинальное определение Брайера применима к прогнозам по нескольким категориям, а также остается подходящим правилом оценки, в то время как двоичная форма (используемая в примерах выше) подходит только для двоичных событий. Для бинарных прогнозов первоначальная формулировка «оценки вероятности» Брайера имеет вдвое большее значение, чем оценка, известная в настоящее время как оценка Брайера.

$BS={\frac {1}{N}}\sum \limits _{t=1}^{N}\sum \limits _{i=1}^{R}(f_{ti}-o_{ti})^{2}\,\!$

В котором $R$ - количество возможных классов, в которые может попасть событие, и $N$ общее количество экземпляров всех классов. $f_{ti}$ прогнозируемая вероятность для класса $i.o_{ti}$ является $1$ если это так $i$-th класс в экземпляре $t$; $0$, в противном случае. Для случая Дождь/Без дождя, $R=2$, а для прогноза Холодный/Нормальный/Теплый, $R=3$.

Разложения

Существует несколько разложений оценки Брайера, которые дают более глубокое понимание поведения бинарного классификатора.

3-компонентное разложение

Показатель Брайера можно разложить на три дополнительных компонента: неопределенность, надежность и разрешение. (Мерфи, 1973)

$BS=REL-RES+UNC$

Каждый из этих компонентов можно дополнительно разложить по количеству возможных классов, в которые может попасть событие. Злоупотребление знаком равенства:

$BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar {o}} _{\mathbf {k} })}^{2}-{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} -{\bar {\mathbf {o} }})}^{2}+\mathbf {\bar {o}} \left({1-\mathbf {\bar {o}} }\right)$

С $\textstyle N$ общее количество выпущенных прогнозов, $\textstyle K$ количество выпущенных уникальных прогнозов, $\mathbf {\bar {o}} ={\sum _{t=1}^{N}}\mathbf {o_{t}} /N$ наблюдаемая климатологическая базовая скорость возникновения события, $n_{k}$ количество прогнозов с одной и той же категорией вероятности и $\mathbf {\overline {o}} _{\mathbf {k} }$ наблюдаемая частота с учетом прогнозов вероятности $\mathbf {f_{k}}$. Жирным шрифтом в приведенной выше формуле обозначены векторы, что является еще одним способом обозначения исходного определения оценки и ее разложения по числу возможных классов, в которые может попасть событие. Например, вероятность дождя в 70% и отсутствие дождя обозначаются как $\mathbf {f} =(0.3,0.7)$ и $\mathbf {o} =(1,0)$ соответственно. Такие операции, как возведение в квадрат и умножение этих векторов, считаются покомпонентными. Тогда показатель Брайера представляет собой сумму результирующего вектора в правой части.

Надежность

Термин надежности измеряет, насколько близки прогнозируемые вероятности к истинным вероятностям с учетом этого прогноза. Надежность определяется в противоположном направлении по сравнению с английским языком . Если надежность равна 0, прогноз абсолютно надежен. Например, если мы сгруппируем все случаи прогноза, в которых прогнозировалась вероятность дождя 80%, мы получим идеальную надежность только в том случае, если дождь шел 4 из 5 раз после выпуска такого прогноза.

Разрешение

Член разрешения измеряет, насколько условные вероятности, данные различными прогнозами, отличаются от среднего климатического значения. Чем выше этот термин, тем лучше. В худшем случае, когда климатическая вероятность всегда прогнозируется, разрешение равно нулю. В лучшем случае, когда условные вероятности равны нулю и единице, разрешение равно неопределенности.

Неопределенность

Термин неопределенности измеряет присущую неопределенность результатов события. Для бинарных событий оно является максимальным, когда каждый результат происходит в 50% случаев, и минимальным (нулевым), если результат происходит всегда или никогда не происходит.

Двухкомпонентное разложение

Альтернативное (и связанное с ним) разложение генерирует два члена вместо трех.

$BS=CAL+REF$

$BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar {o}} _{\mathbf {k} })}^{2}+{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} (1-\mathbf {{\bar {o}}_{k}} }))$

Первый термин известен как калибровка (и может использоваться как мера калибровки, см. статистическую калибровку ) и равен надежности. Второй член известен как уточнение и представляет собой совокупность разрешения и неопределенности и связан с областью под кривой ROC .

Показатель Брайера и разложение CAL + REF могут быть представлены графически с помощью так называемых кривых Брайера. где ожидаемые потери показаны для каждого рабочего режима. Это делает показатель Брайера мерой совокупной производительности при равномерном распределении классовой асимметрии.

Оценка навыков Брайера (BSS)

Оценка навыка для данной базовой оценки представляет собой смещенный и (отрицательно) масштабированный вариант базовой оценки, так что значение оценки навыка, равное нулю, означает, что оценка для прогнозов просто так же хороша, как и оценка набора базовых или эталонных показателей. или прогнозы по умолчанию, тогда как значение оценки навыка, равное единице (100%), представляет собой наилучшую возможную оценку. Значение оценки навыка меньше нуля означает, что производительность даже хуже, чем у базовых или эталонных прогнозов. Когда основной оценкой является оценка Брайера (BS), оценка навыков Брайера (BSS) рассчитывается как

$BSS=1-{\frac {BS}{BS_{ref}}}$

где $BS_{ref}$ — это эталонная оценка Брайера или базовые прогнозы, которые мы стремимся улучшить. Хотя эталонные прогнозы в принципе могут быть даны с помощью любой ранее существовавшей модели, по умолчанию можно использовать наивную модель, которая предсказывает общую долю или частоту данного класса в оцениваемом наборе данных, как постоянную прогнозируемую вероятность этого класса. происходящее в каждом экземпляре набора данных. Эта базовая модель будет представлять собой модель «без навыков», которую можно улучшить. Оценки навыков берут свое начало в литературе по метеорологическим прогнозам, где наивные эталонные прогнозы по умолчанию называются прогнозами «климатологии в выборке», где климатология означает долгосрочное или общее среднее значение прогнозов погоды, а средние значения в выборке, рассчитанные на основе настоящего оцениваемый набор данных. В этом случае по умолчанию для бинарной (двухклассовой) классификации эталонная оценка Брайера определяется как (с использованием обозначения первого уравнения этой статьи в верхней части раздела «Определение»):

$BS_{ref}={\frac {1}{N}}\sum \limits _{t=1}^{N}({\bar {o}}-o_{t})^{2}\,$

где ${\bar {o}}$ — это просто средний фактический результат, т.е. общая доля истинного класса 1 в наборе данных:

${\bar {o}}={\frac {1}{N}}\sum \limits _{t=1}^{N}o_{t}.$

При показателе Брайера чем ниже, тем лучше (это функция потерь), где 0 — наилучший возможный балл. Но с показателем навыка Брайера, чем выше, тем лучше: 1 (100%) — лучший возможный балл.

Показатель навыков Брайера может быть более интерпретируемым, чем показатель Брайера, поскольку BSS — это просто процентное улучшение BS по сравнению с эталонной моделью, а отрицательный BSS означает, что ваши дела даже хуже, чем в эталонной модели, что может быть неочевидно из глядя на саму оценку Брайера. Однако обычно не следует ожидать BSS, близкого к 100%, поскольку для этого потребуется, чтобы каждое предсказание вероятности было близко к 0 или 1 (и, конечно, было правильным).

Даже если оценка Брайера является строго правильным правилом оценки , BSS не является строго правильным: действительно, оценки навыков, как правило, неправильны, даже если лежащее в ее основе правило оценки является правильным. Тем не менее, Мерфи (1973) доказал, что BSS асимптотически правильна при большом количестве выборок.

Вы могли заметить, что BSS классификации (оценки вероятности) соответствует ее BS, как коэффициент детерминации регрессии ( $R^{2}$) соответствует его среднеквадратической ошибке (MSE).

Недостатки

Оценка Брайера становится неадекватной для очень редких (или очень частых) событий, поскольку она недостаточно различает небольшие изменения в прогнозе, которые являются значимыми для редких событий. Уилкс (2010) обнаружил, что «[Q]довольно большиеразмеры выборки, т. е. n > 1000, необходимы для прогнозирования относительно редких событий с помощью более высокого уровня квалификации, тогда как для прогнозирования обычных событий с низким уровнем квалификации необходимы лишь весьма скромные размеры выборки».

См. также

• Навык прогнозирования
• Правило подсчета очков

Дальнейшее чтение

• Брайер, Гленн В. (1950). «Проверка прогнозов, выраженных в терминах вероятности» . Ежемесячный обзор погоды . 78 (1): 1–3. Бибкод : 1950MWRv...78....1B . doi : 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2 . S2CID   122906757 .
• Дж. Скотт Армстронг, Принципы прогнозирования .
• Словарь метеорологии AMS
• Композиция партитуры Брайера: мини-урок
• Чикко Д.; Уорренс М.Дж.; Юрман Г. (2021). «Коэффициент корреляции Мэтьюза (MCC) более информативен, чем показатель Каппы и Брайера Коэна при оценке бинарной классификации» . Доступ IEEE . 9 : 78368–78381. doi : 10.1109/access.2021.3084050 . hdl : 10281/430460 . S2CID   235308708 .