Плотность прогнозирования отрицательного журнала

В статистике плотность прогнозирования отрицательного журнала ( NLPD ) является мерой ошибки между прогнозами модели и соответствующими истинными значениями. Меньшее значение лучше. Важно отметить, что NLPD оценивает качество количественной оценки неопределенности модели. Он используется как для регрессии, так и для классификации.

Чтобы вычислить: (1) найдите вероятности, заданные моделью для истинных меток. (2) найти отрицательный логарифм этого продукта. (на самом деле мы находим отрицательную сумму журналов по численным причинам).

Определение

${\text{NLPD}}=-\sum _{i=1}^{N}\log p(y_{i}=t_{i}|\mathbf {x_{i}} )$

где $p(y|\mathbf {x} )$ это модель, $\mathbf {x_{i}}$ являются входными данными (независимыми переменными) и $t_{i}$ — результаты наблюдений (зависимая переменная).

Часто используется среднее значение, а не сумма (путем деления на N),

${\text{NLPD}}=-{\frac {1}{N}}\sum _{i=1}^{N}\log p(y_{i}=t_{i}|\mathbf {x_{i}} )$

Пример

Расчет NLPD для простого примера классификации

У нас есть метод, который классифицирует изображения как собак или кошек. Важно отметить, что он присваивает вероятности двум классам.

Показываем ему картинку с тремя собаками и тремя кошками. Он предсказывает, что вероятность того, что первые три будут собаками, равна 0,9 и 0,4, 0,7, а вероятность того, что последние три будут кошками, равна 0,8 и 0,4, 0,3.

НЛПД – это: $-(\log 0.9+\log 0.4+\log 0.7+\log 0.8+\log 0.4+\log 0.3)=3.72$ .

Сравнение с классификатором с большей точностью, но слишком самоуверенным

Мы сравниваем это с другим классификатором, который предсказывает, что первые три будут собаками как 0,95, 0,98, 0,02, а последние три — кошками как 0,99, 0,96,0,96. NLPD для этого классификатора равен 4,08. Первый классификатор угадал только половину правильно, поэтому по традиционному показателю точности он оказался хуже (по сравнению с 5/6 для второго классификатора). Однако он лучше работает по метрике NLPD: второй классификатор фактически «уверенно неверен», что серьезно наказывается этой метрикой.

По сравнению с очень недостаточно уверенным классификатором

Тогда третий классификатор просто предсказывает, что 0,5 для всех классов будет иметь NLPD в данном случае 4,15: хуже, чем любой из других.

Использование

Он широко используется в исследованиях вероятностного моделирования. Примеры включают в себя:

- Кандела, Хоакин Кинонеро и др. «Распространение неопределенности в моделях байесовского ядра — применение для многошагового прогнозирования». 2003 Международная конференция IEEE по акустике, речи и обработке сигналов, 2003. Материалы (ICASSP'03).. Vol. 2. ИИЭР, 2003.

- Керстинг, Кристиан и др. «Скорее всего, гетероскедастическая регрессия гауссовского процесса». Материалы 24-й международной конференции по машинному обучению. 2007.

- См. также https://onlinelibrary.wiley.com/doi/pdfdirect/10.1111/coin.12411 для получения информации о других подходах (что сбивает с толку, определение в этой ссылке гласит, что NLPD - это то, что большинство других называют *средним* значением). НЛПД). Т.е. ${\frac {1}{N}}{\text{NLPD}}$ .

- Хейнонен, Маркус и др. «Нестационарная регрессия гауссовского процесса с гамильтоновым методом Монте-Карло». Искусственный интеллект и статистика. ПМЛР, 2016.