Средняя абсолютная процентная ошибка

Средняя абсолютная процентная ошибка ( MAPE ), также известная как среднее абсолютное процентное отклонение ( MAPD ), является мерой точности прогнозирования метода прогнозирования в статистике . Обычно точность выражается как отношение, определяемое формулой:

{\mbox{MAPE}}=100{\frac {1}{n}}\sum _{t=1}^{n}\left|{\frac {A_{t}-F_{t}}{A_{t}}}\right|

где $A t$ — фактическое значение, а $F t$ — прогнозное значение. Их разница делится на фактическое значение $A t$ . Абсолютное значение этого отношения суммируется для каждого прогнозируемого момента времени и делится на количество подобранных точек $n$ .

MAPE в задачах регрессии

Средняя абсолютная процентная ошибка обычно используется в качестве функции потерь для задач регрессии и при оценке модели из-за ее очень интуитивной интерпретации с точки зрения относительной ошибки.

Определение

Рассмотрим стандартную настройку регрессии, в которой данные полностью описываются случайной парой. $Z=(X,Y)$ со значениями в $\mathbb {R} ^{d}\times \mathbb {R}$ и $n$ iid копий $(X_{1},Y_{1}),...,(X_{n},Y_{n})$ из $(X,Y)$ . Модели регрессии направлены на поиск хорошей модели для пары, которая представляет собой измеримую функцию $g$ от $\mathbb {R} ^{d}$ к $\mathbb {R}$ такой, что $g(X)$ близок $Y.$ к

В рамках классической регрессии близость $g(X)$ к $Y$ измеряется с помощью $риска L 2$ , также называемого среднеквадратичной ошибкой (MSE). В контексте регрессии MAPE ^[1] близость $g(X)$ до $Y$ измеряется с помощью MAPE, а цель регрессии MAPE — найти модель $g_{\text{MAPE}}$ такой, что:

$g_{\mathrm {MAPE} }(x)=\arg \min _{g\in {\mathcal {G}}}\mathbb {E} {\Biggl [}\left|{\frac {g(X)-Y}{Y}}\right||X=x{\Biggr ]}$

где ${\mathcal {G}}$ — класс рассматриваемых моделей (например, линейные модели).

На практике

На практике $g_{\text{MAPE}}(x)$ можно оценить с помощью стратегии минимизации эмпирического риска , что приводит к

${\widehat {g}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\left|{\frac {g(X_{i})-Y_{i}}{Y_{i}}}\right|$

С практической точки зрения использование MAPE в качестве функции качества для регрессионной модели эквивалентно выполнению регрессии взвешенной средней абсолютной ошибки (MAE), также известной как квантильная регрессия . Это свойство тривиально, поскольку

${\widehat {g}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\omega (Y_{i})\left|g(X_{i})-Y_{i}\right|{\mbox{ with }}\omega (Y_{i})=\left|{\frac {1}{Y_{i}}}\right|$

Как следствие, использование MAPE на практике очень просто, например, с использованием существующих библиотек для квантильной регрессии, позволяющей взвешивать.

Последовательность

Использование MAPE в качестве функции потерь для регрессионного анализа целесообразно как с практической точки зрения, так и с теоретической, поскольку можно доказать существование оптимальной модели и непротиворечивость эмпирической минимизации риска. ^[1]

WMAPE

WMAPE (иногда пишется как wMAPE ) означает средневзвешенную абсолютную процентную ошибку. ^[2] Это мера, используемая для оценки эффективности моделей регрессии или прогнозирования. Это вариант MAPE, в котором средний абсолютный процент ошибок рассматривается как среднее арифметическое. Чаще всего абсолютные процентные ошибки взвешиваются по фактическим данным (например, в случае прогнозирования продаж ошибки взвешиваются по объему продаж). ^[3] По сути, это решает проблему «бесконечной ошибки». ^[4]Его формула: ^[4] ${\mbox{wMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}\left(w_{i}\cdot {\tfrac {\left|A_{i}-F_{i}\right|}{|A_{i}|}}\right)}{\displaystyle \sum _{i=1}^{n}w_{i}}}={\frac {\displaystyle \sum _{i=1}^{n}\left(|A_{i}|\cdot {\tfrac {\left|A_{i}-F_{i}\right|}{|A_{i}|}}\right)}{\displaystyle \sum _{i=1}^{n}\left|A_{i}\right|}}$

Где $w_{i}$ это вес, $A$ представляет собой вектор фактических данных и $F$ это прогноз или предсказание.Однако это эффективно упрощается до гораздо более простой формулы: ${\mbox{wMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}\left|A_{i}-F_{i}\right|}{\displaystyle \sum _{i=1}^{n}\left|A_{i}\right|}}$

Как ни странно, иногда, когда люди ссылаются на wMAPE, они говорят о другой модели, в которой числитель и знаменатель приведенной выше формулы wMAPE снова взвешиваются с помощью другого набора пользовательских весов. $w_{i}$ . Возможно, правильнее было бы назвать это двойным взвешиванием MAPE (wwMAPE). Его формула: ${\mbox{wwMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}w_{i}\left|A_{i}-F_{i}\right|}{\displaystyle \sum _{i=1}^{n}w_{i}\left|A_{i}\right|}}$

Проблемы

Хотя концепция MAPE звучит очень просто и убедительно, у нее есть серьезные недостатки при практическом применении. ^[5] и существует множество исследований недостатков и вводящих в заблуждение результатов MAPE. ^[6]^[7]

Его нельзя использовать, если имеются нулевые или близкие к нулю значения (что иногда случается, например, в данных о спросе), поскольку произойдет деление на ноль или значения MAPE, стремящиеся к бесконечности. ^[8]
Для слишком низких прогнозов процентная ошибка не может превышать 100%, а для слишком высоких прогнозов нет верхнего предела процентной ошибки.
MAPE налагает более суровые штрафы за отрицательные ошибки. $A_{t}<F_{t}$ чем на положительных ошибках. ^[9] Как следствие, когда MAPE используется для сравнения точности методов прогнозирования, он является предвзятым, поскольку систематически выбирает метод, прогнозы которого слишком низкие. Эту малоизвестную, но серьезную проблему можно решить, используя меру точности, основанную на логарифме коэффициента точности (отношения прогнозируемого к фактическому значению), определяемого формулой ${\textstyle \log \left({\frac {\text{predicted}}{\text{actual}}}\right)}$ . Этот подход приводит к превосходным статистическим свойствам, а также к прогнозам, которые можно интерпретировать с точки зрения среднего геометрического. ^[5]
Люди часто думают, что MAPE будет оптимизирован по медиане. Но, например, логарифмически нормальный имеет медиану $e^{\mu }$ где это оптимизировано для MAPE $e^{\mu -\sigma ^{2}}$ .

Чтобы преодолеть эти проблемы с MAPE, в литературе предложены некоторые другие меры:

Средняя абсолютная масштабированная ошибка (MASE)
Симметричная средняя абсолютная процентная ошибка (sMAPE)
Средняя точность направления (MDA)
Средняя абсолютная процентная ошибка арктангенса (MAAPE): MAAPE можно рассматривать как наклон как угол , а MAPE — как наклон как отношение . ^[7]

См. также

Внешние ссылки

Ссылки

^ Jump up to: ^а ^б де Миттенер, Б. Голден, Б. Ле Гранд, Ф. Росси (2015). «Средняя абсолютная процентная ошибка для регрессионных моделей», Neurocomputing 2016 arXiv : 1605.02541
^ «Понимание точности прогнозов: MAPE, WAPE, WMAPE» .
^ «WMAPE: Средневзвешенная абсолютная процентная ошибка» .
^ Jump up to: ^а ^б «Статистические ошибки прогнозов» .
^ Jump up to: ^а ^б Тофаллис (2015). «Лучшая мера относительной точности прогнозирования для выбора модели и оценки модели», Журнал Общества операционных исследований , 66 (8): 1352-1362. архивированный препринт
^ Гайндман, Роб Дж. и Энн Б. Келер (2006). «Еще один взгляд на показатели точности прогнозов». Международный журнал прогнозирования , 22(4):679-688 doi:10.1016/j.ijforecast.2006.03.001 .
^ Jump up to: ^а ^б Ким, Сунгил и Хиён Ким (2016). «Новый показатель абсолютной процентной ошибки для прогнозов непостоянного спроса». Международный журнал прогнозирования , 32(3):669-679 doi:10.1016/j.ijforecast.2015.12.003 .
^ Ким, Сунгил; Ким, Хиён (1 июля 2016 г.). «Новый показатель абсолютной процентной ошибки для прогнозов непостоянного спроса» . Международный журнал прогнозирования . 32 (3): 669–679. doi : 10.1016/j.ijforecast.2015.12.003 .
^ Макридакис, Спирос (1993) «Меры точности: теоретические и практические проблемы». Международный журнал прогнозирования , 9(4):527-529 doi:10.1016/0169-2070(93)90079-3

[demyttenaere2016-1] Jump up to: ^а ^б де Миттенер, Б. Голден, Б. Ле Гранд, Ф. Росси (2015). «Средняя абсолютная процентная ошибка для регрессионных моделей», Neurocomputing 2016 arXiv : 1605.02541

[baeldungdef-2] «Понимание точности прогнозов: MAPE, WAPE, WMAPE» .

[ibfdef-3] «WMAPE: Средневзвешенная абсолютная процентная ошибка» .

[statisticalforecast-4] Jump up to: ^а ^б «Статистические ошибки прогнозов» .

[tofallis2015-5] Jump up to: ^а ^б Тофаллис (2015). «Лучшая мера относительной точности прогнозирования для выбора модели и оценки модели», Журнал Общества операционных исследований , 66 (8): 1352-1362. архивированный препринт

[6] Гайндман, Роб Дж. и Энн Б. Келер (2006). «Еще один взгляд на показатели точности прогнозов». Международный журнал прогнозирования , 22(4):679-688 doi:10.1016/j.ijforecast.2006.03.001 .

[Kim2016-7] Jump up to: ^а ^б Ким, Сунгил и Хиён Ким (2016). «Новый показатель абсолютной процентной ошибки для прогнозов непостоянного спроса». Международный журнал прогнозирования , 32(3):669-679 doi:10.1016/j.ijforecast.2015.12.003 .

[8] Ким, Сунгил; Ким, Хиён (1 июля 2016 г.). «Новый показатель абсолютной процентной ошибки для прогнозов непостоянного спроса» . Международный журнал прогнозирования . 32 (3): 669–679. doi : 10.1016/j.ijforecast.2015.12.003 .

[9] Макридакис, Спирос (1993) «Меры точности: теоретические и практические проблемы». Международный журнал прогнозирования , 9(4):527-529 doi:10.1016/0169-2070(93)90079-3

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

v т и машинного обучения Метрики оценки
Регрессия	МШЭ ЕСТЬ СМАПЕ КАРТА МАССЫ MSPE среднеквадратичное значение RMSE/RMSD Р ² МДА БЕЗУМНЫЙ
Классификация	F-оценка П4 Точность Точность Отзывать Каппа МСС АУК РПЦ Чувствительность и специфичность Логарифмическая потеря
Кластеризация	Силуэт Индекс Калинского-Харабаша Дэвис-Булден Индекс Данна Статистика Хопкинса Индекс Жаккара Индекс Рэнда Мера сходства СМК СимХэш
Рейтинг	МРР НДЦГ АП
Компьютерное зрение	ПСНР ДА долг
НЛП	Растерянность СИНИЙ
Метрики, связанные с глубоким обучением	Начальный счет ДОВЕРЯТЬ
Рекомендательная система	Покрытие Внутрисписочное сходство
Сходство	Косинусное подобие Евклидово расстояние Коэффициент корреляции Пирсона
Матрица путаницы