Средняя абсолютная масштабированная ошибка

В статистике средняя абсолютная масштабированная ошибка ( MASE является мерой точности прогнозов ) . Это средняя абсолютная ошибка прогнозных значений, деленная на среднюю абсолютную ошибку одношагового наивного прогноза в выборке. Он был предложен в 2005 году статистиком Робом Дж. Хайндманом и профессором наук о принятии решений Энн Б. Келер, которые описали его как «общеприменимый метод измерения точности прогноза без проблем, наблюдаемых при других измерениях». ^{[ 1 ]} Средняя абсолютная масштабированная ошибка имеет выгодные свойства по сравнению с другими методами расчета ошибок прогноза , такими как среднеквадратичное отклонение , и поэтому рекомендуется для определения сравнительной точности прогнозов. ^{[ 2 ]}

Обоснование

Средняя абсолютная масштабированная ошибка имеет следующие желательные свойства: ^{[ 3 ]}

Масштабная инвариантность : средняя абсолютная масштабированная ошибка не зависит от масштаба данных, поэтому ее можно использовать для сравнения прогнозов по наборам данных в разных масштабах.
Предсказуемое поведение, как $y_{t}\rightarrow 0$ : Показатели процентной точности прогноза, такие как средняя абсолютная процентная ошибка (MAPE), основаны на разделении $y_{t}$ , искажая распределение MAPE для значений $y_{t}$ близкое или равное 0. Это особенно проблематично для наборов данных, шкалы которых не имеют значимого 0, например, температура в градусах Цельсия или Фаренгейта, а также для наборов данных о непостоянном спросе, где $y_{t}=0$ встречается часто.
Симметрия: средняя абсолютная масштабированная ошибка в равной степени наказывает как положительные, так и отрицательные ошибки прогноза, а также одинаково наказывает ошибки в больших и малых прогнозах. Напротив, MAPE и медианная абсолютная процентная ошибка (MdAPE) не соответствуют обоим этим критериям, тогда как «симметричные» sMAPE и sMdAPE ^{[ 4 ]} не соответствует второму критерию.
Интерпретируемость: среднюю абсолютную масштабированную ошибку можно легко интерпретировать, поскольку значения, превышающие единицу, указывают на то, что одношаговые прогнозы в выборке, полученные с помощью наивного метода, работают лучше, чем рассматриваемые значения прогноза.
Асимптотическая нормальность MASE: тест Дибольда-Мариано для одношаговых прогнозов используется для проверки статистической значимости разницы между двумя наборами прогнозов. ^{[ 5 ]}^{[ 6 ]}^{[ 7 ]} Для проверки гипотезы с помощью статистики теста Дибольда-Мариано желательно: $DM\sim N(0,1)$ , где $DM$ — значение тестовой статистики. Эмпирически было показано, что статистика DM для MASE аппроксимирует это распределение, в то время как средняя относительная абсолютная ошибка (MRAE), MAPE и sMAPE - нет. ^{[ 2 ]}

Несезонный временной ряд

Для несезонного временного ряда: ^{[ 8 ]} средняя абсолютная масштабированная ошибка оценивается как

\mathrm {MASE} =\mathrm {mean} \left({\frac {\left|e_{j}\right|}{{\frac {1}{T-1}}\sum _{t=2}^{T}\left|Y_{t}-Y_{t-1}\right|}}\right)={\frac {{\frac {1}{J}}\sum _{j}\left|e_{j}\right|}{{\frac {1}{T-1}}\sum _{t=2}^{T}\left|Y_{t}-Y_{t-1}\right|}}

^{[ 3 ]}

где числитель e _j — ошибка прогноза для данного периода (где J — количество прогнозов), определяемая как фактическое значение ( Y _j ) минус значение прогноза ( F _j ) для этого периода: e _j = Y _j − F _j , а знаменатель представляет собой среднюю абсолютную ошибку одношагового « метода наивного прогнозирования » на обучающем наборе (здесь определяемого как t = 1..T ), ^{[ 8 ]} который использует фактическое значение предыдущего периода в качестве прогноза: F _t = Y _{t −1}^{[ 9 ]}

Сезонный временной ряд

Для сезонного временного ряда средняя абсолютная масштабированная ошибка оценивается аналогично методу для несезонных временных рядов:

$\mathrm {MASE} =\mathrm {mean} \left({\frac {\left|e_{j}\right|}{{\frac {1}{T-m}}\sum _{t=m+1}^{T}\left|Y_{t}-Y_{t-m}\right|}}\right)={\frac {{\frac {1}{J}}\sum _{j}\left|e_{j}\right|}{{\frac {1}{T-m}}\sum _{t=m+1}^{T}\left|Y_{t}-Y_{t-m}\right|}}$ ^{[ 8 ]}

Основное отличие от метода для несезонных временных рядов заключается в том, что знаменатель представляет собой среднюю абсолютную ошибку одношагового « метода сезонного наивного прогнозирования » на обучающем наборе. ^{[ 8 ]} который использует фактическое значение предыдущего сезона в качестве прогноза: F _t = Y _{t −m} , ^{[ 9 ]} где m – сезонный период.

Эта немасштабируемая метрика ошибок «может использоваться для сравнения методов прогнозирования в одной серии, а также для сравнения точности прогнозов между сериями. Эта метрика хорошо подходит для серий с непостоянным спросом (набор данных, содержащий большое количество нулей), поскольку она никогда не дает бесконечных или неопределенных значений ^{[ 1 ]} за исключением несущественного случая, когда все исторические данные равны. ^{[ 3 ]}

При сравнении методов прогнозирования предпочтительным является метод с наименьшим значением MASE.

Данные вне временных рядов

Для данных, не являющихся временными рядами, среднее значение данных ( ${\bar {Y}}$ ) можно использовать в качестве «базового» прогноза. ^{[ 10 ]}

\mathrm {MASE} =\mathrm {mean} \left({\frac {\left|e_{j}\right|}{{\frac {1}{J}}\sum _{j=1}^{J}\left|Y_{j}-{\bar {Y}}\right|}}\right)={\frac {{\frac {1}{J}}\sum _{j}\left|e_{j}\right|}{{\frac {1}{J}}\sum _{j}\left|Y_{j}-{\bar {Y}}\right|}}

В этом случае MASE — это средняя абсолютная ошибка, деленная на среднее абсолютное отклонение .

См. также

Ссылки

^ Jump up to: ^а ^б Гайндман, Р.Дж. (2006). «Другой взгляд на показатели точности прогнозов», FORESIGHT, выпуск 4, июнь 2006 г., стр. 46 [1]
^ Jump up to: ^а ^б Франсес, Филип Ганс (01 января 2016 г.). «Примечание о средней абсолютной масштабированной ошибке» . Международный журнал прогнозирования . 32 (1): 20–22. doi : 10.1016/j.ijforecast.2015.03.008 . hdl : 1765/78815 .
^ Jump up to: ^а ^б ^с Гайндман, Р.Дж. и Келер А.Б. (2006). «Еще один взгляд на показатели точности прогнозов». Международный журнал прогнозирования, том 22, выпуск 4, страницы 679–688. doi : 10.1016/j.ijforecast.2006.03.001
^ Макридакис, Спирос (1 декабря 1993 г.). «Меры точности: теоретические и практические проблемы». Международный журнал прогнозирования . 9 (4): 527–529. дои : 10.1016/0169-2070(93)90079-3 . S2CID 153403127 .
^ Диболд, Фрэнсис X.; Мариано, Роберто С. (1995). «Сравнение точности прогнозирования». Журнал деловой и экономической статистики . 13 (3): 253–263. дои : 10.1080/07350015.1995.10524599 .
^ Диболд, Фрэнсис X.; Мариано, Роберто С. (2002). «Сравнение точности прогнозирования» (PDF) . Журнал деловой и экономической статистики . 20 (1): 134–144. дои : 10.1198/073500102753410444 . S2CID 12090811 .
^ Диболд, Фрэнсис X. (2015). «Сравнение точности прогнозирования, двадцать лет спустя: личный взгляд на использование и злоупотребление тестами Диболда – Мариано» (PDF) . Журнал деловой и экономической статистики . 33 (1): 1. дои : 10.1080/07350015.2014.983236 .
^ Jump up to: ^а ^б ^с ^д «2.5 Оценка точности прогноза | OTexts» . www.otexts.org . Проверено 15 мая 2016 г.
^ Jump up to: ^а ^б Гайндман, Роб и др., Прогнозирование с экспоненциальным сглаживанием: подход к пространству состояний , Берлин: Springer-Verlag, 2008. ISBN 978-3-540-71916-8 .
^ Гайндман, Роб. «Альтернатива MAPE, когда данные не являются временными рядами» . Крест проверен . Проверено 11 октября 2022 г.

[Hyndman2006a-1] Jump up to: ^а ^б Гайндман, Р.Дж. (2006). «Другой взгляд на показатели точности прогнозов», FORESIGHT, выпуск 4, июнь 2006 г., стр. 46 [1]

[:1-2] Jump up to: ^а ^б Франсес, Филип Ганс (01 января 2016 г.). «Примечание о средней абсолютной масштабированной ошибке» . Международный журнал прогнозирования . 32 (1): 20–22. doi : 10.1016/j.ijforecast.2015.03.008 . hdl : 1765/78815 .

[Hyndman2006-3] Jump up to: ^а ^б ^с Гайндман, Р.Дж. и Келер А.Б. (2006). «Еще один взгляд на показатели точности прогнозов». Международный журнал прогнозирования, том 22, выпуск 4, страницы 679–688. doi : 10.1016/j.ijforecast.2006.03.001

[4] Макридакис, Спирос (1 декабря 1993 г.). «Меры точности: теоретические и практические проблемы». Международный журнал прогнозирования . 9 (4): 527–529. дои : 10.1016/0169-2070(93)90079-3 . S2CID 153403127 .

[5] Диболд, Фрэнсис X.; Мариано, Роберто С. (1995). «Сравнение точности прогнозирования». Журнал деловой и экономической статистики . 13 (3): 253–263. дои : 10.1080/07350015.1995.10524599 .

[6] Диболд, Фрэнсис X.; Мариано, Роберто С. (2002). «Сравнение точности прогнозирования» (PDF) . Журнал деловой и экономической статистики . 20 (1): 134–144. дои : 10.1198/073500102753410444 . S2CID 12090811 .

[7] Диболд, Фрэнсис X. (2015). «Сравнение точности прогнозирования, двадцать лет спустя: личный взгляд на использование и злоупотребление тестами Диболда – Мариано» (PDF) . Журнал деловой и экономической статистики . 33 (1): 1. дои : 10.1080/07350015.2014.983236 .

[:0-8] Jump up to: ^а ^б ^с ^д «2.5 Оценка точности прогноза | OTexts» . www.otexts.org . Проверено 15 мая 2016 г.

[Hyndman2008-9] Jump up to: ^а ^б Гайндман, Роб и др., Прогнозирование с экспоненциальным сглаживанием: подход к пространству состояний , Берлин: Springer-Verlag, 2008. ISBN 978-3-540-71916-8 .

[10] Гайндман, Роб. «Альтернатива MAPE, когда данные не являются временными рядами» . Крест проверен . Проверено 11 октября 2022 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

v т и машинного обучения Метрики оценки
Регрессия	МШЭ ЕСТЬ СМАПЕ КАРТА МАССЫ MSPE среднеквадратичное значение RMSE/RMSD Р ² МДА БЕЗУМНЫЙ
Классификация	F-оценка П4 Точность Точность Отзывать Каппа МСС АУК РПЦ Чувствительность и специфичность Логарифмическая потеря
Кластеризация	Силуэт Индекс Калинского-Харабаша Дэвис-Булден Индекс Данна Статистика Хопкинса Индекс Жаккара Индекс Рэнда Мера сходства СМК СимХэш
Рейтинг	МРР НДЦГ АП
Компьютерное зрение	ПСНР ДА долг
НЛП	Растерянность СИНИЙ
Метрики, связанные с глубоким обучением	Начальный счет ДОВЕРЯТЬ
Рекомендательная система	Покрытие Внутрисписочное сходство
Сходство	Косинусное подобие Евклидово расстояние Коэффициент корреляции Пирсона
Матрица путаницы