Макридакис Соревнования

Соревнования Макридакиса (также известные как M-соревнования или M-конкурсы ) представляют собой серию открытых соревнований по оценке и сравнению точности различных методов прогнозирования временных рядов . Они организуются группами под руководством исследователя-прогнозиста Спироса Макридакиса и впервые были проведены в 1982 году.

Соревнования

Краткое содержание

Нет.	Неофициальное название конкурса	Год публикации результатов	Количество использованных временных рядов	Количество протестированных методов	Другие особенности
1	М Конкурс	1982	1001 (использовалась подвыборка 111 для методов, в которых было слишком сложно выполнить все 1001)	15 (плюс 9 вариаций)	Не в режиме реального времени
2	Конкурс М2	1993	29 (23 от компаний-партнеров, 6 от макроэкономических показателей)	16 (включая 5 прогнозистов-людей и 11 автоматических методов, основанных на трендах), плюс 2 комбинированных прогноза и 1 общий средний прогноз	В режиме реального времени, множество сотрудничающих организаций, конкурс объявлен заранее
3	Конкурс М3	2000	3003	24
4	Конкурс М4	2020	100,000	Все основные методы отмывания денег и статистические методы были протестированы.	First winner Slawek Smyl, Uber Technologies
5	Конкурс М5	Первоначальные результаты 2021 г., окончательные 2022 г.	Около 42 000 иерархических временных рядов, предоставленных Walmart.	Будут протестированы все основные методы прогнозирования, включая машинное и глубокое обучение, а также статистические.	Первый победитель конкурса на точность: ЁнДжун Ин. Первые победители «Вызов неопределенности»: Расс Вулфингер и Дэвид Лэндер
6	Конкурс М6	Первоначальные результаты – 2022 г., окончательные – 2024 г.	Конкурс финансового прогнозирования в режиме реального времени, в котором участвуют 50 акций S&P500 США и 50 международных ETF.	Будут протестированы все основные методы прогнозирования, включая машинное и глубокое обучение, а также статистические.

Первые соревнования в 1982 году.

В первом конкурсе Макридакиса, состоявшемся в 1982 году и известном в литературе по прогнозированию как M-конкурс , использовался 1001 временной ряд и 15 методов прогнозирования (включая еще девять вариантов этих методов). Согласно более поздней статье авторов, основные выводы М-конкурса заключались в следующем:

1. Статистически сложные или сложные методы не обязательно обеспечивают более точные прогнозы, чем более простые.
2. Относительный рейтинг эффективности различных методов варьируется в зависимости от используемой меры точности.
3. Точность комбинирования различных методов в среднем превосходит точность комбинирования отдельных методов и очень хороша по сравнению с другими методами.
4. Точность различных методов зависит от длины используемого горизонта прогнозирования.

Результаты исследования были проверены и воспроизведены другими исследователями с использованием новых методов.

По словам Роба Дж. Гайндмана , «…подавать прогнозы мог каждый желающий, что делает это, насколько мне известно, первым настоящим соревнованием по прогнозам.

Ньюболд (1983) критически относился к М-конкуренции и выступал против общей идеи использования единого соревнования для решения сложной проблемы.

Перед первым M-Competition Макридакис и Хибон опубликовал в Журнале Королевского статистического общества (JRSS) статью, показывающую, что простые методы работают лучше по сравнению с более сложными и статистически сложными. Статистики того времени раскритиковали результаты, заявив, что они невозможны. Их критика мотивировала последующие соревнования М, М2 и М3, которые подтвердили тезис исследования Макридакиса и Хибона.

Второй конкурс, опубликованный в 1993 г.

Второе соревнование, получившее название M-2 Competition или M2-Competition, проводилось в более широком масштабе. Призыв к участию был опубликован в Международном журнале прогнозирования , объявления были сделаны на Международном симпозиуме по прогнозированию , а письменное приглашение было разослано всем известным экспертам по различным методам временных рядов. Конкурс М2 был организован совместно с четырьмя компаниями и включал шесть макроэкономических серий и проводился в режиме реального времени. Данные были из США. Результаты конкурса были опубликованы в статье 1993 года. Было заявлено, что результаты статистически идентичны результатам M-Competition.

В M2-конкурсе использовалось гораздо меньше временных рядов, чем в исходном M-конкурсе. В то время как первоначальный M-конкурс использовал 1001 временной ряд, M2-Competition использовал только 29, в том числе 23 от четырех сотрудничающих компаний и 6 макроэкономических рядов. Данные компаний были запутаны за счет использования постоянного множителя в целях сохранения конфиденциальности. Целью конкурса M2 было лучшее моделирование реального прогнозирования в следующих отношениях:

• Позвольте прогнозистам сочетать свой метод прогнозирования, основанный на тенденциях, с личными суждениями.
• Разрешить прогнозистам задавать дополнительные вопросы, запрашивая данные у участвующих компаний, чтобы делать более качественные прогнозы.
• Позвольте прогнозистам извлечь уроки из одного упражнения по прогнозированию и пересмотреть свои прогнозы для следующего упражнения по прогнозированию на основе обратной связи.

Конкурс был организован следующим образом:

• Первая партия данных была отправлена ​​участвующим синоптикам летом 1987 года.
• Синоптики имели возможность связаться с участвующими компаниями через посредника, чтобы собрать дополнительную информацию, которую они считали важной для составления прогнозов.
• В октябре 1987 года синоптикам были отправлены обновленные данные.
• Синоптики должны были прислать свои прогнозы к концу ноября 1987 года.
• Год спустя синоптикам прислали анализ их прогнозов и попросили представить следующий прогноз в ноябре 1988 года.
• Окончательный анализ и оценка прогнозов проводились начиная с апреля 1991 года, когда фактические окончательные значения данных, включая декабрь 1990 года, стали известны сотрудничающим компаниям.

Помимо опубликованных результатов, многие участники написали короткие статьи, описывающие свой опыт участия в конкурсе и свои размышления о том, что продемонстрировал конкурс. Крис Чатфилд похвалил организацию конкурса, но сказал, что, несмотря на все усилия организаторов, он считает, что синоптики все еще не имеют достаточного доступа к компаниям изнутри, как, по его мнению, люди имели бы его в реальном прогнозировании. Филдс и Макридакис (1995) утверждают, что, несмотря на доказательства, полученные в результате этих соревнований, их последствия продолжали игнорироваться статистиками-теоретиками.

Третий конкурс, опубликованный в 2000 г.

Третий конкурс, названный «Соревнование М-3» или «Соревнование М3», был направлен на то, чтобы воспроизвести и расширить особенности «М-соревнования» и «М2-соревнования» за счет включения большего количества методов и исследователей (особенно исследователей в области нейронных сетей) . сетях ) и другие временные ряды . Всего было использовано 3003 временных ряда. Статья, документирующая результаты конкурса, была опубликована в Международном журнале прогнозирования. в 2000 году, и необработанные данные были также размещены на веб-сайте Международного института прогнозистов . По мнению авторов, выводы M3-Competition были аналогичны выводам предыдущих соревнований.

Временной ряд включал годовые, квартальные, ежемесячные, ежедневные и другие временные ряды. Чтобы гарантировать наличие достаточного количества данных для разработки точной модели прогнозирования, были установлены минимальные пороговые значения для количества наблюдений: 14 для годовых рядов, 16 для квартальных рядов, 48 для ежемесячных рядов и 60 для других рядов.

Временные ряды были в следующих областях: микро, промышленность, макро, финансы, демография и другие. Ниже указано количество временных рядов в зависимости от временного интервала и домена:

Интервал времени между последовательными наблюдениями	Микро	Промышленность	Макрос	Финансы	Демографический	Другой	Общий
Ежегодно	146	102	83	58	245	11	645
Ежеквартальный	204	83	336	76	57	0	756
Ежемесячно	474	334	312	145	111	52	1428
Другой	4	0	0	29	0	141	174
Общий	828	519	731	308	413	204	3003

Для оценки точности различных прогнозов использовались следующие пять показателей: симметричная средняя абсолютная процентная ошибка (также известная как симметричная MAPE), средний рейтинг, медианная симметричная абсолютная процентная ошибка (также известная как медианная симметричная APE), процентное улучшение и медианный RAE.

Был опубликован ряд других статей с различным анализом набора данных конкурса M3. По словам Роба Дж. Хайндмана , главного редактора Международного журнала прогнозирования (IJF), «данные M3 продолжают использоваться с 2000 года для тестирования новых методов прогнозирования временных рядов. конкурентоспособным по сравнению с оригинальными методами участия в M3, его трудно опубликовать в IJF».

Четвертый конкурс (2018)

Четвертый конкурс, М4, был объявлен в ноябре 2017 года. Конкурс начался 1 января 2018 г. и завершился 31 мая 2018 г. Первоначальные результаты были опубликованы в Международном журнале прогнозирования 21 июня 2018 г.

M4 расширил и воспроизвел результаты трех предыдущих соревнований, используя расширенный и разнообразный набор временных рядов для определения наиболее точных методов прогнозирования для различных типов прогнозов. Его целью было получить ответы о том, как повысить точность прогнозирования и определить наиболее подходящие методы для каждого случая. Чтобы получить точные и убедительные ответы, конкурс M4 использовал 100 000 реальных серий и включил в себя все основные методы прогнозирования, в том числе основанные на искусственном интеллекте (машинное обучение, ML), а также традиционные статистические методы.

В своем блоге Роб Дж. Хайндман сказал о М4: «Соревнования «М», организованные Спиросом Макридакисом, оказали огромное влияние на область прогнозирования. Они сосредоточили внимание на том, какие модели дают хорошие прогнозы, а не на математических свойствах моделей. За это Спирос заслуживает поздравлений за то, что он изменил ландшафт прогнозных исследований благодаря этой серии соревнований».

Ниже указано количество временных рядов в зависимости от временного интервала и домена:

Интервал времени между последовательными наблюдениями	Микро	Промышленность	Макрос	Финансы	Демографический	Другой	Общий
Ежегодно	6538	3716	3903	6519	1088	1236	23000
Ежеквартальный	6020	4637	5315	5305	1858	865	24000
Ежемесячно	10975	10017	10016	10987	5728	277	48000
Еженедельно	112	6	41	164	24	12	359
Ежедневно	1476	422	127	1559	10	633	4227
Ежечасно	0	0	0	0	0	414	414
Общий	25121	18798	19402	24534	8708	3437	100000

Чтобы гарантировать наличие достаточного количества данных для разработки точной модели прогнозирования, были установлены минимальные пороговые значения для количества наблюдений: 13 для годовых, 16 для квартальных, 42 для ежемесячных, 80 для еженедельных, 93 для ежедневных и 700 для часовых рядов. .

Одной из его основных целей было сравнение точности методов МО с точностью статистических методов и эмпирическая проверка утверждений о превосходной эффективности методов МО.

Ниже приводится краткое описание конкурса M4, а также его основные результаты и выводы:

Конкурс М4 завершился 31 мая 2018 года и помимо точечных прогнозов включал в себя также указание интервалов прогнозирования (PI). M4 был открытым, и его самая важная цель (та же, что и у трех предыдущих соревнований M): «научиться повышать точность прогнозирования и максимально продвинуться вперед».

Пять основных выводов и заключение М4:

Ниже мы изложим то, что мы считаем пятью основными выводами конкурса M4, и сделаем логический вывод из этих выводов.

1. Комбинация методов была королем М4. Из 17 наиболее точных методов 12 представляли собой «комбинации» преимущественно статистических подходов.
2. Однако самым большим сюрпризом стал «гибридный» подход, использующий как статистические функции, так и функции машинного обучения. Этот метод позволил получить наиболее точные прогнозы, а также самые точные PI. Его представил Славек Смил, специалист по данным в Uber Technologies. По данным sMAPE, он был почти на 10 % (огромное улучшение) точнее, чем эталонный тест Combination (Comb) конкурса (см. ниже). Отмечается, что в соревновании М3 (Макридакис и Хибон, 2000) лучший метод оказался на 4% точнее, чем та же самая Комбинация.
3. Вторым по точности методом стала комбинация семи статистических методов и одного метода машинного обучения, при этом веса для усреднения рассчитывались с помощью алгоритма машинного обучения, обученного минимизировать ошибку прогнозирования с помощью тестов на выдержку. Этот метод был совместно представлен испанским университетом Ла-Корунья и австралийским университетом Монаша.
4. Первый и второй наиболее точные методы также достигли поразительного успеха в правильном определении 95% PI. Это первые известные нам методы, которые сделали это и не сильно недооценивают неопределенность.
5. Шесть чистых методов ML, представленных в M4, работали плохо, ни один из них не был более точным, чем Comb, и только один был более точным, чем Naïve2. Эти результаты согласуются с результатами недавнего исследования, которое мы опубликовали в PLoS One (Макридакис и др., 2018).

Вывод из приведенных выше результатов заключается в том, что точность отдельных статистических методов или методов машинного обучения низкая и что гибридные подходы и комбинации методов — это путь вперед, позволяющий повысить точность прогнозирования и сделать прогнозирование более ценным.

Пятый конкурс (2020)

M5 начался 3 марта 2020 года, а результаты были объявлены 1 июля 2020 года. В нем использовались реальные данные Walmart, и оно проводилось на платформе Kaggle. Победителям были предложены крупные призы на общую сумму 100 000 долларов США. Данные были предоставлены Walmart и состояли из около 42 000 иерархических ежедневных временных рядов, начиная с уровня SKU и заканчивая общим спросом на какой-то большой географической территории. Помимо данных о продажах, была также информация о ценах, рекламной активности и уровне запасов, а также о дне недели, к которому относятся данные.

Было разыграно несколько крупных призов для первого, второго и третьего победителей в номинациях

• Самые точные прогнозы по данным Walmart
• Наиболее точная оценка неопределенности данных Walmart

Были также студенческие и корпоративные призы. Количество призов, которые может выиграть один участник или команда, не ограничивалось.

В центре внимания M5 были в основном практики, а не ученые. Соревнование М5 привлекло около 6000 участников и команд, вызвав значительный интерес.

Выводы и выводы

Это соревнование относилось к категории «М», и в нем в первую очередь использовались методы машинного обучения. Все наиболее эффективные подходы были «чистыми подходами ML и лучше, чем все статистические тесты и их комбинации». Модель LightGBM , а также глубокие нейронные сети заняли видное место в топовых материалах. В соответствии с конкурсом M4 каждый из трех лучших участников использовал ансамбли или комбинации отдельно обученных и настроенных моделей, где каждая модель имела различную процедуру обучения и набор обучающих данных.

Ответвления

NN3-Конкурс

Хотя организаторы конкурса M3 связались с исследователями в области искусственных нейронных сетей (ИНС) с просьбой об их участии в конкурсе, в нем принял участие только один исследователь, и прогнозы этого исследователя оказались неудовлетворительными. Нежелание большинства исследователей ИНС участвовать в то время было связано с трудоемкостью вычислений при прогнозировании на основе ИНС и огромными временными рядами, используемыми для конкурса. В 2005 году Кроун, Николопулос и Хибон организовали конкурс NN-3, используя 111 временных рядов из конкурса M3 (не те же данные, поскольку они были сдвинуты во времени, но те же источники). Конкурс NN-3 показал, что лучшие прогнозы на основе ИНС по эффективности сравнимы с наиболее известными методами прогнозирования, но требуют гораздо большего объема вычислений. Было также отмечено, что многие методы, основанные на ИНС, показали себя значительно хуже, чем простые методы прогнозирования, несмотря на больший теоретический потенциал для достижения хороших результатов.

Прием

Нассим Николас Талеб в своей книге «Черный лебедь » так упоминает соревнования Макридакиса: «Самый интересный тест того, как академические методы работают в реальном мире, был проведен Спиросом Макридакисом, который часть своей карьеры посвятил организации соревнований между прогнозистами-практиками. «научный метод», называемый эконометрикой, — подход, сочетающий экономическую теорию со статистическими измерениями. Проще говоря, он делал прогнозы в реальной жизни , а затем оценивал их точность. «M-Competitions», которые он проводил при содействии Мишеля Хибона, из которых M3 был третьим и самым последним, завершенным в 1999 году. Макридакис и Хибон пришли к печальному выводу, что «статистически сложные и сложные методы не обязательно обеспечивают более точные прогнозы». чем более простые.""

В книге « Все очевидно » Дункан Уоттс цитирует работу Макридакиса и Хибона, показывающую, что «простые модели примерно так же хороши, как и сложные модели в прогнозировании экономических временных рядов».

Ссылки

• Макридакис, Спирос; Хибон, Мишель; Мозер, Клаус (1979). «Точность прогнозирования: эмпирическое исследование». Журнал Королевского статистического общества. Серия А (Общая) . 142 (2): 97. дои : 10.2307/2345077 . JSTOR   2345077 . S2CID   173769248 .
• Макридакис, Спирос; Спилиотис, Евангелос; Ассимакопулос, Василиос; Эрнандес Монтойя, Алехандро Рауль (27 марта 2018 г.). «Методы прогнозирования на основе статистики и машинного обучения: проблемы и пути вперед» . ПЛОС Один . 13 (3): e0194889. Бибкод : 2018PLoSO..1394889M . дои : 10.1371/journal.pone.0194889 . ПМК   5870978 . ПМИД   29584784 .
• Макридакис, Спирос; Спилиотис, Евангелос; Ассимакопулос, Василиос (октябрь 2018 г.). «Конкурс М4: итоги, выводы, итоги и путь вперед». Международный журнал прогнозирования . 34 (4): 802–808. doi : 10.1016/j.ijforecast.2018.06.001 . S2CID   158696437 .

Внешние ссылки

• Информация о соревнованиях Макридакиса на сайте Открытого центра прогнозирования М
• https://github.com/Mcompetitions/ Репозитории GitHub соревнований M4, M5 и M6.