ПЕКОТА

PECOTA — аббревиатура от «Алгоритм теста эмпирического сравнения и оптимизации игроков» . представляет собой саберметрическую систему для прогнозирования Высшей лиги бейсбола результатов игроков . Это слово является бэкронимом, основанным на имени подмастерья, игрока высшей лиги Билла Пекоты , который со средним показателем за всю жизнь 0,249, возможно, является типичным представителем PECOTA. PECOTA была разработана Нейтом Сильвером в 2002–2003 годах и представлена ​​публике в книге Baseball Prospectus 2003 . Baseball Prospectus (BP) владеет PECOTA с 2003 года; Сильвер управлял PECOTA с 2003 по 2009 год. Начиная с весны 2009 года BP взяла на себя ответственность за составление годовых прогнозов, в результате чего 2010 год стал первым бейсбольным сезоном, в котором Сильвер не играл никакой роли в составлении прогнозов PECOTA.

Прогнозы игроков PECOTA, одна из нескольких широко разрекламированных статистических систем прогнозов игры игроков, продаются компанией BP как фантастический бейсбольный продукт. С 2003 года ежегодные прогнозы PECOTA публикуются как в ежегодных сборниках Baseball Prospectus , так и в более подробной форме на веб-сайте BaseballProspectus.com, работающем по подписке. PECOTA также вдохновила создание аналогичных проекционных систем для других профессиональных видов спорта: KUBIAK для Национальной футбольной лиги , SCHOENE. и КАРМЕЛО для Национальной баскетбольной ассоциации и ВУКОТА для Национальной хоккейной лиги .

PECOTA прогнозирует результаты игрока во всех основных категориях, используемых в типичных фэнтезийных бейсбольных играх; он также прогнозирует добычу в расширенных саберметрических категориях, разработанных Baseball Prospectus (например, VORP и EqA ). Кроме того, PECOTA прогнозирует несколько сводных диагностических показателей, таких как показатели прорыва, улучшения и темпы истощения, а также рыночную стоимость игроков. Логика и методология, лежащие в основе PECOTA, были описаны в нескольких публикациях, но подробные формулы являются собственностью компании и не были доведены до сведения исследовательского сообщества в области бейсбола.

Методология

Сильвер описал вдохновение для своего подхода следующим образом:

Основная идея PECOTA на самом деле представляет собой слияние двух разных вещей – работы [Билла] Джеймса над показателями сходства и работы Гэри Хакабея над Владом, предыдущей системой прогнозирования [Бейсбольного проспекта], которая пыталась назначить игроков на несколько различных карьерных путей. Я думаю, что Гэри использовал что-то вроде тринадцати или пятнадцати отдельных карьерных путей, и все, что на самом деле делает PECOTA, — это доводит это до логического предела, когда по сути существует отдельный карьерный путь для каждого игрока в истории высшей лиги. Оценки сопоставимости — это механизм, с помощью которого компания выбирает среди этих карьерных путей.

Сопоставимые игроки

PECOTA полагается на сопоставление статистики прошлых выступлений конкретного игрока с результативностью «сопоставимых» игроков Высшей лиги с помощью оценок сходства . Как описано в глоссарии веб-сайта Baseball Prospectus:

PECOTA сравнивает каждого игрока с базой данных примерно 20 000 сезонов лучших лиг со времен Второй мировой войны. Кроме того, он также опирается на базу данных примерно 15 000 переведенных сезонов низших лиг (1997–2006 гг.) Для игроков, которые провели большую часть своего предыдущего сезона в низших лигах. ... PECOTA учитывает четыре широкие категории качеств при определении сопоставимости игрока:

1. Показатели производительности – такие как средний показатель ударов, изолированная мощность и частота непреднамеренных прогулок для нападающих или частота аутов и частота ударов по мячу для питчеров.

2. Показатели использования, включая продолжительность карьеры и количество выступлений на тарелках или подач.

3. Фенотипические характеристики, включая руку, рост, вес, стаж карьеры (для игроков высшей лиги) и уровень низшей лиги (для перспективных игроков).

4. Позиция на поле (для нападающих) или стартовая/вспомогательная роль (для питчеров). ... В большинстве случаев база данных достаточно велика, чтобы обеспечить достаточно большой набор подходящих сопоставимых данных. В противном случае программа предназначена для «мошенничества», расширяя свою терпимость к разным игрокам до тех пор, пока не будет достигнут разумный размер выборки.

PECOTA использует анализ ближайших соседей , чтобы сопоставить отдельного игрока с набором других игроков, наиболее похожих на него. Несмотря на то, что PECOTA опирается на основную концепцию оценок сходства Билла Джеймса , PECOTA рассчитывает эти оценки особым способом, который приводит к совершенно иному набору «сопоставимых объектов», чем метод Джеймса. Кроме того, Сильвер описывает следующую отличительную особенность:

Оценки сходства PECOTA основаны в первую очередь на трехлетнем периоде результативности питчера. Таким образом, мы могли бы посмотреть на то, что делал питчер в возрасте 35–37 лет, и сравнить это с результативностью большинства аналогичных игроков в возрасте 35–37 лет, с поправкой на парки, влияние лиги и целый ряд других факторов. Это отличается от оценок сходства, которые вы можете увидеть на сайте baseball-reference.com или в других местах, которые пытаются оценить всю карьеру игрока до определенного возраста.

После того как для каждого игрока определен набор «сопоставимых показателей», прогноз его будущих результатов основывается на исторических результатах его «сопоставимых показателей». Например, прогноз выступления 26-летнего игрока в предстоящем сезоне будет основан на том, как наиболее сопоставимые 26-летние игроки Высшей лиги выступили в своем последующем сезоне.

Для нападающих и питчеров разрабатываются отдельные наборы прогнозов.

Периферийная статистика

PECOTA также во многом полагается на использование периферийной статистики для прогнозирования будущих результатов конкретного игрока. Например, опираясь на данные, полученные в результате использования независимой от защиты статистики подачи , PECOTA прогнозирует будущие результаты питчера в определенной области, используя информацию о его прошлых результатах в других областях. Как пишет бейсбольный аналитик и журналист Алан Шварц : «Сильвер... разработал сложный алгоритм дисперсии, который исследовал статистику каждого питчера высшей лиги с 1946 года, чтобы определить, какие цифры лучше всего прогнозируют эффективность, в частности средний заработанный результат . Его выводы противоречат здравому смыслу большинству болельщиков. «Когда вы пытаетесь предсказать будущие ERA с помощью прошлых ERA, вы совершаете ошибку», - сказал Сильвер, что наиболее прогнозирующими статистическими данными, со значительным отрывом, являются процент аутов питчера и разрешенная частота хоум-ранов. Разрывы влево-вправо и другие данные меньше говорят о будущем питчера».

Распределения вероятностей

Вместо того, чтобы сосредотачиваться на точечных оценках будущих результатов игрока (таких как средний показатель ударов, хоум-раны и ауты), PECOTA полагается на исторические результаты «сопоставимых» данных данного игрока, чтобы получить вероятностное распределение прогнозируемых результатов данного игрока. производительность в течение следующих пяти лет. Алан Шварц подчеркнул эту особенность PECOTA: «Что отличает Pecota от множества систем прогнозирования, которые сторонние специалисты разработали на протяжении многих десятилетий, так это то, как она признает и даже выставляет напоказ неопределенность прогнозирования навыков игрока. Вместо того, чтобы генерировать одну строку ожидаемой статистики Пекота представляет семь — некоторые оптимистичные, некоторые пессимистичные — каждый со своим уровнем достоверности. Система очень напоминает прогнозирование траекторий ураганов: игроки могут идти в разных направлениях, поэтому готовиться только к одному глупо». Сильвер написал:

Эта процедура требует от нас привыкнуть к вероятностному мышлению. Хотя большинство игроков определенного типа могут прогрессировать определенным образом – скажем, рано достигать пика – всегда будут исключения. Более того, сопоставимые игроки не всегда могут выступать в соответствии со своим истинным уровнем способностей. Иногда кажется, что они превышают его в любой конкретный сезон, а иногда и отстают из-за проблем с размером выборки, которые мы описали ранее.

PECOTA учитывает такого рода факторы, создавая не единую точку прогноза, как это делают другие системы, а скорее диапазон возможных результатов, которых игрок может ожидать с разными уровнями вероятности. Вместо того, чтобы говорить вам, что пойдет дождь, мы говорим вам, что вероятность дождя составляет 80%, потому что в 80% случаев, когда эти атмосферные условия возникли во вторник, дождь шел в среду.

Конечно, этот подход более сложен, чем стандартный метод применения поправки на возраст, основанный на «среднем» ходе развития всех игроков на протяжении всей истории. Тем не менее, он также намного более репрезентативен для реальности и к тому же более точен.

Командные усилия

Хотя Сильвер был создателем PECOTA, составление прогнозов PECOTA было коллективной работой: «Может быть, я и «парень из PECOTA», но это во многом командная работа», — сказал Сильвер о сотрудниках BP. «Мы все это делаем. Это мое детище, но чтобы запустить PECOTA, нужна целая деревня». Например, PECOTA использует переводы Клея Дэвенпорта (так называемые Davenport Translations или DT) статистики низших лиг и международного бейсбола, чтобы оценить эквивалентную результативность каждого игрока в высшей лиге. Таким образом, PECOTA может делать прогнозы для более чем 1600 игроков каждый год, включая многих игроков с небольшим опытом работы в высшей лиге или вообще без него.

Предсезонные прогнозы на 2009 год были последними, за которые Сильвер взял на себя основную ответственность. В марте 2009 года Сильвер объявил, что чрезвычайно сложный и трудоемкий набор манипуляций с базами данных и вычислений PECOTA будет перенесен на другую платформу . Хотя Бейсбольный проспект был владельцем PECOTA с тех пор, как Сильвер продал его им в 2003 году – а Сильвер руководил и взял на себя ответственность за прогнозы – отныне прогнозы PECOTA будут создаваться командой Бейсбольного проспекта, первоначально за эту работу отвечал Клэй Дэвенпорт. а позже, в течение сезона 2013 года, Колин Уайерс возглавлял производство и усовершенствования PECOTA.

Альтернативные системы прогнозирования

Большинство других популярных систем прогнозирования не используют подход «сопоставимых игроков». Вместо этого большинство из них полагаются на прямые прогнозы прошлых результатов игрока на его будущие результаты, обычно используя в качестве базового показателя средневзвешенное значение результатов игрока за предыдущие три года. Как и PECOTA, многие из этих систем также корректируют прогнозы старения, парковых эффектов и регрессии к среднему значению . Как и PECOTA, они также могут корректировать соревновательную сложность каждой из двух высших лиг. Однако системы отличаются друг от друга типами и интенсивностью возрастных корректировок, оценками регрессионного эффекта, корректировками парков и корректировками сложности лиг, которые они могут вносить, а также тем, используют ли они показатели сходства. PECOTA также делает прогнозы для гораздо большего числа игроков, чем другие системы, поскольку PECOTA полагается на скорректированную статистику низшей лиги, а также статистику высшей лиги, а пытается сделать прогнозы для всех игроков в расширенных составах также высшей лиги (40 игроков на команду). как и другие перспективы .

Начиная с 2000 года «Кливленд Индианс» разработали собственную аналитическую базу данных под названием DiamondView для оценки разведывательной информации, собранной командой; позже в эту систему были включены показатели результативности игроков и финансовые показатели для целей оценки и прогнозирования результативности всех игроков высшей лиги. В течение 2008–2009 годов « Питтсбург Пайрэтс» занимались разработкой MITT («Управление, информация, инструменты и таланты»), собственной базы данных, которая объединяет отчеты о разведке, медицинскую информацию и информацию о контрактах, а также статистику производительности и прогнозы.

Обновления и исправления

Впервые представленный в 2003 году, Прогнозы PECOTA составляются каждый год и публикуются как в ежегодных монографиях Baseball Prospectus , так и на веб-сайте BaseballProspectus.com. С 2003 года PECOTA претерпела несколько улучшений. В версии 2006 года были введены показатели рыночной оценки игроков на основе прогнозируемых уровней производительности. В версии 2007 года были внесены поправки на эффекты лиг, чтобы учесть различия в конкурентной среде двух высших лиг. В обновлении 2008 года были учтены различия в результативности игроков в первой и второй половинах предыдущего сезона, а также разделение взводов (насколько хорошо игрок выступал против нападающих или питчеров, которые были левшами или правшами). Он также учитывал базовый бег. В 2009 году Baseball Prospectus представил сезонные прогнозы PECOTA, чтобы обновить и дополнить прогнозы на начало сезона. В 2012 году PECOTA существенно изменила способ оценки результатов прошлых лет при установлении базового уровня для прогнозов. Кроме того, к карточкам PECOTA отдельных игроков, публикуемым в Интернете, были добавлены прогнозы на 10 лет и процентильные прогнозы.

Точность

Хотя Бейсбольный проспект коммерчески рекламирует PECOTA как «смертельно точную», все проекционные системы подвержены значительной неопределенности. Сравнение показало, что PECOTA превзошла несколько других систем прогнозирования на сезон 2006 года в прогнозировании OPS . она работала почти так же хорошо, как и лучшие другие системы В прогнозировании ERA . Хотя прогнозы PECOTA сделаны для более чем 1000 нападающих каждый сезон, в оценку системы вошли лишь немногим более 100 игроков, которые имели минимум 500 игроков высшей лиги AB и также были включены в прогнозы других систем. Сравнение производительности альтернативных проекционных систем для нападающих, проведенное Нейтом Сильвером в 2007 году, также показало, что PECOTA лидирует, хотя несколько других были близки.

Несмотря на то, что PECOTA разработана в первую очередь для прогнозирования результатов отдельных игроков, она также применяется для прогнозирования результатов команд . Для этой цели составляются прогнозируемые диаграммы глубины команды с прогнозируемым игровым временем для каждого члена команды на основе экспертных рекомендаций сотрудников Бейсбольного проспекта. Количество ранов, которые команда забьет и пропустит в предстоящем сезоне, оценивается на основе игрового времени и прогнозируемых PECOTA индивидуальных результатов каждого игрока с использованием алгоритма «Предельной ценности состава», созданного Дэвидом Тейтом и доработанного Китом Вулнером . Ожидаемые победы команды основаны на применении улучшенной версии формулы Пифагора Билла Джеймса к расчетному количеству ранов, набранных и разрешенных списком игроков при данных предположениях о игровом времени.

PECOTA использовалась в предсезонных прогнозах того, сколько побед одержат команды, а в середине сезона — количество побед, которые одержит каждая команда, и ее шансы на выход в плей-офф. В 2006 году предсезонные прогнозы PECOTA выгодно отличались от других систем прогнозирования (включая коэффициенты линии ставок в Лас-Вегасе ) в предсказании количества побед, которые команды заработают в течение сезона. Независимая оценка веб-сайта Vegas Watch показала, что PECOTA имела наименьшую ошибку в предсказании побед команд Высшей лиги в 2008 году среди всех наиболее известных прогнозов, как тех, которые были основаны на саберметрических методах, так и тех, которые основывались на индивидуальном опыте. Однако в 2009 году PECOTA отстала от всех известных прогнозистов.

Итоги сезонов с 2003 по 2007 год показывают, что средняя ошибка PECOTA между прогнозируемыми и фактическими победами команды снизилась: 2003 г. – 5,91 победы; 2004 г. – 7,71 победы; 2005 г. – 5,14 победы; 2006 г. – 4,94 победы; 2007 4,31 победы. Сильвер предполагает, что улучшение произошло отчасти благодаря учету оборонных показателей в прогнозах, начиная с 2005 года. В 2008 году средняя ошибка составила 8,5 побед.

Источники

• Джона Кери , «Пришло время проектировать статистику», ESPN.com , 14 февраля 2007 г.
• Рич Ледерер, «Нефильтрованное интервью с Нейтом Сильвером», BaseballAnalysts.com , 12 февраля 2007 г.
• Алан Шварц , «Цифры говорят о том, что Метс делают ставку на Самбрано», New York Times , 22 августа 2004 г.
• Нейт Сильвер, «Наука прогнозирования», BaseballProspectus.com , 11 марта 2004 г.
• Нейт Сильвер, «Представляем PECOTA», Baseball Prospectus 2003 (Dulles, VA: Brassey's Publishers, 2003): 507–514.
• Нейт Сильвер, «PECOTA выходит на поле боя: каковы ее результаты по сравнению с шестью другими проекционными системами?» BaseballProspectus.com , 16 января 2004 г.
• Нейт Сильвер, «PECOTA 2004: взгляд назад и взгляд вперед», Baseball Prospectus 2004 (Нью-Йорк: Workman Publishers, 2004): 5–10.
• Нейт Сильвер, «Реорганизация PECOTA», Baseball Prospectus, 2006 (Нью-Йорк: Workman Publishers, 2006): 6–11.
• Нейт Сильвер, «Почему Кевин Маас обанкротился?» Бейсбол между цифрами , Джона Кери, Ред. (Нью-Йорк: Basic Books, 2006): 253–271.
• Дэйв ван Дайк, «Прогнозы: игнорируйте их на свой страх и риск», Chicago Tribune , 9 марта 2008 г.
• Чайлдс Уокер, «Бейсбольный проспект делает предсказание будущего делом прошлого», Baltimore Sun, 21 февраля 2006 г.