Проект «Здравое суждение»
Проект Good Judgment Project ( GJP ) — это организация, призванная «использовать мудрость толпы для прогнозирования мировых событий». Его соавторами выступили Филип Э. Тетлок (автор книги «Суперпрогнозирование и экспертное политическое суждение »), специалист по принятию решений Барбара Меллерс и Дон Мур , профессора Пенсильванского университета . [1] [2] [3]
Проект начался как участник программы Aggregative Contingent Estimation (ACE) в рамках программы перспективных исследовательских проектов в области разведки (IARPA). [4] [5] Затем он распространил свою мудрость толпы на коммерческую деятельность, нанимая прогнозистов и объединяя предсказания наиболее исторически точных из них для прогнозирования будущих событий . [6] [7] Прогнозы оцениваются с использованием оценок Брайера . [8] Лучшие прогнозисты GJP «по сообщениям, на 30% лучше, чем офицеры разведки, имеющие доступ к реальной секретной информации». [9]
История
[ редактировать ]Проект «Здравое суждение» начался в июле 2011 года в сотрудничестве с Программой совокупной оценки контингентов (ACE) IARPA (IARPA-ACE). [10] Первый конкурс стартовал в сентябре 2011 года. [11] GJP был одним из многих участников турнира IARPA-ACE, который ежегодно задавал от 100 до 150 вопросов о геополитических событиях. Исследовательская группа GJP собрала большое количество талантливых любителей (а не экспертов в области геополитики), дала им базовые уроки по лучшим практикам прогнозирования и преодолению когнитивных предубеждений , а также создала алгоритм агрегирования для объединения отдельных прогнозов прогнозистов. [5] [12] GJP выиграла оба сезона конкурса и была на 35–72% точнее, чем любая другая исследовательская группа. [13] Начиная с лета 2013 года, GJP была единственной исследовательской группой, которую IARPA-ACE все еще финансировала, а участники GJP имели доступ к Интегрированной системе раннего предупреждения конфликтов . [8]
Люди
[ редактировать ]В число соруководителей GJP входят Филип Тетлок , Барбара Меллерс и Дон Мур . [1] На веб-сайте перечислено в общей сложности около 30 членов команды, включая соруководителей, а также Дэвида Будеску , Лайл Унгар , Джонатана Бэрона и предпринимателя на рынках прогнозов Эмиля Серван-Шрайбера. [14] В консультативный совет входили Дэниел Канеман , Роберт Джервис , Дж. Скотт Армстронг , Майкл Мобуссен , Карл Спецлер и Джастин Вулферс . [15] В исследовании приняли участие несколько тысяч человек в качестве синоптиков-добровольцев. [12] Используя тесты на личностные качества, методы обучения и стратегии, исследователи из GJP смогли отобрать участников прогнозирования с меньшими когнитивными искажениями, чем у обычного человека; Поскольку конкурс прогнозистов продолжался, исследователи смогли дополнительно отобрать этих людей в группы так называемых суперпрогнозистов . Всего в прошлом сезоне GJP приняли участие 260 суперпрогнозистов. [ нужна ссылка ]
Исследовать
[ редактировать ]Значительный объем исследований был проведен на основе проекта «Здравое суждение» людьми, участвовавшими в нем. [16] Результаты показывают, что сочетание статистики, психологии, обучения и различных уровней взаимодействия между отдельными прогнозистами неизменно давало лучший прогноз в течение нескольких лет подряд. [12]
Good Judgment Inc.
[ редактировать ]Коммерческое подразделение Good Judgment Project начало работать в сети в июле 2015 года под названием Good Judgment Inc. Их услуги включают прогнозы по вопросам, представляющим общий интерес, индивидуальные прогнозы и обучение методам прогнозирования Good Judgment. [17] Начиная с сентября 2015 года Good Judgment Inc проводит публичный турнир по прогнозированию на сайте Good Judgment Open. Как и проект Good Judgment Project, Good Judgment Open задает вопросы о геополитических и финансовых событиях, а также о политике, развлечениях и спорте США. [18] [19]
Освещение в СМИ
[ редактировать ]GJP неоднократно обсуждался в The Economist . [11] [20] [21] [22] GJP также освещался в The New York Times . [3] Вашингтон Пост , [5] [23] [24] и Сосуществовать. [25] 2 апреля 2014 года NPR выпустило в эфир отрывок из проекта «Здравое суждение» под названием «Итак, вы думаете, что вы умнее агента ЦРУ». [9] Газета Financial Times опубликовала статью о GJP 5 сентября 2014 года. [26] Вашингтониан опубликовал статью, в которой упоминается GJP, 8 января 2015 года. [27] BBC опубликовали и The Washington Post статьи о GJP соответственно 20, 21 и 29 января 2015 года. [28] [29] [30]
29 января 2015 года « Альманах Менло-Парка» опубликовал статью о GJP. [31] Статья о GJP появилась на портале Philadelphia Inquirer Philly.com 4 февраля 2015 года. [32] В книге « Мудрее: выход за пределы группового мышления, чтобы сделать группы умнее» есть раздел, в котором подробно описывается участие GJP в турнире, проводимом IARPA. [33] Psychology Today опубликовала в Интернете короткую статью, обобщающую работу Меллерса и др ., в которой подводятся итоги основных выводов GJP. [34] [35]
Проект породил книгу 2015 года Тетлока и Дэна Гарднера в соавторстве « Суперпрогнозирование – искусство и наука прогнозирования» , в которой излагаются основные результаты исследования, проведенного с использованием данных GJP. [36] Соавтор Гарднер уже опубликовал книгу в 2010 году, в которой цитировались предыдущие исследования Тетлока, положившие начало усилиям GJP. [37] В обзоре книги, опубликованном в печатном издании журнала Economist от 26 сентября 2015 г., обсуждаются основные концепции. [38] В статье Wall Street Journal она описывается так: «Самая важная книга о принятии решений со времен книги Дэниела Канемана « Думай быстро и медленно ». [39] Harvard Business Review сравнил его с книгой Как не ошибаться: сила математического мышления» Джордана Элленберга « . [40] 30 сентября 2015 года NPR показало выпуск шоу Колина Макинроя, посвященный GJP и книге «Суперпрогнозирование» ; Гостями шоу были Тетлок, директор IARPA Джейсон Мэтени и суперпрогнозист Элейн Рич. [41]
См. также
[ редактировать ]- Мудрость толпы
- Агрегатная условная оценка
- Деятельность в области перспективных исследовательских проектов в области разведки
- SciCast
Ссылки
[ редактировать ]- ^ Перейти обратно: а б «Добро пожаловать в проект «Здравое суждение»» . Проект «Здоровое суждение» . Проверено 5 мая 2014 г.
- ^ «Кто есть кто в проекте «Здравое суждение»» . Проект «Здоровое суждение». 27 июля 2011 года . Проверено 5 мая 2014 г.
- ^ Перейти обратно: а б Брукс, Дэвид (21 марта 2013 г.). «Прогнозирующая Лиса» . Нью-Йорк Таймс . Проверено 5 мая 2014 г.
- ^ «Проект» . Проект «Здоровое суждение». Архивировано из оригинала 6 мая 2014 года . Проверено 5 мая 2014 г.
- ^ Перейти обратно: а б с Горовиц, Майкл (26 ноября 2013 г.). «Здравый смысл в прогнозировании международных событий (и приглашение на третий сезон)» . Вашингтон Пост . Проверено 5 мая 2014 г.
- ^ «О суперпрогнозировании | Беспрецедентно точное и точное прогнозирование» . Хорошее суждение . Проверено 17 февраля 2022 г.
- ^ Мэтьюз, Дилан (16 февраля 2022 г.). «Как мы можем предотвратить крупные конфликты, такие как российско-украинская война?» . Вокс . Проверено 17 февраля 2022 г.
- ^ Перейти обратно: а б Дикенсон, Мэтт (12 ноября 2013 г.). «Прогнозирование и здравый смысл: может ли ICEWS служить основой для прогнозов?» . Прогнозирующая эвристика . Проверено 24 мая 2014 г.
- ^ Перейти обратно: а б Шпигель, Аликс. «Итак, вы думаете, что вы умнее агента ЦРУ» . NPR.org . Проверено 18 августа 2014 г.
- ^ «Идея проекта «Здравое суждение»» . Проект «Здоровое суждение». 27 июля 2011. Архивировано из оригинала 6 мая 2014 года . Проверено 5 мая 2014 г.
- ^ Перейти обратно: а б «Опасности прогнозирования: приключения ученых мужей» . Экономист . 2 сентября 2011 года . Проверено 6 мая 2014 г.
- ^ Перейти обратно: а б с Меллерс, Барбара; Унгар, Лайл; Барон, Джонатан; Рамос, Хайме; Гурсай, Бурку; Финчер, Катрина; Скотт, Сидней Э.; Мур, Дон; Атанасов Павел; Свифт, Сэмюэл А.; Мюррей, Терри; Стоун, Эрик; Тетлок, Филип Э. (01 мая 2014 г.). «Психологические стратегии победы в турнире по геополитическому прогнозированию» . Психологическая наука . 25 (5): 1106–1115. дои : 10.1177/0956797614524255 . ISSN 1467-9280 . ПМИД 24659192 . S2CID 42143367 .
- ^ «Первый чемпионский сезон» . Хорошее суждение . Проверено 17 февраля 2022 г.
- ^ "Команда" . Проект «Здоровое суждение» . Проверено 5 мая 2014 г.
- ^ «Фрикономика» . Зарегистрируйтесь на турнир по прогнозам . 04 августа 2011 г.
- ^ Несколько источников:
- Атанасов Павел; Рескобер, Филипп; Стоун, Эрик; Свифт, Сэмюэл А.; Серван-Шрайбер, Эмиль; Тетлок, Филип; Унгар, Лайл; Меллерс, Барбара (22 апреля 2016 г.). «Извлечение мудрости толпы: рынки прогнозов против опросов прогнозов» . Наука управления . 63 (3): 691–706. дои : 10.1287/mnsc.2015.2374 . ISSN 0025-1909 .
- Унгар, Лайл; Меллерс, Барбара; Сатопя, Вилле; Барон, Джон; Тетлок, Филип Э .; Рамос, Хайме; Свифт, Сэм. «Проект «Здравое суждение»: крупномасштабное тестирование различных методов объединения экспертных прогнозов» . Ассоциация по развитию искусственного интеллекта .
- Улфельдер, Джей (27 марта 2014 г.). Использование «мудрости (экспертной) толпы» для прогнозирования массовых злодеяний (Отчет). дои : 10.2139/ssrn.2418980 . ССНР 2418980 .
- Атанасов П.; Витковски Дж.; Унгар, Л.; Меллерс, Б.; Тетлок, П. (2020). «Маленькие шаги к точности: люди, которые постепенно обновляют прогнозы, становятся лучшими прогнозистами» . Организационное поведение и процессы принятия человеческих решений . 160 : 19–35. дои : 10.1016/j.obhdp.2020.02.001 . S2CID 216273470 .
- ^ Броуди, Лиз (1 января 2022 г.). «Познакомьтесь с элитной командой суперпрогнозистов, превративших взгляд в будущее в науку» . Предприниматель .
- ^ Госсетт, Стивен (6 августа 2020 г.). «Как суперпрогнозисты проекта Good Judgment Project используют данные для прогнозирования» . встроенный.com . Проверено 7 июня 2022 г.
- ^ «Good Judgment® Open» . www.gjopen.com . Проверено 17 февраля 2022 г.
- ^ «Денежно-кредитная политика: насколько вероятна дефляция?» . Экономист . 13 сентября 2011 года . Проверено 6 мая 2014 г.
- ^ «Международный: Кто хорош в прогнозах? Как отличить лучших от остальных» . Экономист . 18 ноября 2013 года . Проверено 6 мая 2014 г.
- ^ «Лучшие ставки экспертов» . Экономист . 10 ноября 2021 г. Проверено 7 июня 2022 г.
- ^ Игнатий, Дэвид (1 ноября 2013 г.). «Больше болтовни, чем нужно» . Вашингтон Пост . Проверено 6 мая 2014 г.
- ^ Бендер, Джереми (3 апреля 2014 г.). «Огромный эксперимент показал, что обычные люди предсказывают мировые события лучше, чем агенты ЦРУ» . Бизнес-инсайдер . Проверено 6 мая 2014 г.
- ^ «Удивительная точность краудсорсинговых предсказаний о будущем. Знаете ли вы, получит ли Турция новую конституцию? Оказывается, да: группа хорошо информированных граждан может предсказывать будущие события чаще, чем любой эксперт по внешней политике или аналитик ЦРУ» . Сосуществовать. 21 апреля 2014 года . Проверено 6 мая 2014 г.
- ^ Харфорд, Тим (5 сентября 2014 г.). «Как заглянуть в будущее» . Файнэншл Таймс . ISSN 0307-1766 . Проверено 5 сентября 2014 г.
- ^ Гамильтон, Киган (8 января 2015 г.). «Как агентства США используют Интернет, чтобы завладеть нашими мозгами» . Вашингтонский . Проверено 24 января 2015 г.
- ^ Бертон, Тара (20 января 2015 г.). «Смогли бы вы стать «суперпрогнозистом»?» . BBC Будущее . Проверено 21 января 2015 г.
- ^ Дженсен, Натан (21 января 2015 г.). «Эксперты видят в республиканском Сенате и ускорении власти Обамы ключ к новым торговым соглашениям» . Вашингтон Пост . ISSN 0190-8286 . Проверено 21 января 2015 г.
- ^ Меллерс, Барбара; Майкл К. Горовиц (29 января 2015 г.). «Кто-нибудь делает точные геополитические прогнозы?» . Вашингтон Пост . ISSN 0190-8286 . Проверено 30 января 2015 г.
- ^ «Очерк: Боб Сойер из Вудсайда обнаруживает свой скрытый талант в прогнозировании» . Проверено 17 марта 2015 г.
- ^ Дриббен, Мелисса; Штатный автор Inquirer (04 февраля 2015 г.). «Гадание: толпы превосходят экспертов» . Филли.com . Проверено 6 февраля 2015 г.
- ^ Санстейн, Касс Р .; Хасти, Рид (23 декабря 2014 г.). Мудрее: выход за рамки группового мышления, чтобы сделать группы умнее . Harvard Business Review Press. ISBN 978-1-4221-2299-0 .
- ^ «Кто лучше всего предсказывает будущее? (и как стать лучше)» . Психология сегодня . Проверено 11 июля 2015 г.
- ^ Меллерс, Барбара; Стоун, Эрик; Мюррей, Терри; Минстер, Анджела; Рорбо, Ник; Бишоп, Майкл; Чен, Ева; Бейкер, Джошуа; Хоу, Юань; Горовиц, Майкл; Унгар, Лайл; Тетлок, Филип (01 мая 2015 г.). «Выявление и развитие суперпрогнозистов как метод улучшения вероятностных прогнозов» . Перспективы психологической науки . 10 (3): 267–281. дои : 10.1177/1745691615577794 . ISSN 1745-6916 . ПМИД 25987508 . S2CID 3118872 .
- ^ Тетлок, Филип Э.; Гарднер, Дэн (29 сентября 2015 г.). Суперпрогнозирование — искусство и наука прогнозирования . Нью-Йорк: Корона. ISBN 978-0-8041-3669-3 .
- ^ Гарднер, Дэн (12 октября 2010 г.). Будущее болтовня: почему прогнозы экспертов терпят неудачу и почему мы все равно им верим . Макклелланд и Стюарт.
- ^ «Безоблачное видение» . Экономист . 26 сентября 2015 г. ISSN 0013-0613 . Проверено 24 сентября 2015 г.
- ^ Цвейг, Джейсон. «Можете ли вы видеть будущее? Вероятно, лучше, чем профессиональные прогнозисты» . Уолл Стрит Джорнал . Проверено 25 сентября 2015 г.
Я думаю, что книга Филипа Тетлока «Суперпрогнозирование: искусство и наука прогнозирования» ... является самой важной книгой по принятию решений со времен книги Дэниела Канемана «Думай быстро и медленно».
- ^ Фрик, Уолтер. «Уверенность в вопросе» . Гарвардское деловое обозрение . Проверено 26 сентября 2015 г.
- ^ Макинрой, Колин; Вольф, Хион. «Шоу Колина Макинроя» . ВНПР. Национальное общественное радио . Проверено 1 октября 2015 г.