Калиброванная оценка вероятности
Калиброванные оценки вероятности представляют собой субъективные вероятности, присваиваемые людьми, которые были обучены оценивать вероятности таким образом, чтобы исторически отражать их неопределенность. [1] [2] Например, когда человек откалибровал ситуацию и говорит, что он «на 80% уверен» в каждом из 100 сделанных им прогнозов, около 80% из них он оправдает. Точно так же они будут правы в 90% случаев, когда заявят, что уверены на 90%, и так далее.
Обучение калибровке улучшает субъективные вероятности, потому что большинство людей либо «чрезмерно самоуверенны», либо «недостаточно самоуверенны» (обычно первое). [3] Практикуясь в серии простых вопросов, испытуемые могут отточить свою способность оценивать вероятности. Например, субъекта можно спросить:
- Правда или ложь: «Хоккейная шайба помещается в лунку для гольфа»
- Уверенность: выберите вероятность, которая лучше всего отражает ваш шанс правильно ответить на этот вопрос...
- 50% 60% 70% 80% 90% 100%
Если человек понятия не имеет, он скажет, что уверен только на 50%. Если они абсолютно уверены в своей правоте, они скажут 100%. Но большинство людей ответят где-то посередине. Если калиброванному человеку задать большое количество таких вопросов, он ответит примерно столько правильных, сколько ожидал. Некалиброванный человек, который систематически проявляет чрезмерную самоуверенность, может сказать, что он уверен на 90% в большом количестве вопросов, из которых он дает правильные ответы только на 70%. С другой стороны, некалиброванный человек, который систематически неуверен в себе, может сказать, что он на 50% уверен в большом количестве вопросов, но на самом деле 70% из них он отвечает правильно.
В качестве альтернативы стажеру будет предложено указать числовой диапазон для вопроса типа «В каком году Наполеон вторгся в Россию?», с указанием, что предоставленный диапазон должен представлять 90% доверительный интервал. То есть испытуемый должен быть на 90% уверен, что диапазон содержит правильный ответ.
Обучение калибровке обычно включает в себя проведение ряда таких тестов. Между тестами обеспечивается обратная связь, и испытуемые уточняют свои вероятности. Обучение калибровке может также включать изучение других методов, которые помогают компенсировать постоянную чрезмерную или недостаточную уверенность. Поскольку испытуемые лучше делают ставки, когда притворяются, что ставят деньги, [1] испытуемых учат, как превратить калибровочные вопросы в своего рода игру со ставками, которая, как показано, улучшает их субъективные вероятности. [4] Были разработаны различные совместные методы, такие как рынок прогнозов , чтобы можно было принять во внимание субъективные оценки нескольких людей.
Методы стохастического моделирования, такие как метод Монте-Карло, часто используют субъективные оценки «экспертов в данной области». Исследования показывают, что такие эксперты, скорее всего, будут статистически чрезмерно самоуверенными, и поэтому модель будет иметь тенденцию недооценивать неопределенность и риск. Обучение калибровке используется для повышения способности человека давать точные оценки для стохастических методов. Исследования показали, что большинство людей можно было бы откалибровать, если бы они потратили на это время, и что калибровка человека, то есть способность давать точные оценки, переносится на оценки, предоставляемые для контента, выходящего за рамки тренинга по калибровке, например, области работы человека. [5] Такая калибровка может лишь в некоторой степени повысить точность и предполагает использование корректирующих технологий в дополнение к калибровке экспертов. [6]
Метод прикладной информационной экономики [ нужны разъяснения ] систематически использует калибровочное обучение как часть процесса моделирования решений. [ нужна ссылка ]
Критика калибровки
[ редактировать ]Один из выводов в книге «Калибровка вероятностей: современное состояние до 1980 года» заключался в том, что обучение может улучшить калибровку лишь в ограниченной степени. [1]
См. также
[ редактировать ]- Эффект Даннинга-Крюгера - когнитивная предвзятость в отношении собственных навыков.
- Последовательность (философская стратегия азартных игр) , также известная как игра Де Финетти – мысленный эксперимент, оправдывающий байесовскую вероятность.
- Калибровка (статистика) – неоднозначный термин в статистике.
- Эффект чрезмерной самоуверенности – личностная когнитивная предвзятость.
Ссылки
[ редактировать ]- ^ Jump up to: а б с С. Лихтенштейн, Б. Фишхофф и Л.Д. Филлипс, «Калибровка вероятностей: современное состояние до 1980 года», в книге « Суждение в условиях неопределенности: эвристика и предвзятость» , изд. Д. Канеман и А. Тверски (Издательство Кембриджского университета, 1982).
- ^ Дж. Эдвард Руссо, Пол Дж. Шумейкер , Ловушки принятия решений , Simon & Schuster, 1989
- ↑ Регина Квон, «Проблема вероятности», журнал Baseline, 10 декабря 2001 г.
- ^ Дуглас Хаббард «Как измерить что-либо: определение ценности нематериальных активов в бизнесе», John Wiley & Sons, 2007 г.
- ^ Кинн, М. (2008), Предвзятость «эвристики и предубеждений» при сборе информации от экспертов. Журнал Королевского статистического общества, серия A (Статистика в обществе), 171: 239–264. doi:10.1111/j.1467-985X.2007.00499.x
- ^ Лихтенштейн С. и Фишхофф Б. (1980). Обучение калибровке. Организационное поведение и эффективность работы человека, 26 (2), 149–171. дои: 10.1016/0030-5073(80)90052-5
Внешние ссылки
[ редактировать ]- credence Calibration.com , онлайн-игра для калибровки оценки вероятности.