Слова оценочной вероятности
Слова оценочной вероятности ( WEP или WEP ) — это термины, используемые аналитиками разведки при составлении аналитических отчетов для передачи вероятности возникновения будущего события. Правильно выбранный WEP дает лицу, принимающему решения, четкую и недвусмысленную оценку, на которой можно основывать свое решение. Неэффективные WEP неясны или вводят в заблуждение относительно вероятности события. Неэффективный WEP ставит лицо, принимающее решения, в роль аналитика, увеличивая вероятность принятия неверных или поспешных решений. Некоторые провалы разведки и политики, судя по всему, связаны с неточным использованием оценочных слов. [ нужна цитата ]
История [ править ]
Интеллект [ править ]
В 1964 году Шерман Кент , один из первых авторов официальной дисциплины анализа разведывательных данных, обратился к проблеме вводящих в заблуждение выражений шансов в оценках национальной разведки (NIE). В «Словах оценочной вероятности» Кент провел различие между «поэтами» (предпочитающими многословные вероятностные утверждения) и «математиками» (предпочитающими количественные шансы). Чтобы преодолеть разрыв между ними и лицами, принимающими решения, Кент разработал парадигму, связывающую оценочные термины с шансами. Его цель заключалась в том, чтобы «... изложить выводы сообщества таким образом, чтобы прояснить читателю, что является достоверным знанием, а что — обоснованным суждением, и в этой обширной сфере суждений, какие различные степени уверенности лежат за каждым ключом. приговор». [1] Инициатива Кента не была принята, хотя идея была хорошо принята и остается привлекательной и сегодня. [ нужна цитата ]
| Таблица 1: «Слова об оценочной вероятности» Кента [2] | ||
|---|---|---|
| Определенный | 100% | Плюс-минус 0% |
| Общая область возможностей | ||
| Почти наверняка | 93% | Плюс-минус около 6% |
| Вероятный | 75% | Плюс-минус около 12% |
| Шансы примерно равны | 50% | Плюс-минус около 10% |
| Возможно нет | 30% | Плюс-минус около 10% |
| Почти наверняка нет | 7% | Плюс-минус около 5% |
| Невозможный | 0 | Плюс-минус 0% |
с Сбои в WEP
Пример ущерба, который могут нанести отсутствующие или расплывчатые WEP, можно найти в ежедневном бюллетене президента (PDB) под названием «Бен Ладен полон решимости нанести удар по США» . «Ежедневная сводка президента», возможно, является вершиной краткой, актуальной и действенной аналитической статьи разведывательного сообщества США (IC). PDB предназначен для того, чтобы информировать президента по широкому кругу вопросов, его пишут лучшие аналитики, а его рассматривают высшие руководители. Это «PDB от 6 августа» находится в центре многочисленных споров для USIC. PDB от 6 августа начался не только с расплывчатого предупреждения в заголовке, но и продолжился расплывчатыми предупреждениями:
- «Бен Ладен с 1997 года хотел совершить теракты в США» (ЦРУ, 2001, п. 1)
- «Бен Ладен подразумевал... что его последователи «перенесут боевые действия в Америку»» (ЦРУ, 2001, параграф 1).
- «Нападения Бен Ладена на... посольства США... в 1998 году демонстрируют, что он готовит операции на годы вперед и его не пугают неудачи» (ЦРУ, 2001, параграф 6).
- «Информация ФБР... указывает на модели подозрительной деятельности в этой стране, соответствующие подготовке к угонам самолетов или другим типам нападений» (ЦРУ, 2001, параграф 10).
- «В мае в посольство [США] в ОАЭ [сказалось], что группа сторонников Бен Ладена находилась в США и планировала теракты с применением взрывчатки» (ЦРУ, 2001, п. 11) [3]
PDB описал предыдущую деятельность Бен Ладена. Он не предоставил президенту критически важной и четкой оценки вероятной деятельности Бен Ладена в ближайшие месяцы:
Буш специально попросил провести разведывательный анализ возможных нападений Аль-Каиды на территории Соединенных Штатов, поскольку большая часть информации, представленной ему летом об Аль-Каиде, была сосредоточена на угрозах против американских объектов за рубежом, сообщили источники. Но один источник сообщил, что Белый дом был разочарован, поскольку анализу не хватало целенаправленности и не было представлено свежих данных. [4]
Отсутствие соответствующих WEP приведет к путанице в отношении вероятности атаки и к предположениям о периоде, в котором она может произойти.
В языке, использованном в меморандуме, отсутствуют слова, обозначающие оценочную вероятность, которые уменьшают неопределенность, что не позволяет президенту и лицам, принимающим решения, реализовать меры, направленные на прекращение действий Аль-Каиды. [5]
Последствия 11 сентября и провалов разведки в Ираке/оружии массового уничтожения, Комиссия по терактам 11 сентября и Комиссия по разведке Ирака стали движущей силой структурной реформы разведывательного сообщества. Хотя эти реформы были направлены на улучшение функционирования СК, особенно в отношении межведомственного сотрудничества и обмена информацией, «они уделяли мало внимания повышению качества анализа и написания разведывательной информации». Существует широко распространенное мнение, что это улучшение необходимо. [ мнение ] Однако, похоже, в ИК существует сопротивление, отчасти из-за привычки, а отчасти из-за реальности политики и понятного предпочтения «правдоподобного отрицания», которое предлагает менее точный жаргон. [5]
Медицина [ править ]
Врачи и ученые-клиницисты сталкиваются с очень похожей проблемой при получении информированного согласия для пациентов, когда такие слова, как «редкий» или «нечастый», действительно имеют определение реальной вероятности. Однако числовая информация такого типа редко предоставляется пациентам.
Репрезентативное руководство по получению информированного согласия от людей, участвующих в социальных науках или поведенческих исследованиях, или о потенциальных рисках медицинской процедуры, предлагает указать типичные числовые шансы на неблагоприятное событие, когда сначала используются слова оценочной вероятности.
| Слово | Вероятность |
|---|---|
| Вероятный | Ожидается, что это произойдет более чем с 50% субъектов. |
| Частый | Вероятно, произойдет с 10-50% субъектов |
| Случайный | Случится с 1-10% субъектов |
| Редкий | Произойдет менее чем с 1% субъектов |
Руководство продолжается,
В исследованиях с участием исследуемых агентов или экспериментальных доз или комбинаций лекарств и/или методов лечения субъекты должны быть предупреждены о том, что могут существовать еще неизвестные риски, связанные с препаратом/методом лечения, но что они будут проинформированы, если станет доступна какая-либо новая информация, которая может повлиять на их желание участвовать в исследовании. [6]
методологии Реформы
Оценочные заявления можно улучшить четырьмя способами; [ мнение ] либо:
- Добавление количественных показателей надежности и достоверности источника к оценочным заявлениям [ нужна цитата ]
- Дополнение оценочных заявлений стохастическим анализом [ нужна цитата ]
- Стандартизация WEP [ нужна цитата ]
- Стандартизация WEP и дополнение оценочных заявлений рейтингами надежности источника и аналитической уверенности. [ нужна цитата ]
оценка надежности источника и достоверности Количественная аналитической
Майкл Шраге, [7] Советник программы исследований безопасности Массачусетского технологического института (MIT) написал в редакционной статье Washington Post, что требование от аналитиков производить и включать количественные показатели надежности и достоверности источников вместе с их выводами уменьшит двусмысленность. [8] Однако Шрейдж также сообщил, что бывший временный директор Центральной разведки Джон Э. Маклафлин пытался провести это в ЦРУ, но, как и инициатива Кента, она не была принята.
Бывший исполняющий обязанности директора ЦРУ и давний аналитик Джон Маклафлин в 1990-е годы пытался активизировать внутренние усилия по определению вероятностей оценок разведки, но они так и не увенчались успехом. Аналитики разведки «предпочли бы использовать слова, а не цифры, чтобы описать, насколько мы уверены в своем анализе», — сказал мне старший офицер ЦРУ, проработавший более 20 лет. Более того, «большинство потребителей разведывательных данных не особенно искушены, когда дело доходит до вероятностного анализа. Им также нравятся слова и изображения. Мой опыт показывает, что [они] предпочитают брифинги, которые не сосредоточены на числовых расчетах. Это не значит, что мы не могу этого сделать, но на это не так уж и много спроса». [9]
Стохастический анализ [ править ]
Поскольку объединение количественной, вероятностной информации с оценками является успешным в бизнес-прогнозировании, маркетинге, медицине и эпидемиологии, оно также должно применяться разведывательным сообществом. использовалась теория вероятностей и байесовский анализ В этих областях в качестве инструментов прогнозирования . Использование теории вероятностей и других стохастических методов привлекательно, поскольку они полагаются на рациональность и математическую строгость, менее подвержены аналитической предвзятости, и такие выводы кажутся однозначными. В качестве противоположного аргумента бесспорно то, что немногие аналитики или потребители разведывательных данных имеют смелость выполнять численные расчеты. Кроме того, отмечает Брюс Блэр , директор Центра оборонной информации , сторонник количественных методов для ИК; Разведывательная информация из секретных источников часто неясна, и применения передовых математических методов недостаточно, чтобы сделать ее более надежной. Однако он видит место для стохастического анализа в течение очень длительного периода времени. Это «указывает на довольно медленную кривую обучения, которая также бросает вызов разумности превращения упреждающих действий в краеугольный камень стратегии безопасности США». [10] Высказанные оговорки значительны: математический и статистический анализ требует большой работы без быстрого и обязательно соразмерного повышения точности, скорости или понимания.
Стандартизация [ править ]
В оценках британской разведки используется «критерий вероятности» PHIA для передачи вероятности:
В рекомендациях Национального разведывательного совета описано использование парадигмы WEP (таблица 2) в сочетании с оценкой уровней доверия («высокий, средний, низкий») на основе объема и качества вспомогательной информации:
| Таблица 2. WEP Национального разведывательного совета [11] |
|---|
| Почти наверняка |
| Вероятно/вероятно |
| Даже шанс |
| Вряд ли |
| Удаленный |
Однако обсуждение этой парадигмы в NIC, похоже, снижает ее шансы на эффективность:
Суждения разведки о вероятности призваны отражать мнение Сообщества о вероятности развития событий или событий. [...] Мы не хотим, чтобы термин «маловероятно» подразумевал, что событие не произойдет. Мы используем слова «вероятно» и «вероятно», чтобы указать, что вероятность больше, чем даже. Мы используем такие слова, как «мы не можем игнорировать», «мы не можем исключить» и «мы не можем игнорировать», чтобы отразить маловероятное — или даже отдаленное — событие, последствия которого таковы, что оно заслуживает упоминания. Такие слова, как «может быть» и «предполагать», используются для обозначения ситуаций, в которых мы не можем оценить вероятность в целом, поскольку соответствующая информация отсутствует, отрывочна или фрагментирована. [12]
Это объяснение — «полшага вперед, полшага назад». [ нужна цитата ] Парадигма WEP, спонсируемая агентством, — это прогресс. [ мнение ] Однако оценочное утверждение, в котором используются слова «может быть», «предполагать» или другие ласковые слова, является расплывчатым и симптоматическим для рассматриваемой проблемы, а не ее решения. [ мнение ] В 1964 году Кент выступил против «возвращения к выражениям избегания... которые передают определенный смысл, но в то же время либо полностью освобождают нас от ответственности, либо делают оценку достаточно удаленной... чтобы не вовлекать себя в это». [13]
Мерсихерста со WEP Опыт стандартизированными
Институт разведывательных исследований колледжа Мерсихерст провел несколько экспериментов по изучению интерпретации WEP со стороны IC. [14] (результаты разные) [15] [16] использование ими WEP в NIE за последние три десятилетия], чтобы определить существенные изменения в способах, которыми NIC формулировал свои разведывательные суждения с течением времени. [16] См. Анализ конкурирующих гипотез.
Парадигма WEP Мерсихерста сводит схему Кента к наименее двусмысленным словам:
| Таблица 3: WEP Мерсихерста [5] |
|---|
| Почти наверняка |
| Очень вероятно |
| Вероятно/вероятно |
| Вряд ли |
| Почти наверняка нет |
Аналитическая уверенность и надежность источника выражаются по шкале от 1 до 10, где 10 – максимум.
МГЭИК [ править ]
Межправительственная группа экспертов по изменению климата рекомендовала [17] некоторый язык для передачи вероятности.
| >99% | Практически наверняка |
| >90% | Скорее всего |
| >66% | Вероятный |
| от 33 до 66% | Примерно так же вероятно, как и нет |
| <33% | Вряд ли |
| <10% | Маловероятно |
| <1% | Исключительно маловероятно |
Ссылки [ править ]
- ^ Шерман Кент и профессия аналитика разведки , Центр изучения разведки, Центральное разведывательное управление , ноябрь 2002 г., стр. 50, заархивировано из оригинала 12 июня 2007 г.
- ^ Шерман Кент и профессия аналитика разведки , Центр изучения разведки, Центральное разведывательное управление , ноябрь 2002 г., стр. 55, заархивировано из оригинала 12 июня 2007 г.
- ^ Возны, Дж. Л. (2005), Оптимизация коммуникации между лицами, принимающими решения, и аналитиками разведки: остановить «шлепки» и избежать «грубых ошибок» (диссертация магистра) , Эри, Пенсильвания: Колледж Мерсихерст, стр. 192
- ^ Вудворд, Б.; Эгген, Д. (18 мая 2002 г.), «Августовская записка, посвященная атакам в США» , Washington Post , получено 21 апреля 2008 г. - через Common Dreams. [ мертвая ссылка ]
- ^ Перейти обратно: а б с Уитон, К.; Чидо, Дайан (2008), «Слова оценочной вероятности» , журнал «Конкурентная разведка » , Александрия, Вирджиния: Общество специалистов по конкурентной разведке, ISSN 1521-5881 [ мертвая ссылка ]
- ^ Университет Теннесси в Чаттануге, Институциональный наблюдательный совет (2008 г.), Часто задаваемые вопросы Институционального наблюдательного совета
- ^ Шраге, Майкл, домашняя страница Майкла Шраге в Массачусетском технологическом институте , заархивировано из оригинала 19 апреля 2008 г.
- ^ Шрейдж, Майкл (20 февраля 2005 г.), «Какой процент составляет« Slam Dunk »? Дайте нам шанс на эти оценки» , Washington Post , стр. B01
- ^ Шраге, 2003 г.
- ^ Блер, Брюс (2004), Логика провалов разведки (PDF) , Центр оборонной информации, стр. 11 , получено 21 апреля 2008 г.
- ^ «Перспективы стабильности Ирака: непростой путь вперед» (PDF) , Что мы имеем в виду, когда говорим: объяснение оценочного языка , Национальный совет разведки , стр. 5, 2007 г. , получено 21 апреля 2008 г.
- ^ Национальный совет разведки, 2007, стр. 5.
- ^ Шерман Кент и профессия аналитика разведывательной информации , Центр изучения разведки, Центральное разведывательное управление , ноябрь 2002 г., стр. 63, заархивировано из оригинала 12 июня 2007 г.
- ^ «Что означают слова оценочной вероятности? (Окончательная версия с аннотацией)» . 24 марта 2008 г.
- ^ Уитон, К. (24 марта 2008 г.), Что означают слова «оценочная вероятность»? Упражнение по обучению аналитиков , получено 24 апреля 2008 г.
- ^ Перейти обратно: а б Кессельман, Рэйчел (26 марта 2008 г.), «Оценочные слова о вероятностных тенденциях в оценках национальной разведки», 49-й ежегодный съезд Ассоциации международных исследований: преодоление многочисленных разногласий
- ^ IPCC (2005), Руководящие указания для ведущих авторов Четвертого оценочного отчета IPCC по устранению неопределенностей, июль 2005 г. Версия в формате PDF.
Дальнейшее чтение [ править ]
- Структура профессионального развития для оценки разведывательной информации из всех источников , Профессиональный руководитель отдела оценки разведывательной информации (PHIA) - Правительство Великобритании - pia на Cabinetoffice.gov.uk, 2019 г., заархивировано из оригинала ( PDF ) 31 октября 2021 г. , получено 10 октября 2021 г. -31
- Блер, Брюс (2003), Логика разведывательной шумихи и слепоты (PDF) , Центр оборонной информации , получено 21 апреля 2008 г.
- Возни, Дженнифер Л. (2005), Оптимизация коммуникации между лицами, принимающими решения, и аналитиками разведки: остановить «хлопки» и избежать «грубых ошибок» ( PDF ) , Институт исследований разведки колледжа Мерсихерст
- Чидо, Дайан Э.; Уитон, Кристан Дж.; Сьюард, Ричард М.; Альтман, Кристина М.; Келли, Джеймс Дж. (2006), Структурный анализ конкурирующих гипотез: теория и применение , Эри, Пенсильвания: Издательство Института разведывательных исследований колледжа Мерсихерст, ISBN 0-9773881-0-7 .
- Joint Intelligence 2.0 (PDF) , Министерство обороны, 2007 г. , получено 21 апреля 2008 г.
- Хойер, Ричардс Дж. (1999), Психология анализа разведывательных данных , Лэнгли, Вирджиния: Центр ЦРУ по изучению интеллекта, ISBN 1-929667-00-0
- Шерман, Кент (1964), Определение некоторых оценочных выражений , Центр изучения интеллекта ЦРУ, заархивировано из оригинала 13 июня 2007 г. , получено 23 апреля 2008 г.