Аудит чувствительности
Аудит чувствительности представляет собой расширение анализа чувствительности для использования в исследованиях моделирования, имеющих важное значение для политики. [1] Его использование рекомендовано, в том числе, в Руководстве по оценке воздействия Европейской комиссии. [2] и Европейских академий наук [3] - когда анализ чувствительности (SA) исследования, основанного на модели, призван продемонстрировать надежность доказательств, предоставляемых моделью, в контексте, в котором выводы учитываются в политике или процессе принятия решений.
Подход
[ редактировать ]В условиях, когда научная работа влияет на политику, структура анализа, его институциональный контекст и мотивы его автора могут стать весьма актуальными, а чистого СА – с его акцентом на количественной неопределенности – может быть недостаточно. Акцент на формулировке может, среди прочего, происходить из-за актуальности политического исследования для различных групп населения, которые характеризуются разными нормами и ценностями, и, следовательно, из-за разной истории о том, «в чем проблема» и, прежде всего, о том, «кто является проблемой». рассказывая историю». Чаще всего формулировка включает в себя неявные предположения, которые могут быть как политическими (например, какую группу необходимо защищать), так и техническими (например, какую переменную можно рассматривать как константу).
Чтобы принять эти опасения во внимание, аудит чувствительности расширяет инструменты анализа чувствительности , обеспечивая оценку всего процесса создания знаний и моделей. Он черпает вдохновение из NUSAP , [4] метод, используемый для передачи качества количественной информации с помощью создания «родословных» чисел. Аналогичным образом, аудит чувствительности был разработан для получения родословных моделей и выводов на их основе. Аудит чувствительности особенно подходит в состязательном контексте, когда не только характер доказательств, но также степень определенности и неопределенности, связанных с доказательствами, является предметом партийных интересов. Это параметры, рассматриваемые в постнормальной науке. [5] или в режиме 2 [6] наука. Постнормальная наука (ПНС) — это концепция, разработанная Сильвио Фунтовичем и Джеромом Равцем . [5] [7] [8] который предлагает методологию исследования, которая подходит, когда «факты неопределенны, ценности спорны, ставки высоки, а решения срочны» (Funtowicz and Ravetz, 1992: [8] 251–273). Способ 2 «Наука», придуманный в 1994 году Гиббонсом и др., относится к способу производства научных знаний, который является контекстно-ориентированным, проблемно-ориентированным и междисциплинарным.Аудит чувствительности состоит из контрольного списка из семи пунктов:
1. Используйте математику с умом. Спросите, используется ли сложная математика, когда более простая математика могла бы помочь. Проверьте, не растягивается ли модель за пределы ее предполагаемого использования.
2. Ищите предположения. Узнайте, какие предположения были сделаны в исследовании, и посмотрите, были ли они четко сформулированы или скрыты.
3. Избегайте «мусора на входе и вывоза мусора». Проверьте, не манипулировались ли данные, используемые в модели, чтобы результаты выглядели более достоверными, чем они есть на самом деле, или они были сделаны слишком неопределенными, чтобы избежать регулирования.
4. Готовьтесь к критике. Лучше найти проблемы в учебе раньше, чем это сделают другие. Перед публикацией проведите тщательную проверку на предмет неопределенности и чувствительности.
5. Будьте прозрачны: не держите свою модель в секрете. Сделайте это ясным и понятным для общественности.
6. Сосредоточьтесь на правильной проблеме. Убедитесь, что ваша модель решает правильную проблему, а не просто решает проблему, которой на самом деле нет.
7. Проведите тщательный анализ. Проведите углубленные тесты для измерения неопределенности и чувствительности, используя лучшие доступные методы.
Вопросы, решаемые в ходе аудита чувствительности
[ редактировать ]Эти правила призваны помочь аналитику предвидеть критику, в частности, касающуюся выводов на основе моделей, входящих в оценку воздействия. Какие вопросы и возражения могут возникнуть у моделиста? Вот возможный список:
- Вы рассматривали X как константу, хотя мы знаем, что ее неопределенность составляет не менее 30 %.
- Было бы достаточно ошибки в 5% в X, чтобы сделать ваше утверждение о Z ненадежным.
- Ваша модель - всего лишь одна из правдоподобных моделей - вы пренебрегли неопределенностью модели.
- Вы инструментально максимизировали свой уровень уверенности в результатах.
- Ваша модель — это черный ящик . Почему я должен доверять вашим результатам?
- Вы искусственно раздули неопределенность
- Ваш фрейм не является социально устойчивым
- Вы отвечаете не на тот вопрос
- Ваши сценарии отражают лишь ограниченный набор возможных вариантов развития/эволюции системы.
Аудит чувствительности в Руководстве Европейской комиссии
[ редактировать ]Аудит чувствительности описан в Руководстве Европейской комиссии по оценке воздействия. [2] Соответствующие выдержки (стр. 392):
- «[… ]если между заинтересованными сторонами существуют серьезные разногласия относительно характера проблемы… тогда аудит чувствительности является более подходящим, но анализ чувствительности по-прежнему рекомендуется как один из этапов аудита чувствительности».
- «Аудит чувствительности […] — это более широкое рассмотрение влияния всех типов неопределенности, включая структурные предположения, заложенные в модель, и субъективные решения, принятые при постановке проблемы».
- «Конечная цель — открыто и честно сообщить о том, в какой степени конкретные модели могут использоваться для поддержки политических решений и каковы их ограничения».
- «В целом аудит чувствительности подчеркивает идею честного информирования о том, в какой степени можно доверять результатам модели, принимая во внимание, насколько это возможно, все формы потенциальной неопределенности и предвидя критику со стороны третьих сторон».
отчет SAPEA
[ редактировать ]Ассоциация европейских академий науки для политики SAPEA подробно описывает аудит чувствительности в своем отчете за 2019 год, озаглавленном « Осмысление науки для политики в условиях сложности и неопределенности ». [3]
Ссылки
[ редактировать ]- ^ Сальтелли, Андреа, Анжела; Гимарайнш Перейра, Йерун П. ван дер Слейс и Сильвио Фунтович. 2013. «Что я думаю о вашем латиноруме». Аудит чувствительности математического моделирования». Международный журнал прогнозирования и инновационной политики 9 (2/3/4): 213–34. https://doi.org/10.1504/IJFIP.2013.058610 .
- ^ Jump up to: а б Европейская комиссия. 2021. «Набор инструментов для лучшего регулирования». 25 ноября.
- ^ Jump up to: а б Научные рекомендации для политики европейских академий, Осмысление науки для политики в условиях сложности и неопределенности , Берлин, 2019 г.
- ^ Ван дер Слейс Дж. П., Крей М., Фунтович С., Клопрогге П., Равец Дж., Рисби Дж. (2005) Сочетание количественных и качественных показателей неопределенности в экологической оценке на основе моделей: система NUSAP. Анализ рисков 25(2):481-492
- ^ Jump up to: а б Фунтович С.О. и Равец Младший 1993. Наука для постнормального возраста. Фьючерсы, 25 (7), 739–755.
- ^ Гиббонс, Майкл; Камилла Лимож; Хельга Новотны; Саймон Шварцман; Питер Скотт; Мартин Троу (1994). Новое производство знаний: динамика науки и исследований в современных обществах. Лондон: Сейдж. ISBN 0-8039-7794-8 .
- ^ Фунтович, С.О. и Джером Р. Равец (1991). «Новая научная методология решения глобальных экологических проблем». В экологической экономике: наука и управление устойчивым развитием. Эд. Роберт Костанца. Нью-Йорк: Издательство Колумбийского университета: 137–152.
- ^ Jump up to: а б Фунтович С.О. и Равец Дж.Р. 1992. Три типа оценки риска и появление постнормальной науки. В С. Крымски и Д. Голдинге (ред.), Социальные теории риска (стр. 251–273). Вестпорт, Коннектикут: Гринвуд.