Надежное принятие решений

Надежное принятие решений ( RDM ) — это итеративная система анализа решений , цель которой — помочь определить потенциально надежные стратегии, охарактеризовать уязвимости таких стратегий и оценить компромиссы между ними. ^[1]^[2]^[3] RDM фокусируется на информировании решений в условиях так называемой «глубокой неопределенности», то есть в условиях, когда стороны, принимающие решение, не знают или не согласны с системными моделями, связывающими действия с последствиями, или априорными распределениями вероятностей для ключевых входных данных. параметры этих моделей. ^[2]^: 1011

История

Для решения проблем принятия решений, которые сталкиваются с большой степенью неопределенности, было разработано множество концепций, методов и инструментов. Одним из источников названия «надежное решение» стала область надежного проектирования, популяризированная главным образом Геничи Тагучи в 1980-х и начале 1990-х годов. ^[4]^[5] изложил систематическую структуру принятия надежных решений Джонатан Розенхед и его коллеги были одними из первых, кто в своей книге 1989 года «Рациональный анализ для проблемного мира» . ^[6] Подобные темы возникли в литературе по сценарному планированию , надежному контролю , неточной вероятности , а также теории и методам принятия решений при информационном дефиците . Ранний обзор многих из этих подходов содержится в Третьем оценочном докладе Межправительственной группы экспертов по изменению климата , опубликованном в 2001 году.

Приложение

Робастное принятие решений (RDM) — это особый набор методов и инструментов, разработанный за последнее десятилетие, в первую очередь исследователями, связанными с корпорацией RAND , предназначенный для поддержки принятия решений и анализа политики в условиях глубокой неопределенности.

Хотя RDM часто используется исследователями для оценки альтернативных вариантов, RDM разработан и часто используется как метод поддержки принятия решений , с особым упором на то, чтобы помочь лицам, принимающим решения, определить и разработать новые варианты решений, которые могут быть более надежными, чем те, которые они первоначально рассматривали. . Часто эти более надежные варианты представляют собой адаптивные стратегии принятия решений, предназначенные для развития со временем в ответ на новую информацию. Кроме того, RDM можно использовать для облегчения группового принятия решений в спорных ситуациях, когда стороны, принимающие решение, имеют серьезные разногласия по поводу предположений и ценностей. ^[7]

Подходы RDM применялись к широкому спектру различных типов проблем принятия решений. В исследовании 1996 года рассматривались адаптивные стратегии сокращения выбросов парниковых газов. ^[8] Более поздние исследования включают различные применения к проблемам управления водными ресурсами, ^[9]^[10]^[11] оценка воздействия предлагаемых требований США к возобновляемым источникам энергии, ^{[ нужна ссылка ]} сравнение долгосрочных энергетических стратегий правительства Израиля, ^{[ нужна ссылка ]} оценка политики в области науки и технологий, которую правительство Южной Кореи может проводить в ответ на усиление экономической конкуренции со стороны Китая, ^{[ нужна ссылка ]} и анализ вариантов Конгресса по повторному утверждению Закона о страховании рисков терроризма (TRIA). ^{[ нужна ссылка ]}

Различия между RDM и традиционным анализом ожидаемой полезности

RDM опирается на три ключевые концепции, которые отличают его от традиционной структуры принятия решений о субъективной ожидаемой полезности: множественные взгляды на будущее, критерий устойчивости и изменение порядка традиционного анализа решений путем проведения итеративного процесса, основанного на анализе уязвимостей и реагирования. выбор, а не систему принятия решений «предскажи, а затем действуй». ^{[ нужна ссылка ]}

Во-первых, RDM характеризует неопределенность с множественными взглядами на будущее . В некоторых случаях эти многочисленные взгляды будут представлены несколькими будущими состояниями мира. RDM также может включать вероятностную информацию, но отвергает точку зрения, согласно которой единое совместное распределение вероятностей представляет собой лучшее описание глубоко неопределенного будущего. Скорее, RDM использует диапазоны или, более формально, наборы вероятных распределений вероятностей для описания глубокой неопределенности.

Во-вторых, RDM использует надежность, а не оптимальность в качестве критерия для оценки альтернативной политики. Традиционная модель субъективной полезности ранжирует альтернативные варианты решений в зависимости от наилучшего оцененного распределения вероятностей. В общем, есть лучший вариант (т.е. имеющий самый высокий рейтинг). В анализе RDM использовалось несколько различных определений устойчивости. К ним относятся: обмен небольшого количества оптимальных результатов на меньшую чувствительность к ошибочным предположениям, хорошие результаты по сравнению с альтернативами в широком диапазоне вероятных сценариев и сохранение открытых вариантов. ^[2] Все они включают в себя тот или иной тип критериев удовлетворения и, в отличие от подходов ожидаемой полезности, все обычно описывают компромиссы, а не обеспечивают строгое ранжирование альтернативных вариантов.

В-третьих, RDM использует структуру анализа уязвимостей и вариантов реагирования, чтобы охарактеризовать неопределенность и помочь определить и оценить надежные стратегии. Такое структурирование проблемы принятия решений является ключевой особенностью RDM. Традиционный подход к анализу решений следует так называемому подходу «предскажи, затем действуй». ^[12] который сначала характеризует неопределенность относительно будущего, а затем использует эту характеристику для ранжирования желательности альтернативных вариантов решения. Важно отметить, что этот подход характеризует неопределенность без привязки к альтернативным вариантам. Напротив, RDM характеризует неопределенность в контексте конкретного решения. То есть метод идентифицирует те комбинации неопределенностей, которые наиболее важны для выбора среди альтернативных вариантов, и описывает набор убеждений о неопределенном состоянии мира, которые согласуются с выбором одного варианта над другим. Такое упорядочение обеспечивает когнитивные преимущества в приложениях поддержки принятия решений, позволяя заинтересованным сторонам понять ключевые предположения, лежащие в основе альтернативных вариантов, прежде чем принять на себя обязательство поверить в эти предположения. ^[13]

Условия для принятия взвешенных решений

Надежные методы принятия решений кажутся наиболее подходящими при трех условиях: когда неопределенность глубока, а не хорошо охарактеризована, когда существует богатый набор вариантов решения, и задача принятия решения достаточно сложна, и лицам, принимающим решения, необходимы имитационные модели для отслеживания потенциальных последствий. своих действий по многим вероятным сценариям.

Когда неопределенность хорошо охарактеризована, то традиционный анализ ожидаемой полезности (предсказание, затем действие) часто оказывается наиболее подходящим. Кроме того, если лицам, принимающим решения, не хватает богатого набора вариантов принятия решений, у них может быть мало возможностей для разработки надежной стратегии, и они не смогут добиться большего, чем анализ «предскажи, а затем действуй». ^[2]

Если неопределенность глубока и доступен богатый набор вариантов, традиционные методы качественных сценариев могут оказаться наиболее эффективными, если система достаточно проста или хорошо понятна, чтобы лица, принимающие решения, могли точно связать потенциальные действия с их последствиями без помощи имитационных моделей.

Аналитические инструменты для принятия надежных решений

RDM — это не набор аналитических шагов, а скорее набор методов, которые можно комбинировать различными способами для принятия конкретных решений по реализации концепции. Ниже описаны два ключевых элемента этого набора инструментов: исследовательское моделирование и обнаружение сценариев.

Исследовательское моделирование

Во многих анализах RDM используется подход исследовательского моделирования . ^[14] компьютерное моделирование используется не как средство прогнозирования, а скорее как средство соотнесения набора предположений с их подразумеваемыми последствиями. Аналитик извлекает полезную информацию из таких симуляций, запуская их много раз, используя соответствующий план эксперимента с неопределенными входными параметрами модели(-й), собирая прогоны в большой базе данных случаев и анализируя эту базу данных, чтобы определить, какие из них имеют политическое значение. заявления можно поддержать. RDM представляет собой конкретную реализацию этой концепции. Анализ RDM обычно создает большую базу данных результатов имитационной модели, а затем использует эту базу данных для выявления уязвимостей предлагаемых стратегий и компромиссов между потенциальными ответами. Этот аналитический процесс дает несколько практических преимуществ:

База данных случаев обеспечивает конкретное представление концепции множественности вероятных вариантов будущего.
Многократное выполнение моделирования в прямом направлении может упростить аналитическую задачу представления адаптивных стратегий во многих практических приложениях, поскольку оно отделяет выполнение моделирования от анализа, необходимого для оценки альтернативных вариантов решения с использованием моделирования. Напротив, некоторые методы оптимизации затрудняют включение в моделирование многих типов обратных связей.
Концепция исследовательского моделирования позволяет использовать широкий спектр подходов к принятию решений с использованием имитационных моделей различных типов в рамках общей аналитической структуры (в зависимости от того, что кажется наиболее подходящим для конкретного приложения принятия решений). В рамках этой общей структуры при анализе RDM использовались традиционные подходы к последовательному принятию решений, основанные на правилах описания адаптивных стратегий, представления реальных опционов, сложные модели оптимального экономического роста, модели электронных таблиц, модели на основе агентов и существующие в организации наборы имитационных моделей, например правительством США для прогнозирования будущего состояния трастового фонда социального обеспечения.
База данных случаев упрощает сравнение альтернативных схем принятия решений, поскольку эти схемы можно применять к идентичному набору результатов модели. Например, можно поместить совместное распределение вероятностей по случаям в базу данных, провести анализ ожидаемой полезности и сравнить результаты с анализом RDM, используя ту же базу данных.

Открытие сценария

В анализе RDM часто используется процесс, называемый обнаружением сценариев , чтобы облегчить выявление уязвимостей предлагаемых стратегий. ^[13]^[15] Процесс начинается с определения некоторых показателей эффективности, таких как общая стоимость политики или ее отклонение от оптимальности (сожаление), которые можно использовать для различения в базе данных результатов тех случаев, когда стратегия считается успешной, от тех случаев, когда она считается успешной. неудачно. К базе данных применяются статистические алгоритмы или алгоритмы интеллектуального анализа данных для создания простых описаний регионов в пространстве неопределенных входных параметров модели, которые лучше всего описывают случаи, когда стратегия оказывается неудачной. То есть алгоритм описания этих случаев настроен на оптимизацию как предсказуемости, так и интерпретируемости лицами, принимающими решения. Полученные кластеры имеют множество характеристик сценариев и могут использоваться, чтобы помочь лицам, принимающим решения, понять уязвимости предлагаемой политики и потенциальных вариантов реагирования. обзор Проведенный Европейским агентством по окружающей среде довольно скудной литературы, посвященной оценке того, как сценарии фактически работают на практике, когда они используются организациями для обоснования решений, выявил несколько ключевых недостатков традиционных сценарных подходов. ^{[ нужна ссылка ]} Методы обнаружения сценариев предназначены для устранения этих недостатков. ^[13] Кроме того, обнаружение сценариев поддерживает анализ многочисленных стрессоров, поскольку оно характеризует уязвимости как комбинации самых разных типов неопределенных параметров (например, климата, экономики, организационных возможностей и т. д.).

Поддержка программного обеспечения

Существует несколько программ для выполнения RDM-анализа. Корпорация RAND разработала CARS для исследовательского моделирования и пакет sdtoolkit R для обнаружения сценариев. EMA Workbench, разработанный в Делфтском технологическом университете , предоставляет обширные возможности исследовательского моделирования и обнаружения сценариев на Python . ^[16] OpenMORDM — это пакет R с открытым исходным кодом для RDM, который включает поддержку определения более чем одной цели производительности. ^[17] OpenMORDM облегчает изучение влияния различных критериев надежности, включая критерии, основанные как на сожалении (например, минимизация отклонения в производительности), так и на удовлетворении (например, удовлетворение ограничений производительности). Rhodium — это пакет Python с открытым исходным кодом, который поддерживает функции, аналогичные EMA Workbench и OpenMORDM, но также позволяет применять его к моделям, написанным на C, C++, Fortran, R и Excel, а также использовать несколько многоцелевых эволюционных алгоритмов. . ^[18]

См. также

Ссылки

^ Махмуди, Амин; Аббаси, Мехди; Дэн, Сяопэн (2022). «Новая система выбора портфеля проектов для обеспечения организационной устойчивости: надежный подход с порядковыми приоритетами» . Экспертные системы с приложениями . 188 : 116067. doi : 10.1016/j.eswa.2021.116067 . ISSN 0957-4174 . ПМЦ 9928571 . ПМИД 36818824 .
^ Перейти обратно: ^а ^б ^с ^д Лемперт, Роберт Дж.; Коллинз, Майлз Т. (август 2007 г.). «Управление риском неопределенных пороговых реакций: сравнение надежных, оптимальных и предупредительных подходов». Анализ рисков . 27 (4): 1009–1026. дои : 10.1111/j.1539-6924.2007.00940.x . ПМИД 17958508 . S2CID 1722147 . Устойчивое принятие решений описывает множество подходов, которые отличаются от традиционного анализа оптимальной ожидаемой полезности тем, что они характеризуют неопределенность с помощью нескольких представлений будущего, а не одного набора распределений вероятностей, и используют надежность, а не оптимальность, в качестве критерия принятия решения. (1011-1012)
^ Крокерри, Пэт (август 2009 г.). «Универсальная модель диагностического рассуждения» . Академическая медицина . 84 (8): 1022–1028. дои : 10.1097/ACM.0b013e3181ace703 . ПМИД 19638766 . Надежное принятие решений является скорее аналитическим, чем интуитивным. Он использует системный подход для устранения неопределенности в отношении доступных ресурсов для принятия безопасных и эффективных решений. (1023)
^ Пхадке, Мадхав Шридхар (1989). Качественная инженерия с использованием прочной конструкции . Энглвуд Клиффс, Нью-Джерси: Прентис Холл . ISBN 978-0137451678 . OCLC 19455232 .
^ Уллман, Дэвид Г. (2006). Принятие надежных решений: управление решениями для технических, деловых и сервисных команд . Виктория, Британская Колумбия: Траффорд Паблишинг . п. 35. ISBN 9781425109561 . ОСЛК 81600845 .
^ Мингерс, Джон; Розенхед, Джонатан, ред. (2001) [1989]. Возвращение к рациональному анализу проблемного мира: методы структурирования проблем в отношении сложности, неопределенности и конфликтов (2-е изд.). Чичестер, Великобритания; Нью-Йорк: Джон Уайли и сыновья . ISBN 978-0471495239 . OCLC 46601256 .
^ Лемперт, Роберт Дж.; Поппер, Стивен В. (2005). «Высокоэффективное правительство в нестабильном мире» . В Клитгаарде, Роберт Э.; Лайт, Пол С. (ред.). Высокоэффективное правительство: структура, лидерство, стимулы . Санта-Моника, Калифорния: Корпорация RAND . стр. 113–138 . ISBN 978-0833037404 . OCLC 57344300 .
^ Лемперт, Роберт Дж.; Шлезингер, Майкл Э.; Бэнкс, Стив К. (июнь 1996 г.). «Когда мы не знаем ни затрат, ни выгод: адаптивные стратегии борьбы с изменением климата». Климатические изменения . 33 (2): 235–274. Бибкод : 1996ClCh...33..235L . CiteSeerX 10.1.1.20.9055 . дои : 10.1007/BF00140248 . S2CID 7945822 .
^ Гроувс, Дэвид Г.; Дэвис, Марта; Уилкинсон, Роберт; Лемперт, Роберт Дж. (2008). «Планирование изменения климата во Внутренней Империи, Южная Калифорния» (PDF) . ВОЗДЕЙСТВИЕ на водные ресурсы . 10 (4): 14–17.
^ Дессаи, Сурадже; Халм, Майк (февраль 2007 г.). «Оценка устойчивости решений по адаптации к неопределенностям изменения климата: тематическое исследование по управлению водными ресурсами на востоке Англии». Глобальное изменение окружающей среды . 17 (1): 59–72. дои : 10.1016/j.gloenvcha.2006.11.005 .
^ Уивер, Кристофер П.; Лемперт, Роберт Дж.; Браун, Кейси; Холл, Джон А.; Ревелл, Дэвид; Саревиц, Дэниел (январь 2013 г.). «Улучшение вклада информации климатической модели в процесс принятия решений: ценность и требования надежных рамок принятия решений» (PDF) . Междисциплинарные обзоры Wiley: Изменение климата . 4 (1): 39–60. дои : 10.1002/wcc.202 . S2CID 53679056 .
^ Лемперт, Роберт Дж.; Накиченович, Небойша; Саревиц, Дэниел; Шлезингер, Майкл (июль 2004 г.). «Характеристика неопределенности изменения климата для лиц, принимающих решения: редакционное эссе». Климатические изменения . 65 (1–2): 1–9. дои : 10.1023/B:CLIM.0000037561.75281.b3 . S2CID 153473117 .
^ Перейти обратно: ^а ^б ^с Брайант, Бенджамин П.; Лемперт, Роберт Дж. (январь 2010 г.). «Мыслить внутри коробки: совместный компьютерный подход к обнаружению сценариев». Технологическое прогнозирование и социальные изменения . 77 (1): 34–49. doi : 10.1016/j.techfore.2009.08.002 .
^ Бэнкс, Стив (июнь 1993 г.). «Исследовательское моделирование для анализа политики» . Исследование операций . 41 (3): 435–449. дои : 10.1287/opre.41.3.435 . JSTOR 171847 .
^ Гроувс, Дэвид Г.; Лемперт, Роберт Дж. (февраль 2007 г.). «Новый аналитический метод поиска сценариев, важных для политики». Глобальное изменение окружающей среды . 17 (1): 73–85. дои : 10.1016/j.gloenvcha.2006.11.006 . S2CID 510560 .
^ Кваккель, Ян Х.; Прюйт, Эрик (март 2013 г.). «Исследовательское моделирование и анализ, подход к прогнозированию на основе моделей в условиях глубокой неопределенности». Технологическое прогнозирование и социальные изменения . 80 (3): 419–431. дои : 10.1016/j.techfore.2012.10.005 .
^ Хадка, Дэвид; Герман, Джонатан; Рид, Патрик; Келлер, Клаус (декабрь 2015 г.). «Среда с открытым исходным кодом для многокритериального принятия надежных решений» . Экологическое моделирование и программное обеспечение . 74 : 114–129. дои : 10.1016/j.envsoft.2015.07.014 .
^ Хаджимайкл, Антония; Голд, Дэвид; Хадка, Дэвид; Рид, Патрик (9 июня 2020 г.). «Родий: библиотека Python для многокритериального принятия надежных решений и исследовательского моделирования» . Журнал открытого исследовательского программного обеспечения . 8:12 . дои : 10.5334/jors.293 .

Внешние ссылки

Рабочая среда EMA , «рабочая среда исследовательского моделирования» Делфтского технологического университета.
OpenMORDM , пакет R для многокритериального принятия надежных решений.
sdtoolkit — набор инструментов для обнаружения сценариев для принятия надежных решений.

[1] Махмуди, Амин; Аббаси, Мехди; Дэн, Сяопэн (2022). «Новая система выбора портфеля проектов для обеспечения организационной устойчивости: надежный подход с порядковыми приоритетами» . Экспертные системы с приложениями . 188 : 116067. doi : 10.1016/j.eswa.2021.116067 . ISSN 0957-4174 . ПМЦ 9928571 . ПМИД 36818824 .

[LempertCollins2007-2] Перейти обратно: ^а ^б ^с ^д Лемперт, Роберт Дж.; Коллинз, Майлз Т. (август 2007 г.). «Управление риском неопределенных пороговых реакций: сравнение надежных, оптимальных и предупредительных подходов». Анализ рисков . 27 (4): 1009–1026. дои : 10.1111/j.1539-6924.2007.00940.x . ПМИД 17958508 . S2CID 1722147 . Устойчивое принятие решений описывает множество подходов, которые отличаются от традиционного анализа оптимальной ожидаемой полезности тем, что они характеризуют неопределенность с помощью нескольких представлений будущего, а не одного набора распределений вероятностей, и используют надежность, а не оптимальность, в качестве критерия принятия решения. (1011-1012)

[3] Крокерри, Пэт (август 2009 г.). «Универсальная модель диагностического рассуждения» . Академическая медицина . 84 (8): 1022–1028. дои : 10.1097/ACM.0b013e3181ace703 . ПМИД 19638766 . Надежное принятие решений является скорее аналитическим, чем интуитивным. Он использует системный подход для устранения неопределенности в отношении доступных ресурсов для принятия безопасных и эффективных решений. (1023)

[4] Пхадке, Мадхав Шридхар (1989). Качественная инженерия с использованием прочной конструкции . Энглвуд Клиффс, Нью-Джерси: Прентис Холл . ISBN 978-0137451678 . OCLC 19455232 .

[5] Уллман, Дэвид Г. (2006). Принятие надежных решений: управление решениями для технических, деловых и сервисных команд . Виктория, Британская Колумбия: Траффорд Паблишинг . п. 35. ISBN 9781425109561 . ОСЛК 81600845 .

[6] Мингерс, Джон; Розенхед, Джонатан, ред. (2001) [1989]. Возвращение к рациональному анализу проблемного мира: методы структурирования проблем в отношении сложности, неопределенности и конфликтов (2-е изд.). Чичестер, Великобритания; Нью-Йорк: Джон Уайли и сыновья . ISBN 978-0471495239 . OCLC 46601256 .

[7] Лемперт, Роберт Дж.; Поппер, Стивен В. (2005). «Высокоэффективное правительство в нестабильном мире» . В Клитгаарде, Роберт Э.; Лайт, Пол С. (ред.). Высокоэффективное правительство: структура, лидерство, стимулы . Санта-Моника, Калифорния: Корпорация RAND . стр. 113–138 . ISBN 978-0833037404 . OCLC 57344300 .

[8] Лемперт, Роберт Дж.; Шлезингер, Майкл Э.; Бэнкс, Стив К. (июнь 1996 г.). «Когда мы не знаем ни затрат, ни выгод: адаптивные стратегии борьбы с изменением климата». Климатические изменения . 33 (2): 235–274. Бибкод : 1996ClCh...33..235L . CiteSeerX 10.1.1.20.9055 . дои : 10.1007/BF00140248 . S2CID 7945822 .

[9] Гроувс, Дэвид Г.; Дэвис, Марта; Уилкинсон, Роберт; Лемперт, Роберт Дж. (2008). «Планирование изменения климата во Внутренней Империи, Южная Калифорния» (PDF) . ВОЗДЕЙСТВИЕ на водные ресурсы . 10 (4): 14–17.

[10] Дессаи, Сурадже; Халм, Майк (февраль 2007 г.). «Оценка устойчивости решений по адаптации к неопределенностям изменения климата: тематическое исследование по управлению водными ресурсами на востоке Англии». Глобальное изменение окружающей среды . 17 (1): 59–72. дои : 10.1016/j.gloenvcha.2006.11.005 .

[11] Уивер, Кристофер П.; Лемперт, Роберт Дж.; Браун, Кейси; Холл, Джон А.; Ревелл, Дэвид; Саревиц, Дэниел (январь 2013 г.). «Улучшение вклада информации климатической модели в процесс принятия решений: ценность и требования надежных рамок принятия решений» (PDF) . Междисциплинарные обзоры Wiley: Изменение климата . 4 (1): 39–60. дои : 10.1002/wcc.202 . S2CID 53679056 .

[12] Лемперт, Роберт Дж.; Накиченович, Небойша; Саревиц, Дэниел; Шлезингер, Майкл (июль 2004 г.). «Характеристика неопределенности изменения климата для лиц, принимающих решения: редакционное эссе». Климатические изменения . 65 (1–2): 1–9. дои : 10.1023/B:CLIM.0000037561.75281.b3 . S2CID 153473117 .

[BryantLempert2010-13] Перейти обратно: ^а ^б ^с Брайант, Бенджамин П.; Лемперт, Роберт Дж. (январь 2010 г.). «Мыслить внутри коробки: совместный компьютерный подход к обнаружению сценариев». Технологическое прогнозирование и социальные изменения . 77 (1): 34–49. doi : 10.1016/j.techfore.2009.08.002 .

[14] Бэнкс, Стив (июнь 1993 г.). «Исследовательское моделирование для анализа политики» . Исследование операций . 41 (3): 435–449. дои : 10.1287/opre.41.3.435 . JSTOR 171847 .

[15] Гроувс, Дэвид Г.; Лемперт, Роберт Дж. (февраль 2007 г.). «Новый аналитический метод поиска сценариев, важных для политики». Глобальное изменение окружающей среды . 17 (1): 73–85. дои : 10.1016/j.gloenvcha.2006.11.006 . S2CID 510560 .

[16] Кваккель, Ян Х.; Прюйт, Эрик (март 2013 г.). «Исследовательское моделирование и анализ, подход к прогнозированию на основе моделей в условиях глубокой неопределенности». Технологическое прогнозирование и социальные изменения . 80 (3): 419–431. дои : 10.1016/j.techfore.2012.10.005 .

[17] Хадка, Дэвид; Герман, Джонатан; Рид, Патрик; Келлер, Клаус (декабрь 2015 г.). «Среда с открытым исходным кодом для многокритериального принятия надежных решений» . Экологическое моделирование и программное обеспечение . 74 : 114–129. дои : 10.1016/j.envsoft.2015.07.014 .

[18] Хаджимайкл, Антония; Голд, Дэвид; Хадка, Дэвид; Рид, Патрик (9 июня 2020 г.). «Родий: библиотека Python для многокритериального принятия надежных решений и исследовательского моделирования» . Журнал открытого исследовательского программного обеспечения . 8:12 . дои : 10.5334/jors.293 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]