Количественная оценка маржи и неопределенностей

Количественная оценка маржи и неопределенности (QMU) — это методология поддержки принятия сложных технических решений. QMU фокусируется на идентификации, характеристике и анализе пороговых значений производительности и связанных с ними запасов для инженерных систем , которые оцениваются в условиях неопределенности, особенно когда части этих результатов генерируются с использованием компьютерного моделирования и симуляции. ^[1] QMU традиционно применялся к сложным системам, где полные экспериментальные данные испытаний недоступны и не могут быть легко сгенерированы ни для сквозного выполнения системы, ни для конкретных представляющих интерес подсистем. Примеры систем, в которых применяется QMU, включают ядерного оружия характеристики, квалификацию и запасов оценку . QMU фокусируется на подробной характеристике различных источников неопределенности, существующих в модели, что позволяет хорошо оценить неопределенность в выходных переменных реакции системы. Эти источники часто описываются с точки зрения вероятностных распределений, чтобы учесть стохастический характер сложных инженерных систем. Характеристика неопределенности поддерживает сравнение проектных запасов для ключевых показателей производительности системы с неопределенностью, связанной с их расчетом с помощью модели. QMU поддерживает процессы принятия решений с учетом рисков, где результаты компьютерного моделирования предоставляют один из нескольких входных данных для органа, принимающего решения. В настоящее время в сообществе моделирования не существует стандартизированной методологии проведения QMU; ^[2] этот термин применяется к множеству различных методов моделирования и симуляции, которые направлены на строгую количественную оценку неопределенности модели, чтобы обеспечить сравнение с расчетными запасами.

История

Фундаментальные концепции QMU изначально разрабатывались одновременно в нескольких национальных лабораториях, поддерживающих программы создания ядерного оружия, в конце 1990-х годов, включая Ливерморскую национальную лабораторию имени Лоуренса , Национальную лабораторию Сандиа и Национальную лабораторию Лос-Аламоса . Первоначальная цель методологии заключалась в поддержке принятия решений по ядерным арсеналам — области, в которой полные данные экспериментальных испытаний больше не могли быть получены для проверки из-за запрета на испытания ядерного оружия. ^[3] С тех пор эта методология применялась и в других приложениях, где решения по обеспечению безопасности или критически важные решения для сложных проектов должны приниматься с использованием результатов, основанных на моделировании и симуляции. Примеры за пределами области ядерного оружия включают в себя приложения НАСА для разработки межпланетных космических кораблей и вездеходов, ^[4] результаты моделирования ракеты с шестью степенями свободы (6DOF), ^[5] и характеристика свойств материалов в терминальных баллистических столкновениях. ^[6]

Обзор

QMU фокусируется на количественной оценке отношения расчетного запаса к неопределенности выходных данных модели. Процесс начинается с определения ключевых пороговых значений производительности системы, которые часто можно найти в документах с системными требованиями. Эти пороговые значения (также называемые порогами производительности) могут указывать верхнюю границу производительности, нижнюю границу производительности или и то, и другое в случае, когда метрика должна оставаться в пределах указанного диапазона. Для каждого из этих пороговых значений производительности необходимо определить соответствующий запас производительности. Запас представляет собой целевой диапазон, в котором система спроектирована для работы, чтобы безопасно избежать верхних и нижних границ производительности. Эти запасы учитывают такие аспекты, как проектный коэффициент безопасности, с учетом которого разрабатывается система, а также уровень уверенности в этом коэффициенте безопасности. QMU фокусируется на определении количественной неопределенности результатов моделирования, поскольку они связаны с пороговыми значениями производительности. Эта общая неопределенность включает в себя все формы неопределенности, связанные с вычислительной моделью, а также неопределенность в значениях пороговых значений и запаса. Идентификация и характеристика этих значений позволяет рассчитать соотношение запаса к неопределенности (M/U) для системы. Эти значения M/U могут служить количественными входными данными, которые могут помочь властям принимать решения с учетом рисков относительно того, как интерпретировать результаты моделирования и действовать в соответствии с ними.

QMU признает, что существует множество типов неопределенности, которые распространяются через модель сложной системы. Моделирование в процессе QMU дает выходные результаты для ключевых интересующих пороговых значений производительности, известных как «Лучшая оценка плюс неопределенность» (BE+U). Компонент наилучшей оценки BE+U представляет собой основную известную и понятную информацию о переменных отклика модели. Основой, обеспечивающей высокую степень уверенности в этих оценках, обычно являются обширные экспериментальные данные испытаний интересующего процесса, которые позволяют тщательно проверить имитационную модель.

Типы неопределенности, влияющие на ценность BE+U, можно разбить на несколько категорий: ^[7]

Алеаторная неопределенность : этот тип неопределенности естественным образом присутствует в моделируемой системе и иногда известен как «неуменьшаемая неопределенность» и «стохастическая изменчивость». Примеры включают процессы, которые по своей природе являются стохастическими, например параметры порывов ветра и производственные допуски.
Эпистемическая неопределенность . Этот тип неопределенности возникает из-за недостатка знаний о моделируемой системе и также известен как «уменьшаемая неопределенность». Эпистемическая неопределенность может быть результатом неуверенности в правильности основных уравнений модели, неполного знания полного набора сценариев, с которыми придется столкнуться, а также отсутствия данных экспериментальных испытаний, определяющих ключевые входные параметры модели.

Система также может страдать от неопределенности требований, связанных с указанными пороговыми значениями и запасами, связанными с системными требованиями. QMU признает, что в некоторых ситуациях разработчик системы может иметь высокую степень уверенности в том, каким может быть правильное значение для конкретной метрики, тогда как в других случаях выбранное значение само может страдать от неопределенности из-за отсутствия опыта работы в этом конкретном режиме. QMU пытается разделить эти значения неопределенности и количественно оценить каждое из них как часть общих входных данных процесса.

QMU также может учитывать человеческие ошибки при определении неизвестных неизвестных, которые могут повлиять на систему. Эти ошибки можно в некоторой степени оценить количественно, рассмотрев ограниченные экспериментальные данные, которые могут быть доступны для предыдущих тестов системы, и определив, какой процент тестов привел к неожиданному превышению пороговых значений системы. Этот подход пытается предсказать будущие события на основе прошлых случаев неожиданных результатов.

Базовые параметры, которые служат входными данными для моделей, часто моделируются как выборки из распределения вероятностей. Распределения входных параметров модели, а также уравнения распространения модели определяют распределение значений выходных параметров. Распределение конкретного выходного значения необходимо учитывать при определении приемлемого соотношения M/U для этой переменной производительности. Если предел неопределенности для U включает конечную верхнюю границу из-за особого распределения этой переменной, более низкое отношение M/U может быть приемлемым. Однако если U моделируется как нормальное или экспоненциальное распределение, которое потенциально может включать выбросы из дальних хвостов распределения, может потребоваться большее значение, чтобы снизить системный риск до приемлемого уровня.

Соотношения приемлемых M/U для систем, критически важных для безопасности, могут варьироваться от приложения к приложению. Исследования показали, что приемлемые соотношения M/U для принятия решений о запасах ядерного оружия находятся в диапазоне от 2:1 до 10:1. Интуитивно понятно, что чем больше значение M/U, тем меньше доступного запаса производительности потребляется неопределенностью результатов моделирования. Соотношение 1:1 может привести к тому, что смоделированный порог производительности не будет превышен, тогда как на самом деле весь расчетный запас может быть израсходован. Важно отметить, что строгий QMU не гарантирует, что система сама по себе способна обеспечить запас производительности; скорее, он служит для обеспечения того, чтобы орган, принимающий решения, мог выносить суждения на основе точно охарактеризованных результатов.

Основная цель QMU — предоставить лицам, принимающим решения, информацию, которая полностью характеризует результаты в свете неопределенности, как ее понимают разработчики модели. Такое представление результатов дает лицам, принимающим решения, возможность принимать обоснованные решения, понимая при этом, какая чувствительность существует в результатах из-за текущего понимания неопределенности. Сторонники QMU признают, что решения для сложных систем не могут приниматься строго на основе количественных показателей M/U. Перед принятием окончательного решения орган, принимающий решения, также должен учитывать мнение профильного эксперта (SME) и другие внешние факторы, такие как мнения заинтересованных сторон и вопросы регулирования. ^[8]

Верификация и валидация

Верификация и валидация (V&V) модели тесно взаимосвязаны с QMU. ^[9] Верификация широко известна как процесс определения правильности построения модели; Действия по проверке направлены на определение того, была ли построена правильная модель. ^[10] V&V по сравнению с имеющимися данными экспериментальных испытаний является важным аспектом точной характеристики общей неопределенности переменных отклика системы. V&V стремится максимально использовать данные экспериментальных испытаний на уровне компонентов и подсистем для точной характеристики входных параметров модели и моделей, основанных на физике, связанных с конкретными подэлементами системы. Использование QMU в процессе моделирования помогает гарантировать, что стохастический характер входных переменных (из-за как случайных, так и эпистемических неопределенностей), а также основная неопределенность в модели должным образом учтены при определении прогонов моделирования, необходимых для построения модели. доверие до аккредитации.

Преимущества и недостатки

QMU имеет потенциал для поддержки более эффективного принятия решений для программ, которые должны в значительной степени полагаться на моделирование и симуляцию. Результаты моделирования и моделирования все чаще используются при приобретении, разработке, проектировании и тестировании сложных инженерных систем. ^[11] Одна из основных проблем при разработке моделирования состоит в том, чтобы определить, насколько точным должен быть каждый элемент модели. Стремление к более высокой точности может значительно увеличить время разработки и общую стоимость разработки моделирования. QMU предоставляет формальный метод описания требуемой точности относительно проектных пороговых значений для ключевых переменных производительности. Эту информацию также можно использовать для определения приоритетности областей будущих инвестиций в моделирование. Анализ различных отношений M/U для ключевых переменных производительности может помочь определить компоненты модели, которые нуждаются в повышении точности, чтобы повысить эффективность моделирования.

Также были выявлены различные потенциальные проблемы, связанные с использованием QMU. QMU может привести к увеличению сроков разработки и увеличению затрат на разработку по сравнению с традиционными проектами моделирования из-за применения дополнительных требований. Сторонники QMU заявляют, что требуемый уровень количественной оценки неопределенности определяется требованиями сертификации для предполагаемого применения моделирования. Моделирование, используемое для планирования возможностей или анализа торговли системой, обычно должно моделировать общие тенденции производительности анализируемых систем и компонентов. Однако для систем, критичных к безопасности, где данные экспериментальных испытаний отсутствуют, результаты моделирования обеспечивают критический вклад в процесс принятия решений. Еще один потенциальный риск, связанный с использованием QMU, — это ложное чувство уверенности в защите от неизвестных рисков. Использование количественных результатов для ключевых параметров моделирования может привести к тому, что лица, принимающие решения, будут полагать, что все возможные риски полностью учтены, что особенно сложно для сложных систем. Сторонники QMU выступают за процесс принятия решений с учетом рисков для противодействия этому риску; В этой парадигме при принятии окончательного решения всегда учитываются результаты M/U, а также мнение МСП и другие внешние факторы.

См. также

Ссылки

^ Мартин Пилч; Тимоти Дж. Трукано и Джон К. Хелтон (сентябрь 2006 г.). «Идеи, лежащие в основе количественной оценки маржи и неопределенностей (QMU): официальный документ» (PDF) . Отчет Национальной лаборатории Сандии SAND2006-5001.
^ Д. Эрдли; и др. (25 марта 2005 г.). «Количественная оценка маржи и неопределенностей» (PDF) . ДЖЕЙСОН – Отчет ДЖЕЙСОН компании Mitre Corporation JSR-04-330. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Дэвид Х. Шарп и Мерри М. Вуд-Шульц (2003). «QMU и сертификация ядерного оружия — что скрывается под капотом?» (PDF) . Лос-Аламосская наука . 28 : 47–53.
^ Ли Петерсон (23 июня 2011 г.). «Количественная оценка запасов и неопределенности (QMU): превращение моделей и тестовых данных в уверенность в миссии» (PDF) . Семинар XTerraMechanics Института Космоса Кека .
^ Уильям Л. Оберкампф; и др. (апрель 2000 г.). «Оценка полной неопределенности в моделировании и симуляции». Отчет Сандиа SAND2000-0824 .
^ А. Кидане; и др. (2012). «Строгая количественная оценка неопределенности на основе моделей с применением к терминальной баллистике, часть I: Системы с контролируемыми входами и малым разбросом» (PDF) . Журнал механики и физики твердого тела . 60 (5): 983–1001. Бибкод : 2012JMPSo..60..983K . дои : 10.1016/j.jmps.2011.12.001 .
^ Джон С. Хелтон; и др. (2009). «Концептуальная и вычислительная основа для количественной оценки прибыли и неопределенности» (PDF) . Технический отчет Sandia National Laboratories SAND2009-3055. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Би Джей Гаррик и РФ Кристи (2002). «Практика вероятностной оценки рисков для атомных электростанций в США». Наука безопасности . 40 (1–4): 177–201. дои : 10.1016/s0925-7535(01)00036-4 .
^ Национальный исследовательский совет национальных академий (2012 г.). «Оценка надежности сложных моделей». {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ В.Л. Оберкампф; Т.Г. Трукано и К. Хирш (2004). «Верификация, валидация и прогнозные возможности в вычислительной технике и физике» (PDF) . Обзоры прикладной механики . 57 (5): 345–384. Бибкод : 2004ApMRv..57..345O . дои : 10.1115/1.1767847 .
^ Группа «Голубая лента» по инженерным наукам, основанным на моделировании (2006 г.). «Инженерные науки, основанные на моделировании: революция в инженерных науках посредством моделирования» (PDF) . Технический отчет Национального научного фонда .

[1] Мартин Пилч; Тимоти Дж. Трукано и Джон К. Хелтон (сентябрь 2006 г.). «Идеи, лежащие в основе количественной оценки маржи и неопределенностей (QMU): официальный документ» (PDF) . Отчет Национальной лаборатории Сандии SAND2006-5001.

[2] Д. Эрдли; и др. (25 марта 2005 г.). «Количественная оценка маржи и неопределенностей» (PDF) . ДЖЕЙСОН – Отчет ДЖЕЙСОН компании Mitre Corporation JSR-04-330. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[3] Дэвид Х. Шарп и Мерри М. Вуд-Шульц (2003). «QMU и сертификация ядерного оружия — что скрывается под капотом?» (PDF) . Лос-Аламосская наука . 28 : 47–53.

[4] Ли Петерсон (23 июня 2011 г.). «Количественная оценка запасов и неопределенности (QMU): превращение моделей и тестовых данных в уверенность в миссии» (PDF) . Семинар XTerraMechanics Института Космоса Кека .

[5] Уильям Л. Оберкампф; и др. (апрель 2000 г.). «Оценка полной неопределенности в моделировании и симуляции». Отчет Сандиа SAND2000-0824 .

[6] А. Кидане; и др. (2012). «Строгая количественная оценка неопределенности на основе моделей с применением к терминальной баллистике, часть I: Системы с контролируемыми входами и малым разбросом» (PDF) . Журнал механики и физики твердого тела . 60 (5): 983–1001. Бибкод : 2012JMPSo..60..983K . дои : 10.1016/j.jmps.2011.12.001 .

[7] Джон С. Хелтон; и др. (2009). «Концептуальная и вычислительная основа для количественной оценки прибыли и неопределенности» (PDF) . Технический отчет Sandia National Laboratories SAND2009-3055. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[8] Би Джей Гаррик и РФ Кристи (2002). «Практика вероятностной оценки рисков для атомных электростанций в США». Наука безопасности . 40 (1–4): 177–201. дои : 10.1016/s0925-7535(01)00036-4 .

[9] Национальный исследовательский совет национальных академий (2012 г.). «Оценка надежности сложных моделей». {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[10] В.Л. Оберкампф; Т.Г. Трукано и К. Хирш (2004). «Верификация, валидация и прогнозные возможности в вычислительной технике и физике» (PDF) . Обзоры прикладной механики . 57 (5): 345–384. Бибкод : 2004ApMRv..57..345O . дои : 10.1115/1.1767847 .

[11] Группа «Голубая лента» по инженерным наукам, основанным на моделировании (2006 г.). «Инженерные науки, основанные на моделировании: революция в инженерных науках посредством моделирования» (PDF) . Технический отчет Национального научного фонда .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]