Верификация и валидация компьютерных имитационных моделей

Проверка и валидация компьютерных имитационных моделей проводится во время разработки имитационной модели с конечной целью создания точной и достоверной модели. «Имитационные модели все чаще используются для решения проблем и помощи в принятии решений. Разработчики и пользователи этих моделей, лица, принимающие решения, использующие информацию, полученную на основе результатов этих моделей, и люди, на которых влияют решения, основанные на таких моделях, все справедливо обеспокоены тем, являются ли модель и ее результаты «правильными». Эта проблема решается путем проверки и проверки имитационной модели.

Имитационные модели являются приблизительными имитациями реальных систем и никогда не имитируют реальную систему в точности. В связи с этим модель должна быть проверена и подтверждена в степени, необходимой для предполагаемой цели или применения модели.

Верификация и валидация имитационной модели начинается после документирования функциональных спецификаций и завершения первоначальной разработки модели. Верификация и валидация — это итеративный процесс, который происходит на протяжении всей разработки модели.

Проверка

В контексте компьютерного моделирования верификация модели — это процесс подтверждения того, что она правильно реализована по отношению к концептуальной модели (она соответствует спецификациям и предположениям, которые считаются приемлемыми для данной цели применения). В ходе проверки модель тестируется для поиска и исправления ошибок в реализации модели. Различные процессы и методы используются для обеспечения соответствия модели спецификациям и предположениям относительно концепции модели. Цель проверки модели — убедиться в правильности реализации модели.

Существует множество методов, которые можно использовать для проверки модели.К ним относятся, помимо прочего, проверка модели экспертом, создание логических блок-схем, включающих каждое логически возможное действие, проверка выходных данных модели на разумность при различных настройках входных параметров и использование интерактивного отладчика. Многие методы разработки программного обеспечения, используемые для верификации программного обеспечения, применимы и для верификации имитационных моделей.

Валидация

Валидация проверяет точность представления модели реальной системы. Валидация модели определяется как «обоснование того, что компьютеризированная модель в пределах ее области применимости обладает удовлетворительным диапазоном точности, соответствующим предполагаемому применению модели». Модель должна быть построена для конкретной цели или набора задач, и ее достоверность должна быть определена для этой цели.

Существует множество подходов, которые можно использовать для проверки компьютерной модели. Подходы варьируются от субъективных обзоров до объективных статистических тестов. Один из широко используемых подходов заключается в том, чтобы разработчики моделей определили достоверность модели посредством серии тестов.

Нейлор и Фингер [1967] сформулировали трехэтапный подход к проверке модели, который получил широкое распространение:

Шаг 1. Постройте модель, имеющую высокую валидность.

Шаг 2. Проверка предположений модели.

Шаг 3. Сравните модельные преобразования ввода-вывода с соответствующими преобразованиями ввода-вывода для реальной системы.

Лицевая валидность

Модель, имеющая внешнюю валидность , кажется разумной имитацией реальной системы людям, знакомым с системой реального мира. Лицевая валидность проверяется путем того, что пользователи и люди, знакомые с системой, проверяют выходные данные модели на предмет разумности и в процессе выявляют недостатки. Дополнительным преимуществом участия пользователей в проверке является то, что доверие к модели для пользователей и уверенность пользователей в модели возрастают. Чувствительность к входным данным модели также можно использовать для оценки достоверности лица. Например, если моделирование проезда через ресторан быстрого питания было проведено дважды со скоростью прибытия клиентов 20 в час и 40 в час, то можно ожидать, что результаты модели, такие как среднее время ожидания или максимальное количество ожидающих клиентов, будут увеличиваться по мере прибытия. ставка.

Проверка предположений модели

Предположения, сделанные в отношении модели, обычно делятся на две категории: структурные предположения о том, как работает система, и предположения о данных. Также мы можем рассмотреть предположения упрощения, которые мы используем для упрощения реальности.

Структурные предположения

Предположения, сделанные о том, как система работает и как она физически устроена, являются структурными предположениями. Например, количество серверов в заведении быстрого питания, и если их несколько, как они используются? Работают ли серверы параллельно, когда клиент завершает транзакцию, посетив один сервер, или один сервер принимает заказы и обрабатывает платежи, в то время как другой готовит и обслуживает заказ. Многие структурные проблемы в модели возникают из-за плохих или неверных предположений. Если возможно, следует внимательно наблюдать за работой реальной системы, чтобы понять, как она работает. Структура и работа системы также должны быть проверены пользователями реальной системы.

Допущения в отношении данных

Должно быть достаточное количество соответствующих данных для построения концептуальной модели и ее проверки. Отсутствие соответствующих данных часто является причиной неудачных попыток проверки модели. Данные должны быть проверены и взяты из надежного источника. Типичной ошибкой является предположение о неправильном статистическом распределении данных. Предполагаемую статистическую модель следует протестировать с использованием критериев согласия и других методов. Примерами критериев пригодности являются тест Колмогорова-Смирнова и критерий хи-квадрат . Любые отклонения в данных должны быть проверены.

Предположения упрощения

Являются ли те предположения, о которых мы знаем, неверными, но необходимыми для упрощения проблемы, которую мы хотим решить? Использование этих предположений должно быть ограничено, чтобы гарантировать, что модель достаточно правильна, чтобы служить ответом на проблему, которую мы хотим решить.

Проверка преобразований ввода-вывода

Для этих тестов модель рассматривается как преобразование ввода-вывода. Проверочный тест состоит из сравнения выходных данных рассматриваемой системы с выходными данными модели для того же набора входных условий. Для проведения этого теста данные, записанные во время наблюдения за системой, должны быть доступны. Выходные данные модели, представляющие основной интерес, следует использовать в качестве меры производительности. Например, если рассматриваемая система представляет собой закусочную, где входными данными для модели является время прибытия клиента, а выходным показателем производительности является среднее время пребывания клиента в очереди, то фактическое время прибытия и время, проведенное в очереди для клиентов на проезжей части, было бы записано. Модель будет запускаться с фактическим временем прибытия, а среднее время модели в очереди будет сравниваться с фактическим средним временем, проведенным в очереди, с помощью одного или нескольких тестов.

Проверка гипотез

Статистическая проверка гипотез с использованием t-критерия может использоваться в качестве основы для принятия модели как достоверной или отклонения ее как недействительной.

Гипотеза, которую необходимо проверить, это

H ₀ показатель эффективности модели = показатель эффективности системы

против

H ₁ показатель эффективности модели ≠ показатель эффективности системы.

Тест проводится для заданного размера выборки и уровня значимости или α. Для проведения теста проводится ряд n статистически независимых прогонов модели и определяется среднее или ожидаемое значение E(Y) для интересующей переменной. тестовая статистика t ₀ Затем вычисляется для заданных α, n , E(Y) и наблюдаемого значения для системы µ ⁰

$t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}$ а критическое значение для α и n-1 степеней свободы

$t_{a/2,n-1}$ рассчитывается.

Если

$\left\vert t_{0}\right\vert >t_{a/2,n-1}$

отклонить H ₀ , модель нуждается в корректировке.

Существует два типа ошибок, которые могут возникнуть при проверке гипотез: отклонение действительной модели, называемой ошибкой типа I или «риском создателя модели», и принятие недействительной модели, называемой ошибкой типа II, β или «риском пользователя модели». Уровень значимости или α равен вероятности ошибки I рода. Если α мало, то отказ от нулевой гипотезы является сильным выводом. Например, если α = 0,05 и нулевая гипотеза отвергается, вероятность отклонения действительной модели составляет всего 0,05. Снижение вероятности ошибки II рода очень важно. Вероятность правильного обнаружения недействительной модели равна 1 – β. Вероятность ошибки второго рода зависит от размера выборки и фактической разницы между значением выборки и наблюдаемым значением. Увеличение размера выборки снижает риск ошибки второго рода.

Точность модели как диапазон

Недавно был разработан статистический метод, в котором степень точности модели указывается в виде диапазона. Этот метод использует проверку гипотез для принятия модели, если разница между интересующей переменной модели и интересующей переменной системы находится в пределах заданного диапазона точности. Требование состоит в том, чтобы и системные данные, и данные модели были примерно нормально независимыми и одинаково распределенными (NIID) . t -теста В этом методе используется статистика . Если среднее значение модели равно μ ^м а среднее значение системы равно μ ^с тогда разница между моделью и системой равна D = µ ^м - м ^с . Гипотеза, которую необходимо проверить, заключается в том, находится ли D в пределах допустимого диапазона точности. Пусть L = нижний предел точности, а U = верхний предел точности. Затем

Ч ₀ L ≤ D ≤ U

против

H ₁ D < L или D > U

предстоит протестировать.

Кривая рабочей характеристики (OC) представляет собой вероятность того, что нулевая гипотеза будет принята, когда она верна. Кривая OC характеризует вероятности ошибок как I, так и II рода. Кривые риска для разработчика модели и пользователя модели могут быть построены на основе кривых OC. Сравнивая кривые с фиксированным размером выборки, компромисс между риском разработчика модели и риском пользователя модели можно легко увидеть на кривых риска. Если указаны риск разработчика модели, риск пользователя модели, а также верхний и нижний пределы диапазона точности, то можно рассчитать необходимый размер выборки.

Доверительные интервалы

Доверительные интервалы можно использовать для оценки того, является ли модель «достаточно близкой». в систему для некоторой интересующей переменной. Разница между известным значением модели, ц ₀ , и значением системы, ц, проверяется, чтобы убедиться, что она меньше значения, достаточно малого, чтобы модель была допустимой в отношении интересующей переменной. Значение обозначается символом ε. Для выполнения теста n проводится ряд статистически независимых прогонов модели среднее или ожидаемое значение E(Y) или µ для интересующей выходной переменной моделирования Y со стандартным отклонением S. и вычисляется Выбирается уровень достоверности 100(1-α). Интервал [a,b] строится по формуле

$a=E(Y)-t_{a/2,n-1}S/{\sqrt {n}}\qquad and\qquad b=E(Y)+t_{a/2,n-1}S/{\sqrt {n}}$,

где

$t_{a/2,n-1}$

— критическое значение t-распределения для данного уровня значимости и n-1 степеней свободы.

Если |a-μ ₀ | > ε и |b-μ ₀ | > ε, то модель необходимо откалибровать, поскольку в обоих случаях разница превышает допустимую.

Если |a-μ ₀ | < ε и |b-μ ₀ | < ε, то модель приемлема, поскольку в обоих случаях ошибка достаточно близка.

Если |a-μ ₀ | < ε и |b-μ ₀ | > ε или наоборот , то для сокращения интервала потребуются дополнительные прогоны модели.

Графические сравнения

Если статистические предположения не могут быть удовлетворены или для системы недостаточно данных, для принятия субъективных решений можно использовать графическое сравнение выходных данных модели с выходными данными системы, однако другие объективные тесты предпочтительнее.

Стандарты ASME

Документы и стандарты, включающие проверку и валидацию компьютерного моделирования и симуляции, разрабатываются Американского общества инженеров-механиков Комитетом по верификации и валидации (V&V) (ASME). ASME V&V 10 предоставляет рекомендации по оценке и повышению достоверности вычислительных моделей механики твердого тела посредством процессов проверки, валидации и количественной оценки неопределенности. ASME V&V 10.1 содержит подробный пример, иллюстрирующий концепции, описанные в ASME V&V 10. ASME V&V 20 предоставляет подробную методологию проверки вычислительного моделирования применительно к гидродинамике и теплопередаче. ASME V&V 40 обеспечивает основу для установления требований к достоверности модели для компьютерного моделирования и представляет примеры, характерные для отрасли медицинского оборудования.

См. также

• Верификация и валидация
• Верификация и валидация программного обеспечения