Генеральный план испытаний и оценки

Генеральный план тестирования и оценки ( TEMP ) — это важнейший аспект управления проектом, включающий сложные системы, которые должны удовлетворять требованиям спецификаций. TEMP используется для поддержки программных мероприятий, называемых этапными решениями, которые разделяют отдельные этапы проекта. Для военных систем уровень финансирования определяет категорию приобретения и организацию, ответственную за принятие ключевого решения. ^[1]^[2]

Матрица прослеживаемости обычно используется для связи позиций в рамках TEMP с позициями в спецификациях .

Определение

Генеральный план тестирования и оценки документирует общую структуру и цели тестирования и оценки программы. ^[3] Он охватывает действия на протяжении жизненного цикла программы и определяет критерии оценки для тестировщиков. ^[4]

Генеральный план испытаний и оценок состоит из отдельных тестов. Каждый тест содержит следующее.

Тестовый сценарий
Сбор данных
Оценка производительности

Тестовый сценарий

Сценарий тестирования устанавливает условия тестирования. Обычно это связано с конкретным профилем миссии. Для военных систем это будет боевой сценарий, который может включать испытания и оценку боевой стрельбы (LFT&E). Для коммерческих систем это будет включать в себя конкретную ситуацию, связанную с использованием разрабатываемого объекта.

Например, работа в холодную погоду может потребовать оценки работы при температуре ниже $-40^{o}$ C с использованием экологической камеры. Оценка работы с интерфейсом автомобиля может потребовать оценки совместимости с помощью испытания на вибрацию . Оценка интернет-магазина потребует, чтобы система проводила пользователя через покупку продукта, пока система загружена другим трафиком.

Сценарий тестирования определяет следующее.

Предметы, необходимые для тестирования
Инструкции по настройке элементов, которые будут использоваться во время теста
Общее описание работы с тестируемой системой.
Конкретные действия и события, которые будут происходить во время теста

Сбор данных

Сбор данных определяет информацию, которая должна быть собрана во время теста. Это предполагает предварительную настройку перед началом теста. Это может включать подготовку к любому из следующих действий.

Настройки тестируемой системы
Отдельные приборы
Письменные заметки по результатам непосредственного наблюдения
Коллекция образцов

Системы, включающие компьютер, обычно требуют возможности извлекать и записывать определенные виды данных из системы, пока она работает нормально.

Сбор электронных данных может быть запущен и остановлен как одно из действий, описанных в сценарии тестирования.

Когда доступ к данным ограничен, поэтому для передачи данных между организациями может потребоваться План сбора данных . Это может произойти с секретными военными системами .

Данные анализируются после завершения тестирования. Этот анализ называется оценкой эффективности.

Оценка эффективности

Меры эффективности — это конкретные показатели, которые используются для измерения результатов общей миссии и выполнения поставленных задач.

Они могут иметь гибкие ограничения производительности, связанные с результатом конкретного события. Например, первый выстрел, выпущенный из пушки, нацеленной с помощью радара, не поразит определенное место, но положение можно измерить с помощью радара, поэтому система должна быть в состоянии доставить снаряд в пределах определенного радиуса после нескольких выстрелов. уволенный. Количество выстрелов, необходимое для того, чтобы попасть в пределы лимита, определяется МЧС. Радиус будет мерой производительности (MOP).

Показатели производительности — это конкретные показатели, имеющие предел прохождения или отказа, который должен быть соблюден. Обычно они обозначаются словами «должен» или «должен» в спецификации.

Один из типов MOP — это расстояние, которое транспортное средство с определенной нагрузкой должно проехать с определенной скоростью, прежде чем у него закончится топливо.

Другой тип MOP — это расстояние, на котором радар может обнаружить отражатель площадью 1 квадратный метр.

Меры пригодности оценивают возможность поддержки в предполагаемой операционной среде.

Например, это может быть оценка среднего времени наработки на отказ (MTBF), которое оценивается во время других испытаний. Система с чрезмерными отказами может удовлетворять всем остальным требованиям и быть непригодной для использования. Пистолет, который заклинивает при загрязнении, не пригоден для использования в военных целях.

Эти требования связаны с возможностями.

Надежность
Доступность
Ремонтопригодность
Поддержка
Удобство использования

Цель

Результаты оценки TEMP используются для различных целей.

Отказ: решение о прекращении финансирования
Редизайн: модификация и повторное тестирование решения о финансировании
Полноценное производство: решение о приемке финансирования
Планирование миссии

Планирование миссии включает в себя перевод MOE, MOP и MOS в следующее.

Требуемые эксплуатационные возможности (ROC)
Прогнозируемая эксплуатационная среда (POE)
Диагностическое тестирование с помощью встроенного теста (BIT) или планового технического обслуживания.

ROC и POE — это конкретные ожидания, оцениваемые TEMP, которые используются для определения того, как развернуть активы для удовлетворения конкретных требований миссии. Диагностическое тестирование гарантирует, что эти ожидания будут удовлетворены на протяжении всей миссии.

Другое использование

Термин «генеральный план тестирования и оценки» как отдельное общее руководство по функциям тестирования и оценки в разработке также использовался Министерством обороны Австралии. ^[5] Другие используют этот термин или аналогичные термины, такие как «Главный план тестирования и оценки».

См. также

Руководство по оборонным закупкам (DAG), раздел 9 «Испытания и оценка»
Директор по эксплуатационным испытаниям и оценке

Ссылки

^ «Включение испытаний и оценки в контракты на приобретение Министерства обороны» (PDF) . Университет оборонного снабжения.
^ «Процедуры и рекомендации генерального плана тестирования и оценки» (PDF) . Университет Айдахо, Айдахо-Фолс.
^ «Генеральный план испытаний и оценки (TEMP)» . Проверено 6 апреля 2016 г.
^ «Тестирование и оценка, Генеральный план тестирования и оценки» . Проверено 6 апреля 2016 г.
^ «Испытание и оценка приобретения крупной оборонной техники» (PDF) . Национальное аудиторское управление Австралии. 24 января 2002 г. ISBN. 0642-80612-8 . Проверено 6 апреля 2016 г.

Внешние ссылки

[1] «Включение испытаний и оценки в контракты на приобретение Министерства обороны» (PDF) . Университет оборонного снабжения.

[2] «Процедуры и рекомендации генерального плана тестирования и оценки» (PDF) . Университет Айдахо, Айдахо-Фолс.

[3] «Генеральный план испытаний и оценки (TEMP)» . Проверено 6 апреля 2016 г.

[4] «Тестирование и оценка, Генеральный план тестирования и оценки» . Проверено 6 апреля 2016 г.

[5] «Испытание и оценка приобретения крупной оборонной техники» (PDF) . Национальное аудиторское управление Австралии. 24 января 2002 г. ISBN. 0642-80612-8 . Проверено 6 апреля 2016 г.

[1]

[2]

[3]

[4]

[5]