ТПТ (программное обеспечение)

Тестирование временного разделения (TPT)
	Тестовый пример, смоделированный с помощью TPT
Разработчик(и)	ПайкТек ГмбХ
Стабильная версия	19 / 29 марта 2023 г .; 16 месяцев назад
Операционная система	Окна
Доступно в	Английский
Тип	Тестирование программного обеспечения
Лицензия	Собственный
Веб-сайт	www .piketec .с

TPT ( тестирование с разделением по времени ) — систематического тестирования методология для автоматизированного тестирования и проверки программного обеспечения встроенных систем управления , киберфизических систем и программ управления потоками данных . TPT специализируется на тестировании и проверке встроенных систем, входные и выходные данные которых могут быть представлены в виде сигналов , и представляет собой специальный метод тестирования непрерывного поведения систем . ^[1] Большинство систем управления относятся к этому классу систем. Выдающейся характеристикой систем управления является тот факт, что они тесно взаимодействуют с реальной средой. Контролёрам необходимо наблюдать за окружающей средой и соответствующим образом реагировать на её поведение. ^[2] Система работает в цикле взаимодействия со своей средой и подвержена временным ограничениям. Тестирование этих систем предназначено для стимулирования и проверки временного поведения. Традиционные методы функционального тестирования используют сценарии, а TPT использует тестирование на основе моделей .

TPT сочетает в себе метод систематического и графического моделирования тестовых примеров с полностью автоматизированным выполнением тестов в различных средах и автоматической оценкой тестов. TPT охватывает следующие четыре тестовых действия:

моделирование тестовых примеров
выполнение тестов в различных средах (автоматизированное)
анализ результатов тестирования (оценка теста (автоматизированная))
тестовая документация (автоматизированная)
управление тестированием

Графические тестовые примеры

В TPT тесты моделируются графически с помощью специальных конечных автоматов и временного разделения. ^[1]^[3] Все тестовые случаи для одной тестируемой системы можно смоделировать с помощью одного гибридного автомата. Тесты часто состоят из последовательности логических этапов. Состояния представляют собой конечного автомата логические этапы теста, которые одинаковы для всех тестов. Условия триггера моделируют переходы между фазами тестирования. Каждое состояние и переход автомата могут иметь разные варианты. Комбинация вариантов моделирует отдельные тестовые случаи.

Тексты на естественном языке становятся частью графики, обеспечивая простую и наглядную читабельность даже для непрограммистов. Существенные методы, такие как параллельные и иерархические ветвящиеся конечные автоматы , условное ветвление, реактивность , описание сигнала, измеряемые сигналы, а также списки простых шагов тестирования, позволяют интуитивно и графически моделировать даже сложные тестовые случаи.

Сложность теста скрыта за графикой. Описание сигнала самого низкого уровня состоит либо из списков этапов тестирования, либо из так называемых прямых определений.

Моделирование простых последовательностей: список этапов тестирования

С помощью списка шагов тестирования можно моделировать простые последовательности шагов тестирования, которые не нужно выполнять параллельно, например, сигналы настройки (канал Set), сигналы линейного изменения (канал линейного изменения), настройки параметров (параметр Set), и жду (Подожди). Запросы ожидаемых результатов тестирования могут быть сделаны в рамках последовательности тестирования, чтобы оценить работу тестируемой системы. Также возможно поместить субавтоматы в список шагов тестирования, который, в свою очередь, содержит автоматы и последовательности, в результате чего образуются иерархические списки шагов тестирования. Последовательности испытаний также можно комбинировать с другими методами моделирования, что позволяет значительно усложнить (или упростить) тест. Последовательности испытаний также можно комбинировать и распараллеливать с другими методами моделирования.

Прямое определение сигнала: Прямое определение

В списке шагов тестирования можно реализовать так называемые «Прямые определения». Используя этот тип моделирования, можно определить сигналы как функцию времени, прошлых переменных/тестовых событий и других сигналов. Также возможно определить эти сигналы, написав код в стиле C , а также импортировав данные измерений и используя ручной редактор сигналов.

Функции

Можно определить функции , которые могут действовать как клиенты или серверы . Клиентские функции вызываются из TPT в тестируемой системе, тогда как серверные функции, реализованные в TPT, могут вызываться как « функции- заглушки » из тестируемой системы. Сам TPT также может вызывать функции сервера.

Систематические тестовые случаи

TPT был разработан специально для тестирования непрерывного и реактивного поведения встроенных систем. ^[4] TPT можно рассматривать как расширение метода дерева классификации с точки зрения временного поведения. Благодаря систематическому подходу к созданию тестовых примеров TPT отслеживает даже очень сложные системы, тщательное тестирование которых требует большого количества тестовых примеров, что позволяет находить сбои в тестируемой системе с помощью идеального количества тестовых примеров.

Основная идея систематики TPT — разделение сходств и различий между тестовыми примерами: большинство тестовых сценариев очень похожи по своему структурному процессу и могут «только» различаться в нескольких, но важных деталях. ^[5] TPT использует этот факт, совместно моделируя и используя суставные структуры. С одной стороны, таким образом можно избежать дублирования. С другой стороны, очень ясно показано, чем на самом деле отличаются тестовые примеры, т. е. какой конкретный аспект они соответственно проверяют. При таком подходе улучшается сопоставимость тестовых примеров и, следовательно, обзор, а внимание тестировщика сосредотачивается на главном – отличительных особенностях тестовых примеров.

Иерархическая структура тестовых примеров позволяет разбить сложные тестовые задачи на подзадачи, что также повышает ясность и, как следствие, качество теста.

Эти методы моделирования помогают тестировщику находить действительно важные случаи, избегая избыточности и отслеживая даже большое количество тестовых случаев. ^[6]

Автоматическое создание тестовых примеров

TPT включает в себя несколько возможностей автоматического создания тестовых примеров:

тестовые примеры из классов эквивалентности
тестовые примеры для покрытия моделей Simulink с использованием статического анализа и метода поиска ^[7]
тест-кейсы путем построения последовательности из вариантов состояний и переходов тестовой модели
тестовые примеры путем преобразования записей взаимодействия пользователей с тестируемой системой через графический пользовательский интерфейс (Dashboard)

Реактивные тесты

Благодаря TPT каждый тестовый пример может специфически реагировать на поведение системы. ^[8] во время процесса тестирования в режиме реального времени – например, чтобы реагировать на систему именно тогда, когда возникает определенное состояние системы или сигнал датчика превышает определенный порог. Если, например, необходимо смоделировать отказ датчика контроллера двигателя при превышении скорости холостого хода двигателя, должна быть возможность реагировать на событие «превышение скорости холостого хода двигателя» в описании тестового примера.

Выполнение теста

Тестовые случаи TPT выполняются независимо от его выполнения. Тестовые случаи могут выполняться практически в любой среде благодаря так называемой концепции виртуальной машины (ВМ), а также в средах реального времени . Примерами являются MATLAB / Simulink , TargetLink , ASCET, C-code , CAN , AUTOSAR , SystemDesk, DaVinci CT, LABCAR, INCA, Software-in-the-Loop (SiL) и HiL . Таким образом, TPT является интегрированным инструментом, который можно использовать на всех этапах тестирования, таких как модульное тестирование , интеграционное тестирование , системное тестирование и регрессионное тестирование .

Для анализа и измерения покрытия кода TPT может взаимодействовать с такими инструментами покрытия, как Testwell CTC++ для C-code .

настраиваемый графический интерфейс пользователя (Dashboard), основанный на виджетах GUI Для взаимодействия с тестами можно использовать .

виртуальная машина ТРТ

Смоделированные тестовые случаи в TPT компилируются и во время выполнения теста интерпретируются так называемой виртуальной машиной (ВМ). Виртуальная машина одинакова для всех платформ и всех тестов. платформы Только адаптер реализует преобразование сигналов для отдельного приложения. TPT-VM реализован в ANSI C , требует памяти всего в несколько килобайт и может полностью обходиться без динамического выделения памяти, что позволяет применять его в минималистических средах и средах с небольшим количеством ресурсов. Также существуют API для C и .NET .

Виртуальная машина TPT способна обрабатывать тесты в режиме реального времени с заданным поведением ответа. Время ответа тестовых примеров TPT обычно указывается в пределах микросекунд — в зависимости от сложности и тестового оборудования.

Программируемая тестовая оценка

Ожидаемое поведение системы для отдельных тестовых случаев также должно автоматически тестироваться, чтобы гарантировать эффективность процессов тестирования. TPT предлагает возможность вычислять свойства ожидаемого поведения онлайн (во время выполнения теста) и оффлайн (после выполнения теста). В то время как онлайн-оценка использует те же методы моделирования, что и тестовое моделирование, автономная оценка предлагает гораздо более широкие возможности для более сложных оценок, включая такие операции, как сравнение с внешними эталонными данными, мониторинг предельных значений, фильтры сигналов, анализ последовательностей состояний и времени. условия.

Технически говоря, автономная оценка основана на языке сценариев Python , который был расширен за счет определенных синтаксических элементов языка и специализированной библиотеки оценки, чтобы обеспечить оптимальную поддержку оценки теста. Использование скриптового языка обеспечивает высокую степень гибкости при оценке тестов: поддерживается доступ к справочным данным, связь с другими инструментами и разработка собственных предметно-ориентированных библиотек для оценки тестов. Помимо оценки результатов теста на основе сценариев, пользовательские интерфейсы обеспечивают простой доступ к оценкам тестов и помогают непрограммистам избежать использования сценариев.

Данные измерений из других источников, таких как регистрация сигналов TargetLink и Simulink или данные измерений MCD-3, могут оцениваться автоматически. Эти данные могут быть независимыми от выполнения теста.

Тестовая документация

Документация по тестированию TPT в соответствии со стандартом IEEE 829 представляет результат оценки теста тестировщику в виде HTML-отчета, в котором не только чистая информация «успех», «неудачный» или «неизвестный» может быть отображена как результат теста для каждого тестовый пример, но также такие детали, как характерные параметры или сигналы, которые наблюдались при выполнении теста или вычислялись при оценке теста. Поскольку оценка теста возвращает правильную информацию о времени и проверенном поведении, эту информацию можно сделать доступной в отчете.Содержание тестовой документации, а также структура документа могут свободно настраиваться с помощью шаблона.

Управление тестированием

TPT поддерживает управление тестированием тестовых проектов TPT с помощью следующих действий:

Разработка тест-кейса в тестовом проекте
Планирование тестирования посредством настройки набора тестов и конфигурации выполнения тестов.
Автоматическое выполнение и оценка тестов в тестовой кампании.
Отчет о тестировании (подробный для отдельного тестового запуска)
Сводные отчеты по тестированию за различные циклы выпуска и
Отслеживаемость требований, тестов, тестовых прогонов, результатов тестов

Отслеживание требований

Отраслевые нормы, такие как IEC 61508 , DO-178B , EN 50128 и ISO 26262, требуют прослеживаемости требований и испытаний . TPT предлагает интерфейс для таких инструментов, как Telelogic DOORS, для поддержки этих действий.

Приложение

TPT — это тестирования на основе моделей инструмент , который применяется в основном при разработке автомобильных контроллеров. ^[9] и изначально был разработан компанией Daimler AG для собственных разработок. Компания Daimler в течение многих лет координировала разработку инструмента тестирования. ^[10] С 2007 года PikeTec продолжает развитие инструмента. TPT используется многими другими производителями автомобилей, такими как BMW , Volkswagen , Audi , Porsche и General Motors, а также такими поставщиками, как Robert Bosch GmbH , Continental и Hella . ^[11]

Ссылки

^ Jump up to: ^а ^б «Юстина Зандер-Новицка, Абель Марреро Перес, Ина Шифердекер, Чжэнь Ру Дай: Шаблоны тестового проектирования для встраиваемых систем, В: 10-я Международная конференция по обеспечению качества в технологиях программного обеспечения, CONQUEST 2007, Потсдам, Германия, сентябрь 2007 г.» (PDF) . Архивировано из оригинала (PDF) 2 марта 2012 г. Проверено 8 августа 2013 г.
^ Карл Дж. Острем и Ричард М. Мюррей (2008). Системы обратной связи: введение для ученых и инженеров (PDF) . Издательство Принстонского университета. ISBN 978-0-691-13576-2 .
^ «Шифердекер, Брингманн, Гроссманн: Непрерывное TTCN-3: Тестирование встроенных систем управления», В: Материалы 28-й Международной конференции по разработке программного обеспечения, Шанхай, Китай, 2006 г. (PDF) . Проверено 8 августа 2013 г.
^ «Брингманн, Кремер: Систематическое тестирование непрерывного поведения автомобильных систем. В: Международная конференция по разработке программного обеспечения: материалы международного семинара по программному обеспечению 2006 г., Шанхай, Китай, 2006 г.» (PDF) . Проверено 8 августа 2013 г.
^ «Леманн, TPT – Диссертация, 2003 г.» (PDF) . Проверено 8 августа 2013 г.
^ «Леманн: Тестирование с разделением времени: метод тестирования динамического функционального поведения. IN: Proceedings of Test2000, Линдон, Великобритания, 2000» . Evotest.iti.upv.es . Проверено 8 августа 2013 г.
^ Бенджамин Вильмс: Процедура гибридного тестирования для моделей Simulink/TargetLink , диссертация, TU-Berlin, Германия, 2015. [1]
^ «Гроссманн, Мюллер: Формальная поведенческая семантика для TestML; В: Proc. ISOLA 06, Пафос, Кипр, ноябрь 2006 г.» (PDF) . Immos-project.de.
^ Брингманн, Э.; Кремер, А. (2008). «Модельное тестирование автомобильных систем» (PDF) . 2008 Международная конференция по тестированию, верификации и валидации программного обеспечения . Международная конференция по тестированию, верификации и валидации программного обеспечения (ICST). стр. 485–493. дои : 10.1109/ICST.2008.45 . ISBN 978-0-7695-3127-4 .
^ Конрад, Мирко; Фей, Инес; Грохтманн, Матиас; Кляйн, Торстен (9 июля 2001 г.). «Разработка встроенного программного обеспечения для автомобилей на основе моделей в DaimlerChrysler». Исследования и разработки в области компьютерных наук . 20 (1-2): 3-10. дои : 10.1007/s00450-005-0197-5 .
^ Автомобильный веб-сайт Hauser. Проверено 16 марта 2015 г. Архивировано 24 ноября 2015 г. в Wayback Machine.

Внешние ссылки

ПайкТек

[fraunhofer2007-1] Jump up to: ^а ^б «Юстина Зандер-Новицка, Абель Марреро Перес, Ина Шифердекер, Чжэнь Ру Дай: Шаблоны тестового проектирования для встраиваемых систем, В: 10-я Международная конференция по обеспечению качества в технологиях программного обеспечения, CONQUEST 2007, Потсдам, Германия, сентябрь 2007 г.» (PDF) . Архивировано из оригинала (PDF) 2 марта 2012 г. Проверено 8 августа 2013 г.

[2] Карл Дж. Острем и Ричард М. Мюррей (2008). Системы обратной связи: введение для ученых и инженеров (PDF) . Издательство Принстонского университета. ISBN 978-0-691-13576-2 .

[3] «Шифердекер, Брингманн, Гроссманн: Непрерывное TTCN-3: Тестирование встроенных систем управления», В: Материалы 28-й Международной конференции по разработке программного обеспечения, Шанхай, Китай, 2006 г. (PDF) . Проверено 8 августа 2013 г.

[4] «Брингманн, Кремер: Систематическое тестирование непрерывного поведения автомобильных систем. В: Международная конференция по разработке программного обеспечения: материалы международного семинара по программному обеспечению 2006 г., Шанхай, Китай, 2006 г.» (PDF) . Проверено 8 августа 2013 г.

[5] «Леманн, TPT – Диссертация, 2003 г.» (PDF) . Проверено 8 августа 2013 г.

[6] «Леманн: Тестирование с разделением времени: метод тестирования динамического функционального поведения. IN: Proceedings of Test2000, Линдон, Великобритания, 2000» . Evotest.iti.upv.es . Проверено 8 августа 2013 г.

[7] Бенджамин Вильмс: Процедура гибридного тестирования для моделей Simulink/TargetLink , диссертация, TU-Berlin, Германия, 2015. [1]

[8] «Гроссманн, Мюллер: Формальная поведенческая семантика для TestML; В: Proc. ISOLA 06, Пафос, Кипр, ноябрь 2006 г.» (PDF) . Immos-project.de.

[9] Брингманн, Э.; Кремер, А. (2008). «Модельное тестирование автомобильных систем» (PDF) . 2008 Международная конференция по тестированию, верификации и валидации программного обеспечения . Международная конференция по тестированию, верификации и валидации программного обеспечения (ICST). стр. 485–493. дои : 10.1109/ICST.2008.45 . ISBN 978-0-7695-3127-4 .

[10] Конрад, Мирко; Фей, Инес; Грохтманн, Матиас; Кляйн, Торстен (9 июля 2001 г.). «Разработка встроенного программного обеспечения для автомобилей на основе моделей в DaimlerChrysler». Исследования и разработки в области компьютерных наук . 20 (1-2): 3-10. дои : 10.1007/s00450-005-0197-5 .

[11] Автомобильный веб-сайт Hauser. Проверено 16 марта 2015 г. Архивировано 24 ноября 2015 г. в Wayback Machine.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]