Платформа тестовых шаблонов

Test Template Framework ( TTF ) — это платформа тестирования на основе моделей (MBT), предложенная Филом Стоксом и Дэвидом Кэррингтоном в ( Stocks & Carrington 1996 ) для целей тестирования программного обеспечения . Хотя TTF должен был быть независимым от нотации, исходное представление было сделано с использованием формальной нотации Z. Это одна из немногих платформ MBT, приближающихся к модульному тестированию .

Введение

TTF — это конкретное предложение тестирования на основе моделей (MBT). Он считает модели Z-спецификациями . Каждая операция в спецификации анализируется для получения или создания абстрактных тестовых примеров . Этот анализ состоит из следующих этапов:

Определите пространство ввода (IS) каждой операции.
Получите допустимое пространство ввода (VIS) из IS каждой операции.
Примените одну или несколько тактик тестирования . ^[1] начиная с каждой ВИС , строить дерево тестирования для каждой операции. Деревья тестирования заполняются узлами, называемыми тестовыми классами .
Обрежьте каждое из полученных деревьев тестирования .
Найдите один или несколько абстрактных тестовых случаев на каждом листе каждого дерева тестирования .

Одним из основных преимуществ TTF является то, что все эти понятия выражены в одной и той же нотации спецификации, то есть Z. в нотации Следовательно, инженеру нужно знать только одну нотацию, чтобы выполнить анализ вплоть до генерации абстрактных тестовых примеров .

Важные понятия

В этом разделе описаны основные концепции, определенные TTF.

Входное пространство

Позволять $Op$ быть Z-операцией. Позволять $x_{1}\dots x_{n}$ быть всеми входными переменными и (нештрихованными) переменными состояния, на которые ссылаются в $Op$ , и $T_{1}\dots T_{n}$ соответствующие им типы. Входное пространство (IS) $Op$ , написано $IS_{Op}$ , представляет собой блок схемы Z, определенный $[x_{1}:T_{1}\dots x_{n}:T_{n}]$ .

Допустимое пространство для ввода

Позволять $Op$ быть Z-операцией. Позволять ${\text{pre }}Op$ быть предварительным условием $Op$ . Допустимое пространство ввода (VIS) $Op$ , написано $VIS_{Op}$ , представляет собой блок схемы Z, определенный $[IS_{Op}|{\text{pre }}Op]$ .

Тестовый класс

Позволять $Op$ будет Z-операцией и пусть $P$ быть любым предикатом, зависящим от одной или нескольких переменных, определенных в $VIS_{Op}$ . Затем поле Z-схемы $[VIS_{Op}|P]$ это тестовый класс $Op$ . Обратите внимание, что эта схема эквивалентна $[IS_{Op}|{\text{pre }}Op\land P]$ . Это наблюдение можно обобщить, сказав, что если $C_{Op}$ это тестовый класс $Op$ , то блок схемы Z, определенный $[C_{Op}|P]$ также является тестовым классом $Op$ . Согласно этому определению, ВИС также является тестовым классом.

Если $C_{Op}$ это тестовый класс $Op$ , то предикат $P$ в $C'_{Op}==[C_{Op}|P]$ называется характеристическим предикатом $C'_{Op}$ или $C'_{Op}$ характеризуется $P$ .

Классы тестирования также называются целями тестирования ( Utting & Legeard 2007 ), шаблонами тестов ( Stocks & Carrington 1996 ) и спецификациями тестов.

Тактика тестирования

В контексте TTF тактика тестирования ^[1] это средство разделения любого тестового класса любой операции. Однако некоторые тактики тестирования, используемые на практике, на самом деле не всегда генерируют разделение некоторых тестовых классов.

Некоторые тактики тестирования, первоначально предложенные для TTF, следующие:

Дизъюнктивная нормальная форма (ДНФ). При применении этой тактики операция записывается в дизъюнктивной нормальной форме , а тестовый класс делится на столько тестовых классов, сколько термов содержится в предикате результирующей операции. Предикат, добавляемый к каждому новому тестовому классу, является предварительным условием одного из терминов предиката операции.
Стандартные разделы (SP). Эта тактика использует заранее определенное разделение некоторого математического оператора ( Stocks 1993 ). Например, следующий раздел представляет собой хороший раздел для выражений вида $S\spadesuit T$ где $\spadesuit$ является одним из $\cup$ , $\cap$ и $\setminus$ (см. Теорию множеств ).
${\begin{array}{l|l}S=\emptyset ,T=\emptyset &S\neq \emptyset ,T\neq \emptyset ,S\subset T\\\hline S=\emptyset ,T\neq \emptyset &S\neq \emptyset ,T\neq \emptyset ,T\subset S\\\hline S\neq \emptyset ,T=\emptyset &S\neq \emptyset ,T\neq \emptyset ,T=S\\\hline S\neq \emptyset ,T\neq \emptyset ,S\cap T=\emptyset &S\neq \emptyset ,T\neq \emptyset ,S\cap T\neq \emptyset ,\lnot (S\subseteq T),\lnot (T\subseteq S),S\neq T\end{array}}$

Как можно заметить, стандартные разделы могут меняться в зависимости от объема тестирования, который хочет выполнить инженер.
Распространение поддоменов (SDP). Эта тактика применяется к выражениям, содержащим:
1. Два или более математических оператора, для которых уже определены стандартные разделы, или
2. Математические операторы, которые определяются через другие математические операторы.
В любом из этих случаев стандартные разделы операторов, встречающиеся в выражении или в определении сложного оператора, объединяются для создания раздела для выражения. Если применить эту тактику ко второму случаю, то полученный раздел можно рассматривать как стандартный раздел для этого оператора. Стокс и Кэррингтон в ( Stocks & Carrington 1996 ) иллюстрируют эту ситуацию на примере $R\oplus G=({\text{dom }}G\ntriangleleft R)\cup G$ , где $\ntriangleleft$ означает антиограничение домена , предоставляя стандартные разделы для $\ntriangleleft$ и $\cup$ и распространяя их для вычисления раздела для $\oplus$ .
Спецификационная мутация (SM). Первый шаг этой тактики состоит в создании мутанта операции Z. Мутант операции Z по своей сути аналогичен мутанту программы , т. е. представляет собой модифицированную версию операции. Модификация внесена инженером с целью выявить ошибку в реализации. Мутантом должна быть спецификация, которую, по мнению инженера, реализовал программист. Затем инженер должен рассчитать подмножество VIS, которое дает разные результаты в обеих спецификациях. Предикат этого набора используется для создания нового тестового класса.

Некоторые другие тактики тестирования, которые также могут быть использованы, следующие:

В расширении набора (ISE). Это относится к предикатам формы $expr\in \{expr_{1},\dots ,expr_{n}\}$ . В этом случае он генерирует $n$ тестовых классов таких, что предикат вида $expr=expr_{i}$ добавляется к каждому из них.
Обязательный тестовый набор (MTS). Эта тактика связывает набор постоянных значений с переменной VIS и генерирует столько тестовых классов, сколько элементов находится в наборе. Каждый тестовый класс характеризуется предикатом вида $var=val$ где $var$ — имя переменной, а $val$ — одно из значений набора.
Числовые диапазоны (NR). Эта тактика применима только к переменным VIS типа $\mathbb {Z}$ (или его «подтип» $\mathbb {N}$ ). Он заключается в связывании диапазона с переменной и получении тестовых классов путем сравнения переменной с пределами диапазона определенными способами. Более формально, пусть $n$ — переменная типа $\mathbb {Z}$ и пусть $[i,j]$ быть связанным диапазоном. Затем тактика генерирует тестовые классы, характеризующиеся следующими предикатами: $n<i$ , $n=i$ , $i<n\land n<j$ , $n=j$ , $n>j$ .
Свободный тип (FT). Эта тактика генерирует столько тестовых классов, сколько элементов имеет свободный (перечисляемый) тип. Другими словами, если модель определяет тип $COLOR ::= red | синий | зеленый$ и некоторая операция использует $c$ типа $COLOR$ , тогда, применяя эту тактику, каждый тестовый класс будет разделен на три новых тестовых класса: один, в котором $c$ равен $красному$ , другой, в котором $c$ равен $синему$ , и третий, где $c$ равен $зеленому$ .
Правильное подмножество расширения множества (PSSE). Эта тактика использует ту же концепцию ISE, но применяется для включения включений. PSSE помогает тестировать операции, включая такие предикаты, как $expr\subset \{expr_{1},\dots ,expr_{n}\}$ . Когда применяется PSSE, он генерирует $2^{n}-1$ тестовые классы, где предикат формы $expr=A_{i}$ с $i\in [1,2^{n}-1]$ и $A_{i}\in \mathbb {P} \{expr_{1},\dots ,expr_{n}\}\setminus \{\{expr_{1},\dots ,expr_{n}\}\}$ , добавляется к каждому классу. $\{expr_{1},\dots ,expr_{n}\}$ исключен из $\mathbb {P} \{expr_{1},\dots ,expr_{n}\}$ потому что $expr$ является правильным подмножеством $\{expr_{1},\dots ,expr_{n}\}$ .
Подмножество расширения набора (SSE). Он идентичен PSSE, но применяется к предикатам формы $expr\subseteq \{expr_{1},\dots ,expr_{n}\}$ в этом случае он генерирует $2^{n}$ рассматривая также $\{expr_{1},\dots ,expr_{n}\}$ .

Дерево тестирования&

Применение тактики тестирования к VIS создает несколько классов тестирования. Если некоторые из этих тестовых классов дополнительно разделить путем применения одной или нескольких тактик тестирования, получится новый набор тестовых классов. Этот процесс можно продолжить, применив тактику тестирования к уже созданным тестовым классам. Очевидно, что результат этого процесса можно изобразить в виде дерева, в котором VIS является корневым узлом, тестовые классы, созданные первой тактикой тестирования, — его дочерними элементами и так далее. Кроме того, Стокс и Кэррингтон в ( Stocks & Carrington 1996 ) предлагают использовать обозначение Z для построения дерева следующим образом.

${\begin{aligned}VIS&==[IS|P]\\TCL_{T_{1}}^{1}&==[VIS|P_{T_{1}}^{1}]\\&\dots \\TCL_{T_{1}}^{n}&==[VIS|P_{T_{1}}^{n}]\\TCL_{T_{2}}^{1}&==[TCL_{T_{1}}^{i}|P_{T_{2}}^{1}]\\&\dots \\TCL_{T_{2}}^{m}&==[TCL_{T_{1}}^{i}|P_{T_{2}}^{m}]\\&\dots \\TCL_{T_{3}}^{1}&==[TCL_{T_{2}}^{j}|P_{T_{3}}^{1}]\\&\dots \\TCL_{T_{3}}^{k}&==[TCL_{T_{2}}^{j}|P_{T_{3}}^{k}]\\&\dots \\&\dots \\&\dots \end{aligned}}$

Обрезка тестовых деревьев

В общем, предикат тестового класса представляет собой сочетание двух или более предикатов. Тогда вполне вероятно, что некоторые тестовые классы пусты, потому что их предикаты являются противоречиями. Эти тестовые классы необходимо удалить из дерева тестирования, поскольку они представляют собой невозможные комбинации входных значений, т. е. абстрактный тестовый пример из них невозможно получить .

Абстрактный тестовый пример

Абстрактный тестовый пример — это элемент, принадлежащий тестовому классу . TTF предписывает, что абстрактные тестовые примеры должны быть получены только из листьев дерева тестирования . Абстрактные тестовые примеры также можно записать в виде блоков Z-схемы. Позволять $Op$ будет какая-то операция, пусть $VIS_{Op}$ быть ВИС $Op$ , позволять $x_{1}:T_{1}\dots x_{n}:T_{n}$ быть всеми переменными, объявленными в $VIS_{Op}$ , позволять $C_{Op}$ быть (листовым) тестовым классом дерева тестирования, связанного с $Op$ , позволять $P_{1}\dots P_{m}$ — характеристические предикаты каждого тестового класса из $C_{Op}$ до $VIS_{Op}$ (следуя краям от дочернего элемента к родительскому ), и пусть $v_{1}:T_{1}\dots v_{n}:T_{n}$ быть $n$ постоянные значения, удовлетворяющие $P_{1}\land \dots \land P_{m}$ . Затем абстрактный тестовый пример $C_{Op}$ это блок схемы Z, определенный $[C_{Op}|x_{1}=v_{1}\land \dots \land x_{n}=v_{n}]$ .

См. также

Ссылки

Стокс, Фил; Кэррингтон, Дэвид (1996), «Среда тестирования на основе спецификаций», IEEE Transactions on Software Engineering , 22 (11): 777–793, doi : 10.1109/32.553698 .
Уттинг, Марк; Легард, Бруно (2007), Практическое тестирование на основе моделей: инструментальный подход (1-е изд.), Морган Кауфманн , ISBN 0-12-372501-1 .
Стокс, Фил (1993), «Применение формальных методов к тестированию программного обеспечения» , факультет компьютерных наук, Университет Квинсленда, докторская диссертация .

Примечания

^ Jump up to: ^а ^б Стокс и Кэррингтон используют термин «стратегии тестирования» в ( Stocks & Carrington 1996 ).

[testing_strategy-1] Jump up to: ^а ^б Стокс и Кэррингтон используют термин «стратегии тестирования» в ( Stocks & Carrington 1996 ).

[1]