ИСО/МЭК 29119
ISO/IEC/IEEE 29119 Программное обеспечение и системная инженерия. Тестирование программного обеспечения [ 1 ] представляет собой серию из пяти международных стандартов тестирования программного обеспечения . Впервые разработан в 2007 году. [ 2 ] Стандарт, выпущенный в 2013 году, «определяет словарь, процессы, документацию, методы и модель оценки процессов для тестирования, которые могут использоваться в любом жизненном цикле разработки программного обеспечения». [ 3 ]
История и редакции
[ редактировать ]Разработка набора стандартов тестирования программного обеспечения ISO/IEC/IEEE 29119 началась в мае 2007 года на основе существующих стандартов, таких как по электротехнике и электронике Института инженеров IEEE 829 (тестовая документация) и IEEE 1008 (модульное тестирование); и группы BSI . BS 7925-1 (словарь) и -2 (компоненты программного обеспечения) [ 2 ] [ 4 ]
Поначалу Международная организация по стандартизации (ISO) не имела рабочей группы со значительным опытом тестирования программного обеспечения, поэтому ISO создала WG26, которую к 2011 году представляли более 20 различных стран. [ 2 ] Первоначально для стандарта было разработано четыре раздела: «Концепции и определения» (1), «Процессы тестирования» (2), «Документация по тестированию» (3) и «Методы тестирования» (4). [ 2 ] Пятая часть, касающаяся оценки процессов, рассматривалась для дополнения, и в конечном итоге она стала стандартом ISO/IEC 33063:2015, который связан с процессами тестирования 29119-2. [ 2 ] [ 5 ] Фактическая пятая часть 29119 была опубликована в ноябре 2016 года и посвящена концепции тестирования на основе ключевых слов . [ 6 ]
По состоянию на июнь 2018 г. [update], никаких серьезных изменений в пяти частях стандарта не произошло. Эти части, от самых последних к самым старым:
- ISO/IEC/IEEE 29119-5:2016, Часть 5: Тестирование на основе ключевых слов, опубликовано в ноябре 2016 г. [ 6 ]
- ISO/IEC/IEEE 29119-4:2015, Часть 4: Методы испытаний, опубликован в декабре 2015 г. [ 7 ]
- ISO/IEC/IEEE 29119-3:2013, Часть 3: Тестовая документация, опубликован в сентябре 2013 г. [ 8 ]
- ISO/IEC/IEEE 29119-2:2013, Часть 2: Процессы испытаний, опубликован в сентябре 2013 г. [ 9 ]
- ISO/IEC/IEEE 29119-1:2013, Часть 1: Концепции и определения, опубликован в сентябре 2013 г. [ 1 ]
Структура и содержание
[ редактировать ]ISO/IEC/IEEE 29119-1:2013, Часть 1: Концепции и определения.
[ редактировать ]ISO/IEC/IEEE 29119 Часть 1 облегчает использование других частей стандарта, вводя словарь , на котором построен стандарт, и предоставляет примеры его применения на практике. [ 4 ] Часть 1 содержит определения, описание концепций тестирования программного обеспечения и способы применения этих определений и концепций к другим частям стандарта. [ 1 ]
ISO/IEC/IEEE 29119-2:2013, Часть 2: Процессы испытаний
[ редактировать ]Часть 2 определяет общую модель процесса тестирования программного обеспечения, которая предназначена для использования организациями при проведении тестирования программного обеспечения. Он включает описания процессов тестирования, которые определяют процессы тестирования программного обеспечения на уровне организации, уровне управления тестированием (проекта) и уровнях процесса динамического тестирования (WG26 не смогла достичь консенсуса по включению статического тестирования). [ 2 ] [ 3 ] [ 10 ] Процессы, определенные в этом стандарте, могут использоваться в сочетании с различными моделями жизненного цикла разработки программного обеспечения. [ 9 ]
ISO/IEC/IEEE 29119-3:2013, Часть 3: Тестовая документация
[ редактировать ]Эта часть посвящена документации по тестированию программного обеспечения и включает шаблоны и примеры тестовой документации, создаваемые в процессе тестирования. Шаблоны поддерживают три основных уровня процесса тестирования Части 2, а стандарт также включает сопоставление с другими существующими стандартами. [ 2 ] [ 8 ]
Документы, определенные в ISO/IEC/IEEE 29119-3, следующие: [ 2 ] [ 4 ]
- Документация процесса организационного тестирования:
- - Политика тестирования
- - Стратегия организационного тестирования
- Документация процесса управления тестированием:
- - План тестирования (включая стратегию тестирования)
- - Статус теста
- - Завершение теста
- Документация по процессу динамических испытаний:
- - Спецификация тестового дизайна
- - Спецификация тестового примера
- - Спецификация процедуры испытаний
- - Требования к тестовым данным
- - Отчет о готовности тестовых данных
- - Требования к тестовой среде
- - Отчет о готовности тестовой среды
- - Фактические результаты
- - Результат теста
- - Журнал выполнения теста
- - Отчет об инциденте при тестировании
ISO/IEC/IEEE 29119-4:2015, Часть 4: Методы испытаний.
[ редактировать ]В Части 4 представлены стандартные определения методов проектирования тестов программного обеспечения (также известных как методы разработки тестовых сценариев или методы тестирования ) и соответствующие меры покрытия, которые можно использовать в процессах проектирования и реализации тестов, определенных в Части 2. [ 7 ] Методы Части 4 предназначены для поддержки или использования отдельно от Части 2. Методы проектирования тестов стандарта разделены на три основные категории: методы проектирования тестов, основанные на спецификациях, структуре и опыте. [ 2 ] [ 11 ]
Методы проектирования тестов на основе спецификаций
[ редактировать ]Эти методы основаны на (функциональных) спецификациях тестируемой системы . Их также называют методами тестирования «черного ящика» .
Предлагаемые методы проектирования тестов в этой группе: [ 2 ] [ 11 ]
- Разделение эквивалентности
- Метод дерева классификации
- Анализ граничных значений
- Синтаксическое тестирование
- Комбинаторные методы проектирования тестов
- Тестирование таблицы решений
- График причинно-следственных связей
- Тестирование перехода состояний
- Тестирование сценариев
- Случайное тестирование
Структурные методы проектирования тестов
[ редактировать ]Эти методы структурного тестирования основаны на (внутренней) структуре тестируемой системы. Их еще называют методами тестирования «белого ящика».
Предлагаемые методы проектирования тестов в этой группе: [ 2 ] [ 11 ]
- Отраслевое тестирование
- Тестирование решений
- Тестирование состояния филиала
- Комбинированное тестирование условий ветвей
- Тестирование покрытия решения по модифицированному условию (MCDC)
- потока данных Тестирование
Методы проектирования тестов, основанные на опыте
[ редактировать ]Эти методы исследовательского тестирования основаны на опыте тестировщика-человека.
Предлагаемые методы проектирования тестов в этой группе: [ 11 ]
ISO/IEC/IEEE 29119-5:2016, Часть 5: Тестирование на основе ключевых слов
[ редактировать ]Этот стандарт охватывает тестирование на основе ключевых слов — подход к определению тестов программного обеспечения (обычно автоматизированных), используемый в индустрии тестирования программного обеспечения. [ 12 ] Этот стандарт предназначен для пользователей, «которые хотят создавать спецификации тестов на основе ключевых слов, создавать соответствующие структуры или создавать автоматизацию тестирования на основе ключевых слов». [ 6 ]
Споры
[ редактировать ]После введения ISO/IEC/IEEE 29119, кульминацией которого стало лето 2014 года, некоторые тестировщики программного обеспечения и связанные с ними организации начали призывать ISO отменить стандарт. [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] Среди известных организаций, протестовавших против стандарта, была Ассоциация тестирования программного обеспечения. [ 18 ] и Международное общество тестирования программного обеспечения [ 20 ] Некоторые причины несогласия со стандартом включали:
- отсутствие истинного консенсуса по содержанию (как того требует ISO/IEC) среди профессиональных тестировщиков [ 13 ] [ 20 ] [ 15 ] [ 16 ]
- сильное внимание к документации будет отвлекать от реального процесса тестирования программного обеспечения. [ 13 ] [ 14 ] [ 18 ]
- ISO 29119 несовместим с тем, как люди работают над задачами, требующими когнитивных функций, и в то же время усиливает то, как они цепляются за бесполезные практики при выполнении сложных, стрессовых организаций. [ 19 ]
- стандарт не учитывает соответствующую работу в других местах по балансу правил и принципов в регулировании и стандартах; в стандарте неясны принципы, которыми должно управляться тестирование, но при этом он слишком предписывает детали, что приводит к путанице средств и целей. [ 19 ]
- стандарт фактически исключает контекстно-ориентированное тестирование. [ 16 ] [ 17 ]
- стандартизация тестирования программного обеспечения вообще не нужна [ 15 ] [ 18 ]
- стандарт имеет политический и финансовый подтекст и является слишком предписывающим, что не приносит пользы отрасли. [ 13 ] [ 17 ] [ 18 ]
Доктор Стюарт Рид, руководитель WG26, ответил на некоторые из этих и других противоположных точек зрения в сентябре 2014 года: [ 21 ] хотя неясно, были ли предприняты какие-либо дальнейшие действия со стороны WG26 из-за жалоб тестировщиков программного обеспечения.
Ссылки
[ редактировать ]- ^ Перейти обратно: а б с «ИСО/МЭК/ИИЭР 29119-1:2013» . Каталог стандартов . Международная организация по стандартизации. Сентябрь 2013 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с д и ж г час я дж к Рид, С. (2012). «Новый стандарт тестирования программного обеспечения» . В Дейле, К.; Андерсон, Т. (ред.). Достижение безопасности систем: материалы двадцатого симпозиума по системам, критичным для безопасности, Бристоль, Великобритания, 7-9 февраля 2012 г. Springer Science & Business Media. стр. 237–56. ISBN 9781447124948 .
- ^ Перейти обратно: а б Шумейкер, Д.; Сиглер, К. (2014). «Глава 6: Группа процессов реализации программного обеспечения» . Кибербезопасность: создание безопасной организации в области информационных технологий . Cengage Обучение. стр. 117–34. ISBN 9781305443471 .
- ^ Перейти обратно: а б с Прёлль, Р.; Бауэр, Б. (2018). «На пути к последовательной и строго основанной на моделях интерпретации стандарта ISO/IEC/IEEE 29119 для раннего тестирования» . Материалы 6-й Международной конференции по модельно-ориентированной инженерии и разработке программного обеспечения (MODELSWARD 2018) : 699–706. дои : 10.5220/0006749606990706 . ISBN 978-989-758-283-7 .
- ^ «ИСО/МЭК 33063:2015» . Каталог стандартов . Международная организация по стандартизации. Август 2015 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с «ИСО/МЭК/ИИЭР 29119-5:2016» . Каталог стандартов . Международная организация по стандартизации. Ноябрь 2016 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б «ИСО/МЭК/ИИЭР 29119-4:2015» . Каталог стандартов . Международная организация по стандартизации. Декабрь 2015 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б «ИСО/МЭК/ИИЭР 29119-3:2013» . Каталог стандартов . Международная организация по стандартизации. Сентябрь 2013 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б «ИСО/МЭК/ИИЭР 29119-2:2013» . Каталог стандартов . Международная организация по стандартизации. Сентябрь 2013 года . Проверено 24 июня 2018 г.
- ^ Касуринен, Дж.; Рунесон, П.; Риунгу, Л.; и др. (2011). «Система самооценки для определения целей улучшения с помощью стандарта тестирования ISO / IEC 29119» . В Конноре, штат Вирджиния; Прис-Хедже, Дж.; Месснарц Р. (ред.). Улучшение процессов систем, программного обеспечения и услуг: 18-я Европейская конференция, EuroSPI 2011, Роскилле, Дания, 27-29 июня 2011 г., Материалы . Springer Science & Business Media. стр. 25–36. ISBN 9783642222054 .
- ^ Перейти обратно: а б с д «ISO/IEC/IEEE 29119-4:2015-12 (E) Содержание» . Комитет по стандартам информационных технологий и приложений (NIA) . Немецкий институт стандартизации e. V. Архивировано из оригинала 25 июня 2018 года . Проверено 24 июня 2018 г.
- ^ Фаут, Д.Р. (5 ноября 2004 г.). «Тестирование по ключевым словам» . StickyMinds . Компания TechWell . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с д Криль, П. (22 августа 2014 г.). «Тестировщики программного обеспечения отказываются принять предложение по стандарту ISO 29119» . Инфомир . ИДГ Коммуникейшнс, Инк . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б Демман, Дж. (9 сентября 2014 г.). «Тестировщики программного обеспечения ходатайствуют об отмене ISO 29119» . TechTarget SearchSoftwareQuality . TechTarget, Inc. Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с Макковатт, И. (24 августа 2014 г.). «СТОП 29119» . Исследование неопределенности: блог о тестировании программного обеспечения . Архивировано из оригинала 13 октября 2014 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с Бах, Дж. (25 августа 2014 г.). «Как не стандартизировать тестирование (ISO 29119)» . Блог Удовлетворения . Удовлетворение, Inc. Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с Канер, К. (28 августа 2014 г.). «Пожалуйста, подпишите петицию о прекращении применения ISO 29119» . контекстно-ориентированное тестирование.com . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с д и «Дебаты по ISO29119» . Ассоциация тестирования программного обеспечения. 5 сентября 2014 года . Проверено 24 июня 2018 г.
- ^ Перейти обратно: а б с Кристи, Дж. (28 августа 2015 г.). «Почему ISO 29119 является ошибочным стандартом качества» . Журнал «Лучшее программное обеспечение» . Проверено 23 июля 2018 г.
- ^ Перейти обратно: а б «Петиция против ISO 29119» . Международное общество тестирования программного обеспечения. 19 августа 2014 года. Архивировано из оригинала 8 февраля 2017 года . Проверено 24 июня 2018 г.
- ^ Марнане, Т.; Рид, С. (10 сентября 2014 г.). «Ответ на петицию «Остановить номер 29119»» . SoftwareTestingStandard.org . Архивировано из оригинала 16 февраля 2020 года . Проверено 24 июня 2018 г.