Методы верификации программного обеспечения

3.4.4. Критерии полноты тестирования 
Критерии полноты тестирования должны выбираться на основе рисков проекта 
и того, какие ошибки в тестируемом ПО наиболее важны. На практике используют 
критерии следующих типов. 

Критерии покрытия структурных элементов тестируемой системы, которые 
выполняются или задействуются в ходе тестов. Такие критерии называются 
структурными критериями и используются, если код тестируемой системы 
доступен для анализа. Структурные критерии покрытия позволяют отслеживать, 
были ли отдельные элементы кода хотя бы раз выполнены в ходе тестирования, 
однако не могут ничем помочь в обнаружении нереализованных требований. 
o 
На уровне отдельных операций используют критерии покрытия 
кода [200,201], основанные на элементах графа потока управления или 
графа потоков данных. К первому типу относятся критерий покрытия 
инструкций или ветвлений в коде, критерий покрытия комбинаций 
элементарных условий, используемых в ветвлениях. Критерий покрытия 
использований переменных или критерий покрытия путей от точек 
присваивания переменной некоторого значения к точкам ее 
использования относятся к критериям покрытия потоков данных. 
o 
На уровне компонента или группы компонентов используют покрытие 
элементов графа вызовов их операций или вхождений операций чтения и 
записи отдельных элементов данных этих компонентов в код 
тестируемых операций. 
o 
На уровне системы в целом или крупных подсистем используют 
критерии покрытия возможных сценариев взаимодействия компонентов. 

Специальным частным случаем структурных критериев являются критерии 
покрытия, основанные на структуре входных данных тестируемых операций. 
Эти критерии полезны в тех случаях, когда код системы для анализа недоступен, 
или описание требований дает недостаточно информации для построения 
аккуратных тестов. 

Критерии покрытия элементов требований. Они называются функциональными 
критериями и устроены подобно структурным критериям покрытия, только в 

---

79 
качестве покрываемых элементов рассматриваются не сценарии взаимодействия 
компонентов, участки их кода или комбинации условий ветвлений, а сценарии 
использования, отдельные правила и ограничения в требованиях и комбинации 
условий, при которых задействуются эти правила и ограничения. 
Такие критерии полноты позволяют отслеживать, что тестирование проверяет 
все ограничения, указанные в требованиях, однако они не позволяют 
целенаправленно обнаружить дополнительные функции или закладки в коде, 
что можно сделать, используя структурные критерии. 

Критерии полноты на основе гипотез об ошибках. Такие критерии строятся на 
базе некоторой схемы возможных ошибок в проверяемом ПО. Эта схема 
создается на основе рисков проекта, опыта разработчиков и тестировщиков, а 
также типичных ошибок, возможных в системах данного типа. Часто 
используются таксономии ошибок, подобные [53,203], — это позволяет с 
минимальными усилиями значительно снизить риск не обнаружить важную для 
пользователей ошибку. 
Один из видов таких критериев — критерий покрытия мутантов [204]. 
Мутантом называется проверяемая программа с небольшим внесенным в нее 
изменением (заменой константы 0 на 1, оператора + на -, знака < на > или <=, 
перемены местами ветвей в операторе if…else и т.п.), отличающаяся по 
поведению от исходной. Созданы наборы операторов мутаций для различных 
языков программирования [205-207], позволяющие получить систематичные 
семейства мутантов. Полнота тестов измеряется процентом мутантов, которые 
они выявляют. 

Критерии покрытия элементов моделей поведения ПО являются самым общим 
типом критериев полноты. Перечисленные выше критерии соответствуют 
наиболее широко используемым моделям. Более специфические модели 
используются в тех случаях, когда перечисленные выше виды критериев не 
удается применить или они не дают достаточно низкого уровня риска 
пропустить важную ошибку в проверяемом ПО. Примерами таких критериев 
могут служить критерий покрытия состояний и критерий покрытия переходов в 
модели ПО в виде конечного автомата. 

---

80 

Смешанные критерии. Все указанные выше виды критериев покрытия имеют 
как достоинства, так и недостатки. Чтобы преодолеть последние на практике 
обычно применяют комбинацию из критериев разных видов. Часто используют 
сочетание функционального и структурного критериев — первый обеспечивает 
отслеживание покрытия требований, второй — покрытия структуры системы и 
гарантии обнаружения участков кода с неясной функциональностью.