Методы верификации программного обеспечения

3.4.6. Инструменты автоматизации тестирования 
Инструменты автоматизации тестирования делятся на следующие классы. 

Инструменты управления информацией о тестах (test management tools) [219]. 
Эти инструменты собирают данные о тестах и их связях с другими артефактами 
разработки, предоставляя доступ к ней тестировщикам, инженерам по качеству, 
руководству проектов. Среди них наиболее известны TestManager [220] от 
IBM/Rational и TestDirector [221] от HP/Mercury. 

Инструменты 
мониторинга, 
используемые 
при 
тестировании 
для 
протоколирования работы тестируемой системы. См. раздел о мониторинге. 

Инструменты сбора данных о тестовом покрытии (test coverage tools) [222]. 
Такие инструменты позволяют измерять достигнутое при тестировании 
покрытие кода, обычно по критериям покрытия инструкций и/или ветвлений. 

Каркасы выполнения тестов (test execution frameworks). В рамках такого 
каркаса тесты запускаются как исполнимые модули или оформляются как 
программы, использующие API каркаса для мониторинга их работы. Помимо 
автоматизации запуска тестов часто предоставляются возможности по оценке 
того, выполнился тест успешно или нет, и дополнительные библиотеки для 
организации проверок в тестах и сброса трассировочной информации. 
Наиболее известными инструментами такого типа являются инструменты для 
автоматизации модульного тестирования семейства xUnit (jUnit и его 
производные, см. их список в Wikipedia [223], а также [224]) и TET [225]. 

Инструменты генерации тестовых данных (test input generators). Такие 
инструменты, в свою очередь, разбиваются на следующие группы. 
o 
Вероятностные генераторы используют генерацию псевдослучайных 
данных. 
o 
Комбинаторные генераторы используют комбинаторные техники 
создания тестов, чаще всего основанные на построении покрывающих 
наборов (covering arrays) [226-228]. 

---

87 
o 
Генераторы сложных данных, в виде заполнений баз данных, XML-
документов или текстов на языках, описываемых некоторыми 
грамматиками. Таких инструментов очень много, инструменты генерации 
заполнений баз данных чаще всего коммерческие, см. [229-232], 
инструменты для генерации XML-документов обычно свободные или 
исследовательские [233-237]. Инструменты генерации тестовых данных 
на основе грамматик известны с 1970-х годов [238], но есть и несколько 
более современных таких инструментов [239]. В ИСП РАН разработаны 
инструмент SynTESK [240], генерирующий по грамматике языка набор 
тестовых программ для синтаксических анализаторов, а также каркасы 
для создания генераторов сложных данных OTK [241] и Pinery [242]. 

Инструменты доступа к специализированным интерфейсам позволяют работать 
с этими интерфейсами в тестах с помощью обращений к программному 
интерфейсу. 
o 
Инструменты тестирования пользовательского интерфейса (GUI 
testing tools) [243,244]. Такие инструменты чаще всего основаны на 
записи действий пользователя (заполнения полей форм, нажатия кнопок, 
выбора пунктов меню и пр.) и возможности их воспроизведения. Обычно 
поддерживаются также возможности изменения редактирования 
выполнения тестов, записываемых на определенных языках, и 
использования различных данных в качестве заполнения полей. 
Эти инструменты обычно нацелены на проверку работы интерфейсов 
определенного типа — Windows GUI, GUI библиотек KDE или Gnome 
для Linux, WebUI [244]. Наиболее известны из них IBM/Rational 
Robot [245], 
HP/Mercury 
QuickTest 
Professional [246], 
Empirix 
e-
Tester [247]. 
o 
Специализированные инструменты тестирования протоколов [248] 
предоставляют поддержку работы через программный интерфейс с 
определенными 
телекоммуникационными 
или 
прикладными 
протоколами, а также часто и проверку корректности обмена 
сообщениями в их рамках. 

---

88 

Инструменты автоматизации построения тестов на основе моделей позволяют 
автоматизировать выбор тестовых ситуаций, создание оракулов и оценку 
полноты тестирования. Подробнее они рассматриваются в разделе, 
посвященном тестированию на основе моделей. 
Многие используемые на практике инструменты сочетают в себе функции 
нескольких из указанных типов, поскольку тестировщикам обычно удобнее 
пользоваться одним инструментом, чем несколькими.