Як відомо, в ідеалі процес тестування починається зі складання тест-плану. Цей документ включає в себе всю необхідну інформацію: як, коли, ким і як часто проводиться тестування, які методики використовуються, які інструменти задіяні.
Чому так важливо обрати інструменти тестування заздалегідь? Це дозволить оптимізувати весь процес, правильно організувати роботу, що, зрозуміло, позначиться на якості її виконання. Це стосується і реалізації тест-дизайну – опису тестових випадків (кейсів).
Тест-кейс – це крок за кроком описана перевірка тестованого продукту із зазначенням очікуваного результату для кожного з кроків. Щоб оцінити, наскільки якісно виконана робота по його створенню, існує поняття тестового покриття. Воно відображає, наскільки щільно та ретельно охоплені тестами основні вимоги до продукту.
Позитивні тест-кейси описують сценарії роботи продукту відповідно до того, як це зазначено в документації. Наприклад, перевірка авторизації користувача із введенням валідних даних. Негативні кейси дозволяють перевірити адекватність роботи програми в разі введення некоректної інформації або збою одного з компонентів. Наприклад, спроба авторизуватися з невалідним паролем.
Як правило, негативних тест-кейсів більше, ніж позитивних. Сукупність тестових сценаріїв для перевірки одного функціоналу, модуля, компонента програми, називають тестовим набором (test-suite, тест-сьют). Процес проходження тест-кейсів із зазначенням результатів тестування (passed або failed) називається тест-раном. З одного набору можна запускати будь-яку кількість тест-ранів в процесі роботи.
Писати кейси та об'єднувати їх в тестові набори можна в будь-якому текстовому редакторі, у вигляді таблиці або папки з файлами. Але набагато зручніше і раціональніше використовувати спеціальні додатки та програми.
Хороший інструмент для створення тестових сценаріїв дозволяє:
- описувати випадки покроково із зазначенням очікуваних результатів;
- додавати вкладення;
- об'єднувати написані кейси в набори;
- запускати тест-рани;
- відзначати результати здійснення перевірок;
- отримувати підсумковий звіт про проходження тест-рана.
Насправді, функціонал таких програм набагато ширше, але навіть перерахований мінімум істотно допомагає організовувати процес тестування.
Серед всіх інструментів для створення тест-кейсів можна виділити два, які підкорили своєю простотою використання, широким функціоналом і доступністю: TestLink та TestRail. Далі поговоримо про кожен окремо і з'ясуємо, за що їх так полюбили на реальних проєктах.