Робота з системою TestRail

В цій статті роглянемо практичну частину роботи з системою TestRail та поетапний процес реєстрації, створення проєктів, тест-кейсів, тест-планів, тест-ранів тощо.

Реєстрація у TestRail

Даний інструмент є платним, але існує безкоштовна пробна версія на 14 днів. Цього цілком достатньо, щоб розібратися та трішки звикнути до системи.

1. Для початку процесу реєстрації акаунта слід перейти за посиланням та вибрати кнопку «Try for Free».

2. Далі відкривається форма реєстрації акаунта та можливість вибору версії для встановлення на сервер чи хмарної. Для ознайомлення та індивідуальної роботи достатньо буде онлайн-інструмента.

Після підтвердження вказаного імейла, користувач автоматично переноситься на особисту дошку, де і відбувається практично вся робота.

Створення проєкту

Щоб почати роботу у системі, потрібно створити проєкт. Він є основною організаційною одиницею TestRail. Зазвичай рекомендується створювати новий проєкт для кожного реального проєкту. Тестові прогони, результати тестів, етапи та інші дані безпосередньо пов’язані з кожним конкретним проєктом.

1. Спочатку треба натиснути на кнопку «Add project»:

2. Далі відкривається форма для заповнення ім’я проєкта (є обов’язковим), його анонс та варіанти організації тестових наборів:

• Єдине сховище для всіх випадків (рекомендовано). Єдиний набір тестів (репозиторій) є простим в управлінні та достатньо гнучким для більшості проєктів з відсутністю або декількома одночасними версіями. Можна використовувати розділи та підрозділи для подальшої організації тестів.
• Єдине сховище з базовою підтримкою. Єдиний набір тестів (репозиторій) із додатковою опцією для створення базових планів для керування декількома гілками тестів одночасно. Це ідеальний варіант, якщо потрібно тестувати кілька версій проєкта паралельно.
• Кілька наборів тестів для керування випадками. Кілька наборів тестів можуть бути корисними для організації тестових випадків за функціональними областями та модулями програми на рівні тестового пакету. Це традиційний режим TestRail, який автоматично використовується для оновлених проєктів.

3. Останнім кроком натискається кнопка «Add project».

Готово, проєкт створено, відображається меню, діаграма, перелік і кнопки для створення подій та тест-ранів, дії з проєктом (додавання та перегляд подій, тест-ранів, тест-кейсів).

Створення тест-кейсу

1. Спочатку треба натиснути на пункт меню «TEST CASES».

2. Якщо проєкт новий і тест-кейси для нього ще не додавались, тоді з’являється сторінка з досить обмеженими функціями: «Add Section» (додати розділ) та «Add Test Case» (додати тест-кейс).

3. Після натискання на кнопку «Add Test Case» з’являється форма для заповнення полів тест-кейса:

• Title – тема тест-кейса (є обов’язковим).
• Section – випадаючий список із варіантами вибору розділу, в якому буде відображатись створений тест-кейс. За замовчуванням створено розділ «Test cases» (є обов’язковим).
• Template – шаблон форми заповнення тест-кейса (є обов’язковим). Є три варіанта вибору: 
• • • Test Case (Text) встановлено за замовчуванням – має поле для передумов, одне текстове поле для всіх кроків та одне текстове поле для єдиного очікуваного результату.
    • Test Case (Steps) – є поле для передумов та відрізняється тим, що має окреме текстове поле для кожного кроку та кожного очікуваного результату. За допомогою кнопки «Add Step» додається пара полів з нумерацією.
    • Exploratory Session (дослідницька сесія) – замість передумов з’являється поле «Mission» для опису задач тест-кейса, та поле «Goals» для опису його цілей.

• Type – тип тестування  (є обов’язковим). Варіанти: Other (за замовчуванням),  Accessibility, Automated, Compatibility, Destructive, Functional, Performance, Regression, Security, Smoke & Sanity, Usability.
•  Priority (є обов’язковим) – пріорітет тест-кейса. Доступні варіанти: Critical, High, Medium, Low.
• Estimate – оцінка тест-кейса. 
• References – довідкова інформація/посилання на джерела.
• Automation Type – поле заповнюється, якщо для поточного тест-кейса використовується автоматизоване тестування.
• Preconditions – поле для опису передумов тест-кейса. Якщо використовується шаблон Exploratory Session, тоді даного поля не буле, але з’явиться поле «Mission» для опису задач тест-кейса.
• Steps – поле для опису кроків тест-кейса.
• Expected Result – очікуваний результат. При використанні шаблона Test Case (Text) буде одне поле, яке знаходиться під полем із кроками. Якщо ж вибрано шаблон Test Case (Steps) – полів для кроків та результатів буде однакова кількість (очікувані результати будуть описуватись для кожного кроку окремо), знаходитимуться вони одне біля одного. Кожна пара пронумерована.

4. Після заповнення полів необхідними даними, натиснути на кнопку «Add Test Case».

Тест-кейс створено! Відображається сторінка із переглядом доданого прикладу.

Створення тестових наборів

У TestRail тестові набори називаються Section та Subsection (розділи та підрозділи).

1. Для додавання нового розділу слід натиснути на кнопку «Add Section».

2. З’являється форма для заповнення назви розділу (обов’язково), опису та додавання медіафайлів (не обов’язково). Далі слід натиснути кнопку «Add Section» внизу форми.

Все, новий розділ створено. Для створення підрозділу до даного розділу слід натиснути на кнопку «Add Subsection».

З’являється форма, аналогічна до створення розділу, яка заповнюється відповідними даними, та натискається кнопка створення підрозділу.

Після маніпуляцій по створенню одного розділу з назвою «Sign in» та двох підрозділів «Authorization» і «Registration», відображається така структура:

Раніше було створено тест-кейс по авторизації з валідними даними, але додано його в розділ за замовчуванням (який, до речі, можна видалити або відредагувати). Тож цей приклад можна легко перенести у необхідний розділ/підрозділ. Для цього необхідно лише навести мишкою на створений тест-кейс, затиснути мишкою та перетягнути його в необхідне місце.

З’являється меню з опціями Move here (перемістити тест-кейс), Copy here (скопіювати тест-кейс) або Cancel (відмінити дію).

Спосіб організації розділів залежить від розміру проєкта. Якщо є багато тестових випадків, рекомендується додатково розбити розділи та створити підрозділи для певних функцій.

Створення тест-плану

Якщо потрібно керувати кількома тестовими прогонами та конфігураціями для одного проєкту, стають у пригоді тест-плани TestRail. План тестування дає змогу запускати кілька тестових прогонів одночасно, якщо потрібно протестувати кілька конфігурацій. Це може бути все, що потрібно для тестування проєктів, наприклад, різні операційні системи або браузери.

Створити тест-план, як і багато іншого, дуже просто. Для цього потрібно:

1. Перейти на вкладку «TEST RUNS & RESULTS», натиснути на кнопку «Add Test Plan».

2. З’являється форма для заповнення назви тест-плана (Name) – обов’язково, етапу (Milestone) та опису (Description) – не обов’язково.

3. Далі слід натиснути на кнопку «Add Test Plan».

Тест-план створено. Відображається діаграма активності та прогресу в роботі з ним.

Створення та проходження тест-ранів

1. Перейти на вкладку «TEST RUNS & RESULTS», натиснути на кнопку «Add Test Run»:

З’являється форма для заповнення з такими полями:

• Name – назва тест-рана (є обов’язковим).
• References – ідентифікатори/посилання на зовнішні тікети.
• Milestone – етап, якому належить цей тестовий прогін.
• Assign To – користувач, якому призначені тести нового тестового запуску. Цій людині буде надіслано електронний лист, якщо сповіщення електронною поштою ввімкнено.
• Description – опис мети цього тестового запуску.
• Include all test cases – параметр, з яким включено всі тестові випадки в цей тестовий запуск. Якщо нові тест-кейси додаються до репозиторію, вони також автоматично включаються в цей запуск.
• Select specific test cases – вибір тестових випадків, які потрібно включити в цей тестовий запуск. Нові тести не додаються автоматично до цього циклу.
• Dynamic Filtering – автоматичне додавання тестів на основі вибору фільтра. Нові тест-кейси автоматично додаються до серії, якщо вони відповідають фільтру (якщо серія не закрита).

Після заповнення всіх необхідних полів слід натиснути на кнопку «Add Test Run». Відображається сторінка із діаграмою та переліком включених до цього тест-рана тест-кейсів. Тестові випадки ще не пройдені, тому мають статус «Untested», а сам тест-ран пройдено на 0%.

2. Для того, щоб відмітити проходження тестового випадку, треба натиснути на випадаючий список «Untested», який знаходиться справа від назви тест-кейсу. 

Кожен з них має п’ять статусів:

• Untested (не протестовано) – за замовчуванням всім новим тестам присвоюється даний статус. Після того, як результат було додано до тесту, він більше ніколи не отримає цей статус;

• Passed (тест-кейс успішно пройдено) – коли очікувані результати співпадають із фактичним проходженням теста;
• Blocked (проходження тест-кейса заблоковано) – наразі тест неможливо виконати через певну зовнішню залежність;
• Retest (тест-кейс слід пройти ще раз) – наприклад, якщо спочатку тест не вдався і розробник вирішив проблему, можна призначити тест-кейс для повторного тестування;
• Failed (тест-кейс не вдалося пройти/провалено) – якщо один із зазначених кроків тесту призвів до помилки або якщо очікуваний результат відрізняється від фактичного результату тесту.

3. Після вибору однієї з опцій (в даному випадку Passed), з’являється невелика форма із результатом перевірки, яка має такі поля:

• Status – статус тест-кейса (є обов’язковим). В залежності від варіанту вибору змінюється колір віконечка;
• Comment – опис результата теста;
• Assign To – призначення тест-кейса іншому члену команди;
• Version – тестова версія;
• Elapsed – скільки часу тривав тест;
• Defects – перелік ID баг-репортів, які були оформлені під час поточного проходження тест-кейса.

Результатом проходження тест-кейсів поточного тест-рана буде подібна діаграма з відсотками кожного із статусів. Можна переглянути результати тестування та активність тестування прогонів, етапів і цілих проєктів на сторінках окремих ресурсів.Статистику поточного тестового прогону можна завантажити у вигляді зображення чи CSV-файлом.

Після усунення дефекту можна скористатися функцією повторного запуску, щоб ще раз виконати тест та вивести нові результати.

Висновки

Для прийняття важливих проєктних рішень надзвичайно важливо мати доступ до детальної інформації про хід і результати тестування. На запитання, на кшталт «Який відсоток тестового прогону успішно завершено?» або «Які тести були виконані за останні 24 години?» можна ефективно відповісти лише за допомогою TestRail.

Розглянута у цій статті система дозволяє створювати та проходити тести в оптимізованому та дуже зручному інтерфейсі. Списки справ, фільтри та сповіщення електронною поштою TestRail допомагають координувати тестування та підвищити продуктивність роботи команди. Щоб не втратити відстеження зусиль з тестування, TestRail допомагає керувати важливими даними, такими як етапи проєкту, і полегшує інтеграцію з інструментами відстеження помилок.