Моніторинг прогресу тестування

Для проведення точного та успішного тестування будь-якого ПЗ використовують спеціальні методики управління, які надають можливість відстежувати процес тестування для того, щоби покращити його якість та ефективність. Такі методики називаються моніторинг та контроль тестування. У цій статті ми розглянемо докладніше, що вони собою представляють, що таке метрики і чому це важливо.

Моніторинг тестування – це насамперед процес відстеження прогресу тестування, його відповідності заздалегідь визначеним цілям, оцінювання майбутніх дій на основі отриманих метрик та надання зворотного зв’язку зацікавленим сторонам.

Тобто моніторинг застосовується для того, щоб переконатися, що поточний стан завдань відповідає попередньо встановленому плану та для перевірки того, чи виконується процес тестування належним чином. Так, наприклад, важливо слідкувати, чи виконується кожне завдання точно за розкладом без затримок або навпаки випереджає графік. Тож насамперед на початку проєкту необхідно ввести процес оцінювання в план моніторингу для чіткого уявлення, як буде оцінюватися робота.

Не менш важливим є процес контролю тестування. Він відбувається на основі результатів моніторингу тестів.

На цьому етапі переглядаються пріоритети тестової діяльності, змінюється графік, реорганізується тестове оточення. Усе це використовується для покращення якості та ефективності будь-якої діяльності, пов’язаної з тестуванням. Тест контроль допомагає стежити, щоб процес тестування не відхилявся від намічених цілей і відповідав заздалегідь встановленим критеріям. Іншими словами, якщо результати моніторингу тестування показують проблемні та слабкі місця, які можуть завадити випуску якісного продукту, тоді підключається контроль тестування спрямований на запобігання подібному результату.

Тому, як ми бачимо контроль тестування йде поряд із моніторингом.

У процесі моніторингу тестування не можна обійтися без плану, з якого й починається відстеження прогресу тестування. Під час створення такого плану ключовим моментом заздалегідь буде визначити, які метрики тестування слід залучити та коли їх збирати. Наприклад, можна вибрати щотижневий або щомісячний збір метрик, а можна обмежитися збором та аналізом на початку та наприкінці проєкту.

За допомогою метрик можна отримати такі методи оцінювання прогресу, як порівняння фактичного показника, який був отриманий у процесі моніторингу із заздалегідь обумовленим. Установка критерію оцінки прогресу допомагає визначити, які показники є нормою та за яких потрібно вжити необхідних заходів для їх поліпшення.

У процесі моніторингу тестування, збираючи всі необхідні метрики, можна ясно побачити, чи є відхилення від початкового плану, чи не відстає розробка проєкту за часом, чи не витрачено занадто багато ресурсів, або, можливо, їх навпаки не вистачає, і чи відповідає якість продукту вимогам. Використовуючи цю інформацію можна дійти висновку щодо того, що потрібно вчасно виправити вже на середині процесу тестування, щоби вкластися у заздалегідь встановлені рамки і не втратити час, репутацію та довіру замовника.

Пропонуємо розібрати докладніше, що таке метрики:

Метрики в тестуванні – це показники, які оцінюють прогрес та якість процесу тестування у вигляді числових значень. Вони можуть позначатися, як відсотки або співвідношення двох характеристик.

З допомогою метрик ми визначаємо, чи йде хід роботи до очікуваного результату і виявляємо слабкі місця, а також наочно демонструємо проблеми, які важко передати словами для повного розуміння. Проблема виглядає більш вагомою й конструктивною, якщо вона підкріплюється виміряними показниками.

Перед плануванням того, за якими метриками буде вестися моніторинг, слід сформулювати питання, на які необхідно отримати відповіді. Нижче наведені деякі з них:

• Скільки часу займе тестування?
• Чи буде тестування виконане вчасно?
• Чи триває процес тестування відповідно до розкладу?
• Якою буде вартість тестування?
• Скільки тестових випадків створено?
• Чи достатньої якості тести?
• Скільки багів було виправлено, скільки закрито?
• Наскільки серйозні баги?

Відповідно до питань ми визначаємо метрики тестування: 

• кількість виправлених дефектів (Fixed Defects Percentage);
• різниця між дійсно витраченим часом та запланованим (Schedule Variance);
• різниця між дійсною та запланованою вартістю (Budget Variance);
• кількість створених тестових випадків за загальний час (Test design efficiency);
• кількість проведених тестів за загальний час (Number of tests run per time period);
• кількість знайдених багів/виправлених багів/закритих багів (Number of defects found/fixed/closed).

Також важливо буде врахувати вартість реалізації проєкту, кількість ресурсів (мається на увазі обладнання та робітники) та якість вже випущеної продукції.

Для того, щоб поділитися результатом, який було отримано під час моніторингу тестування із командою або іншими зацікавленими сторонами, складається звіт щодо прогресу тестування проєкту. Він зазвичай містить історію змін, основну інформацію проєкту, показники відстежуваних метрик, ризики, проблеми та способи їх вирішення.

Гарною програмою з моніторингу тестування є TestMonitor. Вона допомагає відслідковувати результати тестування, структурувати отриману інформацію, створювати звіти тощо.

Отже, тест моніторинг та контроль тестування є невід’ємними частинами забезпечення якості тестування. Без них неможливо впевнитися, що процес тестування йде добре, буде виконаний вчасно та найефективніше.