Бета-тестування (beta testing)
Це інтенсивне використання майже готової версії продукту з метою виявлення максимального числа помилок в його роботі для їх подальшого усунення перед остаточним виходом (релізом) продукту на ринок, до масового споживача. Бета-тестування є реально працюючою версію програми з повним функціоналом. І завдання бета-тестів – оцінити можливості і стабільність роботи програми з точки зору її майбутніх користувачів.
Бета-тестування проводиться зацікавленими людьми, тобто обраним колом тестувальників, які записуються на тестування додатків компанії і яким відкривається доступ до додатка. Доступи для тестування надаються компанією безкоштовно, також компанія може давати тестувальникам певні бонуси. Зацікавлені люди, які беруть участь в бета-тестуванні, називаються бета-тестувальниками.
Для тестування бета-тестувальники можуть використовувати документацію до додатка, що тестується. Якщо бета-тестери знаходять якісь помилки, збої, креші, вони максимально швидко повідомляють про це співробітників компанії, надають якомога більше детальний опис помилки або збою і дій, які призвели до виникнення даного дефекту. Це називається зворотним зв'язком між групою бета-тестування і компанією. За допомогою бета-тестування можуть бути виявлені нові помилки, отримані зауваження по спільній роботі програми.
Для полегшення бета-тестування, наприклад, пошуку бета-тестувальників, отримання від них зворотного зв'язку, відомостей про помилки і їх оточенні, скріншотів і відео помилок на пристроях тестувальників та іншої інформації щодо процесу та результатів тестування, розроблені різні сервіси для бета-тестування, частина яких буде коротко розглянута в даній статті.
Test Flight
Сервіс, який створений для спрощення тестування додатків на iOS-пристроях. Test Flight полегшує процес збору кодів тестових пристроїв (UDID-ів) і полегшує доступ тестувальників до білдів додатка. Сервіс безкоштовний.
Особливості сервісу:
- надає інформацію про те, скільки разів було запущено додаток;
- надає інформацію про те, скільки разів додаток екстрено завершував роботу;
- надає інформацію по налагодженню;
- присутня функція управління списками проєктів;
- присутня можливість відстеження дій тестувальників (отримання листа-запрошення, читання, установка сервісу і та ін.);
- тестувальник може залишити відгук про роботу тестової програми;
- для Test Flight розроблені непогані інструкції по роботі з сервісом.
З недоліків можна виділити те, що нові версії додатків для тестування потрібно завантажувати вручну і чекати перегляду від Apple. Також в стандартній підтримці креш-репортів від iTunes Connect відсутні повідомлення про нові креш-репорти, детальна інформація про умови виникнення крешу. Сервіс підтримується тільки на iOS-пристроях.
TestFairy
Платформа для тестування додатків, запущена ізраїльською компанією TestFairy. Сервіс TestFairy безкоштовний. Сервіс підтримується на Android і iOS платформах.
Одна з переваг і головних відмінностей TestFairy від інших сервісів полягає у відсутності необхідності для розробника інтегрувати API або SDK в додаток. Досить завантажити в систему файл APK (Android application file) і вона розішле запрошення на бета-тестування.
Особливості сервісу:
- збір з пристроїв ключових метрик (пам'ять, дані про CPU, використання мережевих ресурсів, GPS, рівень сигналу пристрою);
- Video – ця функція надає можливість відеозапису тесту з боку клієнта (пам'ять, центральний процесор, мережевий контроль, GPS, звіти по помилках, реєстрації). Можна отримати записи екрану або скріншоти з інших пристроїв, щоб бачити, як виглядає і працює додаток;
- є підтримка креш-репортів. Надсилаються креш-репорти автоматично, надається можливість перегляду стандартних логів iOS NSLog і Android Logcat;
- надається різноманітна аналітична інформація і статистика (наприклад, статистика по креш-репорт, платформ, статистика завантажень, сесій та ін.);
- є підтримка upload API (автоматизоване завантаження нових версій програми);
- є можливість створення групи користувачів;
- тестувальники можуть залишати відгуки про роботу додатка;
- присутня система оповіщення користувачів про наявність нових білдів.
HockeyApp
Це сервіс з повним пакетом програм для бета-тестування, надає можливість отримання інформації про поведінку мобільних і desktop-додатків на етапі їх бета-тестування і в режимі поширення додатків в магазині. Сервіс підтримується на Android, iOS і Windows Phone платформах. Сервіс платний, надається пробний період на місяць без обмежень. Сервіс підходить для тестування мобільних і десктопних додатків.
Особливості сервісу:
- звіти про помилки відправляються автоматично;
- угруповання схожих креш-репортів;
- можливість спільної роботи з різними рівнями доступу, створення команди користувачів;
- можливість адміністрування API ключів;
- можливість завантаження програм;
- надаються проаналізовані дані про тип пристрою і час, який було відведено на тестування тестувальником;
- можливість залишати відгуки про роботу програми та результати тестування;
- є можливість автоматизації завантаження нових версій програм;
- надаються аналітичні дані для кожної версії програми за типами девайсів, кількості установок і креш, версій операційних систем, кількості часу, який використовує програма.
Crashlytics
Сервіс, призначений для збору і аналізу креш-репортів. Сервіс підтримується на Android і iOS платформах і є безкоштовним.
Особливості сервісу:
- є можливість автоматизації завантаження нових версій програм;
- дуже дружній і зручний призначений для користувача інтерфейс;
- дуже гарне уявлення інформації. Статистичні та аналітичні дані відображаються у вигляді діаграм і графіків. Інформація на графіках і діаграмах оновлюється в реальному часі;
- гнучка система налаштування повідомлень. Повідомлення можна налаштовувати таким чином, щоб члени команди завжди отримували актуальну для них інформацію;
- присутня велика база поширених запитань для швидкого і зручного пошуку потрібної інформації;
- надається статистика по креш в реальному часі (кількість креш, найбільш часті креш, кількість користувачів з проблемами креш, зміна статусу креш);
- надається різноманітна аналітична інформація (активні користувачі за день і місяць, нові користувачі за день, сесії і їх довжина, користувачі, у яких не було креш, версії додатка, активні пристрої за день).
Android Alpha/Beta testing
Сервіс для публікації Alpha/Beta версій додатків від Google. Сервіс безкоштовний, підтримується на Android платформах.
Особливості сервісу:
- не передбачена автоматизація завантаження нових версій програм. Потрібно вручну завантажувати APK файл. Також відсутня процедура перегляду (рев'ю) додатки;
- можна створювати закриті групи тестувальників. Для цього використовується Google Groups;
- відсутня можливість залишання відгуку про програму тестувальниками;
- інформація про креш і інша аналітична інформація надається через Google Play Developer Console.
Всі ці сервіси для бета-тестування полегшують пошук бета-тестувальників, контроль робочого процесу і підтримку зворотного зв'язку з ними, надання тестувальникам нових версій програми, контроль результатів тестування, надають аналітичну інформацію про результати тестування. Вони спрямовані на полегшення, оптимізацію процесу бета-тестування і, як результат, покращення якості розробляється і якості користувальницького досвіду.
