Тестування чат-ботів

Визначення чат-боту.

Чат-бот – це програма для відправки автоматичних відповідей користувачам на їх повідомлення. Відповіді є максимально наближеними до виду реального діалогу і відповідають суті питання, що вирішується. Такі чат-боти використовуються для надання зворотного зв'язку та виконання різних функцій для клієнта на сайтах, в соціальних мережах, месенджерах, колл-центрах і т.д. Також це персональні помічники (наприклад, Siri, Cortana і Gemini). 

Чат-боти можуть бути побудовані на штучному інтелекті використовуючи машинне навчання (удосконалюючи своє розуміння людської мови в процесі спілкування) або на запрограмованих сценаріях з можливістю вибору різних варіантів відповідей або питань (алгоритмах).

Наскільки розумним буде чат-бот залежить від того, як він розроблений. Чат-боти з машинним навчанням справляються з завданнями краще, тому що можуть розуміти мову людини. Він вчиться розмовляти з користувачем, «набирається досвіду» і може вирішувати нові виникаючі ситуації, подібні попереднім. На відміну від чат-ботів на запрограмованих сценаріях, клієнт не повинен писати певні точні фрази, щоб отримати релевантну відповідь.

Популярність чат-ботів зумовлена ​​їх економічною вигідністю, можливістю надавати зворотний зв'язок користувачам 24/7, ефективністю комунікацій з клієнтами, зокрема, за рахунок можливості вести якісне обслуговування на декількох мовах.

Як найефективніше можна протестувати роботу чат-ботів:

1. Перевірити процес розмови з чат-ботом. Залучити чат-бота в розмову і пройтися по різних сценаріях спілкування, від потенційно найбільш частих або важливих фраз і випадків до виняткових ситуацій.

2. Використовувати специфічні терміни для перевірки надання достовірної інформації про продукт або послуги.

3. Підключити до тестування розробників. Вони протестують питання і відповіді чат-бота при черговій збірці. Така перевірка для розробників буде вважатися верифікацією і валідацією, чи надає чат-бот точні і актуальні відповіді на питання гіпотетичного користувача.

4. Перевірити ситуації, коли користувач вводить безглузде речення або вираз, який не дуже часто використовується. Звичайно, неможливо передбачити всю інформацію, яку можуть вводити користувачі та яка не відноситься до справи. Всі виключення, з якими чат-боту доведеться звертатися, перевірити не вийде. І все ж розробники повинні придумати «екстрені відповіді» для тих винятків, які можна передбачити. Це та фаза процесу тестування, коли потрібно перевірити, чи дає чат-бот зрозумілі відповіді в таких «виняткових» сценаріях.

Також є список слів, які обов'язково повинен розуміти чат-бот, щоб користувач не вважав його дурним. Наприклад, це такі базові слова, як: привіт (і його аналоги), заново, почати, з початку, меню; такі специфічні слова, як: купити, замовити, асортимент, послуги, доставка, оплата, умови і т.д.

5. Використовувати інструменти для тестування чат-ботів, наприклад: Chatbottest, Botanalytics, Dimon.

Chatbottest – керівництво з відкритим вихідним кодом, що містить 120 запитань для оцінки користувальницького досвіду, що надається чат-ботом.

Працює на трьох рівнях:

• можливі сценарії тестування чат-бота;
• очікувані сценарії;
• майже неможливі сценарії.

Надає 7 метрик для оцінки продуктивності чат-бота:

• Розуміння: чи розуміє чат-бот будь-які повідомлення від користувачів – лайки, світські розмови, ідіоми, смайлики?
• Відповіді: чи є його відповіді релевантними і досить точними?
• Навігація: чи достатньо інтуїтивно зрозуміла розмова з чат-ботом?
• Особистість: чи відповідає тон відповідей чат-бота аудиторії користувачів та характеру розмов?
• Включення: чи достатньо зрозуміло користувачеві як функціонує чат-бот при першому використанні? Чи достатньо інтуїтивно зрозуміло як потрібно взаємодіяти з чат-ботом? У кожній відповіді чат-бота повинен бути присутній заклик до наступного кроку: необхідність написати що-небудь або кнопка для подальшого просування розмови.
• Інтелект: чи пам'ятає чат-бот певні деталі, ключову інформацію, яку користувач надає протягом усієї розмови.
• Керування помилками: як чат-бот обробляє помилки та виключення.

Botanalytics – цей користувацький сервіс дозволяє протестувати кожен ключовий аспект чат-бота, від юзабіліті до ведення розмови.

Dimon – відмінною рисою цього інструменту тестування чат-ботів є те, що він легко інтегрується з основними платформами, такими як Telegram, Slack, WeChat, Facebook Messenger. Його можна використовувати для виявлення будь-яких проблем у діалозі чат-бота.

6. Автоматизувати тестування чат-бота. Можна використовувати чат-бота, який буде взаємодіяти з тестовим чат-ботом без втручання з боку тестувальника. Таким чином, можна запускати записи розмов автоматично. Робота тестувальника буде зводитися до одного ключового завдання: оцінювання відповідей чат-бота.

7. Зробити чат-бота максимально наближеним до людини. У чат-бота може бути все, щоб зробити спілкування більш комфортним і реальним: ім'я, фото або логотип.

8. Перевірити тривалість пауз між повідомленнями. Користувачі повинні мати достатньо часу, щоб прочитати повідомлення, перед отриманням чергового.

9. Перевірити роботу кнопок і швидких відповідей. Для полегшення відповідей користувача на повідомлення, чату бот може надсилати варіанти швидких відповідей. Для відповіді від чат-бота можуть використовуватися кнопки, які потрібні для навігації.

Швидкі відповіді зазвичай зникають після натискання на них, а кнопки – не мають зникати. Швидкі відповіді, які використовуються для відмови або заперечення, повинні бути дуже ввічливими і тактовними, щоб користувачі не відчували незручність при їх використанні.

10. Перевірити, що після завершення розмови з чат-ботом є можливість повернутися до нього ще раз. Повинна бути присутня відповідь, яка заново втягне чат-бота в розмову. Також має бути присутнім стартове повідомлення від чат-бота при його відкритті для розуміння користувача, що йому робити далі.

11. Перевірити, що в розмові з чат-ботом немає тупиків. Користувач повинен розуміти, що має на увазі кожен етап спілкування і що потрібно робити далі.

Тестування чат-бота – це постійний процес. Будь-які перевірки чат-бота до його випуску – це по суті бета-тестування незалежно від того, чи тестує його тестувальник вручну або вибирає автоматизоване тестування. Реальний зворотний зв'язок, наданий користувачами, може стати справжнім випробуванням. Потрібно бути готовим постійно налаштовувати свого чат-бота відповідно до відгуків, які будуть приходити після його випуску.