Пастки мислення у тестуванні

У цій статті ми поговоримо про пастки мислення або ж, науковою мовою, про когнітивні викривлення.

Існує прямий зв’язок між сприйняттям людини та способом її мислення, побудовою висновків про інших людей та ситуації.
Не завжди думки людини та її мислення є об’єктивними, через що можуть спостерігатись систематичні помилки та відхилення. Саме ці відхилення видимого від реального і є когнітивними викривленнями або ж, пастками мислення.

Вікіпедія дає наступне визначення:
Когнітивні викривлення («когнітивна ілюзія» або «когнітивне спотворення» – англ. Cognitive bias) – відхилення у судженнях, яке супроводжується можливою нелогічністю у формуванні висновків про інших людей і ситуації.
Іншими словами, пастками мислення називають стандартні, шаблонні відхилення у мисленні людини, що ґрунтуються на деформованих переконаннях.

Живучи у своїй реальності, що базується на сприйнятті навколишньої дійсності, людина набуває певної поведінки та взаємовідносин з оточуючими. Часто причиною нелогічної поведінки, невірних висновків та необґрунтованих інтерпретацій є саме властиві людям пастки мислення.

Програмне забезпечення створюється людьми, тестується людьми і, як правило, використовується людьми. І кожна людина в цьому ланцюжку схильна до власних когнітивних спотворень.

Викривлення впливають на все тестування, як ручне, так і автоматизоване. Щоб досягти ефективного створення тест-кейсів, їх виконання та знаходження дефектів, необхідно мати розуміння та знання щодо власних спотворень та їхніх наслідків.

Нижче ми розповімо про когнітивні викривлення, що найчастіше зустрічаються та найбільше впливають на роботу тестувальника ПЗ, а також про методи зниження негативних ефектів від їхніх проявів.

За характером прояву можна виділити наступні групи викривлень:

• шаблонність;
• хибність/конфліктність (когнітивний дисонанс, когнітивна ілюзія, хибна кон'юнкція, ілюзорна кореляція);
• суб'єктивність (пастка підтвердження);
• негативізм;
• завищені очікування;
• емоційність.

Шаблонність мислення

Поняття шаблон можна визначити, як накопичений багатьма поколіннями життєвий досвід. Людина, яка користується досвідом та пережитими помилками іншої людини, буде знати результат своєї дії ще до того, як її зробить.
Шаблонність – це характеристика стилю поведінки, а також показник (найчастіше – низької) ефективності.
Негативний вплив такої поведінки виражається в тому, що людина підганяє дійсність під рамки, неефективні поведінкові моделі та стереотипи.

Людина, що мислить шаблонно, намагається вирішувати проблеми і досягати цілей лише за допомогою невеликого набору вже знайомих їй прийомів та способів. Вона не здатна вигадати нові методики вирішення завдань та зламати стереотипи, тим самим обмежуючи свої власні можливості.

У тестуванні вигадана залежність заважає повторити баг. Особливо це небезпечно при дослідницькому тестуванні, де спроби підтвердження шаблону відводять убік від основного завдання.

Тестування – процес творчий, тому важливо вміти позбуватися від шаблонів та дивитись на процес ширше.

Когнітивний дисонанс

Когнітивний дисонанс – стан психічного дискомфорту, що викликається зіткненням у свідомості людини конфліктуючих уявлень: ідей, вірувань, цінностей чи емоційних реакцій.

Людина – створіння ліниве, що не любить внутрішніх конфліктів, через що їй простіше скоригувати свою думку, ніж вникнути у причини виникнення конфлікту.

Наприклад, під час тестування когнітивний дисонанс може виникнути тоді, коли тестувальник на своє поставлене питання отримує декілька суперечливих відповідей. Дуже легко вибрати відповідь, отриману з найавторитетнішого джерела. Складніше витратити час та зусилля, щоб детально розібратися. Небезпека в тому, що якщо в певній області виникли суперечності, то, вірогідно, там знайдуться і баги.

Тестувальникам важливо розпізнавати, коли вони перебувають у стані когнітивного дисонансу та вчитися ставити запитання, перш ніж приймати рішення. 

Когнітивна ілюзія

Найпростіший приклад когнітивної ілюзії – це візуальна ілюзія.

Ця найпоширеніша пастка може пояснити, чому розумні люди іноді кажуть дурні речі: їхній мозок може бачити не те, що насправді відбувається. Людина, дивлячись на річ, бачить її чимось одним, а насправді ця річ є зовсім іншим.

Щоб уникнути подібної пастки, тестувальник може спробувати подивитись на ситуацію під іншим кутом. Але це складно, потребує досвіду та часу.

Хибна кон'юнкція

Одночасний наступ двох незалежних подій не може відбутись з більшою ймовірністю, ніж ймовірність будь-якої з цих подій окремо. Людина забуває про це і приписує більш високу можливість комбінації подій, тим самим помилково пов'язуючи кількість подій з кількістю ймовірності.

У тестуванні це може вплинути на інтерпретацію документації: під час складання тест-кейсів потрібно розуміти наскільки часто якийсь сценарій буде використовуватись і наскільки він критичний.

Уникнути ризику прояву хибної кон'юнкції можна обговоривши деталі заздалегідь, подивившись статистику використання конкретної функціональності.

Ілюзорна кореляція

Ілюзорна кореляція – сприйняття, що перебільшене тісним зв'язком між змінними, якого насправді або не існує, або цей зв’язок значно менший, ніж передбачається.

Люди доволі часто проводять ілюзорні кореляції у різних сферах життя. Це можна побачити на прикладі життєвих історій Білла Гейтса та Марка Цукерберга, які покинули навчання та започаткували багатомільярдний бізнес. Ми пам'ятаємо ці випадки та ставимо їх за приклад. З іншого боку - ми не чули історії студентів, які не вчилися та не створили всесвітньо відомої компанії. У потоці інформації людина звертає увагу на екстраординарні випадки та ігнорує інші.

Найпоширеніший приклад ілюзорної кореляції у тестуванні – зайві кроки у баг-репорті.

Зменшити ймовірність виникнення цієї пастки допоможе парне тестування та залучення інших осіб до планування тестування.

Пастка підтвердження

Одне з найнебезпечніших когнітивних викривлень – пастка підтвердження. Це тенденція людини шукати, інтерпретувати та фокусуватися на фактах, що доводять її правоту, й ігнорувати дані, які свідчать про протилежне.

Щоб позбавитися цього спотворення, важливо формувати висновки, виходячи з реальної статистики, а не тільки оперувати інформацією, що підтверджує суб'єктивну установку.

Швидкий та простий шлях знизити ризик від пастки підтвердження при тестуванні – залучення ще однієї людини для тестування, наприклад, тієї ж функціональності. Існує висока ймовірність, що людина матиме свою пастку підтвердження, але вона, швидше за все, відрізнятиметься від пастки першого тестувальника.

Негативізм

Людський мозок влаштований так, що у короткій перспективі звертає більше уваги на негатив, ніж на позитив. Фокусуючись на негативі людина очікує його прояву.

У тестуванні це викривлення може виявлятися у двох випадках:

• страх зміни – примушує говорити "ні" на будь-які зміни. Цей страх має і позитивну, і негативну сторони: з однієї – змушує продумувати аргументи та ще раз подумати про необхідність зміни, з іншої – може гальмувати розвиток загалом;
• недовіра розробникам – з одного боку, робота тестувальника полягає у «довіряй, але перевіряй». У той же час надлишкові перевірки вимагають часу, якого може не бути. Наприклад, багатьом дуже складно закрити тестування завдання, якщо не було знайдено жодного, навіть маленького дефекту.

Завищені очікування

Великі та завищені очікування – зворотня сторона негативу.
Наприклад, купуючи більш коштовну річ, людина очікує, що її якість буде кращою, ніж у дешевого аналога.

У тестуванні це може проявлятися в тому, що завдання виконане молодшим розробником може тестуватися більш ретельно, ніж завдання старшого, більш досвідченого, тому що ймовірність того, що менш досвідчений розробник припуститься помилки вище. Але, як правило, старші розробники виконують складніші завдання та ймовірність виникнення помилки в результаті приблизно однакова.

Емоції

Емоції не є когнітивним спотворенням, але також впливають на сприйняття людини. Залежно від емоційного стану, одну й ту саму річ людина може побачити двома способами – позитивно й негативно. Та найголовніше, емоції впливають на фокусування та зосередженість. Щаслива людина, що відчуває радість та емоційний підйом неохоче буде заглиблюватись в нетрі складного та занудного алгоритму.

Як правило, розробники тестують свій код під час його написання або відразу після. У цьому випадку, написання коду та його тестування відбувається в одному емоційному стані та як наслідок, там виникають однакові сліпі плями. Тому добре, коли код тестується людиною, яка його не писала.

Дуже важливо дотримуватись балансу між оптимізмом та песимізмом. Якщо встановити зависоку планку, наслідки можуть виявитися настільки ж небезпечними.

Як підсумок, можна зазначити, що спілкування, обговорення та навички критичного мислення допоможуть знизити ефект від когнітивних спотворень. Необхідно остерігатися припущень, переконань та категоричних тверджень як своїх, так і членів команди.