Модерування юзабіліті-тестування



Привіт, Хабр! Це Наталія Спрогіс, керівник напрямку UX-досліджень в Mail.Ru Group. Я продовжую цикл статей про тонкощі організації та проведення досліджень. Сьогодні ми поговоримо про те, як повинен вести себе модератор юзабіліті-тестування. Модератор — це людина, яка взаємодіє з респондентом: зустрічає його, проводить інструктаж і вступне інтерв'ю, налаштовує обладнання для запису відео, пропонує завдання тексту і задає уточнюючі і підсумкові запитання. Здавалося б, якщо є хороший сценарій (про те, як його скласти, можна почитати в пості Планування юзабіліті-тестування. Частина 2), досить чітко слідувати йому і нічого не переплутати. Однак модератор може вільно чи мимоволі дуже сильно вплинути на респондента, а в результаті і на результати тестування. Тому важливо розуміти, як вести себе на тесті, коли і які питання задавати і як бути зі складними респондентами.

Заповіді хорошого модератора
«Заткнися і спостерігай». Перед модератором юзабіліті-тестування стоять дві важливі завдання:

  1. Забезпечити, щоб респондент виконав тестування в умовах, найбільш наближених до природних.
  2. Отримати максимум інформації про причини дій респондента і про його емоціях, викликаних роботою з продуктом.
Часто модератори зациклюються саме на другий завданню, бомбардуючи користувача нескінченними «чому?», «навіщо?», «як?» і т. д. Багато статей про моделюванні присвячені тому, як правильно задавати питання. Це важливий навик, і ми про нього ще обов'язково поговоримо. Але насправді головне для модератора — навчитися правильно мовчати. Адже в реальній ситуації респондент буде користуватися продуктом самостійно. Задаючи занадто багато питань, ви зміщуєте фокус уваги людини з використання продукту на його обговорення. А найбільш цінні спостереження за діяльністю респондента. Питання може збити його з думки і відвернути його від завдання. Можливо, повернувшись до задачі, учасник тестування почне діяти по-іншому. Тому в ідеалі задавайте питання після завдання (в деяких випадках — після тесту). Або хоча б дочекайтеся, коли респондент, виконуючи завдання, дійде до логічної точки.

«Не нашкодь». Лікарська заповідь актуальна і в юзабіліті-тестування. Дуже легко питанням, словом або жестом вплинути на результати тестування і внести в них упередженість. А головне, що ця помилка може бути не видно жодного модератора, ні спостерігачам. Модератор під час тесту повинен залишатися абсолютно нейтральним, і це не так вже просто. Мотивуйте респондента говорити більше, але не впливайте на те, він говорить. Я стикалася з ситуацією, коли модератор, впевнений, що в певному місці проекту є проблема, намагався обов'язково знайти її у кожного респондента, навіть у тих, хто з нею не зіткнувся. Виводив обговорення на нелогічність цього моменту, підштовхуючи користувачів визнати: так, проблема існує. Межа досить тонка. Якщо у вас є гіпотеза, обов'язково перевірте її на всіх респондентів, даючи їм відповідні завдання або задаючи питання на розуміння. Але якщо респондент у своїй роботі не зіткнувся з проблемою, вказівку на неї і її обговорення вводить упередженість.

Респонденти можуть зчитувати навіть невербальні знаки. Наприклад, якщо ви добре підготувалися до тестування, то сценарій напевно містить набір гіпотез. В деяких місцях ви передбачаєте і очікуєте проблеми. Або ви можете співпереживати команді проекту і бути лояльними до досліджуваного продукту. А люди люблять вести себе соціально бажано. Учасники тестування можуть відчути, що вам неприємно, коли вони лають проект. Або що ви воодушевляетесь, коли вони розповідають про якоїсь певної проблеми.
Стежте не тільки за словами, але і за жестами, позою. Навіть нотатки під час тесту краще робити весь час, а не лише цікаві моменти, щоб не показувати респондентові, які його слова або дії дійсно важливі. Зайве потім просто не враховуйте.

«Не відповідай на питання». Дуже часто ви будете стикатися з питаннями респондентів. Наприклад, «А мені зараз потрібно реєструватися?», «Я правильно роблю?», «А що робити тепер?». Відповідати на них не потрібно. Інакше респондент і в такій складній ситуації буде покладатися на вас і не спробує справитися сам. Реагувати краще так:

  • «А як ви самі думаєте?»
  • «Давайте спробуємо розібратися».
  • «А що б ви зробили в реальному житті, якби мене не було поруч?»
Іноді, якщо питання порушені не зовсім стандартним поведінкою системи, я навіть роблю вигляд, ніби сама не розумію, що відбувається, щоб мотивувати респондента взяти пошуки в свої руки. Але це не означає, що не потрібно допомагати людині, яка просто не знає, як виконувати складене вами ж завдання.

«Не пояснюй роботу системи». Іноді, особливо якщо стався збій, модератор прагне заспокоїти респондента і пояснити, як і чому система повела себе не так. Але якщо ви поясните поведінку системи учаснику, ви можете вплинути на образ продукту в його голові або банально дасте підказку, неможливу в реальному, а не тестової ситуації.

«Не вибачайся за продукт». Респондент мучиться з інтерфейсом. Модератор спостерігає. У нього з'являється бажання вибачитися за те, що дизайнери щось не додумали. Не робіть так: ви втратите нейтральність і станете «адвокатом продукту». І користувачеві буде важче висловлювати вам нові коментарі.

«Show must go on!» Як би добре ви не підготувалися до тесту, завжди є ймовірність, що
щось піде не так. Перестане коректно працювати ай-трекер, програмісти не встигнуть до часу тіста привести систему в робочий стан, в будівлі розпочнеться пожежна тривога (і таке траплялося в моїй практиці) та ін Тому будьте готові використовувати план Б. Не працює ай-трекер — запишемо відео без нього. Не встигає на тест важливий замовник — налагодимо йому трансляцію через месенджер. У респондента не встановлюється додаток на телефон — дамо йому наш тестовий (хоча це може стати приводом поміняти учасника, якщо критично, щоб пристрій було знайоме). Крім цього, забезпечте респондентові комфортні умови для очікування, якщо початок тесту доведеться відкласти. Запропонуйте йому оновити чай або каву. Розкажіть, як включити гостьовий Wi-Fi, якщо це можливо. У нас в лабораторії для таких ситуацій лежить стопка журналів. У випадку з затримкою поставте собі дедлайн для вирішення проблеми, після якого краще відпустити респондента з частиною винагороди і не продовжувати витрачати час. І головне, не робіть з цього трагедію. Форс-мажори трапляються, що абсолютно нормально. В крайньому випадку тест просто можна перенести.

«Стеж за емоціями». Це вміння приходить з часом, але спочатку дуже важко не реагувати емоційно на те, що відбувається на тесті. Дії та слова респондента можуть здатися смішними. Іноді зустрічаються відверто неприємні і дратівливі люди. Які емоції у вас не викликав учасник тесту, завжди залишайтеся відсторонено доброзичливими. Також прослідкуйте за хорошою звукоізоляцією. Вибухи реготу і бурхливі обговорення в наглядовій допустимі, тільки якщо їх не чують респонденти.

«Налагодь контакт». Пункт здається очевидним. Адже при будь-якій роботі з людьми ми повинні знаходити з ними спільну мову. Однак часто, особливо коли це не перший день тестування і не перший респондент сьогодні, модератор, сам того не помічаючи, перетворюється в машину. І ми починаємо бубоніти завчений вітальний текст і намагатися скоріше позбутися від респондента. Все це дуже видно і відчувається, а головне, може вплинути на те, як респондент буде працювати з продуктом, стане охоче коментувати свої дії або так само, як ви, підійде до тесту формально. Посміхніться людині, подивіться йому в очі і «проживіть» текст привітання. Підстройте слова, швидкість, тон під співрозмовника. Навіть якщо далі на час тестування ви залишите респондента одного, постарайтеся сформувати у нього позитивні очікування від самого заходу (не від продукту!).

«Будьте готові попрощатися з невідповідним людиною». На жаль, ви напевно рано чи пізно зіткнетеся з тим, що респондент вам не підходить. Причиною може бути прикра помилка рекрутингу, непорозуміння, а іноді й банальна брехня заради винагороди. До нас приходили люди, які не користувалися потрібними продуктами, але зареєструвалися в них вчора. Періодично приносять чужий телефон з потрібним набором додатків. Будьте готові попрощатися з людиною, якщо ви зрозумієте, що він не відповідає вимогам тестування. Зазвичай після відчуття «щось не те» ми колегіально з командою проекту вирішуємо, чи дасть нам що-то цей тест. Головне — прийміть рішення на самому початку. Так ви не витратите час — ні своє, ні респондента. Тому я раджу перевіряти рекрутинг під час вступного інтерв'ю.

Модератору випадає не найприємніша роль. Якщо ви вирішили перервати тестування, пам'ятайте, як ви попрощаєтеся з претендентом, теж важливо. Постарайтеся зробити так, щоб у нього не залишилося неприємних вражень. Адже ви для нього — обличчя компанії. Крім того, людина може бути і не винен в помилку: можливо, це вина рекрутера. А потенційний респондент витратив час і приїхав до вас. У більшості випадків, навіть якщо я підозрюю людини у брехні, я кажу подібну фразу: «На жаль, з нашої розмови я бачу, що ваш профіль не цілком відповідає цілям нашого тестування. Тому я змушена його закінчити». У деяких випадках (особливо якщо ви все-таки почали тестування) розумно видати респондентові винагороду, частково або навіть повністю.

Особливо будьте акуратними з лояльними користувачами продукту. Їх зазвичай знаходять через спільноти і форуми проекту, і мотивація прийти у них не фінансова. Помилку в рекрутингу тут допустив, швидше за все, той, хто знайшов людину. Ці люди натхненні можливістю взяти участь у долі улюбленого проекту. Якщо ви бачите, що претендент все ж не цілком відповідає цілям тестування, постарайтеся його не засмутити. Краще проведіть з ним міні-тест, дайте йому трохи покористуватися продуктом. Нехай він відчує, що не дарма прийшов і теж зміг «долучитися» до розробки улюбленого проекту.

Як задавати питання
Як вже згадувалося вище, на відміну від глибинних інтерв'ю, заснованих на розмові з респондентом, головне завдання юзабіліті-тестування — спостереження за діяльністю. Тому (крім вступного та підсумкового інтерв'ю) в основній частині тестування модератор більше надає респондентові можливість діяти, мотивуючи його ділитися враженнями. Тим не менш, щоб зрозуміти поведінку людини, прояснити його незрозумілі коментарі, дізнатися ставлення до тих чи інших речей, модератору обов'язково доведеться задавати питання. Та їх роль не можна недооцінювати. Якими словами, з якою інтонацією і коли саме ви поставите питання — все це може вплинути на поведінку респондента. А значить, і на підсумкові результати тесту.

Коли задавати питання
Питання під час основної частини тестування найчастіше необхідні, якщо потрібно наступне:

  • Уточнення: прояснити/доповнити коментар респондента. Ви просите або пояснити думку, або розкрити її повніше. Наприклад, ви чуєте: «Ось це незрозуміло». Уточніть: «Що саме незрозуміло? Якої поведінки системи ви очікували?»
  • Пояснення: з'ясувати причини поведінки респондента. Наприклад, ви бачите, що він відправив подарунок другові в «Однокласниках» і відразу йде на сторінку одного. Дізнайтеся, навіщо. Можливо, респондент перевіряє, чи з'явився там подарунок, і не зрозумів, що це відбувається лише після схвалення одержувача.
  • Відношення: дізнатися ставлення до події/поведінки системи або пояснити свій оцінний коментар. Одного разу наш респондент охарактеризував сюжет гри так: «класична легка наркоманія». Модератору тут же довелося уточнити: «А легка наркоманія — це добре чи погано?» (спасибі Катерині Акатовой за приклад).
  • Бекграунд: зібрати основу для складання завдань при гнучкому сценарії або зібрати контекст для описаної респондентом проблеми. Якщо ви використовуєте в тестуванні завдання з досвіду респондента, то перед кожним завданням з'ясовуйте у учасника подробиці. Наприклад: «Згадайте, як ви купували квитки в останній раз. Куди летіли? Якими критеріями користувались для вибору квитків? Що щодо обмежень (пересадки, вартість, час у польоті, авіакомпанія)? А тепер давайте підберемо квиток за цими ж критеріями». Іноді коментарі про бекграунд потрібні, щоб витягнути з респондента його реальну потребу. Наприклад, людина скаржиться, що не вистачає якогось функціоналу. Попросіть його привести приклади з життя, коли йому потрібен подібний набір функцій.
Отже, суть та формулювання питання важливі. А ще важливо вчасно поставити. Як я вже говорила в заповіді «Заткнися і спостерігай», якщо ви запитаєте що-то у респондента, що виконує завдання, ви банально зіб'єте його з думки. Розмова може вплинути на респондента, що небажано. Крім того, якщо при роботі з продуктом користувач отримує від модератора занадто багато питань, є ймовірність, що він переключиться на обговорення продукту і перестане щось робити. Тому намагайтеся збирати питання до завершення завдання або хоча б його блоку. Робіть собі помітки: так ви не забудете, що викликало ваш інтерес. Уточнюючі питання не завадять, якщо користувач сам коментує щось або думає вголос. У такому разі ви просто мотивуєте респондента трохи докладніше висловити його думку. Але і з цим акуратніше: якщо почнеться докладне обговорення, воно відверне від поточного завдання.

Які бувають питання
Відкриті і закриті питання. Перше правило модератора — задавай відкриті запитання, тобто такі, що вимагають розгорнутої відповіді. Вашими улюбленими питаннями повинні стати «чому?», «навіщо?», «що ви думаєте про це?» і т. д. На противагу їм закриті питання припускають однозначну відповідь («так» або «ні»). Вони погані тим, що користувачі схильні скоріше погоджуватися, відповідати «так». Це відбувається від небажання сперечатися з модератором і поранити його почуття. Крім того, закриті питання не можуть принести нових знань: все, що можна дізнатися, закладено в самому питанні.

Немає нічого гірше, ніж запитати у респондента після завдання: «чи було Вам зручно?» З великою часткою ймовірності ви отримаєте в основному позитивні відповіді незалежно від того, як все відбувалося насправді. Якщо потрібна оцінка події або поведінки системи, припустимо запитати: «Це добре чи погано? Просто чи складно? Швидко чи повільно?». Так ви задасте потрібну шкалу оцінки, залишаючись нейтральним.

Упереджені питання. Не варто цікавитися після тесту: «Як ви ставитеся до того, що новий дизайн більш сучасний і технологічний?» Начебто питання відкрите. Але в його формулюванні закладено, що користувач повинен сприймати дизайн як сучасний і технологічний. А це може не збігатися з його думкою. Намагайтеся уникати оцінок, зроблених за респондента. Як з'ясувати, чи вважає користувач нову версію технологічніше або сучасніше? Є різні способи. Для початку попросіть його описати самого версію кількома прикметниками, які прийдуть в голову. Потім можна дати список прикметників (позитивних і негативних), що містять очікувані вами характеристики, і подивитися, чи вибере їх респондент. Набір прикметників можна взяти з Microsoft Desirability Toolkit.

Навідні питання. Деякі питання містять підказку. Наприклад, питання «Як ви думаєте, чи можна зробити на сайті ось це?» по суті своїй навідний. Адже очевидно: навіщо запитувати про те, чого не можна зробити? Іноді питання може навести користувача на думки про продукті, які йому ще не приходили в голову. Візьмемо в якості прикладу бесіди (треди) Пошті Mail.Ru. Під час тестування ми знали, що багато користувачів ніколи не стикалися з подібним. Питання на зразок «А від кого ось цей лист? А за яким принципом вони згруповані?» наводили б користувача на думки про те, як це все влаштовано. Тому спочатку ми давали респондентам самим розібратися з принципом роботи і ставили тільки загальні питання: «Що це таке? Як це працює? Що сталося з вашими листами?» І тільки потім заглиблювалися в деталі. Ми розуміли, що кожне питання не тільки дозволяє дізнатися, що зрозумів респондент, але й підказує йому, в який бік варто думати.

Уточнюючі питання. Вам часто доведеться просити респондента прояснити або доповнити його думка. Ви можете повторювати частина фрази і просити респондента пояснити сказане: «— Це було незрозуміло. – Що саме незрозуміло?» Кілька способів задавати уточнюючі питання ви знайдете в статті на сайті компанії Nielsen Norman Group. Зокрема, там описаний цікавий метод Коломбо: коли модератор спеціально використовує неідеальні формулювання і незакінчені фрази, щоб мотивувати респондента розкрити тему детальніше.

Іноді респонденти суперечать собі або просто говорять не дуже чітко. Один з улюблених прийомів наших модераторів — фраза «чи Правильно я розумію, що...?» Так ви формулюєте, що зрозуміли зі слів респондента, і перевіряєте, чи відповідає це дійсності.

Питання про майбутнє. Дуже часто нам хочеться запитати у респондента: «чи Будете ви користуватися цією можливістю?», «Що ви будете робити в такій ситуації?» і т. п. На жаль, вірити відповідей на такі питання не варто. І не тому, що люди хочуть вас обдурити. Просто вони погано оцінюють своє потенційне поведінку. Тест може показати, що всі користувачі ради нового функціоналу і горять бажанням його негайно застосувати, а ось статистика впровадження буде далеко не такою райдужною. Тому цікавтеся минулим досвідом. Якщо мова йде про новий функціонал, запитаєте: «чи Були у вашому житті ситуації, коли подібне вам могло знадобитися? Які?», «Які проблеми це допомогло б вирішити? Згадайте, коли ви в останній раз стикалися з подібною проблемою». Просіть навести конкретні приклади. Респонденту може здаватися, що функціонал потрібний, але з'ясується, що особисто йому таке раніше ніколи не було потрібно.

Запитання від замовника. При спостереженні за тестом у команди проекту іноді з'являються додаткові питання, які не враховані в сценарії. Це абсолютно нормально і навіть добре. Іноді дизайнери або менеджери пориваються забігти до респондента (хоча б після тесту) і поговорити з ним особисто. Однак краще, якщо всі додаткові питання підуть через модератора: у замовників може не бути навички правильно їх задавати. Ми завжди пропонуємо команді проекту, що спостерігає за тестуванням, транслювати питання модератору за допомогою месенджера. Дуже часто питання припадає на льоту переформулювати. А в деяких випадках модератор вирішує поставити їх в інший момент або навіть зовсім не задавати.

Підказки
Хоча одне із завдань модератора — не підказувати респондентам, як вирішувати завдання в інтерфейсі, іноді підказувати необхідно. Я пам'ятаю, як на одному з перших своїх проектів вела тест і, зціпивши зуби, дуже довго нічого не говорила недосвідченому респондентові. В результаті тест замість 45 хвилин зайняв дві години. Але найсумніше: додаткових знань від змученого людини я не отримала.

Підказати або перервати? Підказуйте тільки в тому випадку, якщо продовження завдання після підказки принесе додаткові знання. Наприклад, завдання складається з трьох кроків, а респондент не може виконати перший крок; підказувати потрібно, так як ви просунетеся далі і перевірите залишився блок інтерфейсу. Якщо ж завдання невелике і його результат не зав'язаний на інші частини тесту, то замість підказки краще запропонувати учаснику перейти до наступного завдання. Якщо респондент попросить пояснити йому, як потрібно було діяти, краще не пояснюйте. Якщо учасник наполягає, я зазвичай пропоную зробити це після тесту. Так ви залишаєте шанс респондентові все-таки самому натрапити на рішення проблеми при подальшій роботі з системою, а ваше пояснення не вплине на спосіб проекту, що склався в її голові.

Коли підказувати? Респондент може сам попросити підказку після першої ж невдалої спроби. В цьому випадку краще сказати: «Давайте спробуємо ще пошукати». Перш ніж підказати, ви повинні переконатися, що чоловік спробував кілька варіантів, пошукав в різних місцях, але дійсно нічого не знайшов. Момент цей у кожного індивідуальний. Хтось готовий довго пробувати різні способи, хтось відразу здається. Головне — не допускайте зайвої фрустрації респондента.

підказувати? Якщо ви бачите, що вже точно пора втрутитися, то використовуйте наступну стратегію. Не підказуйте відразу і явно. Спочатку просто направте респондента в потрібну сторону, наприклад: «Давайте спробуємо пошукати цю функцію в іншому розділі» або «Мені здається, що нас не пускають далі, тому що є проблема з якимось полем». Тільки якщо респондентові не допоможе загальна підказка, підкажіть конкретно. Але акуратно, слідкуйте за словами. Не вводьте понять, які учасник тесту ще не зрозумів, не використовуйте складну лексику і уникайте узагальнень про роботу системи, які можуть вплинути на думку респондента про продукт.

Складні респонденти
Ви знаєте, як і коли правильно ставити запитання, легко звертаєтеся з технікою, вивчили проект вздовж і впоперек, але тут вам попадається він — складний респондент. І все не клеїться. Я спробувала виділити найбільш яскраві приклади складного поведінки, яке модератору доведеться коригувати.

Мовчун
Як розпізнати? На всі питання практично відповідає односкладово. Якщо ви використовуєте метод «думки вголос», він весь час забуває про потреби коментувати і знову занурюється в мовчання. Насправді на тесті це не найстрашніший респондент. Набагато гірше отримати такого на глибинному інтерв'ю.

Що робити? Можливо, ви просто спочатку не встановили контакт з респондентом, спробуйте налагодити з ним спілкування. Посміхніться, змініть тон; може бути, ви втомилися і задаєте питання занадто формально. Чи це просто особливість характеру вашого співрозмовника. В цьому випадку будьте готові, що доведеться весь час «розкручувати» респондента. Отримавши короткий відповідь на запитання, задавайте уточнюючі: «чому?», «навіщо?», «в якій ситуації ви стикалися з цим в житті?» і т. д. Тут весь час доведеться думати, що ще може випливати з відповідей, щоб підібрати підходящий питання.

Базіка
Як розпізнати? Спочатку він може здатися ідеальним респондентом: контактний, легко відповідає. Але ось вже половина часу пройшло, а ви все ніяк не закінчите вступне інтерв'ю. Один наш респондент відповідь на питання про досвід почав зі слів: «Коли я був маленьким...»

Що робити? Стежити за часом і не давати респондентові застрявати на темах, релевантних для дослідження. Тут важливо бути ввічливим, щоб не образити людину, яка щиро бажає з вами поділитися, але твердим, інакше ви просто не встигнете. Я зазвичай використовую фразу: «Вибачте, що я вас перебиваю. Мені здається, я в цілому зрозуміла, що ви маєте на увазі. Давайте рухатися далі, у нас ще багато питань».

Експерт
Як розпізнати? протягом всього тесту ви чуєте від нього поради: що поміняти, які кольори використовувати, куди перемістити функцію… Усі користувачі раді запропонувати вам ідеї, як поліпшити продукт, але у «експерта» весь акцент у тестуванні зміщується на оцінку і обговорення. Ви отримуєте багато релевантних ідей, так як користувачі — не професійні дизайнери, вони не в курсі особливостей проекту. Навіть у завдання такі респонденти часто не занурюється глибоко, так як їх погляд весь час приковують чергові дрібні недосконалості сайту: тут колір не той підібрали, тут поле треба помістити правіше і т. д.

Що робити? Іноді така поведінка — наслідок неправильно розставлених акцентів при вступному інструктажі. Коли учасник вирішив, що його покликали оцінювати, а не тестувати продукт. Межа досить тонка, але вона є. Тим не менш, як би правильно ви не підбирали слова, вам може попастися респондент, який сприйме сенс тестування саме як оцінку кожного елемента інтерфейсу і пропозицію рішень.

Коли «експерт» пропонує чергову ідею, важливо розуміти, що за нею стоїть: реальна потреба або просто бажання висловитися. Наприклад, користувач мобільного пошти каже: «Функцію пересилання листа треба звідси забрати». Якщо на питання модератора «чому?» він відповість: «Тому що я завжди випадково зачіпаю її пальцем, коли відповідаю на лист», це говорить про проблему і реальної потреби. І вирішувати цю проблему ви будете, швидше за все, інакше, а не просто заберете функцію. Якщо ж «експерт» не здатний чітко відповісти, навіщо йому зміни, це не проблема і не потреба. Тому завжди запитуйте, чому і навіщо; а ще краще — просіть «експерта» згадати приклад з життя, коли те, що він пропонує, йому реально потрібно.

Якщо «експерт» дуже занурюється в якусь ідею або недолік інтерфейсу, що може непродуктивно збільшити час тестування, робіть з ним так само, як і з «базікою». М'яко перервіть і запропонуйте далі виконувати завдання. Загалом таких людей краще перемикати саме на діяльність на тесті, хоча вони завжди будуть раді повернутися до обговорення.

Також подібної поведінки слід чекати від дійсно експертів в IT: розробників, менеджерів, дизайнерів. Вони не можуть абстрагуватися від свого досвіду і починають видавати експертну оцінку проекту. Це добре і корисно, але не в рамках юзабіліті-тестування, так як не має нічого спільного з користувальницьким досвідом. Тому таких людей просто не потрібно запрошувати на тести. Детальніше про принцип підбору респондентів можна почитати в моїй статті про рекрутинг.

Зашуганный
Як розпізнати? Тільки що ви бачили, як респондент страждав і мучився, виконуючи завдання, але під час обговорення він стверджує: в системі його все влаштовує, ніяких проблем не виникало…

При тестуванні співробітників компанії (наприклад, для тестів внутрішніх IT-систем, інтерфейсів операторів колл-центрів і інше) можливо наступне. Респонденти бояться, що від того, що відбувається на тесті залежить їх кар'єра. Вони сприймають тест як перевірку своїх навичок та компетенцій, готуються заздалегідь (а можливо, і консультуються з іншими людьми, вже поучаствовавшими в тестуванні) і намагаються виконати завдання максимально добре. Крім того, побоюючись гніву начальства, респонденти з працею висловлюються про недоліки продукту і активно його хвалять, навіть якщо страждали весь тест.

Що робити? Постарайтеся переконати респондентів, що тест не націлений на перевірку їх здібностей, начальство не отримає результати, а коментарі, у тому числі негативні, дійсно потрібні проектом. Але, на жаль, навіть якщо ви промовите це у вступному інтерв'ю, вам все одно можуть не повірити. Працювати з цією проблемою стоїть навіть не на рівні модератора, а на рівні всього відділу досліджень і їх замовників. Непогано, якщо керівництво розішле всієї компанії проморолики про користь досліджень і про те, як співробітники можуть бути корисні проектів. Добре також показувати на компанію результати хоча б перших досліджень (ось такі проблеми знайшли, так їх плануємо виправити).

Якщо ж ви тільки на початку шляху підвищення інформованості співробітників про внутрішніх дослідженнях, то «зашуганих» не уникнути. Повністю зняти напругу ви не зможете — тому не надто довіряйте оціночним судженням і опитувачів задоволеності. Більше дивіться на діяльність під час тесту: навіть якщо співробітник каже, що все добре, проблему можна побачити. Крім того, вам важливо забезпечити, щоб респонденти не готувалися до тестування. Тому не розповідайте докладно про суть тестування заздалегідь, а також просіть учасників тесту не передавати колегам інформацію про завданнях.

Невпевнений
Як розпізнати? Виконуючи завдання, він весь час шукає схвалення модератора. Часто обертається і задає питання: «Я прав?», «Це зараз можна зробити?», «Мені продовжувати?» і тощо

Що робити? Якщо ви заохотите його один раз, він буде і далі шукати вашої підтримки. Крім того, подібне заохочення — підказка. Як і у випадку з будь-якими питаннями від респондентів, відповідати можна фразою: «А як ви думаєте?». Іноді я спочатку навіть роблю вигляд, що не почула запитання. Часто людина після цього просто продовжує завдання, і виявляється — це було питання в повітря. Якщо ви бачите, що респондент зовсім не впевнений у собі, варто зупинитися і сказати йому щось подібне: «Все, що ви робите, апріорі правильно. Тут не можна щось зламати або пошкодити. Якщо щось не виходить або не знаходиться, значить, ми з вами знайшли проблему інтерфейсу, яку треба виправити».

Неадекват
Як розпізнати? На жаль, тут може бути багато різних варіантів; на щастя, вони зустрічаються досить рідко. Я стикалася і з нетверезими респондентами, і з хамами, і просто з дивними людьми. Наприклад, при тестуванні однієї соцмережі у нас було стійке відчуття, що прийшла до нас жінка страждає психічним розладом. Крім власного аккаунта вона показувала кілька сторінок зі своєю фотографією, але відгукувалася про них як про третіх осіб.

Що робити? В таких випадках, як у прикладі про соцмережу, дивина респондента не заважала цілям тестування, тому це просто стало кумедною історією. Однак завжди оцінюйте, принесе тестування «неадеквата» користь проекту. Якщо ні — припиніть тест, і чим раніше, тим краще, просто щоб не витрачати час безглуздо. Крім того, поважайте себе. Якщо учасник вам хамить, то ви маєте повне право вигнати його з тестування.

Повільний
Як розпізнати? З цим респондентом ви швидко зрозумієте, що не укладаєтеся в запланований таймінг. Він повільно і докладно відповідає на запитання, довго виконує завдання. Іноді тест подовжується через недосвідченість респондента і великої кількості виникли у нього проблем.

Що робити? Часто така поведінка — наслідок темпераменту. Спробуйте м'яко прискорити людини хоча б в розмовах. Спочатку подстройтесь під його темп мови, а потім потихеньку починайте говорити швидше. Іноді це спрацьовує і трохи прискорює співрозмовника. Крім того, розподіляйте завдання з пріоритетом: ви повинні розуміти, які завдання потрібно виконати, а які можна опустити. Якщо респондент десь застряє, оцінюйте, що для дослідження корисніше: дати йому самостійно (і повільно) закінчити завдання, підказати (і прискорити) чи перейти до наступного.

Засмучений
Як розпізнати? Багато людей некомфортно почуваються під час тестування. Як би ми не заспокоювали «засмучених», що тестуємо не їх, а продукт, все одно вони бояться виглядати нерозумно або щось не те сказати. Іноді незручність виникає під час тесту, коли людина довго не може впоратися із завданням і з-за цього впадає у фрустрацію. Він знає, що за ним спостерігають, його знімають на відео, і це лише підливає масла у вогонь.

Що робити? Розвивайте емпатію, слідкуйте за станом респондента. Хтось спокійно сприймає складності. А хтось звинувачує себе (жінки більш схильні до такої поведінки). Якщо ви бачите, що респондента дійсно засмучує те, що відбувається, зупиніться. Повторіть: «Я хочу нагадати, що ми не тестуємо вас. Це ви зараз тестуєте продукт. Все, що ви робите, логічно і правильно. Просто дизайнери задумали це якось інакше, і ми з вами знайшли проблему». Можна перервати завдання, яке викликало бурхливу реакцію. Але робіть це акуратно: чоловік не повинен подумати, ніби ви вирішили, що він просто занадто дурний, щоб впоратися, і тому не хочете навіть дати йому спробувати.

Чим більше ви проведете тестів, тим вище ймовірність зустріти непростого користувача. Однак і вашу майстерність з кожним тестом буде зростати. Поступово ви навчитеся пом'якшувати складні риси респондентів. Не забувайте щиро дякувати кожної людини врешті, навіть якщо він був не цукор. Часто у фіналі тестування ми зайняті думками про наступному учаснику, хочемо трохи відпочити або просто втомилися від напруженого тесту. Витратьте ще трохи сил і завершіть тест щирою вдячністю і посмішкою, а не просто суньте людині конверт в руки. Навіть якщо він був важким для вас респондентом і не приніс багато користі — все одно він витратив на вас час і сили і попрацював на благо проекту.

Висновок
Хорошим модератором стаєш тільки з практикою. Але навіть досвідчені модератори помиляються. Тому важливо не послаблювати самоконтроль. Будьте максимально нейтральними, не ставте занадто багато запитань, акуратно підбирайте слова, слідкуйте за своїми невербальними сигналами. Іноді я спеціально переглядаю відео тестів і відзначаю свої помилки. Корисно також працювати в парі з колегою-дослідником, звертаючи увагу на формулювання питань, реакції респондентів, підказуючи один одному прийоми. Це дозволяє залишатися в тонусі і не втрачати навик. Гарних вам тестів!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.