Помилки анкетних опитувань. 2 помилка: формулювання анкети. 13 випадків нерозуміння і маніпуляцій в опитуванні (1 частина)

Я продовжую ділитися досвідом помилок і знахідок в анкетних дослідженнях. У першій статті я розповіла, як можна залучити релевантних респондентів і збільшити повернення заповнених анкет.

Читати першу статтю Помилки анкетних опитувань. 1 помилка: зміщення вибірки. 8 способів залучити потрібних респондентів



У цій статті я розповім, чому проблема зрозумілості анкети для учасників опитування набагато важливіше, ніж здається на перший погляд. Розглянемо приклади маніпуляції думкою респондентів, фальсифікації результатів опитування та використання опитувань в маркетингових цілях.

Перевага анкетних опитувань – великий обхват і швидкий результат – стає і їх основним недоліком. Втрачаючи можливість комунікації з кінцевим респондентом, ми змушені робити дороге допущення: «всі респонденти розуміють зміст анкети і заповнюють її коректно». Якщо зробити допущення, можна видихнути і працювати з результатами опитування, як з відповідними фактами і думками. А якщо таке допущення не зробити, дослідження може перетворитися на низку перевірок і погоджень і в підсумку повністю парализоваться.

Якщо чесно, пройшовши через складність залучення респондентів і повернення анкет, найменше, чого хочеться досліднику – це сумніватися в тому, що анкети заповнені коректно. Але ще сумніше – усвідомити, що анкети зіпсовані з-за невірного розуміння учасниками інструкції, або питань. І щоб захистити себе і замовника від цих сумнівів, можна дотримати ряд підготовчих етапів, які значно підвищать довіру до дослідження. Ми розглянемо ці етапи в наступній статті. Спочатку розберемося, де можуть критися складності розуміння, і до чого це може призвести.

Можна виділити, як мінімум, наступні частини анкетного дослідження, де може виникнути нерозуміння:

1. Нерозуміння слів і спеціальних термінів.
2. Нерозуміння інструкції.
3. Нерозуміння спрямованості опитування.
4. Нерозуміння формулювання питань.
5. Нерозуміння критеріїв оцінки.
1. Нерозуміння слів і спеціальних термінів
Тут все просто. Респонденти, дійсно, часто не розуміють значення слів, які видаються досліднику очевидними. І це не завжди стосується професійного сленгу. Іноді, здавалося б, звичайні слова російської мови викликають труднощі в учасників опитування, але у експериментатора рідко з'являється можливість дізнатися про це.


На картинці: коментар користувача до анкетному опитуванню, опублікованому на сайті (джерело: pikabu.ru)

Приклад: Ми проводили дослідження людей різного соціального статусу та різних вікових груп. Серед дослідницьких методик використовувався тест Т. Лірі – авторитетний психологічний тест, адаптований для російськомовних респондентів, застосовуваний десятиліттями для оцінки особистості і відносин. Тисячі досліджень проведені в Росії з використанням цього тесту. У нашому дослідженні вже взяло участь кілька сотень людей, коли ми прийшли опитувати студентів престижного вузу. Студенти заповнювали анкети прямо в аудиторії. Через кілька хвилин вони стали піднімати руки і говорити, що не розуміють значення деяких слів з тіста. Ось список цих слів: м'якотілий, самобичующий, деспотичний, марнославний, поступливий, легко розташований, легко впадає в халепу, черствий. Для нас це стало відкриттям. Виявилося, адаптація класичного авторитетного тесту вже застаріла для деяких респондентів цього віку і статусу. Зібрані до того часу сотні анкет від респондентів інших вікових груп і статусів теж опинилися під сумнівом: люди не уточнювали у нас значення слів, значить – небудь розуміли їх, або соромилися запитати та відповідали навмання.
Друга загроза виходить від вживання в анкетах сленгу, який може або не розумітися учасниками, або дратувати їх. Таке може статися, якщо дослідник намагається загравати з цільовою аудиторією і вживає в анкеті їх сленг, не будучи носієм цієї культури.

Приклад 2: Коли ми досліджували комунікацію між відділами однієї ІТ-компанії, кілька її розробників розповіли на інтерв'ю, що їх дуже злить, коли HR-менеджери, проводячи внутрішні опитування, або роблячи розсилки, копіюють особливості мови і вставляють англіцизми. Хоча самі розробники часто цим грішили, їх дратувало, коли співробітники, які не включені в контекст їх роботи, переймали цей сленг.
2. Нерозуміння інструкції
Нерозуміння інструкції – найочевидніший пункт в цій статті і, здавалося б, даремний. Майже всі дослідники прояснюють у введенні до анкети, на що спрямоване дослідження, і як варто заповнювати бланк. Майже всі респонденти вже мають досвід участі в яких-небудь опитуваннях, і зараз рідко можна почути схвильовані запитання, які нам задавали років 8 тому: «А в квадратик потрібно ставити плюсик, або галочку?» і «А можна закреслити відповідь, якщо я передумав?».



На картинці: Анкета з неточними інструкціями для здобувачів (джерело: pikabu.ru).

Незважаючи на досвідченість звичайного респондента, питання юзабіліті анкет знову виникає, якщо дослідник пробує нові форми (наприклад, on-line опитування та анкетування на мобільних пристроях з неочевидними інструкціями або неможливістю пропустити відповідь), забуває про опцію «один варіант відповіді/ кілька варіантів відповіді», або забуває дати коректну інструкцію до складних питань (наприклад, питань з ранжируванням, або попарним порівнянням). І для дослідника велика удача, коли виходить дізнатися про труднощі учасника, як у прикладі на малюнку нижче.


На картинці: коментар користувача до анкетному опитуванню, опублікованому на сайті (джерело: pikabu.ru)

Те, що здається очевидним досліднику і більшості респондентів, може представляти складність для менш досвідчених учасників.


На картинці: Анкета з неточними інструкціями, не адаптована для учасника опитування (джерело: adme.ru).

Приклад 1: Ми проводили дослідження співробітників компанії, що має філії в маленьких містах і селищах. Представники філій з'їхалися на навчання в столицю, тому опитати їх після навчання здалося гарною ідеєю. Ми виступили перед співробітниками, дали інструкції і роздали опитувальники, пообіцявши надіслати результати на e-mail кожному учаснику, або принести на наступний день. Опитувальник був досить великий, люди в тиші заповнювали його. Як тільки перший учасник віддав заповнену анкету, в кінці кімнати піднялася жінка і попрямувала до дверей. Коли ми запитали, де її анкета, вона відповіла: «Я не розумію, що таке імейл, і не розумію, куди і що ви мені хочете вислати. Краще я піду». Виявилося, вона просиділа більше півгодини, так як не зрозуміла наші слова, але соромилася уточнити інструкцію. Для нас це був кричущий випадок: ми дізналися, яких масштабів може досягти нерозуміння інструкції. А при віддалених і on-line опитуваннях у дослідника зазвичай не з'являється можливість зрозуміти, що пішло не так: анкети або не повертаються, або заповнюються некоректно.

Приклад 2. Одного разу ми організували велике тестування людей різних вікових категорій з використанням психологічних опитувальників, які включали шкалу брехні. За правилами таких тестів, заборонено інтерпретувати результати, якщо показник брехні перевищує встановлений поріг. Одна з учасниць отримала критичний бал за шкалою брехні і, коли ми відмовилися аналізувати результати, була вкрай здивована, сказавши, що завжди намагається говорити правду і вже точно не стала б брехати в психологічному тесті. Ми взялися з нею розбирати відповіді, серед яких було, наприклад: «Я завжди переходжу дорогу на зелене світло», «Я завжди кажу правду» та інші очевидні питання на соціальну бажаність. На все вона відповіла «Так». Тоді я запитала:

– Ну, а якщо замислитися, за все життя ви точно ні разу не перейшли дорогу на червоний?
– Було, звичайно. Але я ж намагалася відповідати так, як вважаю правильним себе вести, а не як веду. А так – в житті різне буває.


Виявилося, детальна і чітка інструкція до тесту все-таки була осмислена жінкою по-своєму.

Приклад 3: Під час дослідження стилів поведінки у службових відносинах серед директорів підприємств, як завжди, нам вдалося залучити набагато більше жінок, намічався сильний перекіс вибірки, і тому ми дуже зраділи, коли дізналися, що завтра надійде відразу кілька анкет від чоловіків, директорів великих держ. організацій. Ми були готові на наступний день приступити до обробки, але ввечері мені подзвонив один з директорів. Він бадьоро повідомив, що з кількома директорами заповнює наші анкети і хотів би отримати пояснення щодо деяких ситуацій з тіста, так як у них виникли суперечки у виборі варіантів відповіді. Виявилося, директора, приїхавши на підвищення кваліфікації, вирішили поєднати спілкування і заповнення цікавого тесту, і почали заповнювати наші анкети разом в номері готелю, бурхливо обговорювати кожну ситуацію, сперечатися і переконувати один одного. Індивідуальне дослідження особистих стилів поведінки перетворилося на групове прийняття рішень, всі анкети виявилися заповнені однаково і втратили всяку цінність для нашого дослідження.
3. Нерозуміння формулювання питань
У створенні анкети або плануванні інтерв'ю є одне правило: «Питання – це вже майже відповідь». Інформативний відповідь можна отримати тільки при дуже добре продуманому питанні. Для того, щоб створити такі питання, проводиться велика підготовча робота (в наступній частині статті я розповім про етапи цієї підготовки).

Але наш досвід спілкування з дослідниками показує, що на таку підготовку майже ніхто не звертає уваги. Відповідальність за відповідь часто покладається на респондента, робиться істотне припущення, що респонденти мають сформульовану думку щодо нашого питання і дуже хочуть висловити його. Часто це абсолютно помилкове припущення. Не тільки проблеми дослідників, але мова їх питань часто не сприймаються респондентами.


На картині: Кадр з фільму «Автостопом по галактиці».

Вікіпедія: «Остаточну Відповідь на найбільший питання Життя, Всесвіту і Всього Такого (...): «Сорок два». Реакція була такою:
— Сорок два! — вискнув Лунккуоол. — І це все, що ти можеш сказати після семи з половиною мільйонів років роботи?
— Я все дуже ретельно перевірив, — сказав комп'ютер, — і з усією впевненістю заявляю, що це і є відповідь. Мені здається, якщо вже бути з вами абсолютно чесним, то вся справа в тому, що ви самі не знали, в чому питання.
— Але це ж велике питання! Остаточний питання життя, Всесвіту і всього такого! — майже завив Лунккуоол.
— Так, — сказав комп'ютер голосом страждальця, просвіщати круглого дурня. — І що ж це за питання?»

Приклад 1: Одного разу зі мною поділилася ідеєю дослідження ТОП-менеджер виробничої компанії. В той момент вона закінчувала навчання в МВА і зацікавилася вивченням мотивації робітників на виробництві. Дослідження мотивації – складна тема, ми запитали, які методи вона буде використовувати. «А які тут потрібні методи? – здивувалася вона. – Роздам їм папірці з питанням «Що вас мотивує?» і зберу відповіді». Шкода, спілкування з нею не продовжилося, і ми не дізналися, як робітники заводу сприйняли її анкети, і як вона використовувала результати такого дослідження.

Приклад 2: Другий приклад невідповідності мови дослідних анкет мови заповнювали їх людей теж з виробництва. HR-директор великого виробничого холдингу якось похвалився нам в особистій бесіді, що йому за кілька років вдалося збільшити залучення персоналу на 12% (!). Робочий персонал і середній менеджмент заводів – специфічна група для досліджень. Він вивчав їх залученість? Виявилося, опитувальника від компанії «Gallup».

Тут треба пояснити. Найбільший недолік використання опитувальника – не стільки розпливчасті і неадаптовані для людей робочих спеціальностей формулювання питань (наприклад, питання №5, 6, 8), скільки його застосування в якості тесту з підрахунком числового інтегрального показника залученості. Іншими словами, навіть якщо в учасників виникне нерозуміння формулювань анкети, дослідник не проаналізує відповіді окремо, не простежить за викидами, а підрахує сумарний показник. Текст опитувальника наведено на зображенні.

На картинці: Один з варіантів російськомовного перекладу опитувальника залученості персоналу від компанії «Gallup» (Джерело: antropos.ru).

Нам не вдалося знайти посилання на публікації з адаптацією і валидизацией опитувальника «Gallup» (обов'язковими етапами при використанні переказних методик). Тим не менш, можна знайти кілька варіантів його вільного перекладу, багато рекомендацій його застосування в бізнес-виданнях та ще більше пропозицій від консалтингових компаній, які використовують 12 невалидизированных і неадаптованих питань, як єдиний інструмент для вимірювання залученості персоналу.

Природно, коли клієнт бачить у звіті лише узагальнені показники залученості і – ще краще – зростання таких показників, вона рідко запитує про методи, якими вони були отримані.

4. Нерозуміння спрямованості опитування
Нерозуміння спрямованості питання – куди більш складна і поширена помилка в анкетних дослідженнях. Іноді й припустити не можна, як людина може інтерпретувати, здавалося б, однозначно сформульоване питання.

Для цієї проблеми є витончене рішення, яке ми обговоримо в наступній частині. А поки можна поговорити про випадки, коли дослідники навмисно ховають істинний сенс питання, або вносять плутанину в формулювання, щоб отримати бажану відповідь.

Ілюзія вибору. В практиці соціальної маніпуляції є такий хід: надання співрозмовнику ілюзії вибору, при якій будь-який його відповідь буде вигідний маніпулятору. Класичний приклад ілюзії вибору з продажу мережних ресторанів швидкого харчування: При замовленні клієнтом кава офіціант запитує: «Ви до кави візьмете маффін, або пиріжок?» (питання «чи Не бажаєте що-небудь до кави?» вважається менш ефективним з точки зору продажів). Такий хід часто застосовується в анкетних опитуваннях, коли організатор дослідження зацікавлений в певних відповідях.


Приклад: Кілька років тому наша компанія виступала організатором корпоративної ігри для менеджерів середньої і вищої ланки відомого заводу. Незадовго до цього контрольний пакет акцій цього заводу був куплений німецькою компанією, яка відразу почала впровадження корпоративних стандартів поведінки. Стандарти ці російською мовою представляли не цілком коректно перекладений і не завжди зрозумілий для російського менталітету звід правил, і перед нами поставили завдання організувати гру так, щоб менеджмент засвоїв ці стандарти. На гру відводилося лише кілька годин, і ми відразу пояснили, що за такий час не можна сформувати поведінкові патерни і не можна навіть розвинути прийняття і згоду з чужими нормами. Зійшлися на тому, що метою гри буде зменшити емоційну напругу, яку викликали нові стандарти. Отже, ми розробили ігри та конкурси, в основі яких було взаємодію з кожним правилом, зробили акцент на залученні, групової роботи та позитивних емоціях.

Гра пройшла добре, всі керівники вовлеклись і розходилися задоволеними. А через кілька днів HR-служба компанії попросила нас провести опитування задоволеності грою, щоб надати звіт керівництву. Ми розуміли, що нові норми не були засвоєні співробітниками і, тим більше, не перейшли у звички. Але свою мету – зменшити напругу – ми виконали. Тому, наша анкета була зосереджена виключно на позитивних емоціях після гри (див. малюнок).

На картинці: Фрагмент анкети зворотного зв'язку для учасників гри.

Питання 5, 6 і 9 – питання з ілюзією вибору. Вони виглядають досить повно. Але, якщо придивитися, будь-який варіант відповіді або відображає позитивну оцінку, або перекладає відповідальність на заповнює (за принципом «це не гра була погана – це я все ще не розумію стандарти поведінки, які мені пояснюють вже кілька місяців», або «я і так добре розумію суть стандартів»).

Останнє питання – зразок питання з ілюзією вибору. Всі його варіанти позитивні. Формулюючи його, ми знали, як результати будуть виглядати в звіті: як в діаграмах будуть виглядати позитивні ефекти, застосовані нами заздалегідь в анкеті, і як приємно керівнику буде розглядати їх. Коли людина переглядає такий звіт, у нього рідко з'являється питання, чи були передбачені анкетою негативні варіанти відповідей.

Розстановка акцентів
Якщо замовник дослідження не цікавиться вихідним текстом анкети і не уточнює, які варіанти були надані учасникам, організатори можуть підмінити зміст результатів, розставивши акценти.

Приклад: Недавня публікація результатів дослідження громадської думки росіян викликала бурхливе обговорення в Інтернеті (див. малюнок). В основному, обговорення крутиться навколо терміна «задовільно». А для нашої статті цікаво, як результати опитування перетворилися в заголовку статті за рахунок гри слів російської мови. У заголовку значиться «половину росіян задовольняє економіка країни», в той час як у розшифровці статті сказано, що тільки 6% оцінили економіку позитивно. Якщо б у звіті були представлені тільки «істотні» результати і був упущений варіант з позитивною оцінкою, то, завдяки багатству смислів мови, поняття «задовольняє» сприймалося б як дуже хороший результат опитування (а не як оцінка «на трієчку»).

На картинці: фрагмент новини про результати соцопитування (джерело: www.solidarnost.org).

Приклад 2: Ще один веселий приклад розстановки акцентів. Якщо ввести в пошуковику фразу «майже половина росіян не довіряє поліції», видаються посилання на джерела vedomosti.ru, rbc.ru, echo.msk.ru та ін. А якщо ввести “майже половина росіян довіряє поліції», видаються посилання на ria.ru, news.sputnik.ru www.business-gazeta.ru ridus.ru (останнє джерело – на диво, на відміну від скріншота).



На картинці: скріншот новинної стрічки – розстановка акцентів різними виданнями (джерело: joyreactor.cc)

Підміна понять. По суті, практика захисту перед замовником одних тільки результатів дослідження без попереднього розгляду сирих даних і способів їх збирання, залишає величезне поле для підробки даних і маніпуляції результатами без всякої підробки. У таких випадках важливо звертати увагу на логіку і спрямованість запитань в анкеті перед тим, як аналізувати її результати.

Тому особливо потішно виглядають пропозиції навчальних та консалтингових компаній самостійно оцінити ефект від навчання персоналу, або проведених впроваджень, і надати замовникові звіт про повернення на інвестиції. В анкетах зворотного зв'язку підрядники можуть запитувати співробітників зовсім не про те, а в підсумковому звіті підміняти поняття. Але замовники зазвичай охоче приймають такі звіти, так як вони виглядають цілком авторитетно, і не вимагають зусиль з боку внутрішніх служб.

Приклад: Нещодавно нам представили компанію, що надає PR-послуги. Представили, з гордістю пояснивши, що ця компанія – одна з небагатьох в галузі, що дає чіткий звіт по KPI (ключових показників ефективності) діяльності у відсотках. Дійсно, оцінити ефективність маркетингових та PR-кампаній, очистити заміри від усіх впливаючих умов ринку, непросто. Ми зацікавилися методикою. І, коли ми запитали, як саме проводиться вимірювання ефективності PR-діяльності і обчислює проценти, з'ясувалося, що в якості одиниць виміру використовується план (наприклад, «написати 10 статей у галузевих виданнях»), а в якості звіту – підрахунок виконання цього плата (за логікою цієї компанії, якщо написано 9 статей, то KPI по PR виконані на 90%). Звичайно, існує поділ на процесні і фактичні KPI і є бізнеси, де важливо саме чітке виконання процесу. Але це не стосується тих сфер, де процес не має значення, якщо не досягнутий результат. І у мене є підозра, що, надаючи замовнику звіт про ефективність PR-кампанії у числових показниках, ці підрядники здійснювали грубу підміну понять.
Навідні формулювання. Тональність питання в анкеті, або його спрямованість можуть наводити учасника на певний відповідь. Вигода організатора дослідження від таких відповідей полягає у підтвердженні власної позиції (наприклад, при фальсифікації теорій, або виправдання управлінських рішень).

Приклад: Добре цей ефект ілюструє «Теорія перспектив» А. Тверскі і Д. Канемана про економії інтелектуальних витрат (за дослідження ірраціональної природи прийнятих людьми рішень вони отримали Нобелівську премію).

В одному з експериментів по дослідженню прийняття рішення в залежності від контексту подаваної інформації, відомому як «Азіатська хвороба», учасникам пропонувалося вирішити завдання: «Уявіть, що Сполучені Штати Америки готуються до спалаху епідемії невідомої «азійських хвороби», внаслідок якої, як очікується, загине 600 осіб. Для боротьби з цією хворобою запропоновано дві альтернативні програми. Яку з них варто вибрати?» Далі двом різним групам учасників повідомлялася одна і та ж інформація, але в різних формулюваннях (з позитивним і негативним фокусом). Автори експерименту довели, що, прагнучи зекономити зусилля при прийнятті рішення, люди воліють покладатися на інтуїцію, минулий досвід і більш прості і оптимістичні варіанти.


На картинці: Формулювання «програм» експерименту «Азіатська хвороба» і перевагу відповідей учасниками.

Ще один поширений приклад з досліджень Д. Канемана: якщо одну групу випробовуваних запитати: «Дожив чи Ганді до 114 років? В якому віці він помер?», а іншу: «Дожив чи Ганді до 35 років? В якому віці він помер?», то перша група оцінить життя Ганді як набагато більш довгу, ніж друга.

Так, вдало формулюючи запитання анкети, роблячи акцент на позитивних варіантах, або використовуючи навідні цифри, дослідники створюють «ефект прив'язки» і можуть маніпулювати відповідями учасників.

Другий варіант, при якому застосовується техніка навідних формулювань, — це поступова зміна переконань учасника дослідження з допомогою анкети. У цьому випадку від питання до питання створюється канва, при якій респондент змушений відповідати певним чином, стикається зі своїми відповідями, як з новими уявленнями, і поступово змінює точку зору. Продовженням такого методу є питання, що створюють потребу (див. наступний пункт).

Приклад: Одного разу я сама стала жертвою жорсткого маніпулятивного опитування. Його проводила авторитетна організація, пропонуючи пройти on-line анкетування людям з усього світу. Дослідження подавалося під виглядом «Оцініть, наскільки правильно ви харчуєтеся». Початок анкети було стандартним, задавалися питання про різних продуктах, але поступово анкета стала звужуватися до фільтруючих питань про м'ясо (вживаєте м'ясо, скільки разів в тиждень, тощо). Після моїх відповідей на наступні запитання анкети стали пропонувати мені переглянути фотографії та відео про те, як умертвляют тварин на фермах, як розбирають туші, як утилізують відходи та ін. І вже зовсім скоро питання набули такого характеру: «Знаючи, як страждають тварини на фермах, ви як і раніше будете регулярно вживати м'ясо?» і «чи Не вважаєте ви, що варто віддати перевагу рослинні білки, такі ж корисні і поживні, щоб припинити знущання над тваринами?». Ці питання сипалися градом: ніхто вже не цікавився моїми раціоном. Здавалося, завершити цей потік можна, тільки відповідаючи в дусі «я все усвідомив і піду тепер переконувати всіх, кого зустріну на шляху». Вперше у мене був такий травматичний досвід від заповнення анкети. Я припинила відповідати на питання, і мені потрібен час, щоб знову зміцнитися в своїх уявленнях про харчування, які опинилися під великим впливом з-за цього опитування.
Опитування, що створюють потребу. Створення в учасників потрібних потреб з допомогою правильно сформульованих питань – ще одна тактика маніпуляцій і продажів. Та анкетні опитування в цьому заході надають хорошу підтримку продають компаніям.

Нікого вже не обдурять псевдо-соціологічні опитування в стилі «Правильно ви доглядаєте за шкірою?», або «чи Все ви знаєте про очищення організму?», десь після третього питання: «чи Знайомі ви з продукцією компанії N?». Років десять тому в нашій країні ці опитування були дуже популярними.

Зараз тактику створення потреб використовують більш тонко. Перший варіант – це приховане інформування учасника з допомогою анкети про асортимент і нові продукти компанії, що народжує обізнаність і викликає цікавість (див. малюнок).


На картинці: фрагмент анкети, рекомендованою Моз для визначення групи ризику щодо вживання наркотиків підлітками. Серед питань були також такі: «Скільки разів, якщо таке траплялося, ви нюхали ингаляты – клей, аерозоль, бензин – спеціально, щоб отримати «незвичайні відчуття»?». Анкети пропонувалося роздавати дітям 10-13 років, що викликало бурхливе обурення батьків. (Джерела: Ridus.ru, RG.ru).

Другий варіант створення потреби – запропонувати клієнту анкету, нібито допомагає зорієнтуватися в тому, якого виду послуга (товар) насправді йому потрібна. Не можна сказати, що це однозначна «політика зла». Такі анкети, дійсно, допомагають уточнити потреби клієнта, але вони дуже добре допомагають продавати.

Суть продажу полягає в тому, що під виглядом опитування:

а) респондента підводять до думки, що у нього чогось немає, або що-то використовується неефективно (викликають почуття тривоги),
б) інформують про нові послуги (товари, опціях), які допоможуть вирішити його проблему (про яку він не знав до початку опитування).

Приблизний алгоритм анкети, що створює потреба:

1. Ввідні нейтральні питання по темі, «айс-брейкери».
2. Питання про актуальний стан респондента, які поступово підводять його до ідеї, що у нього чогось не вистачає, або що-то застаріло.
3. Питання, уточнюючі, розуміє респондент, які наслідки має ця нестача, і чим вона може обернутися особисто для нього або його бізнесу.
4. Питання про те, чи знайомий респондент з деякими рішеннями (товарами, послугами, технологіями).
5. Питання, інформують респондента, як саме ці рішення допомагають впоратися з його проблемою.
6. Запитання, які наводять на думку про купівлю (інформують про ціни, знижки, умови).
7. Питання, які підтверджують, що при покупці цього рішення проблеми респондента будуть вирішені, і він отримає додаткову вигоду.

Приклад: Якщо б я хотіла продати цю статтю з допомогою анкети, я спочатку поставила б кілька формальних питань про ваш досвід анкетних досліджень і про те, чи отримали ви спеціальна освіта для проведення досліджень (вже тут починається робота з тривогою). Потім запитала б, з допомогою яких процедур ви встановлюєте і доводите, що респонденти правильно розуміють інструкцію, формулювання та критерії оцінки ваших опитуваннях. Потім запитала б, знайомі ви з такими прикладами з вашої сфери, коли результати дорогих опитувань доводилося викидати з-за того, що не всі респонденти вірно розуміли інструкцію, або суть питань. Згадала б, яка ганьба збагнув організаторів таких опитувань з такої-то компанії. Потім я запитала б, знайомі ви з процедурами концептуалізації, операціоналізації, валідизації, адаптації, апробації та пілотного запуску, і в якому обсязі ви їх використовуєте. Потім привела б приклади, як ці процедури допомогли врятувати дорогі дослідження. І, нарешті, я поцікавилася б, що має відбутися у вашій компанії для зміни підходу до опитувального досліджень і скільки, по-вашому, може коштувати стаття, в якій міститься алгоритм застосування цих процедур, щоб ваші дослідження стали надійними, принесли успіх вашої компанії і особисто вам.
В цьому прикладі все ще чітко видно «білі нитки» продажу, але, чим ближче ваш респондент до статусу клієнта (наприклад, заповнює анкету на сайті продукту) і чим ближче він до купівлі, тим краще буде сприйнята їм така анкета і тим легше вийде збільшити обсяг його купівлі за рахунок додаткових продажів.

Третій варіант створюють потребу анкет, дуже популярний зараз, це розважальні тести. Інтернет-користувачів до цих пір привертають тести в стилі «чи Добре ви розбираєтеся в комп'ютерних іграх?» (де можна ненароком додати декілька питань з перерахуванням ігрових новинок певної компанії), «чи Вмієте ви управляти своїм часом?» (тут доречно згадати кілька спеціалізованих мобільних додатків, які ви хочете продати) і т. д. Такі тести іноді професійно виглядають і дарують позитивні емоції, навіть коли їх рекламна природа очевидна.

Приклад: Кілька днів тому один запропонував мені пройти тест на знання італійських сирів на сайті «Медуза». Тест був відзначений знаком «партнерський матеріал», а в назві згадувався бренд виробника сирів, але один цього не помітив. Він зачитував питання, а я сприймала їх на слух. Тест був справді цікавим.

І в якийсь момент, захотівши вже салат з соковитою корисної моцарелою, я жартома вигукнула:

– Так схоже, вони продають ці сири!
– Дійсно, дивись, тут в кінці тесту написано: «Ну і звичайно тепер ми просто зобов'язані вам розповісти, що U. теж виробляє всі сири, про яких ми згадали в тесті, – і не тільки. Вони свіжі і корисні, і навіть кальцій в них – зі смаком Італії».


Багато знаючи про маркетингові прийоми і маніпуляції, ми все одно сприйняли цей тест позитивно і зацікавилися компанією, так як форма подачі і корисність контенту перевысили знання про справжні цілі організаторів тесту.

Одне з питань тесту представлений на малюнку.

На картинці: Один із запитань тесту на знання італійських сирів (Джерело).

Опитування зі зміщеною метою. Осібно в цьому списку опитувань з прихованими мотивами стоять опитування зі зміщеною метою, так як вони використовуються, в основному, не для маніпуляції, а для більш витонченого дослідження мотивів респондентів, коли таке неможливо зробити за допомогою прямих питань.

Приклад: Про цьому опитуванні розповіла моя учениця, директор приватної меблевої фабрики. Вона намагалася зрозуміти причини поганих продажів у фірмових магазинах. Кілька місяців тому фабрика (изготавливавшая до цього тільки м'які меблі) придбала виробництво кухонь. Відповідно, у фірмових магазинах, крім м'яких меблів, розпочався продаж кухонь. Але, на тлі стабільних продажів м'яких меблів, кухні продавалися дуже погано. У директора виникла гіпотеза, що причина поганих продажів не в поганій якості продукції (у неї була можливість перевірити реальний попит), а в упередженому ставленні продавців, які саботували продажу. Прямо запитати про це продавців було неможливо, і тому вона організувала серед них опитування в стилі «Чому, на ваш погляд, кухні погано продаються». Продавці зраділи можливості висловити, нарешті, все своє невдоволення від інновацій, і красномовно відповідали на питання анкети. Так їй вдалося підтвердити свою гіпотезу, зібрати основні упередження продавців проти нового товару, зрозуміти їх опір та отримати базу для роботи з запереченнями (в її випадку – з запереченнями самих продавців, а не клієнтів).
5. Нерозуміння критеріїв оцінки
Дослідники не завжди роз'яснюють критерії оцінки, очікуючи, що вони інтуїтивно зрозумілі учасникам.

Приклад: Традиційно з десятків анкет, надісланих мені на експертизу, близько 30% містять запитання з проханням оцінити якийсь параметр (послугу, товар) від 1 до 5 балів, але не містять розшифровки значень, або хоча б вказівки, який полюс є позитивним. Іноді всі дослідження пропадає, якщо організатори звертають увагу на діаметральні відмінності в оцінках респондентів і тільки потім здогадуються, що деякі респонденти ставили «1», припускаючи, що це «перше місце в рейтингу, а інші ставили «1», як самий низький бал.
Як вихід з таких ситуацій, прийнято використовувати шкалу Лайкерта (Лейкерта, Ликерта) містить більш детальні формулювання для оцінки (наприклад, від «Зовсім не подобається» до «Дуже подобається», або від «Ніколи» до «Дуже часто»). Можна знайти або придумати багато формулювань цієї шкали для різних варіантів питань. Але й у цієї шкали є недоліки, так як суб'єктивне розуміння, наприклад, частоти якихось дій у різних людей може відрізнятися. І якщо нам важливо знати не їх думку про частоті, а більш-менш точний показник, краще конкретизувати такі варіанти відповідей точними проміжками (наприклад: «Рідше одного разу на рік» — «...» — «Кілька разів в день»).


На картинці: коментарі учасників до анкетному опитуванню, опублікованому на сайті (джерело: pikabu.ru)

Опрацювання варіантів відповіді стає особливо важливою, коли анкетне опитування використовується для оцінки складних, суб'єктивно-значимих параметрів. У таких випадках респонденти схильні до ментальної економії» і вибирають варіанти оцінки, відповідні їх загальному уявленню про об'єкті, не замислюючись над питанням (наприклад, «гра мені загалом подобається, проставляючи скрізь 4 і 5 – не важливо, я оцінюю звук, або рівень зворотного зв'язку з гравцями»).

Такі усереднені оцінки зустрічаються часто при проведенні оцінки співробітників методом 360 градусів. Оцінюючи своїх колег, люди схильні ставити позитивні бали «коханим» і нейтральні, або від'ємні бали «нелюбим», незалежно від того, за яким параметром ставляться оцінки (нелюбимий співробітник може бути сильним лідером, або ні з ким не конфліктувати, але «рука не підніметься» поставити йому високі бали навіть за ці показники). У підсумку, така оцінка виявляється зовсім непотрібною для організаторів дослідження, так як не дає можливості виділити реальні проблемні точки у співробітників компанії.

Точно так само йдуть справи при оцінці користувацького досвіду при роботі з ІТ-продуктами. Якщо сайт, або компанія, загалом, подобаються користувачу, він буде схильний ставити, загалом, високі оцінки, щоб «нікого не образити». І таке опитування не допоможе розробникам зробити продукт краще.

Приклад: Кумедний випадок трапився з моєю знайомою, коли тільки почав розвиватися сервіс «Однокласники». Завівши акаунт значно пізніше своїх знайомих і ще не знаючи негласних правил поведінки на сайті, вона стала переглядати профілі друзів і ставити оцінки фотографіям. Дуже скоро кілька подруг її заблокували. Вона була дуже здивована і змогла розговорити одну з них, щоб вяснить причину. Виявилося, подруг (вже давно закінчили школу) сильно зачепили низькі оцінки, які вона ставила їх фотографій. «Як ти не розумієш? Ти знизила мені загальний бал своїми двійками!» – зізналася одна з них. А моя знайома, на відміну від більшості користувачів «Однокласників», була переконана, що механізм оцінки фотографій існує для того, щоб щиро висловлюватися щодо вдалості кадру, кольору, перспективи та ін., а не для виконання соціальної функції підтримки друзів.
У таких випадках вищим пілотажем дослідника стає розробка «поведінкових» варіантів відповіді, що описують приклади прояву якості в поведінці людини (або – при оцінці продукту – особливості взаємодії користувача із ним). З поведінкових варіантів не можна однозначно визначити, який з них позитивний, і який негативний, і респондентові доводиться вибирати варіант, найбільш наближений до реальності.

Приклад: Можна запропонувати такі поведінкові варіанти для оцінки конфліктності: «Цей чоловік ніколи не підвищує голос і завжди тримається осторонь від будь-яких розбіжностей і спорів» (найнижчий бал) – «Ця людина гостро реагує, коли його точка зору не приймається колегами, або коли поведінка колег йому здається несправедливим; він може підвищувати голос, або навіть вирішувати розбіжності силою» (найвищий бал). Відповідно, в такому ж ключі формулюються інші проміжні варіанти оцінки.

На картинці: Приклад питання оцінки «орієнтації на команду» для оцінки співробітників методом 360 градусів. У кожному варіанті можна помітити позитивні і негативні риси, що збільшує ймовірність чесної оцінки, на відміну від простого приписування високих або низьких балів співробітнику (Джерело).

Розробка поведінкових варіантів оцінки – складний етап. Особливо складно підібрати адекватні варіанти, коли не зовсім зрозуміло, як вони виявляються в реальній поведінці (або взаємодії користувача з продуктом). Наприклад, при оцінці звукових ефектів в грі вищою оцінкою звуку буде: «Звуки не відволікають від гри, створюють хороший фон», або «Звуки грають найважливішу роль, допомагають стежити за динамікою гри, під час підказують дії гравцям». Для того, щоб варіанти оцінки вийшли найбільш відповідають реальному досвіду користувача, використовується етап операціоналізації, про який я детально розповім в наступній частині статті.

Короткі висновки
Я спробувала описати приклади, коли очевидні для організаторів досліджень етапи анкетування неправильно розуміються учасниками. Респонденти можуть неправильно розуміти слова і фрази, формулювання питань, інструкції до анкети, критерії оцінки і спрямованість питань. Ці труднощі приводять до збору нерелевантної інформації, чи неповернення анкет.

Також ми розглянули приклади, коли замішання респондентів провокується навмисно з метою маніпуляції результатами опитування. Серед таких маніпуляцій:

— надання ілюзії вибору;
— розстановка акцентів;
— підміна понять;
— навідні формулювання;
— використання ефекту прив'язки;
— створення потреби: 1) через інформування та допитливість, 2) через провокацію тривоги, 3) через розважальні тести,
— опитування зі зміщеною метою.

Щоб оцінити, не маніпулюють вашим думкою дослідники, надаючи результати анкетного опитування, можна поставити їм кілька питань по процедурі дослідження:

1. Попросіть подивитися вихідний текст анкети і спробуйте самостійно заповнити перед тим, як знайомитися з результатами (ще краще – перед тим, як санкціонувати дослідження).
2. Уявіть, як заповнює анкету ваш типовий клієнт або співробітник (всі терміни і формулювання будуть йому зрозумілі).
3. Зверніть увагу на формулювання питань і варіантів відповіді: чи є негативні варіанти, чи займають вони рівне місце з позитивними варіантами.
4. Зверніть увагу, чи немає у питаннях анкети навідних формулювань і «прив'язок».
5. Перегляньте, наскільки однозначно і конкретно сформульовані критерії оцінки в питаннях анкети (не провокують вони «ментальну економію» – на нейтральні, або виключно позитивні відповіді). Кращий варіант – якщо критерії оцінки сформульовані в поведінкових прикладах.
6. При аналізі підсумкового звіту зверніть увагу, на основі яких питань анкети побудовані висновки: не підміняють дослідники поняття, не видають чи думки респондентів за факти.
7. Якщо використовується зарубіжна методика (наприклад, від відомої компанії), поцікавтеся посиланнями на публікації з описом процедури її перекладу, адаптації і валідизації. Без цих процедур методику можна вважати авторитетним методом дослідження, незалежно від статусу її розробника.
8. Запросіть точний розподіл учасників по групах (стать, вік, соціальний статус, або: відділи, посади), щоб уникнути перекосу вибірки (детальніше про це – у попередній статті про вибірці).

В наступних статтях:

Помилка 2. Формулювання запитань: чому ви вирішили, що вас розуміють? (2 частина)
Помилка 3. Види брехні в опитуваннях: чому ви вірите відповідей?
Помилка 4. Думка не одно поведінки: ви дійсно запитуєте про те, що ви хочете дізнатися?
Помилка 5. Види опитувань: вам потрібно дізнатися, чи підтвердити?
Помилка 6. Розділяйте і насичує вибірку: середнє нічого не допомагає зрозуміти.
Помилка 7. Горезвісний «Net Promouter Score» – це НЕ витончене рішення.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.