Дещо краще A/B тестування

Всім привіт! Мене звати Василь. Моє головне заняття — підвищувати конверсію сайтів, ключову метрику в будь-якому IT-бізнесі.

За статистикою, середня конверсія сайтів в рунеті не перевищує 1 відсотка і це означає, що величезна кількість інтернет-підприємців кожен день втрачає багато грошей. Цих підприємців можна подумки розділити на два основних типи: перші — це ті, хто просто сидить і дивиться на свій не оптимізований ресурс і нічого не робить. На жаль, вони приречені бути розчавленими часом інноваціями і конкурентами. Другі — це ті, хто намагається щось з цим робити. Як правило, для цього вони малюють лендінгем, експериментують з каналами реклами і проводять A/B тестування. A/B тестування — це вкрай необхідний інструмент сучасного маркетингу, він дозволяє визначити, який варіант продає сторінки є найбільш ефективним для більшості користувачів. Щоб зрозуміти, наскільки цей метод ефективний — досить згадати гучну історію про Обаму і 60 млн $. Однак, у цього методу є і зворотна сторона, полягає вона в тому, що всі люди різні, і якщо, наприклад, статистика покаже, що жінки здебільшого люблять котиків, зовсім не обов'язково що у твоєї дівчини немає на них алергії :) тобто, якщо у нас A/B тест показав, що якийсь варіант лендинга ідеальний для 60% користувачів, і ми вибираємо його для нашої рекламної компанії, то ми автоматично втрачаємо залишилися 40%, яких він ні чим не чіпляє. Значить, A/B тестування не ідеальне і потрібно терміново щось із цим робити. Причому прямо зараз, тому що ми під три чорти втрачаємо 40% лідів і взагалі це круто!

image

Для того, щоб не втрачати клієнтів, потрібна така система, яка не просто проводить A/B тест і постфактум показує вам результати, а здатна передбачати який варіант посадкової сторінки сподобається вашому відвідувачеві і показувати йому саме цей варіант. Шкода, що це не можливо, бо ніхто до кінця не знає, що у ваших потенційних клієнтів в голові, адже правда? Чи ні?

Хоча, звичайно, можна припустити, що деяка кількість ваших відвідувачів не дивиться презентаційне відео в робочий час, тому що їх палить начальство, а якщо до вас на сайт зайшла ваша бабуся, то найвірогідніше для неї не спрацює продає текст, який був написаний для вашого сина. Відразу в голову лізе величезна кількість відповідностей. А що, якщо знаходити відповідності автоматично, якщо створити алгоритм, який знаходить схожість в поведінку різних користувачів на сайті за різними параметрами, наприклад за часом, геолокаціі, браузера, операційної системи, UTM мітці з рекламних компаній? Як ви думаєте, скільки б відповідностей він знайшов?

image

Скажу відразу, що ми зробили цю штуку і отримали цікавий результат, вийшло, що з вірогідністю близько 80% алгоритм може передбачати який варіант лендинга більше сподобається конкретному користувачу. Так, у нас немає даних, що їв ваш користувач на сніданок, також ми не знаємо, як звуть його собаку або дружину. Але навіть наявних даних і без того виявилося досить, щоб автоматично шукати відповідності. Щоб наш алгоритм працював краще, ми приробили до нього так звану систему ваг. Якщо варіант лендинга не подобається користувачам і вони не здійснюють на ньому цільових дій, він помаленьку опускається в ротації і в підсумку взагалі не показується користувачам або показується тільки в тій групі, якою він подобається, тільки в той час, коли він їм більше подобається. Знову ж таки, тут є невелика проблема, полягає вона в тому, що для виявлення відповідностей і нормальної роботи системи потрібно деякий час і відповідна відвідуваність. І чим більше варіантів лендингов в ротації, тим більше потрібно відвідувачів. Для кожного варіанту бажано не менше 500. На жаль, якщо у вас відвідуваність 200 чол в день і 5 варіантів лендингов, ви швидше свихнетесь, ніж дочекаєтеся, поки наш алгоритм сегментує ваших користувачів. Однак, якщо у вас при рівних умовах відвідуваність 2000+, він навчиться за півтора дня. А якщо у вас ця відвідуваність з реклами, на якій встановлені utm мітки, то алгоритм буде творити для вас магію. Правда, не забувайте, що навіть чарівний джин не виконує бажання, якщо не терти його лампу, кажучи простіше, якщо ви зробили 5 варіантів моторошних не юзабельных сторінок, що відрізняються один від одного лише кількістю єдинорогів в футері, не чекайте, що алгоритм вам допоможе.

А взагалі, штука вийшла цікава і мені здається, що це схоже на майбутнє технологій для маркетингу.

Наперед вибачаюсь, якщо пропустив які-небудь помилки в тексті статті, якщо знайдете пишіть в лічку.
P.S. Я єдиний маркетолог з дисграфією в цій країні.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.