Що дає додавання ще однієї літери «А» старий, добрий АБ-тест і чому цього теж буває недостатньо для оцінки змін.

ААБ-тест або ABA-тест — це коли трафік ділять на три частини: першу і другу направляють на сайт без змін, а третю зі змінами.


Що це дає?
  • Вище точність тесту. Вважаємо, що Б дає відносно достовірний результат тільки тоді, коли А і А зрівняються.

Читати далі →

Дещо краще A/B тестування

Всім привіт! Мене звати Василь. Моє головне заняття — підвищувати конверсію сайтів, ключову метрику в будь-якому IT-бізнесі.

За статистикою, середня конверсія сайтів в рунеті не перевищує 1 відсотка і це означає, що величезна кількість інтернет-підприємців кожен день втрачає багато грошей. Цих підприємців можна подумки розділити на два основних типи: перші — це ті, хто просто сидить і дивиться на свій не оптимізований ресурс і нічого не робить. На жаль, вони приречені бути розчавленими часом інноваціями і конкурентами. Другі — це ті, хто намагається щось з цим робити. Як правило, для цього вони малюють лендінгем, експериментують з каналами реклами і проводять A/B тестування. A/B тестування — це вкрай необхідний інструмент сучасного маркетингу, він дозволяє визначити, який варіант продає сторінки є найбільш ефективним для більшості користувачів. Щоб зрозуміти, наскільки цей метод ефективний — досить згадати гучну історію про Обаму і 60 млн $. Однак, у цього методу є і зворотна сторона, полягає вона в тому, що всі люди різні, і якщо, наприклад, статистика покаже, що жінки здебільшого люблять котиків, зовсім не обов'язково що у твоєї дівчини немає на них алергії :) тобто, якщо у нас A/B тест показав, що якийсь варіант лендинга ідеальний для 60% користувачів, і ми вибираємо його для нашої рекламної компанії, то ми автоматично втрачаємо залишилися 40%, яких він ні чим не чіпляє. Значить, A/B тестування не ідеальне і потрібно терміново щось із цим робити. Причому прямо зараз, тому що ми під три чорти втрачаємо 40% лідів і взагалі це круто!

image

Читати далі →

A / B-тестування і його результати, які шокували експертів: інтуїція іноді підводить

    При виборі того чи іншого інтерфейсу, дизайну сайту, інструментів збору контактів і підвищення конверсії, власники сайтів часто роблять одну й ту ж помилку: чи не тестують різні варіанти. Створюючи сайт, ми часто довіряємося думку так званих експертів, або читаємо корисні статті, де в один голос затверджується, наприклад, що використання фотографій щасливих людей в Лендінзі підвищує конверсію. Чи варто беззастережно слухати думки експертів? І на всі вмовляння протестувати різні варіанти відповідати, що саме такий інтерфейс порадив створити умовний Іван Іванович? З тих пір, як створення сайтів і веб-дизайн особливо перетворилися на пологи професійної діяльності, з'явилися певні стереотипи в кожній з цих областей, яким слід більшість творців сайтів. Чому варто перевірити навіть самий на ваш погляд, чи на погляд вашого знайомого експерта, ефективний дизайн вашого інтерфейсу або якихось його деталей за допомогою a / b-тестування? Тому що в області юзабіліті практично немає рішень, які однаково хороші для всіх сайтів. Не вірите? Під катом — кейси того, як перевірка навіть самих на перший погляд очевидно кращих варіантів виявляє, що вони зовсім не працювали на конверсію.
 
Читати далі →