A/B-тестыИнструкция

Как провести A/B-тест на сайте: пошаговая инструкция

Как провести A/B-тест на сайте без статистики: что записать до запуска, как настроить две версии страницы и как принять решение.

обновлено 5 мин чтения
Носорог стоит на скале и смотрит на две панели с графиками A и B
Носорог рассматривает варианты A и B. Зрение у него слабое, поэтому на глаз он не решает и вам не советует.

Коротко

  • Чтобы провести A/B-тест, запишите одно изменение, посчитайте нужный срок, запустите две версии страницы в сервисе вроде Varioqub и не трогайте их до назначенной даты.
  • До запуска нужно зафиксировать четыре вещи: что меняете, по какой цифре решаете, когда заканчиваете и что считаете победой.
  • В первые два дня проверяйте только исправность: открываются ли обе версии и доходят ли заявки. Результат смотрите в назначенный день.

Для тех, кто собрался проверить идею на живых посетителях: A/B-тест на сайте проводится в семь шагов. Записываете одно изменение, считаете срок, делаете вторую версию страницы, запускаете её в сервисе, проверяете исправность, ждёте назначенной даты и принимаете решение. Ни одной формулы, обещаю.

Если слово «A/B-тест» вы видите впервые, загляните сначала в статью о том, что это такое.

В природе A/B-тест живёт недолго. Гибнет он обычно на третий день, от руки собственного хозяина. Попробуем сделать так, чтобы ваш дожил.

Пример у нас будет один: придуманная стоматология с придуманной страницей про лечение зубов. Сейчас на странице заголовок «Заботимся о вашей улыбке» и цены только по звонку.

Что сделать до запуска

Самая скучная часть. Пропустить её хочется сильнее всего, так что не пропускайте.

  1. Запишите гипотезу. Гипотеза — это предположение, что конкретная правка изменит поведение людей, с объяснением почему. У клиники она такая: если показать на первом экране цену консультации, заявок станет больше, потому что сейчас люди боятся неизвестной суммы. Подробнее в статье про гипотезы.

  2. Выберите одну цифру. По ней и будете решать. Для лендинга это обычно конверсия: доля посетителей, которые оставили заявку. Рядом держите вторую цифру, для страховки: сколько заявок дошло до приёма.

  3. Посчитайте срок. Посмотрите, сколько нужно людей, в готовой таблице. Клиника получает заявки от 5% посетителей и хочет заметить рост в полтора раза. Нужно около 1 470 человек на версию, примерно 2 940 на весь тест. При 4 000 посетителей в месяц выходит 22 дня.

  4. Округлите до целых недель. 22 дня превращаются в четыре недели. Меньше двух недель не держите: в понедельник и в субботу люди ведут себя по-разному.

  5. Запишите всё в одну заметку. Что меняем, какая цифра решает, какой день последний, что считаем победой.

Заметка кажется лишней ровно до дня подведения итогов. В этот день вы вдруг обнаружите в себе способности адвоката.

Вышло больше двух-трёх месяцев? Тест я бы не запускал. Лучше поменять что-то крупное или проверить идею другим способом. Клиника, к примеру, могла бы переделать весь первый экран.

Как запустить тест на сайте

Для русскоязычных сайтов простой вариант: Varioqub от Яндекса. Ему нужна установленная Яндекс Метрика, это бесплатный счётчик посетителей. Она собирает статистику о визитах, и по ней сервис считает результат. Менять можно тексты, цвета, стили и разметку страницы. Порядок там такой: подготовили сайт, проверили, что код работает, спланировали эксперимент, создали его, смотрите отчёт.

  1. Настройте цель в Метрике. Цель это действие, которое счётчик считает успехом. У клиники это отправка формы записи. Отправьте заявку сами (лучше пару раз) и убедитесь, что она засчиталась. Если счётчик заявок не видит, тест будет считать пустоту.

  2. Сделайте вторую версию. Та же страница с одной правкой: цена консультации на первом экране. Заголовок, фото и форму не трогаем.

  3. Создайте эксперимент в Varioqub. Опишите правку и укажите, какое действие считать результатом. У клиники это всё та же отправка формы.

  4. Разделите посетителей поровну. Половина на старую версию, половина на новую.

  5. Оставьте две версии. Хочется добавить третью, я знаю. Три версии вместо двух требуют минимум в полтора раза больше посетителей.

Что делать, пока тест идёт

Первые два дня проверяйте исправность: откройте обе версии с телефона, отправьте заявку с каждой и посмотрите, что посетители идут в обе группы примерно поровну.

Тише. Владелец сайта в период теста. Движения осторожные, взгляд прикован к вкладке с отчётом. Если особь не вспугнуть, через час она обновит страницу ещё раз.

Закройте отчёт. Цифры в начале скачут, и версия, которая сегодня впереди, завтра может отстать. Если останавливать тест в удачный момент, победа будет выдуманной. Почему так, объясняет статья про статистическую значимость.

Прервать тест стоит в одном случае: что-то сломалось. Форма не отправляется, страница не открывается. Останавливайте сразу, чините и начинайте заново. И победителя из такого теста не объявляйте, даже если очень хочется.

Как принять решение

Назначенный день настал. Открываем заметку и отчёт. Сервис покажет, различаются ли версии всерьёз или это похоже на случайность.

Новая версия заметно лучше. Оставляем её. Но сначала проверьте вторую цифру: заявки на приём не стали хуже? Клиника могла получить больше заявок от людей, которые просто хотели узнать цену.

Старая версия заметно лучше. Возвращаем старую и радуемся. Вы только что избавились от правки, которая снижала заявки. Запишите, почему идея могла не сработать.

Разницы не видно. Оставляйте ту версию, которую проще поддерживать. Обещать коллегам, что версии равны, нельзя. Тест умеет сказать только одно: разницы такого размера, какой он мог заметить, нет.

Через месяц-другой после внедрения сравните заявки с тем, что было. Рост на тесте и рост в жизни совпадают не всегда: новизна проходит, состав рекламы меняется.

Из советов: запишите итог в ту же заметку. Проценты забудутся через неделю, и чем дольше ведёте такие записи, тем лучше понимаете своих клиентов.

Дату окончания назначьте прямо сейчас и запишите там, где не сможете сделать вид, что забыли.

Частые вопросы

С чего начать A/B-тест на сайте?

С записи: что вы меняете, почему это должно сработать, по какой цифре будете решать и когда закончите. Потом посчитайте, хватит ли посетителей, и только после этого настраивайте сервис.

Каким сервисом провести A/B-тест на русскоязычном сайте?

Простой вариант: Varioqub от Яндекса. Ему нужен установленный счётчик Яндекс Метрики. Сервис сам делит посетителей на группы и считает результаты, менять можно тексты, цвета и разметку страницы.

Сколько должен длиться A/B-тест?

Столько, сколько нужно, чтобы набрать рассчитанное до запуска число посетителей. Округляйте срок вверх до целых недель и держите минимум две, потому что в будни и выходные люди ведут себя по-разному.

Что делать, если A/B-тест не показал разницы?

Оставьте версию, которую проще поддерживать, и запишите результат. Такой итог не доказывает, что версии равны. Он значит, что разницы, которую тест мог заметить при вашем числе посетителей, не нашлось.

ваш-сайт.ru
  1. 1Разбор
  2. 2Вход
  3. 3Оплата
Бесплатно

Разбираем первый экран

Обычно до минуты.

  • Загружаем страницу
  • Делаем скриншот первого экрана
  • Распознаём структуру
  • Анализируем первый экран