Значимость отвечает на один вопрос: разница между вариантами настоящая или так случайно вышло. Подбросьте монету десять раз. Выпало семь орлов. Монета нечестная? Да нет, просто так легло. С заявками на сайте творится то же самое, и значимость помогает отличить одно от другого.
Обитает статистическая значимость в отчётах A/B-тестов, то есть сравнений двух версий одной страницы. Зверёк пугливый, выглядит как зелёная надпись. Подойдём поближе.
Монета: как случайность изображает победу
Возьмите обычную честную монету. Орёл и решка у неё выпадают поровну. И всё равно семь или больше орлов из десяти бросков случаются примерно в 17% случаев. Почти каждая шестая серия.
Если бы вы не знали про монету, что бы подумали? Правильно: «Орёл побеждает, 70 на 30». А ничего не побеждает.
Теперь бросьте монету сто раз. Семьдесят и больше орлов из ста у честной монеты бывает примерно один раз на 25 000 серий. Доля та же, 70%. Вывод совсем другой: с такой монетой что-то не так.
Запомните это чувство. На десяти бросках 70% ничего не значат, на ста вы уже косо смотрите на монету.
Что такое статистическая значимость
Статистическая значимость — это отметка о том, что такая разница у двух одинаковых вариантов получалась бы редко. Насколько редко, договариваются заранее. Обычная граница: реже чем 1 раз из 20, то есть 5%.
Отсюда и надпись «значимость 95%» в отчётах. Сервис как бы говорит: две одинаковые страницы выдали бы такую разницу редко, так что на случайность это похоже мало.
Вот цветочный магазин, которого нет. У него две версии страницы, каждую увидели по 100 человек. Первая принесла 5 заявок, вторая 8. Рост на 60%! Хоть сейчас шампанское.
Убираем шампанское. Такая или бо́льшая разница у одинаковых страниц случайно получается примерно 4 раза из 10. Это те самые семь орлов из десяти.
Теперь представьте те же проценты на тысяче человек в каждой версии: 50 заявок против 80. Случайно так выходит меньше чем 1 раз из 100. Это уже семьдесят орлов из ста. Здесь я бы поверил.
Что значимость не умеет
Любимое заблуждение этой экосистемы. Красиво сидит в презентациях.
«Значимость 95%» не значит, что новая версия лучше с вероятностью 95%. Звучит похоже, но смысл другой. Цифра рассказывает про одинаковые страницы и случайность. Шанс на то, что ваша правка и правда работает, считается иначе и зависит ещё от того, как часто ваши идеи вообще срабатывают.
Значимо не значит важно. Разница может быть настоящей и копеечной. На огромном трафике зелёным загорится рост на сотые доли процента. Окупит ли он работу дизайнера? Отчёту всё равно (считать придётся вам).
Незначимо не значит одинаково. Возможно, разница есть, просто посетителей не хватило её разглядеть. Семь орлов из десяти не доказывают, что монета честная. Они вообще ничего не доказывают. Сколько посетителей нужно, можно посмотреть в готовой таблице.
Почему нельзя останавливать тест раньше срока
Представьте игру. Вы бросаете монету и каждый раз пересчитываете орлов. Как только их станет заметно больше половины, вы кричите «монета нечестная!» и уходите.
Рано или поздно вы закричите: по пути серия обязательно на минуту уйдёт в перекос. Монета при этом честная. Это вы ушли в удобный момент.
С тестом та же история. Открыли отчёт во вторник: зелёное. Остановили, объявили победу. А если бы подождали, зелёное могло уйти.
Сколько это стоит? В компьютерной симуляции сравнивали страницу с её точной копией и проверяли результат каждый день в течение 28 дней. Остановка шла при первой значимости. Копия «победила» саму себя в 27,3% прогонов. Вместо обещанных 5%.
Больше четверти побед над самим собой. Прекрасный вид. Прижился в отчётах.
Эван Миллер предупреждал об этой ловушке ещё в 2010 году. С тех пор она продолжает отлично питаться.
Как читать результат теста
Смотреть на тест можно, если проверяете, что он исправен. Решать по пути нельзя. Порядок такой.
-
Посчитайте срок до запуска. И запишите его. Минимум две полные недели.
-
Дождитесь назначенной даты. Даже если на третий день всё горит зелёным. Особенно если горит.
-
Посмотрите один раз. Значимо, значит, разница похожа на настоящую. Нет, значит, тест ничего не решил.
-
Посчитайте деньги. Окупает ли этот рост внедрение и заявки, которые реально доходят до продажи.
-
Не продлевайте тест ради зелёного цвета. Ещё недельку, вдруг дойдёт. Это та же монета, только в рассрочку.
Подробности про запуск есть в пошаговой инструкции.
Значимость проверяет правку, которую вы уже придумали. А придумать её надо до всякой статистики, и хорошо, если причина у неё настоящая.
Семь орлов из десяти и зелёная надпись на третий день. Я бы не поверил.