# Статистическая значимость A/B-теста на примере монеты

> Статистическая значимость показывает, настоящая ли разница между версиями страницы или так случайно вышло. Объясняем на монете.

Автор: Андрей Павлухин, Основатель CrocoRun. Опубликовано: 2026-11-09.
Канонический адрес: https://crocorun.com/blog/statisticheskaya-znachimost-ab-testa

## Коротко

- Статистическая значимость отвечает на один вопрос: разница между версиями страницы настоящая или так случайно вышло.
- Значимым называют результат, который у двух одинаковых страниц случайно получился бы редко. Обычно договариваются о границе: реже чем 1 раз из 20.
- Останавливать A/B-тест при первой красивой цифре нельзя: в симуляции при ежедневных проверках точная копия страницы «побеждала» в 27,3% прогонов.

Значимость отвечает на один вопрос: разница между вариантами настоящая или так случайно вышло. Подбросьте монету десять раз. Выпало семь орлов. Монета нечестная? Да нет, просто так легло. С заявками на сайте творится то же самое, и значимость помогает отличить одно от другого.

Обитает статистическая значимость в отчётах [A/B-тестов](/blog/chto-takoe-ab-test), то есть сравнений двух версий одной страницы. Зверёк пугливый, выглядит как зелёная надпись. Подойдём поближе.

## Монета: как случайность изображает победу

Возьмите обычную честную монету. Орёл и решка у неё выпадают поровну. И всё равно семь или больше орлов из десяти бросков случаются примерно в 17% случаев. Почти каждая шестая серия.

Если бы вы не знали про монету, что бы подумали? Правильно: «Орёл побеждает, 70 на 30». А ничего не побеждает.

Теперь бросьте монету сто раз. Семьдесят и больше орлов из ста у честной монеты бывает примерно один раз на 25 000 серий. Доля та же, 70%. Вывод совсем другой: с такой монетой что-то не так.

Запомните это чувство. На десяти бросках 70% ничего не значат, на ста вы уже косо смотрите на монету.

## Что такое статистическая значимость

<dfn>Статистическая значимость</dfn> — это отметка о том, что такая разница у двух одинаковых вариантов получалась бы редко. Насколько редко, договариваются заранее. Обычная граница: реже чем 1 раз из 20, то есть 5%.

Отсюда и надпись «значимость 95%» в отчётах. Сервис как бы говорит: две одинаковые страницы выдали бы такую разницу редко, так что на случайность это похоже мало.

Вот цветочный магазин, которого нет. У него две версии страницы, каждую увидели по 100 человек. Первая принесла 5 заявок, вторая 8. Рост на 60%! Хоть сейчас шампанское.

Убираем шампанское. Такая или бо́льшая разница у одинаковых страниц случайно получается примерно 4 раза из 10. Это те самые семь орлов из десяти.

Теперь представьте те же проценты на тысяче человек в каждой версии: 50 заявок против 80. Случайно так выходит меньше чем 1 раз из 100. Это уже семьдесят орлов из ста. Здесь я бы поверил.

:::callout{tone="info" title="Для тех, кто считает"}
Для заявок использован обычный тест сравнения двух долей, двусторонний: при 5 и 8 из 100 вероятность случайно увидеть такую разницу около 0,39, при 50 и 80 из 1 000 около 0,007. Для монеты точный расчёт: 176 / 1024 ≈ 17,2%.
:::

## Что значимость не умеет

Любимое заблуждение этой экосистемы. Красиво сидит в презентациях.

**«Значимость 95%» не значит, что новая версия лучше с вероятностью 95%.** Звучит похоже, но смысл другой. Цифра рассказывает про одинаковые страницы и случайность. Шанс на то, что ваша правка и правда работает, считается иначе и зависит ещё от того, как часто ваши идеи вообще срабатывают.

**Значимо не значит важно.** Разница может быть настоящей и копеечной. На огромном трафике зелёным загорится рост на сотые доли процента. Окупит ли он работу дизайнера? Отчёту всё равно (считать придётся вам).

**Незначимо не значит одинаково.** Возможно, разница есть, просто посетителей не хватило её разглядеть. Семь орлов из десяти не доказывают, что монета честная. Они вообще ничего не доказывают. [Сколько посетителей нужно](/blog/skolko-trafika-nuzhno-dlya-ab-testa), можно посмотреть в готовой таблице.

## Почему нельзя останавливать тест раньше срока

Представьте игру. Вы бросаете монету и каждый раз пересчитываете орлов. Как только их станет заметно больше половины, вы кричите «монета нечестная!» и уходите.

Рано или поздно вы закричите: по пути серия обязательно на минуту уйдёт в перекос. Монета при этом честная. Это вы ушли в удобный момент.

С тестом та же история. Открыли отчёт во вторник: зелёное. Остановили, объявили победу. А если бы подождали, зелёное могло уйти.

Сколько это стоит? В компьютерной симуляции сравнивали страницу с её точной копией и проверяли результат каждый день в течение 28 дней. Остановка шла при первой значимости. Копия «победила» саму себя в 27,3% прогонов. Вместо обещанных 5%.

Больше четверти побед над самим собой. Прекрасный вид. Прижился в отчётах.

[Эван Миллер](https://www.evanmiller.org/how-not-to-run-an-ab-test.html) предупреждал об этой ловушке ещё в 2010 году. С тех пор она продолжает отлично питаться.

## Как читать результат теста

Смотреть на тест можно, если проверяете, что он исправен. Решать по пути нельзя. Порядок такой.

:::steps
1. **Посчитайте срок до запуска.** И запишите его. Минимум две полные недели.

2. **Дождитесь назначенной даты.** Даже если на третий день всё горит зелёным. Особенно если горит.

3. **Посмотрите один раз.** Значимо, значит, разница похожа на настоящую. Нет, значит, тест ничего не решил.

4. **Посчитайте деньги.** Окупает ли этот рост внедрение и заявки, которые реально доходят до продажи.

5. **Не продлевайте тест ради зелёного цвета.** Ещё недельку, вдруг дойдёт. Это та же монета, только в рассрочку.
:::

Подробности про запуск есть в [пошаговой инструкции](/blog/ab-test-na-sajte-kak-provesti).

Значимость проверяет правку, которую вы уже придумали. А придумать её надо до всякой статистики, и хорошо, если причина у неё настоящая.

::cta{title="Сначала найдите, что вообще стоит проверять" text="Вставьте адрес страницы, и ИИ бесплатно разберёт первый экран. В полном отчёте будет 7+ гипотез с приоритетами."}

:::takeaways{title="Главное"}
- Значимость показывает, могла ли разница получиться случайно.
- Обычная граница: у одинаковых страниц такое случалось бы реже чем 1 раз из 20.
- Та же разница на малом числе посетителей ничего не значит, на большом уже говорит о многом.
- Решение принимают один раз, в назначенный день.
:::

Семь орлов из десяти и зелёная надпись на третий день. Я бы не поверил.

## Частые вопросы

### Что такое статистическая значимость?

Это проверка, могла ли разница между двумя вариантами получиться случайно. Если у двух одинаковых страниц такая разница возникала бы редко, обычно реже чем 1 раз из 20, результат называют значимым.

### Значимость 95% значит, что версия B лучше с вероятностью 95%?

Нет. Эта цифра говорит, что у двух одинаковых страниц такая разница встречалась бы редко. Вероятность того, что новая версия действительно лучше, считается иначе и зависит ещё от того, как часто ваши идеи вообще срабатывают.

### Почему нельзя остановить A/B-тест, когда результат стал значимым?

Цифры по ходу теста постоянно колеблются и время от времени случайно пересекают границу. Если останавливать тест в такой момент, ложных побед будет намного больше: в симуляции с ежедневными проверками копия страницы «выиграла» в 27,3% прогонов.

### Значимый результат всегда важен для бизнеса?

Нет. Значимость говорит, что разницу трудно списать на случайность, и ничего не говорит о её размере. На очень большом числе посетителей значимой станет и крошечная разница, которая никогда не окупит доработку.

