Калькулятор статистической значимости A/B-теста

Как пользоваться за 3 шага

1. Возьмите из аналитики визиты и конверсии по каждому варианту за один и тот же период.
2. Введите четыре числа. Считается всё сразу, ничего нажимать не нужно.
3. Смотрите на уровень доверия. 95% и выше — разницу можно считать доказанной. Ниже — данных пока не хватает.

Как читать результат

95% и выше

Разница почти наверняка настоящая. Можно внедрять вариант B — но сначала проверьте, окупается ли прирост.

от 90% до 95%

Похоже на правду, но доказательств мало. Продолжайте тест, не останавливайте его сейчас.

ниже 90%

Данных не хватает. Это НЕ значит, что разницы нет — значит, тест ещё не дал ответа.

Все термины простыми словами

Конверсия

Доля людей, сделавших нужное действие. 40 заявок с 1000 визитов — это 4%.

Вариант A и вариант B

A (контроль) — то, что уже работает. B — то, что вы проверяете. Сравнивать имеет смысл только за один и тот же период и на одинаковом трафике.

Uplift (прирост)

Насколько B лучше или хуже A в относительных процентах. Рост с 4% до 5% — это +25% прироста, а не +1%.

Процентный пункт (п.п.)

Разница между 4% и 5% — это 1 процентный пункт и одновременно +25% относительного прироста. Одну и ту же цифру подрядчики показывают в удобном для себя виде — смотрите, что именно посчитано.

Статистическая значимость

Ответ на один вопрос: мог ли такой разрыв получиться просто из-за случайности? Если почти не мог — разница значима.

p-value

Вероятность увидеть такую же (или большую) разницу, если на самом деле разницы нет. p = 0.03 значит: 3% шанс, что вас обманула случайность.

Уровень доверия

Это 100% минус p-value. Стандартный порог — 95%. Ниже него результат не считают доказанным.

Доверительный интервал

Вилка, в которой лежит настоящая разница. Если интервал «от −0.2 до +2.4 п.п.», то вариант B может оказаться и хуже — ноль внутри вилки.

Ложноположительный результат

Тест сказал «есть разница», а её нет. При пороге 95% это случается примерно в 1 случае из 20. Поэтому один «победивший» тест из двадцати — это норма, а не открытие.

Размер выборки

Сколько людей должно попасть в тест. Чем меньше разницу вы хотите поймать, тем больше нужно трафика: прирост в 50% видно на сотнях визитов, прирост в 5% — только на десятках тысяч.

Подглядывание (peeking)

Привычка останавливать тест в момент, когда цифра впервые позеленела. Так «выиграть» можно почти любой тест — включая тест варианта против самого себя. Срок и объём решаются заранее.

Практическая значимость

Даже математически доказанный прирост в 0.3% может не окупить работу и риск. Значимость — про математику, а не про деньги. Считать деньги нужно отдельно.

Двусторонний тест

Калькулятор проверяет разницу в обе стороны: B может оказаться и лучше, и хуже A. Это честнее одностороннего теста, который заранее предполагает, что новый вариант выиграет.

Частые ошибки, которые убивают тест

• Остановить тест на 200 визитах, потому что «уже видно».
• Считать клики вместо заявок и денег. Кликабельный вариант вполне может приносить меньше выручки.
• Менять две вещи сразу — тогда непонятно, что именно сработало.
• Крутить тест меньше недели: будни и выходные ведут себя по-разному.
• Читать «незначимо» как «разницы нет». Это значит только «данных не хватило».

Что считает калькулятор

Двусторонний z-тест для двух долей: конверсии считаются по объединённой доле, p-value — по нормальному распределению, доверительный интервал — 95% для абсолютной разницы конверсий. Это стандартный метод для A/B-тестов с бинарным результатом (конверсия была или нет). Для маленьких выборок — меньше 5 конверсий в любом из вариантов — калькулятор предупредит, что результату верить рано.