Калькулятор A/B-тестов
Проверьте, выиграл ли тест, спланируйте размер выборки и число недель и узнайте, сколько победитель принесёт в выручке. Значимость, байесовская вероятность победы, проверка соотношения выборок и тесты выручки в одном месте. Бесплатно, без регистрации.
Автор: Anatolii Ulitovskyi 
Факты проверил RH Fardin Обновлено Идея для следующего теста
В качестве следующего варианта протестируйте ИИ-агента, который отвечает на вопросы посетителей на странице с ценами.
CRMsoftware.pro отвечает на вопросы на вашем сайте, в WhatsApp, Telegram и по электронной почте за секунды, днём и ночью, и превращает каждый диалог в контакт и сделку, которые можно измерить.
- ИИ-агент, обученный на вашем сайте, документах и правилах
- Передаёт диалог коллеге с полным контекстом
- Каждый чат становится контактом и сделкой в вашей воронке
Бесплатный тариф, без банковской карты. Платные тарифы — от 19 $ в месяц при оплате за год.
Методика
Как работает значимость A/B-теста
Калькулятор выполняет z-тест для двух долей: больше ли разница между A и B, чем обычно даёт случайный шум?
Стандартная ошибка рассчитывается по объединённому коэффициенту конверсии обеих групп. Z-оценка переводится в p-значение (p-value) — вероятность увидеть такую большую разницу, если A и B на самом деле одинаковы. P-значение ниже 0,05 означает значимость при уровне доверия 95 %. Доверительный интервал для разницы использует необъединённую стандартную ошибку.
5,0 % против 5,8 %
z = 2.50, p = 0.012
По 10 000 посетителей в каждой группе, 500 против 580 конверсий. B выше на 16 %, результат значим при 95 %. Прирост, скорее всего, находится между 3,5 % и 28,5 %.
Обнаружить прирост 10 %
31 234 посетителя на вариант
При конверсии 5 %, уровне доверия 95 % и мощности 80 %. При 20 000 посетителей в неделю тест нужно вести 4 полные недели.
Внедрить победителя с приростом 10 %
+100 конверсий = 8 000 $ в месяц
50 000 посетителей в месяц при конверсии 2 % и 80 $ за конверсию. Это 96 000 $ в год.
Перед запуском
Размер выборки и минимальный обнаруживаемый эффект
Чем меньше прирост, который вы хотите обнаружить, тем больше посетителей нужно. Если уменьшить прирост вдвое, выборка вырастет примерно в четыре раза.
Минимальный обнаруживаемый эффект (MDE) — наименьший прирост, который ваш тест может надёжно выявить. Раздел «Спланировать тест» показывает, сколько посетителей нужно для вашего MDE, а в таблице — наименьший прирост, который можно обнаружить за 1–8 недель. Если ожидаемый прирост меньше того, что позволяет обнаружить ваш трафик, протестируйте более смелое изменение или страницу с большим трафиком.
Тестирование более двух вариантов делит трафик и требует более строгого порога. Калькулятор применяет к уровню доверия поправку Бонферрони (Bonferroni), чтобы каждое сравнение с контролем оставалось честным.
Сроки
Сколько должен длиться A/B-тест?
Пока не наберётся запланированный размер выборки, и целыми неделями.
Охватите все дни недели
Покупатели ведут себя по-разному в понедельник и в субботу. Округляйте длительность вверх до полных недель, чтобы каждый вариант получил одинаковый состав аудитории.
Сначала определите выборку
Если проверять результаты каждый день и останавливать тест при первой значимости, ложных побед становится больше. Задайте размер выборки заранее и оцените результат один раз.
Следите за искажениями
На очень длинные тесты влияют потеря cookie-файлов, сезонность и другие кампании. Если нужны месяцы, лучше протестируйте более крупное изменение.
Другой взгляд
Байесовская вероятность победы
Помимо p-значения, результат показывает вероятность того, что B лучше A, и сколько вы рискуете потерять, если внедрите B, а он на самом деле окажется хуже.
Калькулятор использует для каждого варианта априорное распределение Beta(1, 1) и вычисляет точную вероятность того, что истинная конверсия B выше, чем у A. В примере вероятность, что B лучше, составляет 99,4 %. Многим командам это проще объяснить, чем p-значение, но этот показатель отвечает на другой вопрос, поэтому каждый раз используйте один и тот же порог.
Качество данных
Нарушение соотношения выборок
Если вы делите трафик 50/50, а один вариант получил заметно больше посетителей, значит, в настройке что-то сломано и результату нельзя доверять.
Калькулятор проводит тест хи-квадрат для числа посетителей относительно запланированного разделения. P-значение ниже 0,01 сигнализирует о несоответствии. Частые причины — редиректы, теряющие посетителей, боты, трекинг, срабатывающий только в одном варианте, и кэширование. Устраните причину и перезапустите тест, а не доверяйте этим цифрам.
Почему это важно
Сколько стоит выигравший тест
Прирост конверсии превращается в деньги только через ваш трафик и стоимость заказа.
Раздел «Влияние на выручку» также показывает, сколько стоит каждая неделя промедления после того, как победитель определён, и эффект на нижней границе диапазона, если вы укажете осторожный прирост. Для выручки на посетителя или среднего чека используйте «Среднее значение»: там применяется t-тест Уэлча (Welch), который не предполагает одинаковый разброс у обоих вариантов.
Таблицы
Формулы A/B-теста для Excel и Google Sheets
A1 = посетители A, B1 = конверсии A, C1 = посетители B, D1 = конверсии B.
Прирост B относительно A
Z-оценка
Двустороннее p-значение (E1 = z-оценка)
Посетителей на вариант (F1 = базовая конверсия, G1 = ожидаемая конверсия)
Вопросы и ответы
Вопросы об A/B-тестировании
Как узнать, статистически значим ли мой A/B-тест?
Введите посетителей и конверсии для обоих вариантов. Если p-значение меньше, чем 1 минус уровень доверия, например меньше 0,05 при 95 %, разница значима. При 500 из 10 000 против 580 из 10 000 p = 0,012, значит, B побеждает при уровне доверия 95 %.
Сколько посетителей нужно для A/B-теста?
Это зависит от вашего коэффициента конверсии и наименьшего прироста, который для вас важен. При конверсии 5 % для обнаружения относительного прироста 10 % с уровнем доверия 95 % и мощностью 80 % нужно около 31 234 посетителей на вариант.
Сколько должен длиться A/B-тест?
Пока каждый вариант не наберёт запланированный размер выборки, с округлением вверх до полных недель. Разделите общее нужное число посетителей на недельный трафик и не останавливайте тест досрочно только потому, что результат выглядит хорошо.
Какой уровень доверия считается хорошим?
Обычное значение по умолчанию — 95 %. Используйте 99 % для изменений, которые дорого откатывать, и 90 % для быстрых тестов с низким риском. Решите до начала теста.
Что такое статистическая мощность?
Мощность — это вероятность того, что тест обнаружит прирост не меньше вашего MDE, если он действительно существует. Стандарт — 80 %; для 90 % нужно примерно на треть больше посетителей.
Байесовский или частотный подход: что выбрать?
Оба используют одни и те же данные. P-значение контролирует, как часто вы объявляете ложного победителя; байесовская вероятность победы показывает, насколько вероятно, что B лучше. Выберите одно правило принятия решений и применяйте его последовательно.
Что такое нарушение соотношения выборок?
Это распределение посетителей, которое отличается от плана сильнее, чем допускает случайность, например 52/48 на большом трафике при настройке 50/50. Обычно это означает ошибку в трекинге или редиректе; тест нужно исправить и запустить заново.
Можно ли тестировать выручку вместо коэффициента конверсии?
Да. Используйте «Среднее значение» со средним и стандартным отклонением выручки на посетителя для каждого варианта. Там применяется t-тест Уэлча (Welch), который даёт разницу с доверительным интервалом.
Литература
Источники
- Размер выборки для тестов конверсии: Evan Miller
- Диагностика нарушения соотношения выборок в онлайн-экспериментах, KDD 2019: Fabijan et al., ACM
- T-тест Уэлча: Wikipedia
Другие бесплатные инструменты для продаж
Превращайте больше посетителей в диалоги, а диалоги — в сделки.
CRMsoftware.pro отвечает вашим посетителям с помощью ИИ, фиксирует каждого лида и показывает, какие диалоги приводят к сделкам. Бесплатный тариф, без карты.