Калькулятор A/B-тестів
Перевірте, чи виграв ваш тест, сплануйте розмір вибірки й кількість тижнів і дізнайтеся, скільки виручки принесе переможець. Статистична значущість, байєсівська ймовірність перемоги, перевірка розподілу вибірки та тести виручки в одному місці. Безкоштовно, без реєстрації.
Автор: Anatolii Ulitovskyi 
Перевірка фактів: RH Fardin Оновлено Ідея для наступного тесту
Протестуйте як наступний варіант ШІ-агента, який відповідає на запитання відвідувачів на сторінці з цінами.
CRMsoftware.pro відповідає на запитання на вашому сайті, у WhatsApp, Telegram і електронною поштою за лічені секунди, вдень і вночі, і перетворює кожну розмову на контакт і угоду, які можна виміряти.
- ШІ-агент, навчений на вашому сайті, документах і правилах
- Передає розмову колезі з повним контекстом
- Кожен чат стає контактом і угодою у вашій воронці продажів
Безкоштовний тариф, без кредитної картки. Платні тарифи від 19 $ на місяць при оплаті за рік.
Методика
Як працює статистична значущість A/B-тесту
Калькулятор виконує z-тест для двох частот: чи більша різниця між A і B, ніж зазвичай дає випадковий шум?
Стандартна похибка розраховується за об'єднаним коефіцієнтом конверсії обох груп. z-оцінка перетворюється на p-значення (p-value): імовірність побачити таку велику різницю, якби A і B насправді не відрізнялися. p-значення нижче 0,05 означає значущість на рівні довіри 95 %. Довірчий інтервал різниці використовує необ'єднану стандартну похибку.
5,0 % проти 5,8 %
z = 2.50, p = 0.012
По 10 000 відвідувачів, 500 проти 580 конверсій. B кращий на 16 %, значуще на рівні 95 %. Приріст, імовірно, від 3,5 % до 28,5 %.
Виявити приріст 10 %
31 234 відвідувачі на варіант
За конверсії 5 %, рівня довіри 95 % і потужності 80 %. При 20 000 відвідувачів на тиждень тест триває 4 повні тижні.
Впровадьте переможця з приростом 10 %
+100 конверсій = 8 000 $ на місяць
50 000 відвідувачів на місяць, конверсія 2 % і 80 $ за конверсію. Це 96 000 $ на рік.
Перед запуском
Розмір вибірки та мінімальний виявлюваний ефект
Що менший приріст ви хочете виявити, то більше відвідувачів потрібно. Якщо зменшити приріст удвічі, вибірка зросте приблизно вчетверо.
Мінімальний виявлюваний ефект (MDE) — це найменший приріст, який ваш тест може надійно виявити. «Спланувати тест» показує, скільки відвідувачів потрібно для вашого MDE, а в таблиці — найменший приріст, який можна виявити за 1–8 тижнів тесту. Якщо очікуваний приріст менший, ніж дозволяє виявити ваш трафік, тестуйте сміливішу зміну або сторінку з більшим трафіком.
Тестування понад двох варіантів ділить трафік і потребує суворішого порогу. Калькулятор застосовує до рівня довіри поправку Бонферроні, щоб кожне порівняння з контролем залишалося коректним.
Терміни
Скільки має тривати A/B-тест?
Доки не набере запланований розмір вибірки, і цілими тижнями.
Охопіть усі дні тижня
Покупці поводяться по-різному в понеділок і в суботу. Округлюйте тривалість до повних тижнів, щоб кожен варіант отримав однакову суміш відвідувачів.
Визначте вибірку заздалегідь
Якщо перевіряти результати щодня і зупиняти тест у перший момент значущості, хибних перемог стає більше. Встановіть розмір вибірки заздалегідь і оцініть результат один раз.
Стежте за забрудненням даних
Дуже довгі тести накопичують втрату cookie-файлів, сезонність та вплив інших кампаній. Якщо потрібні місяці, краще протестуйте більшу зміну.
Інший погляд
Байєсівська ймовірність перемоги
Поруч із p-значенням результат показує ймовірність того, що B кращий за A, і скільки ви ризикуєте втратити, якщо впровадите B, а він насправді гірший.
Калькулятор використовує апріорний розподіл Beta(1, 1) для кожного варіанта й обчислює точну ймовірність того, що справжня конверсія B вища, ніж A. У прикладі B кращий з імовірністю 99,4 %. Багатьом командам це простіше пояснити, ніж p-значення, але це відповідь на інше запитання, тож щоразу використовуйте той самий поріг.
Якість даних
Дисбаланс розподілу вибірки
Якщо ви ділите трафік 50/50, а один варіант отримав помітно більше відвідувачів, у налаштуваннях щось зламано, і результату не можна довіряти.
Калькулятор застосовує критерій хі-квадрат до кількості відвідувачів порівняно з вашим запланованим розподілом. p-значення нижче 0,01 сигналізує про дисбаланс. Типові причини: редиректи, що втрачають відвідувачів, боти, відстеження, яке спрацьовує лише в одному варіанті, і кешування. Усуньте причину й перезапустіть тест, а не довіряйте цим числам.
Чому це важливо
Скільки вартий переможний тест
Приріст конверсії перетворюється на гроші лише через ваш трафік і вартість замовлення.
«Вплив на виручку» також показує, скільки коштує кожен тиждень зволікання, коли переможець уже є, і ефект на нижній межі діапазону, якщо ви вкажете обережний приріст. Для виручки на відвідувача або середнього чека використовуйте «Середнє значення»: там виконується t-критерій Велча, який не припускає однакового розкиду в обох варіантах.
Таблиці
Формули A/B-тестів для Excel і Google Sheets
A1 = відвідувачі A, B1 = конверсії A, C1 = відвідувачі B, D1 = конверсії B.
Приріст B відносно A
z-оцінка
Двостороннє p-значення (E1 = z-оцінка)
Відвідувачів на варіант (F1 = базова конверсія, G1 = очікувана конверсія)
Часті питання
Питання про A/B-тестування
Як дізнатися, чи статистично значущий мій A/B-тест?
Введіть відвідувачів і конверсії для обох варіантів. Якщо p-значення менше за 1 мінус ваш рівень довіри, наприклад менше 0,05 при 95 %, різниця значуща. При 500 з 10 000 проти 580 з 10 000 p = 0,012, тож B перемагає з рівнем довіри 95 %.
Скільки відвідувачів потрібно для A/B-тесту?
Це залежить від вашої конверсії та найменшого приросту, який для вас важливий. За конверсії 5 %, щоб виявити відносний приріст 10 % з рівнем довіри 95 % і потужністю 80 %, потрібно приблизно 31 234 відвідувачі на варіант.
Скільки має тривати A/B-тест?
Доки кожен варіант не набере запланований розмір вибірки, з округленням до повних тижнів. Поділіть загальну потрібну кількість відвідувачів на тижневий трафік і не зупиняйте тест раніше лише тому, що результат виглядає добре.
Який рівень довіри вважається добрим?
95 % — поширене значення за замовчуванням. Використовуйте 99 % для змін, які дорого скасувати, і 90 % для швидких тестів із низьким ризиком. Вирішіть до старту.
Що таке статистична потужність?
Потужність — це ймовірність того, що тест виявить приріст, не менший за ваш MDE, коли він справді існує. Стандарт — 80 %; для 90 % потрібно приблизно на третину більше відвідувачів.
Байєсівський чи частотний підхід: що обрати?
Обидва використовують ті самі дані. p-значення контролює, як часто ви оголошуєте хибного переможця; байєсівська ймовірність перемоги показує, наскільки ймовірно, що B кращий. Оберіть одне правило ухвалення рішень і застосовуйте його послідовно.
Що таке дисбаланс розподілу вибірки?
Розподіл відвідувачів, який відрізняється від запланованого більше, ніж допускає випадковість, наприклад 52/48 на великому трафіку при налаштуванні 50/50. Зазвичай це означає помилку у відстеженні чи редиректі, і тест слід виправити й перезапустити.
Чи можна тестувати виручку замість конверсії?
Так. Використовуйте «Середнє значення» із середнім і стандартним відхиленням виручки на відвідувача для кожного варіанта. Там виконується t-критерій Велча, який дає різницю з довірчим інтервалом.
Посилання
Джерела
- Розмір вибірки для тестів конверсії: Evan Miller
- Діагностика дисбалансу розподілу вибірки в онлайн-експериментах, KDD 2019: Fabijan et al., ACM
- t-критерій Велча: Wikipedia
Інші безкоштовні інструменти для продажів
Перетворюйте більше відвідувачів на розмови, а розмови — на угоди.
CRMsoftware.pro відповідає вашим відвідувачам за допомогою ШІ, фіксує кожного ліда й показує, які розмови закінчуються угодою. Безкоштовний тариф, без картки.