Calculadora de test A/B
Comprueba si tu test ha ganado, planifica el tamaño de muestra y cuántas semanas necesita, y descubre cuánto vale la variante ganadora en ingresos. Significación, probabilidad bayesiana de ganar, comprobación del reparto de la muestra y tests de ingresos en un solo lugar. Gratis y sin registro.
Creado por Anatolii Ulitovskyi 
Verificado por RH Fardin Actualizado el Tu próxima idea de test
Prueba como próxima variante un agente de IA que responda las preguntas de los visitantes en tu página de precios.
CRMsoftware.pro responde preguntas en tu sitio web, WhatsApp, Telegram y correo electrónico en segundos, de día y de noche, y convierte cada conversación en un contacto y una oportunidad que puedes medir.
- Agente de IA entrenado con tu sitio web, tus documentos y tus políticas
- Transfiere a un compañero con todo el contexto
- Cada chat se convierte en un contacto y una oportunidad en tu embudo
Plan gratuito, sin tarjeta de crédito. Planes de pago desde 19 $/mes con facturación anual.
El método
Cómo funciona la significación de un test A/B
La calculadora aplica una prueba z de dos proporciones: ¿la diferencia entre A y B es mayor de la que normalmente produciría el ruido aleatorio?
El error estándar se obtiene de la tasa de conversión combinada de ambos grupos. La puntuación z se convierte en un valor p: la probabilidad de ver una diferencia tan grande si A y B fueran realmente iguales. Un valor p inferior a 0,05 es significativo con un 95 % de confianza. El intervalo de confianza de la diferencia usa el error estándar no combinado.
5,0 % frente a 5,8 %
z = 2.50, p = 0.012
10.000 visitantes en cada versión, 500 frente a 580 conversiones. B mejora un 16 %, significativo al 95 %. La mejora probablemente está entre el 3,5 % y el 28,5 %.
Detectar una mejora del 10 %
31.234 visitantes por versión
Con una tasa de conversión del 5 %, un 95 % de confianza y un 80 % de potencia. Con 20.000 visitantes por semana, mantenlo 4 semanas completas.
Implementar una ganadora con un 10 % de mejora
+100 conversiones = 8000 $ al mes
50.000 visitantes al mes con un 2 % y 80 $ por conversión. Eso son 96.000 $ al año.
Antes de lanzar
Tamaño de muestra y efecto mínimo detectable
Cuanto menor sea la mejora que quieres detectar, más visitantes necesitas. Reducir la mejora a la mitad multiplica la muestra aproximadamente por cuatro.
El efecto mínimo detectable (MDE) es la menor mejora que tu test puede encontrar de forma fiable. Planificar mi test muestra los visitantes que necesitas para tu MDE y, en la tabla, la menor mejora que puedes detectar si lo mantienes de 1 a 8 semanas. Si la mejora que esperas es menor de lo que tu tráfico permite detectar, prueba un cambio más audaz o una página con más tráfico.
Probar más de dos versiones divide el tráfico y exige un umbral más estricto. La calculadora aplica la corrección de Bonferroni al nivel de confianza, para que cada comparación con el control siga siendo fiable.
Duración
¿Cuánto tiempo debe durar un test A/B?
Hasta alcanzar el tamaño de muestra previsto, y por semanas completas.
Cubre todos los días de la semana
Los compradores no se comportan igual el lunes que el sábado. Redondea la duración al alza a semanas completas para que cada versión reciba la misma mezcla.
Decide la muestra primero
Revisar los resultados cada día y parar en el primer momento significativo multiplica los falsos ganadores. Fija el tamaño de muestra de antemano y lee el resultado una sola vez.
Vigila la contaminación
Los tests muy largos acumulan pérdida de cookies, estacionalidad y otras campañas. Si necesitas meses, prueba mejor un cambio mayor.
Otra perspectiva
Probabilidad bayesiana de ganar
Junto al valor p, el resultado muestra la probabilidad de que B sea mejor que A y cuánto te arriesgas a perder si implementas B y en realidad es peor.
La calculadora usa una distribución a priori Beta(1, 1) para cada versión y calcula la probabilidad exacta de que la tasa real de B sea superior a la de A. En el ejemplo, B tiene un 99,4 % de probabilidad de ser mejor. A muchos equipos les resulta más fácil de explicar que un valor p, pero responde a una pregunta distinta, así que usa siempre el mismo umbral.
Calidad de los datos
Desajuste en el reparto de la muestra
Si repartes el tráfico al 50/50 pero una versión ha recibido claramente más visitantes, algo falla en la configuración y no se puede confiar en el resultado.
La calculadora aplica una prueba de chi cuadrado a los recuentos de visitantes frente al reparto previsto. Un valor p inferior a 0,01 indica un desajuste. Las causas habituales son redirecciones que pierden visitantes, bots, seguimiento que solo se activa en una versión y la caché. Corrige la causa y reinicia el test en lugar de fiarte de las cifras.
Por qué importa
Cuánto vale un test ganador
Una mejora en la tasa de conversión solo se convierte en dinero a través de tu tráfico y del valor de los pedidos.
Impacto en ingresos también muestra cuánto cuesta cada semana de retraso una vez que tienes una ganadora, y el efecto en el extremo inferior del rango si introduces una mejora prudente. Para ingresos por visitante o valor medio del pedido, usa Valor medio: aplica la prueba t de Welch, que no supone que ambas versiones tengan la misma dispersión.
Hojas de cálculo
Fórmulas de test A/B para Excel y Google Sheets
A1 = visitantes A, B1 = conversiones A, C1 = visitantes B, D1 = conversiones B.
Mejora de B sobre A
Puntuación z
Valor p bilateral (E1 = puntuación z)
Visitantes por versión (F1 = tasa de referencia, G1 = tasa que esperas alcanzar)
Preguntas frecuentes
Preguntas sobre tests A/B
¿Cómo sé si mi test A/B es estadísticamente significativo?
Introduce los visitantes y las conversiones de ambas versiones. Si el valor p es inferior a 1 menos tu nivel de confianza, por ejemplo inferior a 0,05 al 95 %, la diferencia es significativa. Con 500 de 10.000 frente a 580 de 10.000, p = 0,012, así que B gana con un 95 % de confianza.
¿Cuántos visitantes necesito para un test A/B?
Depende de tu tasa de conversión y de la menor mejora que te interese. Con una tasa de conversión del 5 %, detectar una mejora relativa del 10 % con un 95 % de confianza y un 80 % de potencia requiere unos 31.234 visitantes por versión.
¿Cuánto tiempo debo mantener un test A/B?
Hasta que cada versión alcance el tamaño de muestra previsto, redondeando al alza a semanas completas. Divide el total de visitantes necesarios entre tu tráfico semanal y no lo detengas antes porque el resultado parezca bueno.
¿Qué nivel de confianza es adecuado?
El 95 % es el valor habitual por defecto. Usa el 99 % para cambios costosos de revertir y el 90 % para tests rápidos y de bajo riesgo. Decídelo antes de empezar.
¿Qué es la potencia estadística?
La potencia es la probabilidad de que tu test detecte una mejora igual o superior a tu MDE cuando esta existe realmente. El 80 % es lo estándar; el 90 % requiere aproximadamente un tercio más de visitantes.
¿Bayesiano o frecuentista? ¿Cuál debo usar?
Ambos usan los mismos datos. El valor p controla con qué frecuencia declaras un falso ganador; la probabilidad bayesiana de ganar te dice qué tan probable es que B sea mejor. Elige una regla de decisión y aplícala de forma coherente.
¿Qué es un desajuste en el reparto de la muestra?
Un reparto de visitantes que se aleja del previsto más de lo que permite el azar, por ejemplo 52/48 con mucho tráfico y una configuración 50/50. Suele indicar un error de seguimiento o de redirección, y el test debe corregirse y repetirse.
¿Puedo testear ingresos en lugar de la tasa de conversión?
Sí. Usa Valor medio con la media y la desviación estándar de los ingresos por visitante de cada versión. Aplica la prueba t de Welch y da la diferencia con un intervalo de confianza.
Referencias
Fuentes
- Tamaño de muestra para tests de conversión: Evan Miller
- Diagnóstico del desajuste en el reparto de la muestra en experimentos en línea, KDD 2019: Fabijan et al., ACM
- Prueba t de Welch: Wikipedia
Más herramientas de ventas gratuitas
Convierte más visitantes en conversaciones, y conversaciones en oportunidades.
CRMsoftware.pro responde a tus visitantes con IA, captura cada cliente potencial y muestra qué conversaciones se cierran. Plan gratuito, sin tarjeta.