Pocas herramientas de decisión se citan tanto —y se usan tan mal— como el test A/B. La idea es seductora en su simplicidad: muestras la versión A a la mitad de las personas, la versión B a la otra mitad, y dejas que los datos digan cuál gana. Bien hecho, es la forma más honesta de saber si un cambio mejora realmente algo. Mal hecho, es una máquina de producir falsas certezas.
El problema es que la mayoría de los errores no son visibles en el gráfico final. Un test que se detuvo demasiado pronto, una muestra demasiado pequeña, una métrica elegida con prisas —nada de esto aparece en el número que se presenta en la reunión. El resultado tiene el aspecto de la ciencia, pero la decisión que genera puede ser peor que no haber probado nada.
Esta guía recorre lo que hace falta para diseñar un test A/B en el que puedas confiar: de la hipótesis a la métrica, del tamaño de muestra a la lectura de la significancia, terminando con los errores que más a menudo arruinan las buenas intenciones. Sin fórmulas herméticas —solo el razonamiento que separa un test serio de un teatro de datos.
Qué es (y qué no es) un test A/B
Un test A/B es un experimento controlado: divides aleatoriamente a los usuarios en dos grupos, expones cada grupo a una variante, y comparas el comportamiento resultante en una métrica definida de antemano. La aleatoriedad es el corazón del método —es lo que garantiza que, en promedio, los dos grupos sean comparables y que la diferencia observada se pueda atribuir a la variante, y no a la suerte de quién cayó en cada lado.
Lo que un test A/B no es: no es una encuesta de opinión, no es mirar dos períodos consecutivos («antes» y «después») y atribuir la diferencia al cambio, ni es elegir la versión que más nos gusta y buscar números que la confirmen. Sin grupos simultáneos y aleatorizados, no hay test A/B —hay, como mucho, una observación interesante.
Empieza por una hipótesis clara
Antes de tocar código o plataformas, escribe la hipótesis en una sola frase. Una buena hipótesis conecta un cambio concreto con un efecto esperado en una métrica concreta: por ejemplo, «mostrar el coste de envío antes en el checkout reducirá el abandono del carrito». Fíjate en que hay un cambio, una dirección esperada y una métrica medible.
Este paso parece burocrático, pero es lo que impide la trampa más insidiosa: decidir qué «demostró» el test después de ver los resultados. Si la hipótesis está escrita de antemano, la lectura al final es honesta. Sin ella, es fácil mirar diez métricas, encontrar una que subió por casualidad, y declarar la victoria.
Elegir la métrica correcta — y una métrica de guarda
La métrica principal debe reflejar lo que de verdad te importa, no lo que es fácil de medir. Un botón más llamativo puede aumentar los clics (métrica fácil) y al mismo tiempo bajar las compras (la métrica que interesa). Elige una métrica primaria, idealmente ligada al valor para el negocio, y resiste la tentación de juzgar el test por todo lo que se movió.
Junto a la métrica primaria, define una o dos métricas de guarda: indicadores que no deben empeorar, aunque el cambio mejore el objetivo principal. Si estás optimizando la tasa de conversión, el margen por pedido o la tasa de devoluciones pueden ser guardas útiles. Evitan que se celebre una victoria que, vista de lejos, es una pérdida.
Tamaño de muestra y duración: el cálculo que casi todos se saltan
Aquí está el paso más saltado y más decisivo. Antes de arrancar, tienes que estimar cuántos usuarios necesitas para detectar una diferencia que valga la pena. Ese cálculo depende de tres cosas: la tasa base de la métrica, el efecto mínimo detectable (la menor mejora que te interesaría descubrir) y el nivel de confianza y la potencia estadística que exiges.
La lógica es intuitiva: cuanto menor sea la mejora que quieres distinguir del ruido, más datos necesitas. Los tests con pocos usuarios solo consiguen detectar diferencias enormes; para mejoras de 1 o 2 puntos porcentuales, hace falta mucho más volumen del que sugiere la intuición. Definir esto de antemano te dice cuánto tiempo tiene que correr el test —y evita la pregunta fatal «¿ya podemos parar?».
Significancia estadística sin misticismo
La significancia estadística responde a una pregunta modesta: si no hubiera ninguna diferencia entre las variantes, ¿cuál sería la probabilidad de observar un resultado como este, o más extremo, solo por azar? Esa probabilidad es el valor p. Un valor p bajo sugiere que el azar es una explicación poco plausible para lo que viste; no prueba que la diferencia sea grande, ni que sea importante.
Vale la pena separar tres cosas que a menudo se confunden. La significancia te dice si la diferencia es distinguible del ruido. La magnitud (el tamaño del efecto) te dice si esa diferencia es lo bastante grande como para valer la pena. Y el intervalo de confianza muestra el margen de incertidumbre alrededor de la estimación. Un resultado puede ser estadísticamente significativo y, aun así, demasiado pequeño para justificar el cambio.
Los errores más comunes en los tests A/B
La mayoría de los tests que engañan fallan por un puñado de razones recurrentes. Reconocerlas es medio camino para evitarlas:
- Espiar y parar pronto: mirar los resultados todos los días y parar en cuanto aparece un número favorable infla drásticamente los falsos positivos. Define la duración de antemano y respétala.
- Muestra demasiado pequeña: concluir a partir de pocos usuarios es leer ruido como si fuera señal.
- Probar todo a la vez: cambiar varias cosas en una sola variante impide saber qué causó el efecto.
- Ignorar la estacionalidad: un test que corre solo un lunes, o durante una promoción, mide un mundo que no es el normal.
- Efecto de novedad: un cambio visible llama la atención al principio y el entusiasmo se desvanece; los tests demasiado cortos confunden la novedad con una mejora real.
Minicaso: el botón que parecía mejor
Considera una tienda online que decidió hacer el botón de compra más grande y de un color más vivo. Al cabo de tres días, la tasa de clics en el botón había subido un 12% y el equipo quiso lanzar el cambio de inmediato. Antes de eso, miraron la métrica que interesaba: las compras completadas. Esas no se habían movido —y la tasa de devoluciones daba señales de subir.
Al dejar correr el test las dos semanas planeadas y mirar las métricas de guarda, entendieron lo que pasaba: el botón más agresivo llevaba a más gente a hacer clic por impulso, pero no a más gente a querer realmente el producto. La ganancia en los clics era real y, al mismo tiempo, irrelevante. Detuvieron el cambio. La decisión correcta no vino de un número mayor, sino de haber elegido bien qué número mirar.
Buenas prácticas para experimentos en los que confiar
Algunos hábitos aumentan mucho la fiabilidad de tus tests. Corre un test A/A de vez en cuando —dos variantes idénticas— para confirmar que tu herramienta no encuentra diferencias donde no las hay. Documenta cada experimento: hipótesis, métrica, tamaño de muestra y resultado, para construir memoria en lugar de repetir errores. Y resiste a convertir cada pequeña decisión en un test: los experimentos cuestan tiempo y tráfico, y deben reservarse para cambios en los que la incertidumbre es real y la apuesta vale la pena.
Por último, acepta que muchos tests van a dar «sin diferencia significativa» —y que eso también es información valiosa. Saber que un cambio no mueve la aguja te ahorra implementarlo y mantenerlo para siempre. Un programa de experimentación sano no es el que gana siempre; es el que aprende de forma fiable.
En la práctica
Un test A/B solo vale lo que vale su diseño. La aleatoriedad hace comparables a los grupos, la hipótesis escrita de antemano mantiene la lectura honesta, el cálculo de muestra te dice cuándo parar, y las métricas de guarda impiden victorias que son derrotas disfrazadas. Ninguno de estos pasos es difícil; lo difícil es la disciplina de no saltárselos cuando hay prisa por decidir.
Si te llevas una idea de esta guía, que sea esta: decide las reglas antes de ver los resultados. Es ese orden —reglas primero, datos después— lo que separa una cultura de experimentación en serio de una colección de historias con números que las acompañan. Prueba menos cosas, pero pruébalas bien, y pasarás a confiar en lo que tus datos te dicen.
