Replicar tests de CRO

Si repitieras los tests de #cro ¿te darían los mismo resultados? ¿Serían consistentes?

Hace unos años en psicología si vivió ‘the replication crisis’ poniendo en duda de la credibilidad de muchos estudios por no poder replicarlos.

Me da la sensación que con muchos AB, y por muchos motivos, ocurriría algo similar.

Saber más

Por qué conviene replicar tests de CRO

Los tests A/B son una herramienta básica en la optimización de la conversión. Sin embargo, pocas empresas comprueban si sus resultados se repiten. La psicología vivió hace años la llamada crisis de replicación. Muchos estudios famosos no ofrecieron los mismos resultados al repetirse. ¿Podría pasar algo parecido con el CRO?

Hay motivos para pensarlo. Muestras pequeñas, tests detenidos demasiado pronto y cambios estacionales afectan a los resultados. Además, el efecto novedad puede inflar el rendimiento de una variante durante las primeras semanas. En consecuencia, una victoria aparente puede no sostenerse en el tiempo.

Cómo replicar tests de CRO con rigor

El primer paso consiste en calcular el tamaño de muestra antes de empezar. También conviene fijar la duración del test y respetarla. Por otro lado, repetir los experimentos más importantes en otro periodo ayuda a confirmar los resultados.

Documentar cada prueba resulta igualmente útil. Por ejemplo, registrar hipótesis, métricas y contexto permite comparar tests futuros. Así, el equipo aprende de forma acumulativa.

También merece la pena revisar los resultados después del lanzamiento. Si la mejora desaparece, quizá el test no era tan sólido.

En resumen, un solo test no es una verdad absoluta. Por tanto, aplica método científico, repite lo importante y desconfía de las victorias demasiado rápidas.

Además, compartir los aprendizajes con otros equipos multiplica su valor. Un resultado replicado en distintos mercados o páginas ofrece mucha más confianza.