Es significativo. ¿Lo lanzas?
Contexto
Eres PM de checkout en un ecommerce de parafarmacia y cosmética que vende en toda España, con unos 1,2 millones de visitantes al mes. El equipo ha probado durante dos semanas bajar el umbral de envío gratis de 39 € a 29 €. El test se diseñó bien: reparto 50/50 por visitante, primaria fijada antes (conversión a compra) y el margen como guardrail (una métrica que no debe empeorar aunque la primaria mejore). El jueves, en la revisión semanal, Growth enseña la diapositiva: «Conversión +0,4 puntos, p = 0,03. Significativo. Lo lanzamos el lunes». Restricciones: bajar el umbral obliga a firmar un nuevo tramo con el transportista (unas seis semanas de Legal y Operaciones), y la experiencia dice que volver a subir un umbral de envío gratis después de anunciarlo genera quejas y bajas. Finanzas no ha visto todavía los números.
| Métrica | Control (umbral 39 €) | Variante (umbral 29 €) | Diferencia (IC 95 %) |
|---|---|---|---|
| Visitantes | 54.000 | 54.000 | Reparto 50,0 / 50,0, sin desvío |
| Conversión a compra (primaria) | 10,0 % (5.400) | 10,4 % (5.616) | +0,4 pp (de +0,04 a +0,76); p = 0,03 |
| Ticket medio | 41,0 € | 38,2 € | −2,8 € |
| Margen de contribución por pedido, tras envío | 8,10 € | 7,40 € | −0,70 € |
| Margen por visitante (guardrail) | 0,81 € | 0,77 € | −0,04 € (de −0,077 a −0,004) |
| Conversión, visitantes de la semana 1 del test | 10,0 % | 10,6 % | +0,6 pp; p = 0,02 |
| Conversión, visitantes de la semana 2 del test | 10,0 % | 10,2 % | +0,2 pp; p = 0,44 |
| Tasa de devoluciones | 3,1 % | 3,2 % | Dentro del ruido |
Datos hipotéticos.
Tu decisión
Growth quiere lanzar el lunes porque el resultado es significativo. ¿Qué decides?
Crea tu cuenta gratis para resolver este ejercicio
Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.