Día tres y ya ha ganado
Contexto
Eres PM de la pantalla de confirmación de viaje en una app de movilidad estilo Cabify (hipotético). El equipo prueba una versión que muestra el precio cerrado y la hora de llegada estimada antes de pedir. El plan, aprobado la semana pasada: 21 días, unas 47.000 sesiones por grupo, calculadas para detectar un efecto mínimo de +5 % relativo en la primaria (sesiones que terminan en viaje pedido, base del 12 %). El test arrancó un lunes. El miércoles por la tarde, el responsable de Growth comparte una captura del dashboard: «p = 0,02 y +11 %. Ya está, paramos y lanzamos. Cada día que esperamos perdemos viajes». Restricciones: el dashboard se actualiza cada día y todo el equipo lo mira; la demanda de fin de semana (ocio, aeropuerto) se comporta distinto que la de lunes a miércoles; no hay ningún método secuencial (un análisis diseñado para mirar varias veces) definido en el plan.
| Corte acumulado | Sesiones por grupo | Control | Variante | Diferencia (IC 95 %); p |
|---|---|---|---|---|
| Lunes (día 1) | 2.250 | 12,1 % | 12,9 % | +0,8 pp (de −1,1 a +2,7); p = 0,42 |
| Martes (día 2) | 4.500 | 12,0 % | 13,1 % | +1,1 pp (de −0,3 a +2,5); p = 0,12 |
| Miércoles (día 3) | 6.750 | 12,0 % | 13,3 % | +1,3 pp (de +0,2 a +2,4); p = 0,02 |
| Plan | 47.000 | 21 días; efecto mínimo +5 % relativo | ||
| Falsos positivos si se mira cada día durante 21 días y se para al primer p < 0,05 | ≈ 25 % en lugar del 5 % |
Datos hipotéticos.
Tu decisión
Growth quiere parar el test el día 3 y lanzar. ¿Qué haces?
Crea tu cuenta gratis para resolver este ejercicio
Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.