Veinte métricas y una ganadora
Contexto
Eres PM de activación en una app de finanzas personales estilo Fintonic (hipotético). Tu equipo rediseñó el onboarding para que más gente conecte su banco en la primera semana. Antes de empezar, el brief del experimento fijó una primaria: % de usuarios nuevos que conectan al menos un banco en 7 días. El dashboard del test, sin embargo, muestra 20 métricas: la primaria y 19 secundarias que el equipo de datos añade por defecto a cualquier experimento. Tras tres semanas, con el tamaño de muestra planificado alcanzado, la diseñadora te escribe por Slack: «¡Hemos ganado! Crear un presupuesto mensual sube un 8 % con p = 0,04. Esto va directo a la presentación del viernes». Restricción: el equipo tiene un único hueco de desarrollo el próximo trimestre y el comité de producto quiere saber si el rediseño se queda.
| Métrica | Control | Variante | Resultado |
|---|---|---|---|
| Usuarios por grupo | 9.200 | 9.200 | Reparto correcto |
| Conecta un banco en 7 días (primaria, fijada antes) | 41,2 % | 41,8 % | +0,6 pp (de −0,8 a +2,0); p = 0,41 |
| Crea un presupuesto mensual (secundaria) | 12,0 % | 13,0 % | +1,0 pp (de +0,04 a +1,96); p = 0,04 |
| Otras 18 métricas secundarias | Todas con p > 0,10 | ||
| Probabilidad de al menos un falso positivo con 20 métricas independientes al 5 % | 1 − 0,95^20 ≈ 64 % |
Datos hipotéticos.
Tu decisión
¿Qué está mal en «hemos ganado» y qué haces con el resultado?
Crea tu cuenta gratis para resolver este ejercicio
Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.