Product Gym · Experimentación

No salió nada. ¿No hay efecto?

IntermedioDecisión

Contexto

Eres PM de un SaaS de recursos humanos para pymes estilo Factorial (hipotético). Tu equipo construyó un onboarding guiado para las cuentas que empiezan una prueba gratuita de 14 días: un asistente que importa empleados y configura el primer calendario de vacaciones. En seis semanas entraron unas 600 cuentas en prueba, todas las que hubo, y se repartieron a partes iguales. El lunes, en el comité, el CEO mira la tabla y dice: «p = 0,68. No hay efecto. Matamos el asistente y liberamos al equipo». El asistente ya está construido; mantenerlo cuesta poco. El equipo tiene otra iniciativa esperando y quiere una respuesta clara esta semana.

MétricaControlAsistenteDiferencia (IC 95 %)
Cuentas en prueba300300
Prueba a pago18,0 % (54)19,3 % (58)+1,3 pp (de −4,9 a +7,5); p = 0,68
Empleados activos por cuenta a los 30 días (media y DE)11,2 (DE 14)12,0 (DE 15)+0,8 (de −1,5 a +3,1); p = 0,50
Efecto mínimo que importaría al negocio (MDE)+3 pp en prueba a pago
Potencia de este test para detectar +3 pp≈ 15 %
Cuentas por grupo necesarias para +3 pp con potencia del 80 %≈ 2.700

Datos hipotéticos.

Tu decisión

El CEO concluye que no hay efecto. ¿Qué le respondes?

Con cuenta gratuita

Crea tu cuenta gratis para resolver este ejercicio

Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.

¿Ya tienes cuenta?

Built with ♥ by J.L.G.