Experimentación y A/B testing
La estadística que de verdad necesitas para decidir con un experimento: varianza, error estándar, p-valor, intervalos, potencia, tamaño de muestra y las trampas que invalidan un test.
- 1Qué puede responder un A/B test y qué noUn A/B test contesta una pregunta muy concreta y la contesta muy bien. El problema es que solemos hacerle otra. En esta lección vas a aprender a escribir la pregunta exacta que tu experimento puede responder (qué cambio, para quién, en qué métrica, durante cuánto tiempo y frente a qué), a elegir qué se sortea, a separar tu hipótesis de producto de las hipótesis estadísticas y a reconocer cuándo el test no es la herramienta.
- 2Desviación estándar y error estándar para PMsDetrás de cada «la variante ganó» hay una pregunta que pocos PMs saben hacer: ¿cuánto se movería ese número si repitiéramos el test? En esta lección vas a ganar la intuición de dos conceptos que lo sostienen todo, la desviación estándar (cuánto varían las personas) y el error estándar (cuánto varía tu estimación), con un ejemplo que vas a recordar: el mismo 10 % frente a 10,5 % con 1.000, 10.000 y 100.000 usuarios por grupo.
- 3Hypothesis testing sin humo: p-valor e intervalos de confianzaEl p-valor es el número más citado y peor entendido de la experimentación. En esta lección vas a aprender qué afirma de verdad (y qué no), por qué «p < 0,05 significa un 95 % de probabilidad de que funcione» es falso, y cómo leer un intervalo de confianza como lo que es: el rango de efectos compatibles con tus datos. Con eso, el mismo +0,8 puntos te llevará a dos decisiones de producto distintas.
- 4Errores tipo I y II, potencia y tamaño de muestraTodo experimento puede equivocarse de dos maneras: ver un efecto que no existe o no ver uno que sí existe. En esta lección aprenderás a decidir cuánto de cada error toleras según lo que cuesta equivocarse en un checkout, en pricing o en onboarding, a calcular cuántos usuarios necesitas antes de empezar y a fijar una duración que tenga en cuenta el calendario real de tu negocio, no un número redondo.
- 5Peeking, métricas múltiples, novedad e interferenciaLa mayoría de los ganadores falsos no salen de una estadística mal calculada, salen de un proceso que deja demasiadas puertas abiertas al azar: mirar cada día, revisar veinte métricas, cortar por segmentos hasta que algo salga, ignorar que los grupos no tienen el tamaño previsto o que el tratamiento contamina al control. Esta lección va de reconocer esas trampas en un readout real y de elegir un diseño que las evite.
- 6De resultado a decisión: el marco de 14 pasosUn experimento no termina cuando sale el p-valor: termina cuando alguien decide algo y vigila lo que pasa después. Esta lección reúne todo el curso en un marco de 14 pasos que en ProductCasa usamos para ir de la decisión al lanzamiento, y lo recorre entero con un caso trabajado en el que el resultado es estadísticamente significativo y, aun así, la mejor decisión es no lanzar.