Errores tipo I y II, potencia y tamaño de muestra
Todo experimento puede equivocarse de dos maneras: ver un efecto que no existe o no ver uno que sí existe. En esta lección aprenderás a decidir cuánto de cada error toleras según lo que cuesta equivocarse en un checkout, en pricing o en onboarding, a calcular cuántos usuarios necesitas antes de empezar y a fijar una duración que tenga en cuenta el calendario real de tu negocio, no un número redondo.
Un test puede fallar de dos formas: declarar ganadora una variante que no hace nada (error tipo I, falso positivo) o descartar una que sí funcionaba (error tipo II, falso negativo).
Importa porque cada error tiene un precio distinto según la decisión, y porque la potencia, el efecto mínimo y el tamaño de muestra se fijan antes de empezar, no cuando llegan los datos.
La idea clave: el efecto mínimo detectable sale de la economía del cambio, el tamaño de muestra sale de ese efecto y la duración sale del tamaño de muestra y del calendario del negocio.
- Clasificar un error de experimentación como tipo I o tipo II y argumentar cuál es más caro en un test de checkout, de pricing y de onboarding.
- Calcular con la fórmula aproximada o con una calculadora el tamaño de muestra por grupo para una línea base y un efecto mínimo dados, y convertirlo en días de tráfico.
- Redactar la sección de duración de un experiment brief que justifique las fechas por ciclo semanal, nóminas, campañas y eventos externos.
Crea tu cuenta gratis para leer la lección entera
Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.