Peeking, métricas múltiples, novedad e interferencia
La mayoría de los ganadores falsos no salen de una estadística mal calculada, salen de un proceso que deja demasiadas puertas abiertas al azar: mirar cada día, revisar veinte métricas, cortar por segmentos hasta que algo salga, ignorar que los grupos no tienen el tamaño previsto o que el tratamiento contamina al control. Esta lección va de reconocer esas trampas en un readout real y de elegir un diseño que las evite.
Peeking, comparaciones múltiples, SRM, efecto novedad e interferencia son las cinco formas más habituales de que un experimento técnicamente correcto dé una respuesta falsa.
Importa porque cada una infla los falsos positivos o sesga el efecto sin que el dashboard lo avise: con veinte métricas a α = 0,05, la probabilidad de al menos un falso positivo ronda el 64 %.
La idea clave: la validez se decide antes de mirar el efecto, con reglas escritas de antemano, comprobaciones de calidad y un diseño de aleatorización que respete cómo se contagia el tratamiento.
- Auditar un readout e identificar si su conclusión está contaminada por peeking, comparaciones múltiples, SRM, novedad o interferencia.
- Calcular la probabilidad de al menos un falso positivo con k métricas y aplicar una corrección o una jerarquía de métricas antes de leer resultados.
- Proponer un diseño alternativo (por cluster, geográfico o switchback) cuando el tratamiento afecta al grupo de control, y explicar qué pierde en potencia.
Crea tu cuenta gratis para leer la lección entera
Crea una cuenta gratuita para acceder al contenido y guardar tu progreso.