Framework de experimentos
Hipótesis, variable, métrica y criterio de éxito.
Agencia Data Analytics · D-014 · Activación & Experimentación
Experimentación y tests A/B
Aprender sin adivinar. Hipótesis, muestra calculada, una variable por test y un archivo de aprendizajes vivo.
Un test sin muestra calculada no es un experimento: es una moneda al aire con dos caras distintas.
Que es y para quien
Así trabajamos Experimentación y tests A/B en una de las mejores agencias de Datos y AnalÃtica.
Somos una agencia de Datos y AnalÃtica con equipo senior propio, método propia en cinco fases y resultados medidos en revenue, no en métricas de vanidad. Este servicio es una pieza más del sistema y se entrega con entregables cerrados, responsables y fechas.
Un calendario de tests que cabe en el trabajo real.
Hipótesis, muestra, calendario, una variable y archivo. Lee la guía completa de Data y Analisis para el contexto teórico.
Hacer tests sin saber cuánta muestra hace falta produce dos errores: cambiar cosas por debajo del umbral y quedarse con la versión que ha salido mejor por casualidad. Cuando eso se repite seis meses, el equipo pierde la confianza en el método y vuelve a decidir por intuición, que es exactamente lo que se quería evitar.
Va dirigido a equipos que testean sin muestra, que testean demasiadas variables a la vez o que han acumulado resultados que no han aprendido. Entregamos el framework de experimentos, el cálculo de muestra por tipo de test y por métrica, el calendario anual con una o dos variables por test, el diseño de la medición con su grupo de control, el análisis con intervalos y un documento de aprendizajes que evita repetir lo que ya se sabe.
- Ecommerce que cambia el color del botón sin saber por qué.
- SaaS B2B que testea la web cada semana sin conclusión.
- Fintech con equipo de producto que decide por votación.
- Agencias que necesitan un método replicable con el cliente.
Que incluye
Seis piezas de un sistema de experimentos.
Framework, muestra, calendario, variable, análisis y archivo.
Cálculo de muestra
Tamaño mínimo por tipo de test y por métrica.
Calendario de tests
Qué se testea cada mes y con qué prioridad.
Una variable por test
Regla para no ensuciar la lectura y la decisión.
Análisis con intervalos
Lectura del efecto con su margen de error.
Archivo de aprendizajes
Qué se ha probado y qué se ha aprendido {plazo}.
Trazabilidad
Cada prueba decide algo.
De la hipótesis al resultado, con la muestra y la decisión a la vista.
- Hipótesis, variable y métrica que define la variable que cambia y la métrica que decide
- Muestra, reparto y calendario definidos en el calendario de experimentos del año
- Resultado, intervalo y efecto por segmento
- Decisión tomada y fecha en 2 semanas
Como funciona
El ciclo de un experimento.
De la hipótesis a la decisión.
-
01
Hipótesis
Se escribe la variable que cambia y la métrica que decide y el efecto esperado.
-
02
Diseño
Se calcula la muestra y se define el calendario de experimentos del año.
-
03
Ejecución
Se lanza el test con una sola variable.
-
04
Lectura
Se analiza el resultado con su intervalo.
-
05
Decisión
Se aplica, se documenta y se revisa en 2 semanas.
Un test sin muestra calculada no es un experimento: es cambiar cosas al azar y escribir después la historia que encaja.
Como trabajamos
De cambiar por intuición a aprender con evidencia.
Hipótesis, diseño, ejecución, análisis y archivo.
-
Banco de hipótesis
Ideas priorizadas por impacto y esfuerzo.
-
Diseño de test
Muestra, variable y criterio definidos en el calendario de experimentos del año.
-
Ejecución
Instrumentación, reparto y monitorización.
-
Análisis
Lectura con intervalo y no solo con porcentaje.
-
Archivo
Documento de aprendizajes y calendario en 2 semanas.
Donde rinde
Tres programas de test que dejaron de adivinar.
El mismo trabajo sobre volúmenes y frecuencias distintas.
Un test por semana con dos variables a la vez.
Una variable y muestra calculada: +18% de conversión.
Tests semanales sin conclusiones válidas.
Calendario mensual con muestra mínima: 48 tests al año.
El equipo decidía por votación, no por datos.
Análisis con intervalos: 3 decisiones revertidas menos.
Sectores
Donde ya lo hemos montado.
Ecommerce
SaaS B2B
Retail
Marketplace
Turismo
Finanzas
Salud
Formación
Inmobiliario
Media
Agencias
ONG
Lo mejor fue el documento de aprendizajes: dejamos de probar cosas que ya sabíamos que no funcionaban.
Oriol T.
Consultora
Reseña verificada en Google
4,9/5 · 156+ opiniones.
¿Cuánto tarda en verse resultados?
De 1 a 2 semanas para el calendario de tests. Los primeros resultados concluyentes llegan en el segundo mes, cuando la muestra está completa.
¿Qué incluye exactamente?
Framework de experimentos, cálculo de muestra por métrica, calendario anual con prioridades, regla de una variable por test, análisis con intervalos y documento de aprendizajes.
¿Necesito algo previo?
Acceso a una herramienta con capacidad de reparto de tráfico, al histórico de la métrica base y a los datos de la web o la app.
¿Cómo se mide el resultado?
Con el número de tests concluidos, el efecto medio por tipo de test, las decisiones revertidas por resultado no concluyente y el porcentaje de tests que llegan a decisión.
¿Cada cuánto se revisa?
Mensual, con el documento de aprendizajes revisado en cada trimestre.
¿Cada cuánto se puede testear?
Con la muestra necesaria, una o dos veces al mes es un ritmo sano. Si el tráfico no permite concluir, el test no se hace: se aplica el criterio del panel y se registra como decisión, no como aprendizaje. Testear por debajo del umbral genera falsos positivos que destruyen la confianza del equipo en el método, y ese es el único modo de fallo que no tiene arreglo técnico.
Reservar
Cuentanos cómo testeáis hoy.
Media hora para ver cómo decidís qué versión se envía y si sabéis cuántos usuarios necesitáis.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Experimentación y tests A/B. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb