Diseño de pruebas
Una variable por prueba, con hipótesis y criterio de victoria escritos.
Agencia GEO · G-015 · Medición & Testing
Testing de prompts y respuestas
Comparar respuestas, no páginas. Set de prompts, método de lectura y registro de qué versión gana en cada modelo.
Aquí no se prueba una página: se prueba qué se le pregunta al modelo y qué contesta.
Que es y para quien
Así trabajamos Testing de prompts y respuestas en una de las mejores agencias GEO.
Somos una agencia GEO con equipo senior propio, método propia en cinco fases y resultados medidos en revenue, no en métricas de vanidad. Este servicio es una pieza más del sistema y se entrega con entregables cerrados, responsables y fechas.
Un método para saber qué versión gana.
Prompt, variante, respuesta completa, criterio de victoria y registro. Lee la guía completa de GEO para el contexto teórico.
En GEO no hay una página que sirva al 50% del tráfico es hay una respuesta. El experimento consiste en cambiar una sola cosa del input o del contenido y ver si el modelo responde de otra manera. Si se cambia el prompt y el formato a la vez no se sabe qué ha funcionado; si no se guarda la respuesta completa no hay forma de comparar después.
Va dirigido a marcas que quieren mejorar su presencia de forma sistemática y a equipos que ya miden menciones pero no saben qué cambio las produce. Entregamos el diseño de pruebas con una variable por vez, el set de prompts reales, el criterio de victoria escrito, el registro completo de respuestas y el análisis de qué formatos, datos y páginas ganan en cada modelo. No es un test A/B de landing. Aquí las variantes son preguntas y contenidos, y el resultado es una respuesta generada.
- Marcas con medición pero sin método para mejorar.
- Consultoras que necesitan evidencia para el cliente.
- SaaS B2B con varias páginas compitiendo por la misma consulta.
- Agencias que quieren replicar un método con sus clientes.
Que incluye
Seis piezas de un programa de pruebas.
Diseño, prompts, variantes, criterio, registro y análisis.
Set de prompts
Las preguntas reales con sus variantes, escritas antes de ejecutar.
Variantes de contenido
Bloque, tabla, dato o página alternativa para cada prueba.
Criterio de victoria
Qué se considera mejor. Más citas, mejor posición o respuesta más completa.
Registro íntegro
La respuesta completa de cada modelo en cada ejecución del ciclo.
Análisis
Qué formatos y qué datos ganan, por modelo y por consulta.
Trazabilidad
Cada respuesta se mide con la misma pregunta.
Del set fijo a la lectura comparativa, con el cambio siempre documentado.
- Consulta, modelo y respuesta medida de qué versión de la respuesta gana
- Menciones, citas y share of voice de el registro y el análisis de las pruebas
- Variante probada y respuesta completa guardada
- Ganador de cada prueba y el motivo de la decisión
Como funciona
El ciclo de una medición que sirve para decidir.
De la lectura al cambio, en cinco pasos.
-
01
Set
Se fija qué versión de la respuesta gana. Las consultas y los prompts que se van a medir.
-
02
Lectura
Se registra la respuesta completa de cada modelo, no un resumen.
-
03
Análisis
Se cuentan menciones, citas, posición y tono de el registro y el análisis de las pruebas.
-
04
Prueba
Se cambia una sola cosa. Formato, dato o página.
-
05
Decisión
Se aplica lo que gana y se documenta el motivo en 6 semanas.
Medir con un set que cambia cada mes no sirve son las comparas respuestas distintas y atribuyes el cambio a tu trabajo.
Como trabajamos
De mirar una captura suelta a decidir con un histórico.
Set, ejecución, análisis, testing y reporting.
-
Set de consultas y prompts
Las preguntas que de verdad usa tu mercado.
-
Ejecución
Lectura automática y revisión manual de el registro y el análisis de las pruebas en 6 semanas.
-
Análisis
Menciones, citas, share of voice, exactitud y tono.
-
Testing
Una variable por prueba y registro de la respuesta completa.
-
Reporting
Informe mensual con decisiones y su impacto.
Donde rinde
Tres equipos que compararon respuestas y cambiaron de estrategia con datos.
El mismo método sobre tres preguntas distintas.
No sabían si convenía publicar el precio o esconderlo.
Seis pruebas de formato. La tabla pública multiplicó las citas de precio por cuatro.
Cada cambio de web se hacía sin medir y se revertía a ciegas.
Registro íntegro de respuestas: 9 cambios validados y 2 revertidos con evidencia.
Las comparativas ganaban a veces y perdían otras, sin patrón.
48 pruebas por formato de tabla: el formato elegido ganó el 71% de las consultas.
Sectores
Dónde ya lo hemos montado.
SaaS B2B
Ecommerce
Consultoría
Medios
Formación
Salud
Finanzas
Turismo
Inmobiliario
Agencias
Retail
ONG
Por primera vez tenemos algo parecido a las pruebas A/B, pero para el modelo que responde. Antes cambiábamos a ojo y no sabíamos por qué.
Sergio M.
Growth Lead
Reseña verificada en Google
4,9/5 · 96+ opiniones.
¿Cuánto tarda en verse resultados?
De 6 semanas por ciclo completo de pruebas. Las primeras conclusiones concluyentes llegan en la tercera prueba.
¿Qué incluye exactamente?
Diseño de pruebas, set de prompts, variantes de contenido, criterio de victoria, registro íntegro de respuestas y análisis por modelo.
¿Necesito algo previo?
Acceso al contenido publicado, a los datos internos publicables y a la lista de consultas prioritarias.
¿Cómo se mide el resultado?
Con el número de pruebas concluidas, el efecto medio por variable y el porcentaje de citas tras aplicar la variante ganadora.
¿Cada cuánto se revisa?
Por ciclo de pruebas, con lectura mensual de los resultados acumulados.
¿Es un test A/B?
No, aunque se parezca en la forma. En un test A/B se comparan dos versiones de una página con tráfico real. Aquí no hay tráfico es se comparan respuestas generadas por distintos modelos ante el mismo prompt. La unidad de medida es la cita y el contenido de la respuesta, no la conversión. Por eso el registro de la respuesta completa es obligatorio.
Reservar
Cuéntanos tus consultas.
Media hora para ver qué versión de la respuesta gana en tu mercado.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Testing de prompts y respuestas. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb