Un flujo de trabajo típico de evaluación de prompts sigue cinco pasos clave que te ayudan a mejorar sistemáticamente tus prompts mediante la medición objetiva. Si bien existen muchas formas diferentes de construir estos flujos de trabajo y diversas herramientas de código abierto y de pago disponibles, comprender el proceso principal te ayuda a empezar con algo pequeño e ir escalando según sea necesario.

Paso 1: Redacta un prompt
Comienza escribiendo un prompt inicial que quieras mejorar. Para este ejemplo, usaremos un prompt simple:
prompt = f"""
Please answer the user's question:
{question}
"""
Este prompt básico servirá como nuestra línea base para las pruebas y mejoras.
Paso 2: Crea un conjunto de datos de evaluación
Tu conjunto de datos de evaluación contiene entradas de muestra que representan los tipos de preguntas o solicitudes que tu prompt manejará en producción. El conjunto de datos debe incluir preguntas que se interpolarán en tu plantilla de prompt.

Para este ejemplo, nuestro conjunto de datos incluye tres preguntas:
- "¿Cuánto es 2+2?"
- "¿Cómo preparo avena?"
- "¿A qué distancia está la Luna?"
En evaluaciones del mundo real, podrías tener decenas, cientos o incluso miles de registros. Puedes armar estos conjuntos de datos manualmente o usar a Claude para generarlos por ti.
Paso 3: Pasa por Claude
Toma cada pregunta de tu conjunto de datos y combínala con tu plantilla de prompt para crear prompts completos. Luego envía cada uno a Claude para obtener respuestas.

Por ejemplo, la primera pregunta se convierte en:
Please answer the user's question:
What's 2+2?Claude podría responder con "2 + 2 = 4" para la pregunta matemática, proporcionar instrucciones para cocinar avena para la segunda pregunta, y dar la distancia a la Luna para la tercera.
Paso 4: Pasa por un evaluador
El evaluador (grader) valora la calidad de las respuestas de Claude examinando tanto la pregunta original como la respuesta de Claude. Este paso proporciona una puntuación objetiva, típicamente en una escala de 1 a 10, donde 10 representa una respuesta perfecta y las puntuaciones más bajas indican margen de mejora.

En nuestro ejemplo, el evaluador podría asignar:
- Pregunta de matemáticas: 10 (respuesta perfecta)
- Pregunta de la avena: 4 (necesita mejorar)
- Pregunta de la Luna: 9 (respuesta muy buena)
La puntuación promedio en todas las preguntas te da una medición objetiva: (10 + 4 + 9) ÷ 3 = 7.66
Paso 5: Cambia el prompt y repite
Ahora que tienes una puntuación de referencia, puedes modificar tu prompt y ejecutar todo el proceso de nuevo para ver si tus cambios mejoran el rendimiento.

Por ejemplo, podrías añadir más orientación a tu prompt:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Después de ejecutar este prompt mejorado a través del mismo proceso de evaluación, podrías obtener una puntuación promedio más alta de 8.7, lo que indica que la instrucción adicional ayudó a Claude a proporcionar mejores respuestas.
Puntuación del prompt
El beneficio clave de este flujo de trabajo es obtener mediciones objetivas del rendimiento del prompt. Puedes:
- Comparar numéricamente diferentes versiones de prompts
- Usar la versión con la mejor puntuación
- Seguir iterando para encontrar enfoques aún mejores

Este enfoque sistemático elimina las conjeturas en la ingeniería de prompts y te da la confianza de que tus cambios son realmente mejoras y no solo variaciones diferentes.