Un flujo de trabajo típico de evaluación de prompts sigue cinco pasos clave que te ayudan a mejorar sistemáticamente tus prompts mediante la medición objetiva. Aunque hay muchas formas diferentes de armar estos flujos de trabajo y hay varias herramientas de código abierto y de pago disponibles, entender el proceso central te ayuda a empezar en pequeño y escalar según sea necesario.

Paso 1: Redacta un prompt
Comienza escribiendo un prompt inicial que quieras mejorar. Para este ejemplo, usaremos un prompt sencillo:
prompt = f"""
Please answer the user's question:
{question}
"""
Este prompt básico servirá como nuestra línea base para las pruebas y mejoras.
Paso 2: Crea un conjunto de datos de evaluación
Tu conjunto de datos de evaluación contiene muestras de entrada que introducirás en tu prompt. Dado que nuestro prompt solo tiene una entrada (la pregunta del usuario), necesitamos una colección de diferentes preguntas para probar.

El conjunto de datos contiene preguntas que fusionaremos con nuestro prompt. Puedes armar estos conjuntos de datos manualmente o generarlos usando Claude. En evaluaciones del mundo real, podrías tener decenas, cientos o incluso miles de registros diferentes, pero comenzaremos con solo tres preguntas para este ejemplo:
- ¿Cuánto es 2+2?
- ¿Cómo preparo avena?
- ¿A qué distancia está la Luna?
Paso 3: Pásalo a través de Claude
Toma cada pregunta de tu conjunto de datos y fusiónala con tu plantilla de prompt para crear prompts completos. Luego envía cada uno a Claude y recopila las respuestas.

Por ejemplo, la primera pregunta se convierte en un prompt completo que Claude procesa y devuelve una respuesta como "2 + 2 = 4". Repites este proceso para todas las preguntas de tu conjunto de datos, construyendo una colección de pares de pregunta-respuesta.
Paso 4: Pásalo a través de un calificador
Ahora viene el paso crucial de medir objetivamente la calidad de las respuestas de Claude. Tomas cada par de pregunta-respuesta y los introduces en un calificador que puntúa las respuestas.

El calificador asigna puntuaciones (normalmente de 1 a 10) según la calidad de la respuesta:
- 10 = Respuesta perfecta sin margen de mejora
- 4 = Adecuada pero con margen de mejora definitivamente
- Puntuaciones más bajas indican respuestas deficientes
Después de puntuar todas las respuestas, promedias las puntuaciones juntas. En nuestro ejemplo, las puntuaciones de 10, 4 y 9 promedian 7.66, lo que te da una medición objetiva del rendimiento de tu prompt.

Paso 5: Cambia el prompt y repite
Con tu puntuación base establecida, ahora puedes modificar tu prompt y ejecutar todo el proceso de nuevo para ver si tus cambios mejoran el rendimiento.

Por ejemplo, podrías mejorar el prompt original agregando instrucciones más específicas:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Puntuación de prompts
El poder de este flujo de trabajo radica en obtener mediciones objetivas del rendimiento del prompt. Puedes comparar puntuaciones entre diferentes versiones de prompts para determinar cuál tiene mejor rendimiento.

En nuestro ejemplo:
- El prompt v1 puntuó 7.66
- El prompt v2 puntuó 8.7
La puntuación más alta de v2 proporciona evidencia objetiva de que agregar "Responde la pregunta con amplio detalle" mejoró el rendimiento del prompt. Luego puedes usar la versión con mejor rendimiento o seguir iterando para lograr puntuaciones aún más altas.
Este enfoque sistemático elimina las conjeturas de la mejora de prompts y te brinda un marco confiable para la optimización. Aunque hay complejidad al implementar calificadores eficaces, este flujo de trabajo proporciona una base sólida para construir tu propio sistema de evaluación.