Cargando

Un flujo de trabajo típico de evaluación

Lección 1010 min
Cargando

Un flujo de trabajo típico de evaluación de prompts sigue cinco pasos clave que te ayudan a mejorar sistemáticamente tus prompts mediante la medición objetiva. Si bien existen muchas formas diferentes de construir estos flujos de trabajo y diversas herramientas de código abierto y de pago disponibles, comprender el proceso principal te ayuda a empezar con algo pequeño e ir escalando según sea necesario.

Los cinco pasos del flujo de trabajo de evaluación de prompts, desde redactar un prompt hasta cambiar el prompt y repetir, descritos a continuación.

Paso 1: Redacta un prompt

Comienza escribiendo un prompt inicial que quieras mejorar. Para este ejemplo, usaremos un prompt simple:

python
prompt = f"""
Please answer the user's question:

{question}
"""

El borrador inicial del prompt mostrado arriba, con una nota que indica que no sabremos si es eficaz hasta que lo evaluemos objetivamente.

Este prompt básico servirá como nuestra línea base para las pruebas y mejoras.

Paso 2: Crea un conjunto de datos de evaluación

Tu conjunto de datos de evaluación contiene entradas de muestra que representan los tipos de preguntas o solicitudes que tu prompt manejará en producción. El conjunto de datos debe incluir preguntas que se interpolarán en tu plantilla de prompt.

El flujo de trabajo de evaluación en el paso "Crea un conjunto de datos de evaluación": una columna "Pregunta" que contiene las tres preguntas enumeradas a continuación.

Para este ejemplo, nuestro conjunto de datos incluye tres preguntas:

  • "¿Cuánto es 2+2?"
  • "¿Cómo preparo avena?"
  • "¿A qué distancia está la Luna?"

En evaluaciones del mundo real, podrías tener decenas, cientos o incluso miles de registros. Puedes armar estos conjuntos de datos manualmente o usar a Claude para generarlos por ti.

Paso 3: Pasa por Claude

Toma cada pregunta de tu conjunto de datos y combínala con tu plantilla de prompt para crear prompts completos. Luego envía cada uno a Claude para obtener respuestas.

Un prompt con un marcador de posición para la pregunta, tres preguntas de prueba como "¿Cuánto es 2+2?", y las respuestas de Claude como "2 + 2 = 4".

Por ejemplo, la primera pregunta se convierte en:

Please answer the user's question:
What's 2+2?

Claude podría responder con "2 + 2 = 4" para la pregunta matemática, proporcionar instrucciones para cocinar avena para la segunda pregunta, y dar la distancia a la Luna para la tercera.

Paso 4: Pasa por un evaluador

El evaluador (grader) valora la calidad de las respuestas de Claude examinando tanto la pregunta original como la respuesta de Claude. Este paso proporciona una puntuación objetiva, típicamente en una escala de 1 a 10, donde 10 representa una respuesta perfecta y las puntuaciones más bajas indican margen de mejora.

Etapa del evaluador en el pipeline de evaluación resaltada: los tres pares de pregunta y respuesta pasan a un evaluador, puntuados con 10, 4 y 9.

En nuestro ejemplo, el evaluador podría asignar:

  • Pregunta de matemáticas: 10 (respuesta perfecta)
  • Pregunta de la avena: 4 (necesita mejorar)
  • Pregunta de la Luna: 9 (respuesta muy buena)

La puntuación promedio en todas las preguntas te da una medición objetiva: (10 + 4 + 9) ÷ 3 = 7.66

Paso 5: Cambia el prompt y repite

Ahora que tienes una puntuación de referencia, puedes modificar tu prompt y ejecutar todo el proceso de nuevo para ver si tus cambios mejoran el rendimiento.

El flujo de trabajo de evaluación de cinco pasos con el último paso, "Cambia el prompt y repite", resaltado y el prompt revisado mostrado a continuación.

Por ejemplo, podrías añadir más orientación a tu prompt:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Después de ejecutar este prompt mejorado a través del mismo proceso de evaluación, podrías obtener una puntuación promedio más alta de 8.7, lo que indica que la instrucción adicional ayudó a Claude a proporcionar mejores respuestas.

Puntuación del prompt

El beneficio clave de este flujo de trabajo es obtener mediciones objetivas del rendimiento del prompt. Puedes:

  • Comparar numéricamente diferentes versiones de prompts
  • Usar la versión con la mejor puntuación
  • Seguir iterando para encontrar enfoques aún mejores

El prompt v1 obtuvo una puntuación de 7.66, y el prompt v2, que añade "Responde la pregunta con suficiente detalle", obtuvo una puntuación de 8.7.

Este enfoque sistemático elimina las conjeturas en la ingeniería de prompts y te da la confianza de que tus cambios son realmente mejoras y no solo variaciones diferentes.