Cargando

Un flujo de trabajo típico de evaluación

Lección 118 min
Cargando

Un flujo de trabajo típico de evaluación de prompts sigue cinco pasos clave que te ayudan a mejorar sistemáticamente tus prompts mediante la medición objetiva. Aunque hay muchas formas diferentes de armar estos flujos de trabajo y hay varias herramientas de código abierto y de pago disponibles, entender el proceso central te ayuda a empezar en pequeño y escalar según sea necesario.

Los cinco pasos del flujo de trabajo de evaluación de prompts, desde redactar un prompt hasta cambiar el prompt y repetir, descritos a continuación.

Paso 1: Redacta un prompt

Comienza escribiendo un prompt inicial que quieras mejorar. Para este ejemplo, usaremos un prompt sencillo:

python
prompt = f"""
Please answer the user's question:

{question}
"""

El borrador inicial del prompt que se muestra arriba, con una nota de que no sabremos si es eficaz hasta que lo evaluemos objetivamente.

Este prompt básico servirá como nuestra línea base para las pruebas y mejoras.

Paso 2: Crea un conjunto de datos de evaluación

Tu conjunto de datos de evaluación contiene muestras de entrada que introducirás en tu prompt. Dado que nuestro prompt solo tiene una entrada (la pregunta del usuario), necesitamos una colección de diferentes preguntas para probar.

El flujo de trabajo de evaluación en el paso Crear un conjunto de datos de evaluación: una columna "Question" con las tres preguntas listadas abajo.

El conjunto de datos contiene preguntas que fusionaremos con nuestro prompt. Puedes armar estos conjuntos de datos manualmente o generarlos usando Claude. En evaluaciones del mundo real, podrías tener decenas, cientos o incluso miles de registros diferentes, pero comenzaremos con solo tres preguntas para este ejemplo:

  • ¿Cuánto es 2+2?
  • ¿Cómo preparo avena?
  • ¿A qué distancia está la Luna?

Paso 3: Pásalo a través de Claude

Toma cada pregunta de tu conjunto de datos y fusiónala con tu plantilla de prompt para crear prompts completos. Luego envía cada uno a Claude y recopila las respuestas.

Un prompt con un marcador de posición para la pregunta, tres preguntas de prueba como "¿Cuánto es 2+2?" y las respuestas de Claude como "2 + 2 = 4".

Por ejemplo, la primera pregunta se convierte en un prompt completo que Claude procesa y devuelve una respuesta como "2 + 2 = 4". Repites este proceso para todas las preguntas de tu conjunto de datos, construyendo una colección de pares de pregunta-respuesta.

Paso 4: Pásalo a través de un calificador

Ahora viene el paso crucial de medir objetivamente la calidad de las respuestas de Claude. Tomas cada par de pregunta-respuesta y los introduces en un calificador que puntúa las respuestas.

Etapa del calificador en el pipeline de evaluación resaltada: los tres pares de preguntas y respuestas pasan a un calificador, puntuados 10, 4 y 9.

El calificador asigna puntuaciones (normalmente de 1 a 10) según la calidad de la respuesta:

  • 10 = Respuesta perfecta sin margen de mejora
  • 4 = Adecuada pero con margen de mejora definitivamente
  • Puntuaciones más bajas indican respuestas deficientes

Después de puntuar todas las respuestas, promedias las puntuaciones juntas. En nuestro ejemplo, las puntuaciones de 10, 4 y 9 promedian 7.66, lo que te da una medición objetiva del rendimiento de tu prompt.

Las cuatro etapas de evaluación, con el calificador puntuando respuestas como "Agrega agua caliente a la avena seca." y promediando las puntuaciones.

Paso 5: Cambia el prompt y repite

Con tu puntuación base establecida, ahora puedes modificar tu prompt y ejecutar todo el proceso de nuevo para ver si tus cambios mejoran el rendimiento.

El flujo de trabajo de evaluación de cinco pasos con el último paso, "Cambia el prompt y repite", resaltado y el prompt revisado mostrado abajo.

Por ejemplo, podrías mejorar el prompt original agregando instrucciones más específicas:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Puntuación de prompts

El poder de este flujo de trabajo radica en obtener mediciones objetivas del rendimiento del prompt. Puedes comparar puntuaciones entre diferentes versiones de prompts para determinar cuál tiene mejor rendimiento.

El prompt v1 puntuó 7.66, y el prompt v2, que añade "Responde la pregunta con amplio detalle", puntuó 8.7.

En nuestro ejemplo:

  • El prompt v1 puntuó 7.66
  • El prompt v2 puntuó 8.7

La puntuación más alta de v2 proporciona evidencia objetiva de que agregar "Responde la pregunta con amplio detalle" mejoró el rendimiento del prompt. Luego puedes usar la versión con mejor rendimiento o seguir iterando para lograr puntuaciones aún más altas.

Este enfoque sistemático elimina las conjeturas de la mejora de prompts y te brinda un marco confiable para la optimización. Aunque hay complejidad al implementar calificadores eficaces, este flujo de trabajo proporciona una base sólida para construir tu propio sistema de evaluación.