Cargando

Calificación basada en modelos

Lección 1415 min
Cargando

Al construir flujos de trabajo de evaluación de prompts, los calificadores (graders) proporcionan señales objetivas sobre la calidad de la salida. Un calificador toma la salida del modelo y devuelve algún tipo de retroalimentación medible, típicamente un número entre 1 y 10, donde 10 representa alta calidad y 1 representa baja calidad.

Tipos de calificadores

Calificadores de código, modelo y humanos, cada uno con sus usos listados debajo; los calificadores de modelo y humanos también pueden comparar dos versiones.

Hay tres enfoques principales para calificar las salidas del modelo:

  • Calificadores de código - Evalúan de forma programática las salidas usando lógica personalizada
  • Calificadores de modelo - Usan otro modelo de IA para evaluar la calidad
  • Calificadores humanos - Hacen que las personas revisen y puntúen manualmente las salidas

Calificadores de código

Los calificadores de código te permiten implementar cualquier verificación programática que puedas imaginar. Los usos comunes incluyen:

  • Verificar la longitud de la salida
  • Comprobar si la salida tiene/no tiene ciertas palabras
  • Validación de sintaxis para JSON, Python o regex
  • Puntuaciones de legibilidad

El único requisito es que tu código devuelva alguna señal medible cuando se ejecuta.

Calificadores de modelo

Los calificadores de modelo realizan una solicitud adicional a la API para evaluar la salida original. Este enfoque ofrece una gran flexibilidad para evaluar:

  • Calidad de la respuesta
  • Calidad del seguimiento de instrucciones
  • Completitud
  • Utilidad
  • Seguridad

Calificadores humanos

Los calificadores humanos proporcionan la mayor flexibilidad, pero consumen mucho tiempo y son tediosos. Son útiles para evaluar:

  • Calidad general de la respuesta
  • Exhaustividad
  • Profundidad
  • Concisión
  • Relevancia

Definición de criterios de evaluación

La pregunta de cómo sabremos si nuestro prompt está produciendo buenas salidas, con los tres criterios listados debajo.

Antes de implementar cualquier calificador, necesitas criterios de evaluación claros. Para un prompt de generación de código, podrías enfocarte en:

  • Formato - Debería devolver solo Python, JSON o Regex sin explicación
  • Sintaxis válida - El código producido debería tener sintaxis válida
  • Seguimiento de la tarea - La respuesta debería abordar directamente la tarea del usuario con código preciso

Formato y sintaxis válida agrupados bajo un calificador de código, y seguimiento de la tarea bajo un calificador de modelo, como se describe debajo.

Los primeros dos criterios funcionan bien con calificadores de código, mientras que el seguimiento de la tarea es más adecuado para calificadores de modelo debido a su flexibilidad.

Implementación de un calificador de modelo

Así es como se construye una función de calificador de modelo:

python
def grade_by_model(test_case, output):
    # Crear prompt de evaluación
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.
    
    Task: {test_case["task"]}
    Solution: {output}
    
    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement  
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """
    
    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")

    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

La idea clave es pedir fortalezas, debilidades y razonamiento junto con la puntuación. Sin este contexto, los modelos tienden a recurrir por defecto a puntuaciones mediocres alrededor de 6.

Integración del calificador

Actualiza tu función de caso de prueba para usar el calificador de modelo:

python
def run_test_case(test_case):
    output = run_prompt(test_case)

    # Obtener evaluación del modelo
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]

    return {
        "output": output,
        "test_case": test_case,
        "score": score,
        "reasoning": reasoning
    }

Cálculo de puntuaciones promedio

Para obtener una métrica de rendimiento general, calcula la puntuación promedio en todos los casos de prueba:

python
from statistics import mean

def run_eval(dataset):
    results = []

    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)

    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")

    return results

Esto te da una métrica concreta y objetiva para rastrear el rendimiento del prompt a lo largo del tiempo. Si bien los calificadores de modelo pueden ser algo inconsistentes, proporcionan un punto de partida para medir y mejorar tus prompts de manera sistemática.