Cargando

Evaluación basada en modelos

Lección 1315 min
Cargando

Al construir flujos de trabajo de evaluación de prompts, los sistemas de calificación proporcionan señales objetivas sobre la calidad de la salida. Un calificador toma la salida del modelo y devuelve algún tipo de retroalimentación medible, típicamente un número entre 1 y 10, donde 10 representa alta calidad y 1 representa baja calidad.

Tipos de calificadores

Comparación entre calificadores de código, de modelo y humanos; los calificadores de modelo y humanos también pueden comparar dos versiones de una salida, como se describe a continuación.

Existen tres enfoques principales para calificar las salidas de los modelos:

  • Calificadores de código: evalúan las salidas programáticamente usando lógica personalizada
  • Calificadores de modelo: usan otro modelo de IA para evaluar la calidad
  • Calificadores humanos: personas que revisan y puntúan manualmente las salidas

Calificadores de código

Los calificadores de código te permiten implementar cualquier verificación programática que puedas imaginar. Usos comunes incluyen:

  • Verificar la longitud de la salida
  • Comprobar si la salida tiene o no ciertas palabras
  • Validación de sintaxis para JSON, Python o regex
  • Puntuaciones de legibilidad

El único requisito es que tu código devuelva alguna señal utilizable, generalmente un número entre 1 y 10.

Calificadores de modelo

Los calificadores de modelo envían tu salida original a otra llamada de API para su evaluación. Este enfoque ofrece una enorme flexibilidad para evaluar:

  • Calidad de la respuesta
  • Calidad del seguimiento de instrucciones
  • Integridad
  • Utilidad
  • Seguridad

Calificadores humanos

Los calificadores humanos brindan la mayor flexibilidad, pero consumen mucho tiempo y son tediosos. Son útiles para evaluar:

  • Calidad general de la respuesta
  • Exhaustividad
  • Profundidad
  • Concisión
  • Relevancia

Definición de criterios de evaluación

"¿Cómo sabremos si nuestro prompt está produciendo buenos resultados?" respondido por los tres criterios descritos a continuación.

Antes de implementar cualquier calificador, necesitas criterios de evaluación claros. Para un prompt de generación de código, podrías enfocarte en:

  • Formato: debe devolver solo Python, JSON o Regex sin explicación
  • Sintaxis válida: el código producido debe tener una sintaxis válida
  • Seguimiento de la tarea: la respuesta debe abordar directamente la tarea del usuario con código preciso

"Formato" y "Sintaxis válida" se agrupan bajo un calificador de código, y "Seguimiento de la tarea" bajo un calificador de modelo, como se explica a continuación.

Los dos primeros criterios funcionan bien con calificadores de código, mientras que el seguimiento de la tarea es más adecuado para calificadores de modelo debido a su flexibilidad.

Implementación de un calificador de modelo

Así es como se construye una función de calificador de modelo:

python
def grade_by_model(test_case, output):
    # Crear prompt de evaluación
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.
    
    Task: {test_case["task"]}
    Solution: {output}
    
    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement  
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """
    
    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")

    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

La idea clave es pedir las fortalezas, debilidades y el razonamiento junto con la puntuación. Sin este contexto, los modelos tienden a asignar por defecto puntuaciones mediocres alrededor de 6.

Integración de la calificación en tu flujo de trabajo

Actualiza tu ejecutor de casos de prueba para llamar al calificador:

python
def run_test_case(test_case):
    output = run_prompt(test_case)

    # Califica el resultado
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]

    return {
        "output": output,
        "test_case": test_case,
        "score": score,
        "reasoning": reasoning
    }

Finalmente, calcula una puntuación promedio en todos los casos de prueba:

python
from statistics import mean

def run_eval(dataset):
    results = []

    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)

    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")

    return results

Esto te proporciona una métrica objetiva para rastrear a medida que iteras sobre tu prompt. Aunque los calificadores de modelo pueden ser algo caprichosos, proporcionan una línea base consistente para medir mejoras.