Al construir flujos de trabajo de evaluación de prompts, los calificadores (graders) proporcionan señales objetivas sobre la calidad de la salida. Un calificador toma la salida del modelo y devuelve algún tipo de retroalimentación medible, típicamente un número entre 1 y 10, donde 10 representa alta calidad y 1 representa baja calidad.
Tipos de calificadores

Hay tres enfoques principales para calificar las salidas del modelo:
- Calificadores de código - Evalúan de forma programática las salidas usando lógica personalizada
- Calificadores de modelo - Usan otro modelo de IA para evaluar la calidad
- Calificadores humanos - Hacen que las personas revisen y puntúen manualmente las salidas
Calificadores de código
Los calificadores de código te permiten implementar cualquier verificación programática que puedas imaginar. Los usos comunes incluyen:
- Verificar la longitud de la salida
- Comprobar si la salida tiene/no tiene ciertas palabras
- Validación de sintaxis para JSON, Python o regex
- Puntuaciones de legibilidad
El único requisito es que tu código devuelva alguna señal medible cuando se ejecuta.
Calificadores de modelo
Los calificadores de modelo realizan una solicitud adicional a la API para evaluar la salida original. Este enfoque ofrece una gran flexibilidad para evaluar:
- Calidad de la respuesta
- Calidad del seguimiento de instrucciones
- Completitud
- Utilidad
- Seguridad
Calificadores humanos
Los calificadores humanos proporcionan la mayor flexibilidad, pero consumen mucho tiempo y son tediosos. Son útiles para evaluar:
- Calidad general de la respuesta
- Exhaustividad
- Profundidad
- Concisión
- Relevancia
Definición de criterios de evaluación

Antes de implementar cualquier calificador, necesitas criterios de evaluación claros. Para un prompt de generación de código, podrías enfocarte en:
- Formato - Debería devolver solo Python, JSON o Regex sin explicación
- Sintaxis válida - El código producido debería tener sintaxis válida
- Seguimiento de la tarea - La respuesta debería abordar directamente la tarea del usuario con código preciso

Los primeros dos criterios funcionan bien con calificadores de código, mientras que el seguimiento de la tarea es más adecuado para calificadores de modelo debido a su flexibilidad.
Implementación de un calificador de modelo
Así es como se construye una función de calificador de modelo:
def grade_by_model(test_case, output):
# Crear prompt de evaluación
eval_prompt = f"""
You are an expert code reviewer. Evaluate this AI-generated solution.
Task: {test_case["task"]}
Solution: {output}
Provide your evaluation as a structured JSON object with:
- "strengths": An array of 1-3 key strengths
- "weaknesses": An array of 1-3 key areas for improvement
- "reasoning": A concise explanation of your assessment
- "score": A number between 1-10
"""
messages = []
add_user_message(messages, eval_prompt)
add_assistant_message(messages, "```json")
eval_text = chat(messages, stop_sequences=["```"])
return json.loads(eval_text)La idea clave es pedir fortalezas, debilidades y razonamiento junto con la puntuación. Sin este contexto, los modelos tienden a recurrir por defecto a puntuaciones mediocres alrededor de 6.
Integración del calificador
Actualiza tu función de caso de prueba para usar el calificador de modelo:
def run_test_case(test_case):
output = run_prompt(test_case)
# Obtener evaluación del modelo
model_grade = grade_by_model(test_case, output)
score = model_grade["score"]
reasoning = model_grade["reasoning"]
return {
"output": output,
"test_case": test_case,
"score": score,
"reasoning": reasoning
}Cálculo de puntuaciones promedio
Para obtener una métrica de rendimiento general, calcula la puntuación promedio en todos los casos de prueba:
from statistics import mean
def run_eval(dataset):
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
average_score = mean([result["score"] for result in results])
print(f"Average score: {average_score}")
return resultsEsto te da una métrica concreta y objetiva para rastrear el rendimiento del prompt a lo largo del tiempo. Si bien los calificadores de modelo pueden ser algo inconsistentes, proporcionan un punto de partida para medir y mejorar tus prompts de manera sistemática.