加载中
在构建提示评估工作流程时,评分器(grader)提供有关输出质量的客观信号。评分器接收模型输出并返回某种可衡量的反馈——通常是1到10之间的数字,其中10代表高质量,1代表质量较差。
评分器的类型

评估模型输出主要有三种方法:
- 代码评分器 - 使用自定义逻辑以编程方式评估输出
- 模型评分器 - 使用另一个AI模型来评估质量
- 人工评分器 - 由人工手动审查并评分输出
代码评分器
代码评分器让您可以实现任何您能想到的编程检查。常见用途包括:
- 检查输出长度
- 验证输出是否包含/不包含某些词语
- JSON、Python或正则表达式的语法验证
- 可读性评分
唯一的要求是您的代码在运行时返回某种可衡量的信号。
模型评分器
模型评分器会发出一个额外的API请求来评估原始输出。这种方法在评估以下方面提供了极大的灵活性:
- 响应质量
- 遵循指令的质量
- 完整性
- 有帮助性
- 安全性
人工评分器
人工评分器提供了最大的灵活性,但耗时且繁琐。它们适用于评估:
- 总体响应质量
- 全面性
- 深度
- 简洁性
- 相关性
定义评估标准

在实现任何评分器之前,您需要明确的评估标准。对于代码生成提示,您可能会关注:
- 格式 - 应仅返回Python、JSON或正则表达式,不含解释
- 有效语法 - 生成的代码应具有有效的语法
- 任务遵循 - 响应应使用准确的代码直接解决用户的任务

前两个标准非常适合代码评分器,而任务遵循则由于模型评分器的灵活性而更适合使用模型评分器。
实现模型评分器
以下是构建模型评分器函数的方法:
python
def grade_by_model(test_case, output):
# 创建评估提示
eval_prompt = f"""
You are an expert code reviewer. Evaluate this AI-generated solution.
Task: {test_case["task"]}
Solution: {output}
Provide your evaluation as a structured JSON object with:
- "strengths": An array of 1-3 key strengths
- "weaknesses": An array of 1-3 key areas for improvement
- "reasoning": A concise explanation of your assessment
- "score": A number between 1-10
"""
messages = []
add_user_message(messages, eval_prompt)
add_assistant_message(messages, "```json")
eval_text = chat(messages, stop_sequences=["```"])
return json.loads(eval_text)关键的洞察在于,要求模型在给出评分的同时说明优点、缺点和推理过程。如果没有这样的背景信息,模型往往会默认给出约6分左右的中等评分。
集成评分器
更新您的测试用例函数以使用模型评分器:
python
def run_test_case(test_case):
output = run_prompt(test_case)
# 获取模型评估
model_grade = grade_by_model(test_case, output)
score = model_grade["score"]
reasoning = model_grade["reasoning"]
return {
"output": output,
"test_case": test_case,
"score": score,
"reasoning": reasoning
}计算平均分数
要获得整体性能指标,请计算所有测试用例的平均分数:
python
from statistics import mean
def run_eval(dataset):
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
average_score = mean([result["score"] for result in results])
print(f"Average score: {average_score}")
return results这为您提供了一个具体、客观的指标,用于随时间跟踪提示的表现。虽然模型评分器可能会有些不一致,但它们为系统地衡量和改进您的提示提供了一个起点。