加载中
加载中

在构建提示评估工作流程时,评分器(grader)提供有关输出质量的客观信号。评分器接收模型输出并返回某种可衡量的反馈——通常是1到10之间的数字,其中10代表高质量,1代表质量较差。

评分器的类型

代码、模型和人工评分器,各自的用途列于下方;模型和人工评分器也可以比较两个版本。

评估模型输出主要有三种方法:

  • 代码评分器 - 使用自定义逻辑以编程方式评估输出
  • 模型评分器 - 使用另一个AI模型来评估质量
  • 人工评分器 - 由人工手动审查并评分输出

代码评分器

代码评分器让您可以实现任何您能想到的编程检查。常见用途包括:

  • 检查输出长度
  • 验证输出是否包含/不包含某些词语
  • JSON、Python或正则表达式的语法验证
  • 可读性评分

唯一的要求是您的代码在运行时返回某种可衡量的信号。

模型评分器

模型评分器会发出一个额外的API请求来评估原始输出。这种方法在评估以下方面提供了极大的灵活性:

  • 响应质量
  • 遵循指令的质量
  • 完整性
  • 有帮助性
  • 安全性

人工评分器

人工评分器提供了最大的灵活性,但耗时且繁琐。它们适用于评估:

  • 总体响应质量
  • 全面性
  • 深度
  • 简洁性
  • 相关性

定义评估标准

我们如何知道我们的提示是否产生了良好的输出这一问题,下面列出了三个标准。

在实现任何评分器之前,您需要明确的评估标准。对于代码生成提示,您可能会关注:

  • 格式 - 应仅返回Python、JSON或正则表达式,不含解释
  • 有效语法 - 生成的代码应具有有效的语法
  • 任务遵循 - 响应应使用准确的代码直接解决用户的任务

格式和有效语法归类在代码评分器下,任务遵循归类在模型评分器下,如下所述。

前两个标准非常适合代码评分器,而任务遵循则由于模型评分器的灵活性而更适合使用模型评分器。

实现模型评分器

以下是构建模型评分器函数的方法:

python
def grade_by_model(test_case, output):
    # 创建评估提示
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.
    
    Task: {test_case["task"]}
    Solution: {output}
    
    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement  
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """
    
    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")

    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

关键的洞察在于,要求模型在给出评分的同时说明优点、缺点和推理过程。如果没有这样的背景信息,模型往往会默认给出约6分左右的中等评分。

集成评分器

更新您的测试用例函数以使用模型评分器:

python
def run_test_case(test_case):
    output = run_prompt(test_case)

    # 获取模型评估
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]

    return {
        "output": output,
        "test_case": test_case,
        "score": score,
        "reasoning": reasoning
    }

计算平均分数

要获得整体性能指标,请计算所有测试用例的平均分数:

python
from statistics import mean

def run_eval(dataset):
    results = []

    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)

    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")

    return results

这为您提供了一个具体、客观的指标,用于随时间跟踪提示的表现。虽然模型评分器可能会有些不一致,但它们为系统地衡量和改进您的提示提供了一个起点。