典型的提示评估工作流程遵循五个关键步骤,帮助您通过客观测量系统地改进提示。虽然有许多不同的方法来组装这些工作流程,也有各种开源和付费工具可用,但理解核心流程有助于您从小处着手并根据需要扩展。

第一步:起草提示
首先编写一个您想要改进的初始提示。在此示例中,我们将使用一个简单的提示:
prompt = f"""
Please answer the user's question:
{question}
"""
这个基本提示将作为我们测试和改进的基线。
第二步:创建评估数据集
您的评估数据集包含您将输入到提示中的样本输入。由于我们的提示只有一个输入(用户的问题),我们需要一组不同的问题来进行测试。

该数据集包含我们将与提示合并的问题。您可以手动组建这些数据集,也可以使用Claude生成。在实际评估中,您可能有数十、数百甚至数千条不同的记录,但在此示例中我们将从三个问题开始:
- 2+2等于多少?
- 我该如何制作燕麦粥?
- 月球离我们有多远?
第三步:通过Claude处理
从数据集中取出每个问题,并将其与提示模板合并以创建完整的提示。然后将每个提示发送给Claude并收集响应。

例如,第一个问题变成一个完整的提示,Claude处理后返回类似"2 + 2 = 4"的答案。您对数据集中的所有问题重复此过程,构建一组问答对。
第四步:通过评分器处理
现在到了客观衡量Claude响应质量的关键步骤。您将每个问答对输入到评分器中,由其对响应进行评分。

评分器根据答案质量分配分数(通常为1-10分):
- 10 = 完美答案,没有改进空间
- 4 = 尚可,但肯定有改进空间
- 较低的分数表示较差的回答
对所有响应评分后,您将这些分数取平均值。在我们的示例中,10分、4分和9分的平均值为7.66分,为您提供了提示性能的客观衡量标准。

第五步:更改提示并重复
确定了基线分数后,您现在可以修改提示并重新运行整个流程,以查看您的更改是否提高了性能。

例如,您可以通过添加更具体的指示来增强原始提示:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""提示评分
该工作流程的强大之处在于能够获得提示性能的客观衡量结果。您可以比较不同提示版本之间的分数,以确定哪个表现更好。

在我们的示例中:
- 提示v1得分7.66分
- 提示v2得分8.7分
v2的更高分数提供了客观证据,表明添加"请详细地回答问题"提高了提示的性能。然后您可以使用表现更好的版本,或者继续迭代以获得更高的分数。
这种系统化的方法消除了提示改进中的猜测,并为您提供了可靠的优化框架。虽然实现有效的评分器存在一定的复杂性,但该工作流程为构建您自己的评估系统提供了坚实的基础。