加载中
加载中

典型的提示评估工作流程遵循五个关键步骤,帮助您通过客观测量系统地改进提示。虽然有许多不同的方法来组装这些工作流程,也有各种开源和付费工具可用,但理解核心流程有助于您从小处着手并根据需要扩展。

提示评估工作流程的五个步骤,从起草提示到更改提示并重复,如下所述。

第一步:起草提示

首先编写一个您想要改进的初始提示。在此示例中,我们将使用一个简单的提示:

python
prompt = f"""
Please answer the user's question:

{question}
"""

上方显示的初始提示草稿,并附有说明:在客观评估之前,我们无法知道它是否有效。

这个基本提示将作为我们测试和改进的基线。

第二步:创建评估数据集

您的评估数据集包含您将输入到提示中的样本输入。由于我们的提示只有一个输入(用户的问题),我们需要一组不同的问题来进行测试。

评估工作流程处于"创建评估数据集"步骤:一个"问题"列包含下面列出的三个问题。

该数据集包含我们将与提示合并的问题。您可以手动组建这些数据集,也可以使用Claude生成。在实际评估中,您可能有数十、数百甚至数千条不同的记录,但在此示例中我们将从三个问题开始:

  • 2+2等于多少?
  • 我该如何制作燕麦粥?
  • 月球离我们有多远?

第三步:通过Claude处理

从数据集中取出每个问题,并将其与提示模板合并以创建完整的提示。然后将每个提示发送给Claude并收集响应。

一个带有问题占位符的提示,三个测试问题,例如"2+2等于多少?",以及Claude的回复,例如"2 + 2 = 4"。

例如,第一个问题变成一个完整的提示,Claude处理后返回类似"2 + 2 = 4"的答案。您对数据集中的所有问题重复此过程,构建一组问答对。

第四步:通过评分器处理

现在到了客观衡量Claude响应质量的关键步骤。您将每个问答对输入到评分器中,由其对响应进行评分。

评估流程中的评分器阶段被突出显示:三个问答对输入评分器,分别得到10分、4分和9分。

评分器根据答案质量分配分数(通常为1-10分):

  • 10 = 完美答案,没有改进空间
  • 4 = 尚可,但肯定有改进空间
  • 较低的分数表示较差的回答

对所有响应评分后,您将这些分数取平均值。在我们的示例中,10分、4分和9分的平均值为7.66分,为您提供了提示性能的客观衡量标准。

所有四个评估阶段,评分器对答案(例如"在干燕麦片中加入热水。")进行评分并计算平均分。

第五步:更改提示并重复

确定了基线分数后,您现在可以修改提示并重新运行整个流程,以查看您的更改是否提高了性能。

五步评估工作流程,最后一步"更改提示并重复"被突出显示,下方显示修改后的提示。

例如,您可以通过添加更具体的指示来增强原始提示:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

提示评分

该工作流程的强大之处在于能够获得提示性能的客观衡量结果。您可以比较不同提示版本之间的分数,以确定哪个表现更好。

提示v1得分7.66分,而添加了"请详细地回答问题"的提示v2得分8.7分。

在我们的示例中:

  • 提示v1得分7.66分
  • 提示v2得分8.7分

v2的更高分数提供了客观证据,表明添加"请详细地回答问题"提高了提示的性能。然后您可以使用表现更好的版本,或者继续迭代以获得更高的分数。

这种系统化的方法消除了提示改进中的猜测,并为您提供了可靠的优化框架。虽然实现有效的评分器存在一定的复杂性,但该工作流程为构建您自己的评估系统提供了坚实的基础。