加载中

一个典型的评估工作流程

第 10 课10 分钟
加载中

一个典型的提示评估工作流程遵循五个关键步骤,帮助您通过客观测量系统性地改进提示。虽然有许多不同的方式来组织这些工作流程,并且有各种开源和付费工具可用,但理解核心流程有助于您从小处着手,并按需扩大规模。

提示评估工作流程的五个步骤,从起草提示到修改提示并重复,详述如下。

步骤1:起草一个提示

首先编写一个您想要改进的初始提示。在本例中,我们将使用一个简单的提示:

python
prompt = f"""
Please answer the user's question:

{question}
"""

上方展示的初始提示草稿,并附有一条说明:在我们客观地评估它之前,我们无法知道它是否有效。

这个基本提示将作为我们测试和改进的基准。

步骤2:创建评估数据集

您的评估数据集包含代表您的提示在生产环境中将处理的问题或请求类型的样本输入。数据集应包含将被插值到提示模板中的问题。

评估工作流程在"创建评估数据集"步骤的状态:一个"问题"列,包含下面列出的三个问题。

在本例中,我们的数据集包括三个问题:

  • "2+2等于几?"
  • "怎样煮燕麦片?"
  • "月球有多远?"

在实际评估中,您可能有数十、数百甚至数千条记录。您可以手动组建这些数据集,或使用Claude为您生成它们。

步骤3:通过Claude处理

从您的数据集中取出每个问题,并将其与提示模板合并以创建完整的提示。然后将每个提示发送给Claude以获取响应。

一个带有问题占位符的提示,三个测试问题,例如"2+2等于几?",以及Claude的回复,例如"2 + 2 = 4"。

例如,第一个问题变为:

Please answer the user's question:
What's 2+2?

对于数学问题,Claude可能会回答"2 + 2 = 4";对于第二个问题,它会提供燕麦片的烹饪说明;对于第三个问题,它会给出到月球的距离。

步骤4:通过评分器处理

评分器通过检查原始问题和Claude的答案来评估Claude响应的质量。这一步提供客观评分,通常采用1到10分的量表,其中10分代表完美答案,较低的分数则表示有改进空间。

评估流程中高亮显示的评分器阶段:三对问题和答案组进入评分器,分别得分10、4和9。

在我们的示例中,评分器可能会给出以下评分:

  • 数学问题:10分(完美答案)
  • 燕麦片问题:4分(需要改进)
  • 月球问题:9分(非常好的答案)

所有问题的平均分数为您提供一个客观的衡量标准:(10 + 4 + 9) ÷ 3 = 7.66

步骤5:修改提示并重复

现在您已经有了一个基准分数,您可以修改提示并再次运行整个流程,看看您的更改是否提高了性能。

五步评估工作流程,最后一步"修改提示并重复"被高亮显示,下方展示了修订后的提示。

例如,您可能会为提示添加更多指导:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

在用这个改进后的提示运行相同的评估流程后,您可能会得到8.7的更高平均分数,这表明附加的指令帮助Claude提供了更好的响应。

提示评分

这一工作流程的主要优势在于能够获得提示性能的客观衡量结果。您可以:

  • 以数字方式比较不同的提示版本
  • 使用得分最高的版本
  • 继续迭代以找到更好的方法

提示v1得分7.66,而添加了"请详细回答问题"的提示v2得分8.7。

这种系统化的方法消除了提示工程中的猜测,并让您确信自己所做的更改确实是改进,而不仅仅是不同的变化形式。