加载中
加载中

典型的提示评估工作流程遵循一种系统化的方法,以客观地衡量和改进您的提示。虽然组装这些工作流程有许多不同的方式,也有各种开源和付费工具可供使用,但了解核心流程能帮助您从小处着手,并按需扩展规模。

提示评估工作流程的五个步骤,从起草提示到修改提示并重复,具体说明如下。

步骤 1:起草您的初始提示

首先写出一个您想要改进的基础提示。在这个示例中,我们将使用一个简单的提示结构:

python
prompt = f"""
Please answer the user's question:

{question}
"""

上方展示的初始提示草稿,并注明在对其进行客观评估之前,我们无法得知它是否有效。

这为我们提供了一个可供参考的基准。在使用某种客观方法对其进行评估之前,我们无法知道它是否有效。

步骤 2:创建评估数据集

您的评估数据集包含一些示例输入,您将把这些输入馈送到您的提示中。由于我们的提示只有一个输入(用户的问题),因此我们需要一批不同的问题来进行测试。

处于"创建评估数据集"步骤的评估工作流程:一列"问题",包含下方列出的三个问题。

该数据集包含我们将与提示合并的问题。您可以手动组建这些数据集,也可以使用 Claude 生成它们。在真实场景的评估中,您可能会有数十、数百甚至数千条不同的记录,但在此示例中我们将从仅有三个问题开始:

  • 2+2 等于多少?
  • 我该如何制作燕麦粥?
  • 月球有多远?

步骤 3:通过 Claude 处理

从数据集中取出每个问题,将其与您的提示模板合并,以创建完整的提示。然后将每个提示发送给 Claude 并收集回复。

一个带有问题占位符的提示、三个测试问题(例如"2+2 等于多少?"),以及 Claude 的回复(例如"2 + 2 = 4")。

例如,第一个问题会变成一个 Claude 可以回复的完整提示。您将对数据集中的所有记录重复此过程,获得诸如"2 + 2 = 4"、详细的燕麦粥制作说明,以及有关月球距离的信息等回复。

步骤 4:通过评分器处理

现在到了关键步骤:客观地为 Claude 的回复打分。将每个问题与答案配对,并将其输入到评分器中,由评分器评估 Claude 回复的质量。

评估流水线中的评分器阶段被突出显示:三对问题和答案输入到评分器中,分别得分 10、4 和 9。

评分器根据回复质量给出分数(通常为 1-10 分):

  • 10 = 完美答案,无需改进
  • 4 = 明显有改进空间
  • 1 = 较差或错误的回复

在我们的示例中,这些回复可能分别得分 10、4 和 9。将这些分数取平均值,得出一个总体性能指标:7.66。

全部四个评估阶段,评分器对诸如"在干燕麦片中加入热水。"之类的答案打分,并计算分数的平均值。

步骤 5:修改提示并重复

在确立了您的基准分数之后,您现在可以对提示进行迭代。尝试添加更具体的指令以引导 Claude 的回复:

五步评估工作流程,最后一步"修改提示并重复"被突出显示,下方展示了修订后的提示。

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

再次将这个改进后的提示运行一遍整个评估流水线。比较两个版本的分数,看看哪个版本表现更好。

提示打分与迭代

这种工作流程的力量在于为每个提示版本获取客观的测量结果。您可以比较不同迭代版本之间的分数,并使用表现最佳的版本,或者继续迭代以寻找更好的方法。

提示 v1 得分 7.66,提示 v2(增加了"请详尽地回答问题")得分 8.7。

在我们的示例中:

  • 提示 v1 得分 7.66
  • 提示 v2 得分 8.7

v2 的更高分数表明,添加"请详尽地回答问题"提升了该提示在我们测试用例中的表现。

这种系统化的方法为您提供了一种客观的方式来衡量提示的改进,而不是依赖主观判断。您可以从简单的实现开始,随着需求的增长逐步添加更复杂的评估标准。