加载中
加载中

在使用Claude时,编写一个好的提示仅仅是开始。要构建可靠的AI应用程序,您需要理解两个关键概念:提示工程和提示评估。提示工程为您提供编写更好提示的技巧,而提示评估则帮助您衡量这些提示实际效果如何。

改进和评估提示:提示工程和提示评估的并排定义,详见下文。

提示工程与提示评估

提示工程是您用于编写和改进提示的工具包。它是一套最佳实践,帮助Claude准确理解您的需求以及您希望它如何回应。可以将其视为提示写作的技艺——诸如多样本提示、使用XML标签构建结构等技巧,以及我们将探讨的许多其他方法。

另一方面,提示评估关乎衡量。它是一种自动化测试,为您提供关于提示是否真正有效的客观指标。评估不是去猜测您的提示效果是否良好,而是让您能够:

  • 针对预期答案进行测试
  • 比较同一提示的不同版本
  • 审查输出结果中的错误

编写提示后的三条路径

一旦您起草了一个提示,通常会面临接下来要做什么的三个选项:

从起草提示分支出的三个选项及其权衡取舍图,详见下文。

选项1: 对提示进行一次测试,然后就认定它已经足够好了。这存在很大的风险,当用户提供意料之外的输入时,提示可能会在生产环境中出问题。

选项2: 对提示进行几次测试,并调整它以处理一两个边缘情况。虽然比选项1更好,但用户经常会提供您未曾考虑到的非常出乎意料的输出。

选项3: 让提示通过评估流水线进行打分,然后根据客观数据对提示进行迭代。这需要在前期投入更多的工作和成本,但能让您对提示的可靠性拥有更大的信心。

为什么大多数工程师会陷入测试陷阱

选项1和选项2是所有工程师都会陷入的陷阱——我自己也不例外。很自然地,人们会编写一个提示,用自己的输入测试几次,然后觉得"这看起来已经足够好了"。但当您在构建正式的应用程序时,这种做法往往会在生产环境中导致问题。

问题在于,您无法预测用户与您的提示交互的所有方式。在您有限的测试中看似完美运行的提示,面对真实世界的使用模式时可能会完全失效。

系统化评估的价值

选项3——让您的提示通过评估流水线——为您提供了关于性能的客观数据。您无需依赖直觉或有限的人工测试,而是可以获得可衡量的分数,这些分数能告诉您提示在处理各种输入时的表现如何。

这种方法让您能够自信地进行迭代。您可以对提示进行修改,并立即看到这些修改是提升还是损害了性能。这就是猜测与确切知道您的提示改进是否真正有效之间的区别。

虽然评估需要在时间和资源上进行更多的前期投入,但当您需要能够在各种用户输入下始终如一地可靠运行、可用于生产环境的提示时,这种投入就会带来回报。