加载中

为 Claude 提供反馈循环

第 8 课4 分钟

始终为 Claude 提供一种验证自己工作的方式,无论是测试、构建,还是截图对比。一个会话会在工程师看到之前,检查自己的工作并修正自己的错误。

反馈循环不应与验证者子代理(阶段 3:构建)混淆。反馈循环会在整个任务中按需运行任意多次。而验证者子代理则是在会话认为工作已完成后,通过运行一个全新的上下文窗口来打包最终检查的一种方式。这样一来,判定结果就不会受到产生该代码时所做假设的影响。

发生了什么变化

传统方式AI 原生方式
代码能否正常工作的信号来得很晚。CI 要等几分钟后,测试人员要等几天后,生产环境要等几周后。当由智能体生成代码时,信号延迟意味着必须有人检查其全部输出,而这个人就会成为瓶颈。会话被赋予了一种在有人看到之前检查自己工作的方式。运行测试、运行构建、截取屏幕截图。Claude 会不断迭代,直到检查通过,因此送达工程师手中的内容已经通过了检查。搭建这个循环的任务落在运行该会话的工程师身上,下面的步骤就是为他们而写的。

入门指南

  • 前提条件:无。
  • 基础设施:一个可以用一条命令在本地运行的测试套件和构建流程。对于 UI 相关的工作,让 Claude 能够看到结果至关重要,可以是浏览器工具,也可以是通过 MCP 接入的截图工具。

如何执行

  1. 如果今天检查工作需要一连串命令和一些环境知识,请将其封装成一个单一目标,例如 make test 或 npm test,在失败时以非零状态退出。
  2. 在 CLAUDE.md 的 Commands 部分,列出每条命令,并附上一个健康输出的示例。
  3. 设定一个目标,并使其可量化,以便 Claude 无需询问您就能检查工作,例如:"test_status.py 中的所有测试都通过"、"截图与所附的设计稿相符",或"该端点返回带有新字段的 200 状态码"。
  4. 对于修复缺陷,先编写失败的测试。让 Claude 将该缺陷复现为一个测试,运行它,并确认它确实因为您预期的原因而失败。提交该测试。只有在此之后,才让 Claude 在不修改该测试的前提下使其通过,并由最后一步中的测试文件钩子来强制执行这一限制。一个在修复之前就已存在、且智能体无法重写的测试,就是缺陷已被消除的证明。
  5. 对于 UI 相关的工作,用视觉检查来闭合这个循环。给 Claude 一个浏览器或截图工具,给它设计稿,让它不断迭代。实现、截图、对比、调整。两到三轮是正常的,而且结果应该一轮比一轮好。
  6. 让验证成为"完成"的一部分。这条指令写在 CLAUDE.md 中:"在报告任务完成之前运行测试,并展示输出结果。"
  7. 最后,这个循环本身也需要被保护,因为正在修复代码的智能体绝不能削弱对该代码的检查。一个在修复任务期间阻止编辑测试文件的钩子可以做到这一点。另一种方案是在审查时检查差异,并拒绝任何涉及测试的改动。

它是什么样子的

CLAUDE.md 验证代码块:

markdown
## Verifying your work

- Build: make build (must finish with "Build succeeded")
- Test: make test (all green; never skip or delete a failing test)
- Lint: make lint (zero warnings)

Run all three before reporting any task complete, and paste the output.
If a test fails, fix the code, not the test.

治理考量

  • 强制执行的内容:任务报告完成之前的验证,以及在修复任务期间阻止智能体编辑测试文件,这两者在组织希望得到保证的地方都以钩子的形式实现。
  • 证据是什么:make test 的原始输出、构建日志,或 Claude 运行并粘贴的截图对比结果,因此证据来自工具链本身。
  • 记录在哪里:记录在会话记录中,该记录通过 OpenTelemetry 导出转发到组织的可观测性系统;同时也记录在 PR 的检查运行中,审查者和之后的任何审计人员都能看到。
  • 谁来批准:审查该 PR 的代码所有者,由于机械性的证据已经附上,他们可以专注于意图和风险。

如何衡量

  • 领先指标:智能体编写的改动的首次通过 CI 成功率,这一点 CI 系统已经支持。
  • 滞后指标:每个 PR 的审查时间(来自 PR 元数据),一旦测试能够捕获以前由审查者捕获的问题,这个时间应该会下降;以及来自事件跟踪系统的变更失败率。