始终为 Claude 提供一种验证自己工作的方式,无论是测试、构建,还是截图对比。一个会话会在工程师看到之前,检查自己的工作并修正自己的错误。
反馈循环不应与验证者子代理(阶段 3:构建)混淆。反馈循环会在整个任务中按需运行任意多次。而验证者子代理则是在会话认为工作已完成后,通过运行一个全新的上下文窗口来打包最终检查的一种方式。这样一来,判定结果就不会受到产生该代码时所做假设的影响。
发生了什么变化
| 传统方式 | AI 原生方式 |
|---|---|
| 代码能否正常工作的信号来得很晚。CI 要等几分钟后,测试人员要等几天后,生产环境要等几周后。当由智能体生成代码时,信号延迟意味着必须有人检查其全部输出,而这个人就会成为瓶颈。 | 会话被赋予了一种在有人看到之前检查自己工作的方式。运行测试、运行构建、截取屏幕截图。Claude 会不断迭代,直到检查通过,因此送达工程师手中的内容已经通过了检查。搭建这个循环的任务落在运行该会话的工程师身上,下面的步骤就是为他们而写的。 |
入门指南
- 前提条件:无。
- 基础设施:一个可以用一条命令在本地运行的测试套件和构建流程。对于 UI 相关的工作,让 Claude 能够看到结果至关重要,可以是浏览器工具,也可以是通过 MCP 接入的截图工具。
如何执行
- 如果今天检查工作需要一连串命令和一些环境知识,请将其封装成一个单一目标,例如
make test或npm test,在失败时以非零状态退出。 - 在
CLAUDE.md的 Commands 部分,列出每条命令,并附上一个健康输出的示例。 - 设定一个目标,并使其可量化,以便 Claude 无需询问您就能检查工作,例如:"
test_status.py中的所有测试都通过"、"截图与所附的设计稿相符",或"该端点返回带有新字段的 200 状态码"。 - 对于修复缺陷,先编写失败的测试。让 Claude 将该缺陷复现为一个测试,运行它,并确认它确实因为您预期的原因而失败。提交该测试。只有在此之后,才让 Claude 在不修改该测试的前提下使其通过,并由最后一步中的测试文件钩子来强制执行这一限制。一个在修复之前就已存在、且智能体无法重写的测试,就是缺陷已被消除的证明。
- 对于 UI 相关的工作,用视觉检查来闭合这个循环。给 Claude 一个浏览器或截图工具,给它设计稿,让它不断迭代。实现、截图、对比、调整。两到三轮是正常的,而且结果应该一轮比一轮好。
- 让验证成为"完成"的一部分。这条指令写在
CLAUDE.md中:"在报告任务完成之前运行测试,并展示输出结果。" - 最后,这个循环本身也需要被保护,因为正在修复代码的智能体绝不能削弱对该代码的检查。一个在修复任务期间阻止编辑测试文件的钩子可以做到这一点。另一种方案是在审查时检查差异,并拒绝任何涉及测试的改动。
它是什么样子的
CLAUDE.md 验证代码块:
markdown
## Verifying your work
- Build: make build (must finish with "Build succeeded")
- Test: make test (all green; never skip or delete a failing test)
- Lint: make lint (zero warnings)
Run all three before reporting any task complete, and paste the output.
If a test fails, fix the code, not the test.治理考量
- 强制执行的内容:任务报告完成之前的验证,以及在修复任务期间阻止智能体编辑测试文件,这两者在组织希望得到保证的地方都以钩子的形式实现。
- 证据是什么:
make test的原始输出、构建日志,或 Claude 运行并粘贴的截图对比结果,因此证据来自工具链本身。 - 记录在哪里:记录在会话记录中,该记录通过 OpenTelemetry 导出转发到组织的可观测性系统;同时也记录在 PR 的检查运行中,审查者和之后的任何审计人员都能看到。
- 谁来批准:审查该 PR 的代码所有者,由于机械性的证据已经附上,他们可以专注于意图和风险。
如何衡量
- 领先指标:智能体编写的改动的首次通过 CI 成功率,这一点 CI 系统已经支持。
- 滞后指标:每个 PR 的审查时间(来自 PR 元数据),一旦测试能够捕获以前由审查者捕获的问题,这个时间应该会下降;以及来自事件跟踪系统的变更失败率。