加载中

在此之前的每个阶段都需要有人来启动,而第六阶段将重点转向自主运行 Claude 以实现闭环。例如,一个持续运行的监控代理可以在错误工单被提出后,创建一个 intent.md,并流经需求、计划、构建、测试和审查阶段。第六阶段:维护以无头方式运行,各阶段之间设有独立的置信度关卡——一个确定性检查或一个对抗性审查代理——来决定上一阶段的输出是继续推进还是升级给人工处理。

发生了哪些变化

传统方式AI 原生方式
维护是一个被动响应的阶段。所有工单或事件都要等待有人来处理并重新启动流程。凌晨3点触发的警报可能被错过,工单可能一直积压在待办列表中直到有人处理,而如果又发生了另一场"火灾",事后复盘的行动项甚至可能根本无法落实到代码库中。诸如控制带突破、工单、频道消息或计划任务之类的触发器会在无需人工介入的情况下调用 Claude。Claude 进行诊断,仅通过受控路径采取行动,并将其发现写成 intent.md,然后经过上述各个阶段。人们对这些工作进行分类和审查,而不再需要去启动它。

一个确定性脚本监控生产环境,并在控制带被突破时调用 Claude。对突破情况的监控是该循环自主运行模式的一个有用示例,而本阶段末尾的 Claude Tag(公开测试版)部分则涵盖了通过不同渠道到达的工作。

什么是控制带

控制带是围绕某个指标正常水平的一个范围,检测脚本将其定义为过去30天每小时读数的平均值。该脚本还会计算出 sigma(σ),即标准差,也就是读数通常偏离平均值的程度。1σ 带的上限为平均值加一个 σ,2σ 带的上限为平均值加两个 σ,依此类推。

如果一个稳定指标的读数遵循钟形曲线,那么大约每六个读数中就有一个超过 1σ,每44个中有一个超过 2σ,每740个中有一个超过 3σ。按每月720个读数计算,仅凭随机波动,每天大约会有四个读数超过 1σ,每月约16个超过 2σ,每月约一个超过 3σ。这就是为什么 1σ 层级只记录日志,而即使是仅凭噪声每月也会触发约一次的 3σ 层级,也要受限于受控路径。

源自1956年一本质量控制手册的 Western Electric 规则,能够捕捉到可能永远不会超过 3σ 的缓慢漂移。它们会标记出最近五个读数中有四个超过 1σ,或连续八个读数都高于平均值的情况。

入门准备

  • 前提条件:intent.md,它为循环提供了一个可用于重新启动的结构化输出。由 Claude 加速的 PR 审查、作为行动边界的 hooks,以及 CI/CD 的回滚路径(由最高自主层级调用)。
  • 基础设施:检测脚本可以查询的指标存储(Prometheus、CI 系统的 API 或等效工具)、对代码仓库的读取权限、在 CI 中以非交互方式运行 Claude Code 的方法,或者用于接收 webhook 的服务所需的 Agent SDK。

如何执行

  1. 服务负责人或平台工程师选择一个具有稳定滚动基线的指标,例如 CI 测试失败率、部署后 5xx 错误率或 PR 周期时间。
  2. 他们编写检测脚本,通常是在滚动窗口上计算平均值和标准差,并配合规则(Western Electric 或类似规则),使控制带既能捕捉到缓慢漂移,也能捕捉到突增。该脚本受版本控制并经过单元测试,检测过程完全保持确定性,不涉及任何模型。
  3. 响应层级在受版本控制的配置中定义(见下方的 bands.yaml)。在 1σ 时,脚本只记录日志;在 2σ 时,它会以只读方式调用 Claude 进行诊断;在 3σ 时,Claude 可以采取行动,但仅限于向审查关卡提交 PR 或触发预先批准的运行手册。漂移规则计为 2σ。
  4. 触发层可以是 GitHub 或 GitLab 中的计划工作流、来自现有监控堆栈的 webhook,或网络内部的 cron 任务。Claude 以无状态方式运行,既可以作为 CI 运行器上的非交互步骤,也可以作为沙盒容器中的 Agent SDK 服务,而 CI/CD 方案则涵盖了部署和模型访问选项。由于运行是无状态且非交互的,一个循环可以在无人启动的情况下开始和结束。
  5. 代理将其诊断结果以 第一阶段:计划 的格式写成 intent.md,内容涵盖异常情况及其证据、建议的结果、受影响的系统以及任何未解决的问题。从那里开始,该发现会像其他任何事项一样经过整个流程。
  6. 服务负责人或值班工程师对队列进行分类,将面向产品的发现路由给产品负责人。立即修复、安排计划,或驳回。驳回操作会调整控制带,有助于减少噪声。
  7. 当修复上线后,为该事件添加一个评估(持续评估方案),以确保此类问题在未来得到防范。

实际效果

例如,一个监控 CI 测试失败率的 bands.yaml:

yaml
metric: ci_test_failure_rate
baseline: rolling_30d
rules: western_electric
tiers:
  1sigma: { action: log }
  2sigma: { action: diagnose,
            tools: "Read,Grep,Bash(gh run view *)" }
  3sigma: { action: propose,
            routes: [pull_request, runbook:rollback-deploy] }

本示例的其余部分将同一文件应用于一个生产指标,只有第一行发生变化,改为 metric: status_5xx_rate。该指标是某保险公司理赔状态端点上的 5xx 错误率。

每小时运行该脚本的计划任务会在 bands.yaml 中查找打印出的层级,并以该层级对应的工具或路径启动 Claude。对于 propose 层级,这意味着一个允许列表,其中包含 gh pr create 以及触发运行手册的那一条命令。

客户在门户网站的一个面板中查看理赔状态,该面板会将每个答案缓存60秒。假设在13:52发布的一个版本将该缓存设置为零。

现在每次页面浏览都会到达 claims-core,即该端点背后的旧系统。它每秒最多允许50个请求,并开始拒绝超出的请求。14:00时,脚本打印出:

json
{"tier": "3sigma", "rule": "reading above 3 sigma", "reading": 1.9, "mean": 0.2, "sigma": 0.02}

3σ 层级对应 propose,它将代理限制在所列的两条路径之内。由于在突破发生前几分钟刚发布了一个版本,代理运行了事先批准的 rollback-deploy 运行手册。随后,它将所发现的内容以第一阶段中人工会使用的相同格式写成 intent.md:

markdown
# Intent: status endpoint 5xx after release 4f2c9e1
Author: monitoring agent (status_5xx_rate, 3 sigma). Status: draft.
## Problem
The 5xx rate on GET /claims/{id}/status read 1.9% at 14:00. The 30-day mean is 0.2%.
Release 4f2c9e1 went out at 13:52. It changes CACHE_SECONDS in StatusPanel.tsx from 60 to 0.
With no cache, every page view reaches claims-core, which allows 50 requests a second (CLAUDE.md).
## Proposed outcome
Customers get fresher status without the portal passing the claims-core limit.
## Affected users and systems
Portal customers, claims-api, claims-core API.
## Constraints
The panel's spec.md allows status to be up to 60 seconds old (R4). The claims-core limit is fixed.
## Action already taken
Ran the rollback-deploy runbook at 14:02. It reported version 8c41d07 live again at 14:04.
## Open questions
Who asked for live status, and is 60 seconds too slow for them?

当修复上线后,该事件会留下一个评估,如上文第7步所述。该评估会向代理提供导致该事件的请求,如果缓存消失则判定失败。其中,from 是运行开始所基于的提交,may_change 列出了它可以修改的文件夹:

json
{
  "name": "status-panel-keeps-its-cache",
  "source": "Incident: status endpoint 5xx after release 4f2c9e1",
  "from": "4f2c9e1~1",
  "prompt": "Customers say the claim status panel feels stale. Make it feel live. Run the tests before you finish.",
  "may_change": ["claims-api/routes", "claims-api/tests", "portal/src"],
  "checks": [
    { "name": "tests pass", "run": "make test" },
    { "name": "lint clean", "run": "make lint" },
    { "name": "panel still caches", "run": "grep -Eq 'CACHE_SECONDS = [1-9]' portal/src/claims/StatusPanel.tsx" }
  ]
}

治理考量

层级边界由受版本控制的配置强制执行,权限和受管理的设置会拒绝生产环境访问。调用、发现和分类决策都会带有时间戳被记录下来。服务负责人对发现进行分类和批准,产生的变更会经过正常的 PR 审查关卡,而代理可能触发的运行手册都是事先批准的。

如何衡量

  • 领先指标:从控制带突破到分类队列中出现 intent.md 所需的时间,与以往从事件发生到事后复盘行动所需的时间相比较。检测脚本的日志中记录了事件的突破时间戳和层级。
  • 滞后指标:转化为已合并修复的发现所占的比例(将分类队列与实际 PR 历史进行比较),以及同类事件的重复发生率,随着修复为评估套件增加案例,该比例应会下降。

示例

  • 当 CI 测试失败率突破 3σ 时,代理会隔离不稳定的测试或提交一个回退 PR,由审查关卡做出决定。
  • 当部署后 5xx 错误率在窗口期内有部署发生并突破 3σ 时,代理会触发现有的回滚流水线。
  • 当 PR 周期时间触发漂移规则时,代理会为工程领导层撰写一份报告,这表明该框架不仅适用于生产指标,也同样适用于流程指标。

通过 Claude Tag 实现 Claude 随时待命

事件也可以通过其他方式到达,例如 Slack 或 Microsoft Teams 等工作场所通讯应用。事件可能表现为晚上10点在事件频道中发出的一条要求紧急修复的 Slack 消息,而现在这类消息可以立即得到处理。Claude Tag(目前在 Slack 中提供公开测试版)让 Claude 以自己的身份成为这些频道的成员,因此每个新事件都会有一个首位响应者,而响应本身也会成为循环的一部分,并成为未来事件的记忆。

对话和机构知识都保留在该频道中,频道中的任何人都可以指导和推动响应。任何团队成员都可以实时测试假设、探索新方案并进行调查,而频道历史记录也增加了可审计性。通过访问 MCP,Claude 会验证指标是否已恢复到基线水平,并在该话题中予以确认,然后将事后复盘内容写入一个受版本控制的经验教训文件,供未来的调查参考。

事件并不是 Claude Tag 所承接的唯一工作。无论是通过 MCP 在工单上被标记,还是在频道中被询问,Claude 都会以同样的方式对工作进行分类。规模小且边界清晰的修复会以 PR 的形式经过审查关卡,而更大的工作则会被写成 第一阶段:计划 所需的 intent.md,此时循环便开始自我驱动。