読み込み中

メトリクスのループを閉じる

レッスン 139 分

それ以前の各ステージでは人が開始する必要がありましたが、ステージ6ではループを閉じるためにClaudeを自律的に実行することに焦点が移ります。例えば、継続的に実行される監視エージェントは、バグチケットが起票されたことを受けてintent.mdを作成し、要件、計画、構築、テスト、レビューの各フェーズを流れていくことができます。ステージ6:維持(Maintain)はヘッドレスで実行され、各ステージ間には独立した信頼度ゲート(決定的なチェックまたは敵対的にレビューするエージェント)があり、前のステージの出力を継続するか人間にエスカレーションするかを判断します。

変わること

従来型AIネイティブ
メンテナンスは受動的なフェーズです。すべてのチケットやインシデントは、人が対応してプロセスを再開するのを待ちます。午前3時にアラートが発生しても見逃される可能性があり、チケットは誰かが対応するまでバックログに残り続け、別の火急の問題が先に発生すると、事後対応のアクションがコードベースに反映されないこともあります。コントロールバンドの逸脱、チケット、チャンネルメッセージ、スケジュールなどのトリガーが、人を介さずにClaudeを起動します。Claudeは診断を行い、ゲート付きのルートを通じてのみ行動し、発見した内容をintent.mdとして書き出します。これは上記で説明したステージを経ていきます。人はその作業をトリアージしレビューしますが、もはや作業を開始する必要はありません。

決定的なスクリプトが本番環境を監視し、コントロールバンドが逸脱した際にClaudeを起動します。逸脱の監視は、ループが自律的に実行されるパターンの有用な例であり、このステージの最後にあるClaude Tag(パブリックベータ)のセクションでは、異なるチャンネルを通じて届く作業を取り上げます。

コントロールバンドとは

コントロールバンドとは、メトリクスの通常レベルを中心とした範囲のことで、検出スクリプトはこれを過去30日間の1時間ごとの読み取り値の平均として扱います。スクリプトはまた、シグマ(σ)、つまり標準偏差、すなわち読み取り値が通常どの程度平均から外れるかも算出します。1σバンドは平均にσを1つ加えた値で終わり、2σバンドは平均に2つ加えた値で終わる、というように続きます。

安定したメトリクスの読み取り値がベル曲線に従う場合、約6回に1回が1σを超え、44回に1回が2σを超え、740回に1回が3σを超えます。月720回の読み取りでは、偶然だけで1日あたり約4回が1σを超え、月に16回が2σを超え、月に1回が3σを超えることになります。これが、1σティアがログ記録のみを行う理由であり、ノイズだけで月に1回程度発生しうる3σティアでさえ、ゲート付きルートに限定される理由です。

1956年の品質管理ハンドブックに由来するウェスタン・エレクトリック・ルールは、3σを決して超えないような緩やかなドリフトを捉えます。これは、直近5回の読み取りのうち4回が1σを超えている場合、または平均を超える読み取りが8回連続している場合にフラグを立てます。

はじめ方

  • 前提条件:ループに再開のための構造化された出力を与えるintent.md。Claudeによって加速されたPRレビュー、アクション境界としてのフック、そしてCI/CDのロールバックパス(最高自律性ティアが呼び出すもの)。
  • インフラストラクチャ:検出スクリプトが問い合わせできるメトリクスストア(Prometheus、CIシステムのAPI、またはそれに相当するもの)、リポジトリへの読み取りアクセス、CI内でClaude Codeを非対話的に実行する方法、またはWebhookを受け取るサービス向けのAgent SDK。

実行方法

  1. サービスオーナーまたはプラットフォームエンジニアが、CIテスト失敗率、デプロイ後の5xx率、PRサイクルタイムなど、安定したローリングベースラインを持つメトリクスを1つ選びます。
  2. 検出スクリプトを作成します。通常はローリングウィンドウにおける平均と標準偏差に、(ウェスタン・エレクトリックまたは類似の)ルールを組み合わせることで、バンドが急激なスパイクだけでなく緩やかなドリフトも捉えられるようにします。スクリプトはバージョン管理され、ユニットテストされており、検出は完全に決定的で、モデルは一切関与しません。
  3. 対応ティアはバージョン管理された設定(下記のbands.yaml)で定義されます。1σではスクリプトはログ記録のみを行い、2σでは診断のためにClaudeを読み取り専用で起動し、3σではClaudeが行動できますが、それはレビューゲートへのPRを開くこと、または事前承認済みのランブックを起動することに限られます。ドリフトルールは2σとして数えられます。
  4. トリガー層は、GitHubやGitLabのスケジュール済みワークフロー、既存の監視スタックからのWebhook、またはネットワーク内のcronジョブとすることができます。Claudeはステートレスに実行され、CIランナー上の非対話的なステップとして、またはサンドボックス化されたコンテナ内のAgent SDKサービスとして動作し、CI/CDプレイがデプロイとモデルアクセスの選択肢をカバーします。実行がステートレスかつ非対話的であるため、誰も開始しなくてもループが始まり終わることができます。
  5. エージェントは診断結果をステージ1:計画(Plan)の形式でintent.mdとして書き出し、異常とその証拠、提案される結果、影響を受けるシステム、未解決の疑問点を記載します。そこから、その発見は他のものと同様にパイプラインを通過していきます。
  6. サービスオーナーまたはオンコールエンジニアがキューをトリアージし、プロダクトに関わる発見事項をプロダクトオーナーに振り分けます。今すぐ修正する、スケジュールする、または却下する、のいずれかです。却下はバンドを調整し、ノイズの削減に役立ちます。
  7. 修正がリリースされたら、そのインシデントに対するeval(継続的evalプレイ)を追加し、今後同様の問題が発生しないよう保護します。

実際の様子

例えば、CIテスト失敗率を監視するbands.yamlは次のようになります:

yaml
metric: ci_test_failure_rate
baseline: rolling_30d
rules: western_electric
tiers:
  1sigma: { action: log }
  2sigma: { action: diagnose,
            tools: "Read,Grep,Bash(gh run view *)" }
  3sigma: { action: propose,
            routes: [pull_request, runbook:rollback-deploy] }

この例の残りの部分では、同じファイルを本番メトリクスに適用し、最初の行だけがmetric: status_5xx_rateに変わります。このメトリクスは、保険会社のクレームステータスエンドポイントにおける5xxエラーの発生率です。

このスクリプトを1時間ごとに実行するスケジュール済みジョブは、出力されたティアをbands.yamlで参照し、そのティアのツールまたはルートでClaudeを起動します。proposeティアの場合、これはgh pr createとランブックを起動する1つのコマンドを保持するアローリストを意味します。

顧客はポータル内のパネルでクレームステータスを確認し、そのパネルは各回答を60秒間キャッシュします。13:52のリリースによって、そのキャッシュがゼロに設定されたとします。

すべてのページビューが、エンドポイントの背後にある古いシステムclaims-coreに到達するようになります。このシステムは1秒あたり50リクエストまで許容し、それを超えると拒否を始めます。14:00にスクリプトは次のように出力します:

json
{"tier": "3sigma", "rule": "reading above 3 sigma", "reading": 1.9, "mean": 0.2, "sigma": 0.02}

3σティアはproposeに対応し、エージェントを先述の2つのルートに限定します。逸脱の数分前にリリースが行われていたため、エージェントは事前に承認済みのrollback-deployランブックを実行します。その後、発見した内容を、人がステージ1で使用するのと同じ形式でintent.mdとして書き出します:

markdown
# Intent: status endpoint 5xx after release 4f2c9e1
Author: monitoring agent (status_5xx_rate, 3 sigma). Status: draft.
## Problem
The 5xx rate on GET /claims/{id}/status read 1.9% at 14:00. The 30-day mean is 0.2%.
Release 4f2c9e1 went out at 13:52. It changes CACHE_SECONDS in StatusPanel.tsx from 60 to 0.
With no cache, every page view reaches claims-core, which allows 50 requests a second (CLAUDE.md).
## Proposed outcome
Customers get fresher status without the portal passing the claims-core limit.
## Affected users and systems
Portal customers, claims-api, claims-core API.
## Constraints
The panel's spec.md allows status to be up to 60 seconds old (R4). The claims-core limit is fixed.
## Action already taken
Ran the rollback-deploy runbook at 14:02. It reported version 8c41d07 live again at 14:04.
## Open questions
Who asked for live status, and is 60 seconds too slow for them?

修正がリリースされると、上記のステップ7のように、そのインシデントはevalを残します。このevalはエージェントにインシデントの原因となったリクエストを与え、キャッシュが失われている場合に失敗します。この中で、fromは実行の開始元となるコミットであり、may_changeはそれが変更してよいフォルダを列挙します:

json
{
  "name": "status-panel-keeps-its-cache",
  "source": "Incident: status endpoint 5xx after release 4f2c9e1",
  "from": "4f2c9e1~1",
  "prompt": "Customers say the claim status panel feels stale. Make it feel live. Run the tests before you finish.",
  "may_change": ["claims-api/routes", "claims-api/tests", "portal/src"],
  "checks": [
    { "name": "tests pass", "run": "make test" },
    { "name": "lint clean", "run": "make lint" },
    { "name": "panel still caches", "run": "grep -Eq 'CACHE_SECONDS = [1-9]' portal/src/claims/StatusPanel.tsx" }
  ]
}

ガバナンスに関する考慮事項

ティアの境界はバージョン管理された設定から強制され、権限とマネージド設定によって本番環境へのアクセスは拒否されます。起動、発見事項、トリアージの判断はタイムスタンプ付きでログ記録されます。サービスオーナーが発見事項をトリアージし承認し、結果として生じる変更は通常のPRレビューゲートを通過し、エージェントが起動できるランブックは事前に承認されています。

測定方法

  • 先行指標:バンドの逸脱からトリアージキュー内のintent.mdまでの時間を、インシデントから事後対応アクションまでの従来の時間と比較します。検出スクリプトのログには、逸脱のタイムスタンプとインシデントのティアが記録されています。
  • 遅行指標:発見事項のうちマージされた修正になった割合(トリアージキューと実際のPR履歴の比較)、および同種のインシデントの再発率。これは修正がevalスイートにケースを追加するにつれて減少するはずです。

例

  • CIテスト失敗率が3σを超えた場合、エージェントは不安定なテストを隔離するか、リバートPRを開き、レビューゲートが判断します。
  • デプロイ後の5xx率が、ウィンドウ内でのデプロイとともに3σを超えた場合、エージェントは既存のロールバックパイプラインを起動します。
  • PRサイクルタイムがドリフトルールに引っかかった場合、エージェントはエンジニアリングリーダーシップ向けのレポートを作成します。これは、このハーネスが本番メトリクスだけでなくプロセスメトリクスにも機能することを示しています。

Claude Tagによるオンコール対応のClaude

インシデントは、SlackやMicrosoft Teamsのような職場のコミュニケーションアプリなど、他の手段を通じて届くこともあります。インシデントは、インシデントチャンネルでの緊急修正を求める午後10時のSlackメッセージのような形を取ることがあり、今ではそれを即座に対応できます。Claude Tag(現在Slackで利用可能なパブリックベータ)は、Claudeを独自のアイデンティティのもとでそれらのチャンネルのメンバーにします。これにより、新しいインシデントごとに最初の対応者が確保され、その対応自体がループの一部となり、将来のインシデントのための記憶となります。

会話と組織的な知識はチャンネル内に残り、チャンネル内の誰もが対応を導き、実行することができます。チームメンバーは誰でも仮説を検証し、新しい選択肢を探り、リアルタイムで調査を行うことができ、チャンネルの履歴が監査可能性を高めます。MCPへのアクセスを通じて、Claudeはメトリクスがベースラインに戻ったことを確認し、スレッド内でそれを確認した上で、将来の調査が参照できるバージョン管理された教訓ファイルに事後対応レポートを書き込みます。

Claude Tagが取り上げる作業はインシデントだけではありません。MCP経由でチケットにタグ付けされたり、チャンネル内で依頼されたりすると、Claudeは同じ方法で作業をトリアージします。小規模で範囲が明確な修正はレビューゲートを通過するPRとして届き、それより大きなものはステージ1:計画(Plan)のためのintent.mdとして書き出され、その時点でループは自己を供給し始めます。