読み込み中

Claudeにフィードバックループを与える

レッスン 84 分

常にClaudeに、テスト、ビルド、スクリーンショットの差分など、自分の作業を検証する方法を与えてください。セッションはエンジニアが確認する前に、自分の作業をチェックし、自分の間違いを修正します。

フィードバックループは、検証サブエージェント(ステージ3:ビルド)と混同すべきではありません。フィードバックループは、作業に必要な回数だけタスク全体を通して実行されます。一方、検証サブエージェントは、セッションが作業完了と判断した時点で新しいコンテキストウィンドウを実行することで、最終チェックをパッケージ化する一つの方法です。これにより、判定がコードを生成した前提に左右されることがなくなります。

変わること

従来型AIネイティブ
コードが機能しているというシグナルは遅れて届きます。CIなら数分後、テスターなら数日後、本番環境なら数週間後です。エージェントがコードを生成する場合、シグナルが遅れるということは、人がその出力すべてを確認しなければならないことを意味し、その人がボトルネックになります。セッションには、人が確認する前に自分の作業をチェックする方法が与えられます。テストを実行し、ビルドを実行し、スクリーンショットを撮ります。Claudeはチェックに合格するまで反復するため、エンジニアに届くものはすでにそのチェックに合格しています。ループの設定はセッションを実行するエンジニアの役割であり、以下の手順はそのエンジニア向けに書かれています。

はじめに

  • 前提条件:なし。
  • インフラストラクチャ:それぞれ1つのコマンドでローカルに実行できるテストスイートとビルド。UI作業の場合、Claudeが結果を確認できる方法が不可欠であり、ブラウザツールかMCP経由で組み込まれたスクリーンショットユーティリティのいずれかが必要です。

実行方法

  1. 現在、作業の確認に一連のコマンドと環境に関する知識が必要な場合は、失敗時に非ゼロで終了するmake testやnpm testのような単一のターゲットにまとめてください。
  2. CLAUDE.mdのCommandsセクションに、各コマンドを正常な出力例とともに記載してください。
  3. 目標を明示し、それを定量化可能にすることで、Claudeがあなたに尋ねることなく作業を確認できるようにしてください。例えば、「test_status.py内のすべてのテストが合格する」「スクリーンショットが添付のモックと一致する」「エンドポイントが新しいフィールドとともに200を返す」などです。
  4. バグ修正の場合は、まず失敗するテストを書いてください。Claudeにバグをテストとして再現させ、それを実行し、想定した理由で失敗することを確認させます。そのテストをコミットします。その後初めて、Claudeにテストを編集せずにそれを合格させるよう依頼し、最終ステップのテストファイルフックでその制約を強制します。修正前から存在し、エージェントが書き換えられなかったテストは、バグが解消されたことの証明になります。
  5. UI作業の場合は、視覚的なチェックでループを閉じてください。Claudeにブラウザまたはスクリーンショットツールを与え、モックを渡し、反復させます。実装し、スクリーンショットを撮り、比較し、調整します。2〜3回の反復が通常であり、結果は回を重ねるごとに改善するはずです。
  6. 検証を「完了」の一部にしてください。その指示はCLAUDE.mdに記載します:「タスク完了を報告する前にテストを実行し、出力を示してください」。
  7. 最後に、ループ自体を保護する必要があります。コードを修正するエージェントが、そのコードに対するチェックを弱めることができてはならないからです。修正タスク中にテストファイルへの編集をブロックするフックがこれを実現します。代替策としては、レビューで差分を確認し、テストに触れる変更を拒否することです。

実際の様子

CLAUDE.mdの検証ブロック:

markdown
## Verifying your work

- Build: make build (must finish with "Build succeeded")
- Test: make test (all green; never skip or delete a failing test)
- Lint: make lint (zero warnings)

Run all three before reporting any task complete, and paste the output.
If a test fails, fix the code, not the test.

ガバナンス上の考慮事項

  • 強制されること:タスクが完了と報告される前の検証、および修正中にエージェントがテストファイルを編集することのブロック。どちらも、組織が保証を求める場合はフックとして実装されます。
  • 証拠となるもの:Claudeが実行して貼り付けたmake testの実際の出力、ビルドログ、またはスクリーンショットの差分であり、証拠はツールチェーンから得られます。
  • 記録される場所:セッションのトランスクリプト内(OpenTelemetryエクスポートが組織のオブザーバビリティスタックに転送します)、およびPRのチェック実行内(レビュアーと後の監査者の両方が確認できます)。
  • 承認者:PRをレビューするコードオーナーであり、機械的な証拠がすでに添付されているため、意図とリスクに集中できます。

測定方法

  • 先行指標:エージェントが書いた変更の初回CI成功率であり、CIシステムがすでにサポートしています。
  • 遅行指標:PRごとのレビュー時間(PRメタデータから取得)。テストがレビュアーが従来捕捉していたものを捕捉するようになれば低下するはずです。また、インシデントトラッカーからの変更失敗率。