読み込み中

Evals入門

精度を最優先、コストを次点としてClaudeモデルを選ぶために、自分のデータで 小さなEvalを構築し、モデルをアップグレードする前にプロンプトを修正し、 ローンチ後も継続的にチェックする方法を学びます。

1 時間1 クイズ
学習内容このコースを終えると、次のことができるようになります
  • 誤った回答1件のコストから精度の下限(フロア)を設定する
  • 完了したタスクあたりのコストで、その下限をクリアする中で最もコストの低いモデルを選ぶ
  • 期待される回答付きで、自分のデータから小規模なケースセットを構築する
  • 完全一致のフィールドはコードで採点し、自由記述のテキストはLLM判定者とルーブリックで採点する
  • モデルをアップグレードする前に、失敗したケースからプロンプトを修正する
  • プルリクエストでのスモークEvalのスコアが低すぎる場合はマージをブロックする
  • 誰も待っていないときにBatch APIで完全なスイートを実行する
  • 本番トラフィックの夜間サンプルを採点してドリフトを検知する

公開されているモデル比較は、あなたのプロンプトを見たことがありません。Evalとは、自分自身のケースに対するテストであり、そこから判断するための数値を与えてくれるものです。4つの主要なレッスンはそれぞれ短い動画を紹介した後、架空のエンジニアリングコンサルティング会社であるMeridianが1つのプロンプトに対してEvalを構築し実行する様子を示します。そのうち3つのレッスンでは、各作業を行うコード、プロンプト、またはワークフローファイルの該当行を確認できます。ダウンロードできるスクリプトはありません。その後、同じ方法で自分自身のEvalを構築します。最終的には、根拠に基づいてモデルとプロンプトを選び、ローンチ後も継続的にチェックできるようになります。採点付きクイズに合格すると、修了バッジを獲得できます。

このコースの対象者

動作するプロンプトはあるが、採点可能なEvalがない場合、このコースはあなたに向いています。レッスンでは、Messages APIへの1回の呼び出しとして実行されるプロンプトのみを扱います。エージェントの評価やレイテンシの測定は扱いません。

前提条件

Messages APIを呼び出してレスポンスを読み取れない場合は、先にClaude Platform 101を受講してください。コードはPythonで記述されており、「本番環境でのEvals」レッスンにはYAMLで書かれたGitHub Actionsワークフローが1つ含まれます。それらを読めれば十分です。そのレッスンでは、プルリクエストとCIチェックについて知っていることを前提としています。自分自身のEvalには、Claude Consoleアカウント、APIキー、そして期待される回答付きの実際の入力が必要です。