公開されているモデル比較は、あなたのプロンプトを見たことがありません。Evalとは、自分自身のケースに対するテストであり、そこから判断するための数値を与えてくれるものです。4つの主要なレッスンはそれぞれ短い動画を紹介した後、架空のエンジニアリングコンサルティング会社であるMeridianが1つのプロンプトに対してEvalを構築し実行する様子を示します。そのうち3つのレッスンでは、各作業を行うコード、プロンプト、またはワークフローファイルの該当行を確認できます。ダウンロードできるスクリプトはありません。その後、同じ方法で自分自身のEvalを構築します。最終的には、根拠に基づいてモデルとプロンプトを選び、ローンチ後も継続的にチェックできるようになります。採点付きクイズに合格すると、修了バッジを獲得できます。
このコースの対象者
動作するプロンプトはあるが、採点可能なEvalがない場合、このコースはあなたに向いています。レッスンでは、Messages APIへの1回の呼び出しとして実行されるプロンプトのみを扱います。エージェントの評価やレイテンシの測定は扱いません。
前提条件
Messages APIを呼び出してレスポンスを読み取れない場合は、先にClaude Platform 101を受講してください。コードはPythonで記述されており、「本番環境でのEvals」レッスンにはYAMLで書かれたGitHub Actionsワークフローが1つ含まれます。それらを読めれば十分です。そのレッスンでは、プルリクエストとCIチェックについて知っていることを前提としています。自分自身のEvalには、Claude Consoleアカウント、APIキー、そして期待される回答付きの実際の入力が必要です。