読み込み中

一般的な評価ワークフロー

レッスン 1010 分
読み込み中

一般的なプロンプト評価ワークフローは、客観的な測定を通じてプロンプトを体系的に改善するのに役立つ5つの主要なステップに従います。このようなワークフローを組み立てる方法は数多くあり、さまざまなオープンソースや有料のツールも利用可能ですが、中核となるプロセスを理解することで、小さく始めて必要に応じて規模を拡大できます。

プロンプト評価ワークフローの5つのステップ(プロンプトの下書きからプロンプトを変更して繰り返すまで)で、以下に説明されています。

ステップ1: プロンプトを下書きする

まず、改善したい最初のプロンプトを書きます。この例では、シンプルなプロンプトを使用します。

python
prompt = f"""
Please answer the user's question:

{question}
"""

上記の初期プロンプトのドラフトと、それが効果的かどうかは客観的に評価するまでわからないという注記。

このシンプルなプロンプトが、テストと改善のためのベースラインとして機能します。

ステップ2: 評価データセットを作成する

評価データセットには、プロンプトが本番環境で処理する質問やリクエストの種類を表すサンプル入力が含まれます。このデータセットには、プロンプトテンプレートに補間される質問を含める必要があります。

評価データセットを作成するステップにおける評価ワークフロー。「Question」列には以下に記載の3つの質問が含まれます。

この例では、データセットには3つの質問が含まれています。

  • 「2+2は何ですか?」
  • 「オートミールの作り方は?」
  • 「月までの距離はどれくらいですか?」

実際の評価では、数十、数百、あるいは数千件のレコードを使用することもあります。これらのデータセットは手作業で組み立てることも、Claudeに生成させることもできます。

ステップ3: Claudeに通す

データセットから各質問を取り出し、プロンプトテンプレートと統合して完全なプロンプトを作成します。次に、それぞれをClaudeに送信して応答を取得します。

質問のプレースホルダーを含むプロンプト、「2+2は何ですか?」などの3つのテスト質問、そして「2 + 2 = 4」などのClaudeの応答。

例えば、最初の質問は次のようになります。

Please answer the user's question:
What's 2+2?

Claudeは、数学の質問には「2 + 2 = 4」と応答し、2番目の質問にはオートミールの調理手順を示し、3番目の質問には月までの距離を答えるかもしれません。

ステップ4: グレーダーに通す

グレーダーは、元の質問とClaudeの回答の両方を検討することで、Claudeの応答の品質を評価します。このステップでは客観的なスコアリングが行われ、通常1から10のスケールで、10が完璧な回答を表し、低いスコアは改善の余地があることを示します。

評価パイプラインのグレーダー段階がハイライトされ、3組の質問と回答がグレーダーに渡され、それぞれ10、4、9とスコアが付けられています。

この例では、グレーダーは次のように採点するかもしれません。

  • 数学の質問: 10(完璧な回答)
  • オートミールの質問: 4(改善が必要)
  • 月の質問: 9(非常に良い回答)

すべての質問における平均スコアは、客観的な測定値を示します:(10 + 4 + 9) ÷ 3 = 7.66

ステップ5: プロンプトを変更して繰り返す

ベースラインスコアが得られたので、プロンプトを修正してプロセス全体を再度実行し、変更がパフォーマンスを改善するかどうかを確認できます。

5ステップの評価ワークフローで、最後のステップ「プロンプトを変更して繰り返す」がハイライトされ、以下に修正後のプロンプトが示されています。

例えば、プロンプトに追加のガイダンスを加えるとします。

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

この改善したプロンプトを同じ評価プロセスに通した後、8.7というより高い平均スコアが得られ、追加の指示がClaudeがより良い応答を提供するのに役立ったことを示しているかもしれません。

プロンプトのスコアリング

このワークフローの主な利点は、プロンプトのパフォーマンスを客観的に測定できることです。以下のことができます。

  • 異なるプロンプトのバージョンを数値で比較する
  • 最良のスコアのバージョンを使用する
  • さらに優れたアプローチを見つけるために反復を続ける

プロンプトv1は7.66、そして「質問に十分詳細に答えてください」を追加したプロンプトv2は8.7とスコア付けされています。

この体系的なアプローチは、プロンプトエンジニアリングから当て推量を排除し、変更が単なる異なるバリエーションではなく、実際に改善であるという確信を与えてくれます。