読み込み中

典型的な評価ワークフロー

レッスン 118 分
読み込み中

典型的なプロンプト評価ワークフローは、客観的な測定を通じてプロンプトを体系的に改善するのに役立つ5つの重要なステップに従います。これらのワークフローを構築する方法は多岐にわたり、さまざまなオープンソースおよび有料のツールが利用可能ですが、中核となるプロセスを理解しておくことで、小さく始めて必要に応じて拡大していくことができます。

プロンプトの起草から、プロンプトを変更して繰り返すところまで、以下で説明するプロンプト評価ワークフローの5つのステップ。

ステップ1:プロンプトを起草する

改善したい初期プロンプトを作成することから始めます。この例では、シンプルなプロンプトを使用します。

python
prompt = f"""
Please answer the user's question:

{question}
"""

上記に示した初期プロンプトの草稿。客観的に評価するまでは、それが効果的かどうかわからないという注記付き。

このシンプルなプロンプトが、テストと改善のためのベースラインとして機能します。

ステップ2:評価データセットを作成する

評価データセットには、プロンプトに入力するサンプル入力が含まれます。私たちのプロンプトには入力が1つ(ユーザーの質問)しかないため、テストに使用するさまざまな質問のコレクションが必要です。

「評価データセットを作成する」ステップにおける評価ワークフロー:以下に示す3つの質問を保持する「Question」カラム。

データセットには、プロンプトとマージする質問が含まれています。これらのデータセットは手作業で作成することも、Claudeを使って生成することもできます。実際の評価では、数十、数百、あるいは数千もの異なるレコードがあるかもしれませんが、この例では3つの質問から始めます。

  • What's 2+2?
  • How do I make oatmeal?
  • How far away is the Moon?

ステップ3:Claudeに通す

データセットから各質問を取り出し、プロンプトテンプレートとマージして完全なプロンプトを作成します。そして、それぞれをClaudeに送信し、応答を収集します。

質問のプレースホルダーを含むプロンプト、「What's 2+2?」などの3つのテスト質問、そして「2 + 2 = 4」などのClaudeの返答。

例えば、最初の質問は完全なプロンプトとなり、Claudeがそれを処理して「2 + 2 = 4」のような答えを返します。データセット内のすべての質問についてこのプロセスを繰り返し、質問と回答のペアのコレクションを構築します。

ステップ4:グレーダーに通す

ここで、Claudeの応答の品質を客観的に測定するという重要なステップが登場します。質問と回答のペアをそれぞれ取り出し、応答を採点するグレーダーに入力します。

評価パイプラインのグレーダー段階がハイライトされている:3組の質問と回答のペアがグレーダーに渡され、10、4、9と採点される。

グレーダーは回答の品質に基づいて(通常1〜10の)スコアを割り当てます。

  • 10 = 改善の余地がない完璧な回答
  • 4 = 妥当ではあるが明らかに改善の余地がある
  • それより低いスコアは質の低い応答を示す

すべての応答を採点した後、スコアを平均します。この例では、10、4、9というスコアの平均は7.66となり、プロンプトのパフォーマンスの客観的な測定値が得られます。

4つの評価段階すべて。グレーダーが「Add hot water to dry oatmeal.」などの回答を採点し、スコアを平均している。

ステップ5:プロンプトを変更して繰り返す

ベースラインのスコアが確立できたら、今度はプロンプトを変更し、プロセス全体を再度実行して、変更によってパフォーマンスが改善されるかどうかを確認できます。

5つのステップからなる評価ワークフロー。最後のステップ「プロンプトを変更して繰り返す」がハイライトされ、下に修正後のプロンプトが示されている。

例えば、より具体的な指示を追加することで、元のプロンプトを強化することができます。

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

プロンプトの採点

このワークフローの強みは、プロンプトのパフォーマンスに関する客観的な測定値を得られる点にあります。異なるバージョンのプロンプト間でスコアを比較し、どちらがより優れた性能を発揮するかを判断できます。

プロンプトv1は7.66点、「Answer the question with ample detail」を追加したプロンプトv2は8.7点と採点された。

この例では:

  • プロンプトv1は7.66点
  • プロンプトv2は8.7点

v2のより高いスコアは、「Answer the question with ample detail」を追加したことでプロンプトのパフォーマンスが改善されたことを示す客観的な証拠となります。その後、より優れたパフォーマンスを示したバージョンを使用するか、さらに高いスコアを達成するために反復を続けることができます。

この体系的なアプローチにより、プロンプトの改善から当て推量が排除され、最適化のための信頼できるフレームワークが得られます。効果的なグレーダーを実装するには複雑さが伴いますが、このワークフローは、独自の評価システムを構築するための確かな基盤を提供します。