読み込み中

プロンプトエンジニアリング

レッスン 1515 分
読み込み中

プロンプトエンジニアリングとは、作成したプロンプトをより信頼性が高く質の高い出力が得られるように改善していくことです。このプロセスには反復的な改良が伴います。まず基本的なプロンプトから始め、そのパフォーマンスを評価し、その後エンジニアリングの手法を体系的に適用して改善していきます。

プロンプト評価、プロンプトの自動テストは、XMLタグによる構造化などのプロンプトエンジニアリングの実践につながります。

反復的改善プロセス

このアプローチは、望む結果が得られるまで繰り返すことができる明確なサイクルに従います。

5つのプロンプトエンジニアリングのステップ、最後の2つを繰り返し、001_prompting.ipynbで改善された評価パイプラインを使用するようにという注記。

  1. 目標を設定する - プロンプトに何を達成させたいかを定義します
  2. 初期プロンプトを書く - 基本的な最初の試作を作成します
  3. プロンプトを評価する - 基準に照らしてテストします
  4. プロンプトエンジニアリングの手法を適用する - パフォーマンスを改善するための特定の手法を使用します
  5. 再評価する - 変更によって実際に結果が改善されたかを確認します

満足のいくパフォーマンスが得られるまで、最後の2つのステップを繰り返します。反復のたびに、評価スコアに測定可能な改善が見られるはずです。

評価パイプラインの構築

このプロセスを示すために、実践的な例を使って進めます。アスリート向けの1日分の食事プランを生成するプロンプトを作成します。このプロンプトは、アスリートの身長、体重、目標、食事制限を考慮に入れた上で、包括的な食事プランを作成する必要があります。

入力: 身長180cm、体重75kg、目標「体重を維持しパワーを向上させる」、乳糖不耐症、出力: 約3000カロリー。

評価のセットアップでは、データセットの生成とモデルによる採点を行う PromptEvaluator クラスを使用します。評価インスタンスを作成する際、max_concurrent_tasks パラメータで並行実行数を制御できます。

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

レート制限のエラーを避けるために、低い並行実行数の値(3など)から始めてください。APIのクォータに余裕があれば、処理を高速化するために値を増やすことができます。

テストデータの生成

評価システムは、プロンプトの要件に基づいてテストケースを自動的に生成できます。プロンプトに必要な入力を定義します。

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    output_file="dataset.json",
    num_cases=3
)

開発中は反復サイクルを速めるために、テストケースの数を少なく(2〜3件)保ってください。最終検証の際には、この数を増やすことができます。

初期プロンプトを書く

基準値を確立するために、シンプルで素朴なプロンプトから始めます。以下は、意図的に基本的な最初の試作の例です。

python
def run_prompt(prompt_inputs):
    prompt = f"""
What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

この基本的なプロンプトはおそらく質の低い結果を生むでしょうが、それを基準にして改善度を測る出発点になります。

評価基準の追加

評価を実行する際、採点モデルが考慮すべき追加の基準を指定できます。

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown  
- Meals with exact foods, portions, and timing
"""
)

これにより、自分のユースケースにとって重要な特定の要件に照らしてプロンプトが評価されるようになります。

結果の分析

評価を実行すると、数値スコアと詳細なHTMLレポートの両方が得られます。このレポートは、各テストケースがどのようなパフォーマンスを示したかを、各スコアに対するモデルの推論を含めて正確に示します。

50件のテストケースを含むプロンプト評価レポート。平均スコアは10点中2.3点、合格率は0.0パーセントで、その後ケースごとの行が続く。

最初のスコアが低くても落胆しないでください。10点中2.3点は最初の試作では典型的なスコアです。目標は、エンジニアリング手法を適用するにつれて一貫した改善が見られることです。

50件のテストケースを含むプロンプト評価レポート。平均スコアは10点中2.3点、合格率は0.0パーセントで、その後ケースごとの行が続く。

この詳細な評価レポートは、プロンプトがどこで失敗しているのか、どのような改善が必要なのかを正確に理解する助けになります。このフィードバックを使って、次の反復の方向性を定めてください。

次のステップ

基準値が確立できたら、いよいよ特定のプロンプトエンジニアリングの手法を適用していく準備が整いました。学ぶ手法のひとつひとつが評価スコアに測定可能な改善をもたらし、基本的なプロンプトを徐々に信頼性が高く高性能なツールへと変えていくはずです。

プロンプトエンジニアリングは反復的なプロセスであることを忘れないでください。重要なのは、一度に1つの変更を行い、その影響を評価し、うまくいったものの上に積み上げていくことです。この体系的なアプローチにより、自分のユースケースにとってどの手法が最も価値を提供するのかを理解できるようになります。