読み込み中

プロンプトエンジニアリング

レッスン 1610 分
読み込み中

プロンプトエンジニアリングとは、自分が書いたプロンプトを取り上げ、より信頼性が高く、より質の高い出力が得られるように改善していくことです。このプロセスでは、最初のプロンプトを書き、そのパフォーマンスを評価し、その後エンジニアリングの手法を段階的に適用して改善していきます。

プロンプト評価、プロンプトの自動テストにより、XMLタグによる構造化などのプロンプトエンジニアリングの実践につながります。

反復的な改善プロセス

このアプローチは明確なサイクルに従います。目標を設定し、最初のプロンプトを書き、評価し、プロンプトエンジニアリングの手法を適用し、再評価してパフォーマンスが向上したことを確認する、という流れです。プロンプトを磨き上げていく過程で、このサイクルを繰り返します。

プロンプトエンジニアリングの5つのステップで、最後の2つを繰り返す。001_prompting.ipynbの改良された評価パイプラインを使うようにという注意書き付き。

このチュートリアルシリーズでは、実践的な例として、選手の身長、体重、身体的な目標、食事制限に基づいて1日分の食事プランを生成するプロンプトを作成していきます。

評価パイプラインのセットアップ

この評価では、これまでのモジュールで使用したパイプラインを改良したバージョンを使用します。これは PromptEvaluator クラスにまとめられており、データセットの生成とモデルによる採点を処理します。このクラスは並行処理をサポートしており、評価プロセスを高速化できます。

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

レート制限エラーを避けるため、低い並行処理数(3など)から始めてください。自分のAPIクォータに応じて調整できます。

テストデータの生成

generate_dataset メソッドは、あなたのプロンプト用のテストケースを作成します。以下を指定する必要があります。

  • あなたのプロンプトが何をすべきかを説明するタスクの記述
  • あなたのプロンプトが必要とする入力の仕様
  • 生成するテストケースの数

食事プランの例では次のようになります。

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    num_cases=3
)

最初のプロンプトを書く

まずはベースラインを確立するために、シンプルで単純なプロンプトから始めます。run_prompt 関数はテストケースの入力を受け取り、モデルの応答を返す必要があります。

python
def run_prompt(prompt_inputs):
    prompt = f"""
    What should this person eat?
    
    - Height: {prompt_inputs["height"]}
    - Weight: {prompt_inputs["weight"]}
    - Goal: {prompt_inputs["goal"]}
    - Dietary restrictions: {prompt_inputs["restrictions"]}
    """
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

評価の実行

評価プロセスは、あなたのプロンプトの出力を期待される基準と比較します。採点の指針となる追加の基準を加えることもできます。

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
    The output should include:
    - Daily caloric total
    - Macronutrient breakdown  
    - Meals with exact foods, portions, and timing
    """
)

結果の分析

評価によってブラウザで開くことができる output.html ファイルが生成されます。このレポートには、スコア、理由、そしてあなたのプロンプトによって生成された実際の出力を含む、各テストケースの詳細な結果が表示されます。

プロンプト評価レポート。テストケース数50、平均スコア10点中2.3点、合格率0.0パーセント。その後にケースごとの行が続く。

最初のスコアが低くても落胆しないでください。それが普通です!この例の最初のプロンプトは10点中2.3点しか取れませんでしたが、これによって改善の明確なベースラインが得られます。

次のステップ

ベースラインが確立できたら、より具体的にする、出力フォーマットの要件を追加する、構造化されたプロンプトを使う、マルチショットの例を実装するといったプロンプトエンジニアリングの手法を体系的に適用できるようになります。各手法によって評価スコアが向上し、目標に向かって測定可能な進歩が得られるはずです。