載入中

生成測試資料集

第 12 課15 分鐘
載入中

建立一個自訂提示評估工作流程,首先要建立一個紮實的提示,然後生成測試資料以查看其表現如何。讓我們一起設定一個評估系統,用於評估一個協助使用者撰寫 AWS 特定程式碼的提示。

設定目標

我們的提示需要協助使用者針對 AWS 使用案例撰寫三種特定類型的輸出:

  • Python 程式碼
  • JSON 設定檔
  • 正規表達式

關鍵要求是,當使用者請求協助完成某項任務時,我們會以上述格式之一回傳乾淨的輸出,不附加任何額外的說明、標頭或頁尾。

AWS 程式碼提示的目標、輸入和輸出,以及標示為 Prompt v1 的提示,如下方程式碼所示。

以下是我們最初的提示範本:

python
prompt = f"""
Please provide a solution to the following task:
{task}
"""

建立評估資料集

評估資料集包含我們將輸入到提示中以測試其表現的輸入內容。在我們的案例中,我們需要一個 JSON 物件陣列,每個物件都有一個「task」屬性,用來描述我們希望 Claude 完成的任務。

JSON 任務物件陣列,例如「建立一個 Python 函式,從 ARN 中提取 AWS 帳戶 ID」,以及更多類似任務。

您可以用兩種方式建立資料集:

  • 手動組裝
  • 使用 Claude 自動生成

對於自動生成,使用像 Haiku 這樣速度較快的模型是合理的,因為我們生成的是測試資料,而非正式環境的輸出。

透過程式碼生成測試資料

讓我們建立一個函式,要求 Claude 為我們生成測試案例。此函式將建立一個全面的提示,用於請求特定類型的 AWS 相關任務。

Notebook 儲存格,匯入 json 並定義 generate_dataset,提示內容如下方程式碼所示。

以下是核心函式結構:

python
def generate_dataset():
    prompt = """
    Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts 
    that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of objects, 
    each representing task that requires Python, JSON, or a Regex to complete.
    
    Example output:
    ```json
    [
        {
            "task": "Description of task",
        },
        ...additional
    ]
    ```
    
    * Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
    * Focus on tasks that do not require writing much code
    
    Please generate 3 objects.
    """

實作生成邏輯

為了從 Claude 取得乾淨的 JSON 輸出,我們將使用預先填充技術搭配停止序列:

python
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

這種方法確保 Claude 以格式正確的 JSON 開始其回應,並在結尾的 markdown 圍欄符號處停止。

測試並儲存資料集

執行生成函式後,您應該會得到類似以下的真實測試案例:

  • 建立一個 Python 函式,從 ARN 中提取 AWS 區域
  • 為 AWS Lambda 函式撰寫一個 JSON 設定
  • 開發一個正規表達式,用於驗證 AWS S3 儲存貯體(bucket)名稱

Notebook 輸出包含完整的三個任務,例如一個小寫、英數字且長度為 3 到 63 個字元的 S3 儲存貯體名稱。

將您生成的資料集儲存到檔案中,以便於重複使用:

python
dataset = generate_dataset()

with open('dataset.json', 'w') as f:
    json.dump(dataset, f, indent=2)

這會在您的 notebook 目錄中建立一個 dataset.json 檔案,其中包含所有測試案例,可供後續工作流程步驟中的提示評估直接使用。