載入中
建立一個自訂提示評估工作流程,首先要建立一個紮實的提示,然後生成測試資料以查看其表現如何。讓我們一起設定一個評估系統,用於評估一個協助使用者撰寫 AWS 特定程式碼的提示。
設定目標
我們的提示需要協助使用者針對 AWS 使用案例撰寫三種特定類型的輸出:
- Python 程式碼
- JSON 設定檔
- 正規表達式
關鍵要求是,當使用者請求協助完成某項任務時,我們會以上述格式之一回傳乾淨的輸出,不附加任何額外的說明、標頭或頁尾。

以下是我們最初的提示範本:
python
prompt = f"""
Please provide a solution to the following task:
{task}
"""建立評估資料集
評估資料集包含我們將輸入到提示中以測試其表現的輸入內容。在我們的案例中,我們需要一個 JSON 物件陣列,每個物件都有一個「task」屬性,用來描述我們希望 Claude 完成的任務。

您可以用兩種方式建立資料集:
- 手動組裝
- 使用 Claude 自動生成
對於自動生成,使用像 Haiku 這樣速度較快的模型是合理的,因為我們生成的是測試資料,而非正式環境的輸出。
透過程式碼生成測試資料
讓我們建立一個函式,要求 Claude 為我們生成測試案例。此函式將建立一個全面的提示,用於請求特定類型的 AWS 相關任務。

以下是核心函式結構:
python
def generate_dataset():
prompt = """
Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts
that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of objects,
each representing task that requires Python, JSON, or a Regex to complete.
Example output:
```json
[
{
"task": "Description of task",
},
...additional
]
```
* Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
* Focus on tasks that do not require writing much code
Please generate 3 objects.
"""實作生成邏輯
為了從 Claude 取得乾淨的 JSON 輸出,我們將使用預先填充技術搭配停止序列:
python
messages = []
add_user_message(messages, prompt)
add_assistant_message(messages, "```json")
text = chat(messages, stop_sequences=["```"])
return json.loads(text)這種方法確保 Claude 以格式正確的 JSON 開始其回應,並在結尾的 markdown 圍欄符號處停止。
測試並儲存資料集
執行生成函式後,您應該會得到類似以下的真實測試案例:
- 建立一個 Python 函式,從 ARN 中提取 AWS 區域
- 為 AWS Lambda 函式撰寫一個 JSON 設定
- 開發一個正規表達式,用於驗證 AWS S3 儲存貯體(bucket)名稱

將您生成的資料集儲存到檔案中,以便於重複使用:
python
dataset = generate_dataset()
with open('dataset.json', 'w') as f:
json.dump(dataset, f, indent=2)這會在您的 notebook 目錄中建立一個 dataset.json 檔案,其中包含所有測試案例,可供後續工作流程步驟中的提示評估直接使用。