載入中
建立自訂的提示評估工作流程,首先要撰寫一個穩固的提示,接著產生測試資料來檢視其表現。讓我們逐步建立一套評估系統,用於評估一個協助使用者撰寫 AWS 專屬程式碼的提示。
設定目標
我們的提示需要協助使用者撰寫三種特定類型的輸出,以用於 AWS 使用案例:
- Python 程式碼
- JSON 組態檔
- 正規表示式
關鍵要求是,當使用者請求協助完成某項任務時,我們回傳這些格式其中一種的乾淨輸出,不附加任何額外的說明、標頭或頁尾。

這是我們的起始提示(版本 1):
python
prompt = f"""
Please provide a solution to the following task:
{task}
"""建立評估資料集
評估資料集包含我們要輸入到提示中的輸入內容。對於每一組提示與輸入的組合,我們會執行該提示並分析結果。
我們的資料集會是一個 JSON 物件陣列,其中每個物件都包含一個「task」屬性,描述我們希望 Claude 完成的事項。我們可以手動建立此資料集,也可以使用 Claude 自動產生。

由於我們在產生測試資料,這正是使用較快速的模型(如 Haiku)而非完整版 Claude 模型的絕佳機會。
以程式碼產生測試資料
讓我們建立一個函式,自動產生我們的測試資料集。首先,我們需要用於與 Claude 互動的輔助函式:
python
def add_user_message(messages, text):
user_message = {"role": "user", "content": text}
messages.append(user_message)
def add_assistant_message(messages, text):
assistant_message = {"role": "assistant", "content": text}
messages.append(assistant_message)
def chat(messages, system=None, temperature=1.0, stop_sequences=[]):
params = {
"model": model,
"max_tokens": 1000,
"messages": messages,
"temperature": temperature
}
if system:
params["system"] = system
if stop_sequences:
params["stop_sequences"] = stop_sequences
response = client.messages.create(**params)
return response.content[0].text接著,我們來建立資料集產生函式:
python
def generate_dataset():
prompt = """
Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of JSON objects, each representing task that requires Python, JSON, or a Regex to complete.
Example output:
```json
[
{
"task": "Description of task",
},
...additional
]
```
* Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
* Focus on tasks that do not require writing much code
Please generate 3 objects.
"""為了正確解析 JSON 回應,我們會使用預填與停止序列:
python
messages = []
add_user_message(messages, prompt)
add_assistant_message(messages, "```json")
text = chat(messages, stop_sequences=["```"])
return json.loads(text)測試資料集產生功能
讓我們執行函式,看看會得到哪種測試案例:
python
dataset = generate_dataset()
print(dataset)這應該會回傳三個涵蓋我們目標輸出的不同測試案例——Python 函式、JSON 組態,以及針對 AWS 相關任務的正規表示式。
儲存資料集
一旦我們取得資料集,便會將其儲存為檔案,以便日後在評估時能輕鬆載入:
python
with open('dataset.json', 'w') as f:
json.dump(dataset, f, indent=2)這會在與您的筆記本相同的目錄中建立一個 dataset.json 檔案,其中包含準備好用於提示評估的任務清單。
有了這個基礎,您現在已擁有一套系統化的方式,可產生測試資料,用以評估您的提示在不同類型 AWS 相關程式設計任務中的表現。