載入中

產生測試資料集

第 11 課20 分鐘
載入中

建立自訂的提示評估工作流程,首先要撰寫一個穩固的提示,接著產生測試資料來檢視其表現。讓我們逐步建立一套評估系統,用於評估一個協助使用者撰寫 AWS 專屬程式碼的提示。

設定目標

我們的提示需要協助使用者撰寫三種特定類型的輸出,以用於 AWS 使用案例:

  • Python 程式碼
  • JSON 組態檔
  • 正規表示式

關鍵要求是,當使用者請求協助完成某項任務時,我們回傳這些格式其中一種的乾淨輸出,不附加任何額外的說明、標頭或頁尾。

AWS 程式碼提示的目標、輸入與輸出,以及標示為 Prompt v1 的提示,如下方程式碼所示。

這是我們的起始提示(版本 1):

python
prompt = f"""
Please provide a solution to the following task:
{task}
"""

建立評估資料集

評估資料集包含我們要輸入到提示中的輸入內容。對於每一組提示與輸入的組合,我們會執行該提示並分析結果。

我們的資料集會是一個 JSON 物件陣列,其中每個物件都包含一個「task」屬性,描述我們希望 Claude 完成的事項。我們可以手動建立此資料集,也可以使用 Claude 自動產生。

JSON 任務物件陣列,例如「Create a Python function to extract the AWS account ID from an ARN」,以及更多其他範例。

由於我們在產生測試資料,這正是使用較快速的模型(如 Haiku)而非完整版 Claude 模型的絕佳機會。

以程式碼產生測試資料

讓我們建立一個函式,自動產生我們的測試資料集。首先,我們需要用於與 Claude 互動的輔助函式:

python
def add_user_message(messages, text):
    user_message = {"role": "user", "content": text}
    messages.append(user_message)

def add_assistant_message(messages, text):
    assistant_message = {"role": "assistant", "content": text}
    messages.append(assistant_message)

def chat(messages, system=None, temperature=1.0, stop_sequences=[]):
    params = {
        "model": model,
        "max_tokens": 1000,
        "messages": messages,
        "temperature": temperature
    }
    if system:
        params["system"] = system
    if stop_sequences:
        params["stop_sequences"] = stop_sequences
    
    response = client.messages.create(**params)
    return response.content[0].text

接著,我們來建立資料集產生函式:

python
def generate_dataset():
    prompt = """
Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of JSON objects, each representing task that requires Python, JSON, or a Regex to complete.

Example output:
```json
[
  {
    "task": "Description of task",
  },
  ...additional
]
```

* Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
* Focus on tasks that do not require writing much code

Please generate 3 objects.
"""

為了正確解析 JSON 回應,我們會使用預填與停止序列:

python
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

測試資料集產生功能

讓我們執行函式,看看會得到哪種測試案例:

python
dataset = generate_dataset()
print(dataset)

這應該會回傳三個涵蓋我們目標輸出的不同測試案例——Python 函式、JSON 組態,以及針對 AWS 相關任務的正規表示式。

儲存資料集

一旦我們取得資料集,便會將其儲存為檔案,以便日後在評估時能輕鬆載入:

python
with open('dataset.json', 'w') as f:
    json.dump(dataset, f, indent=2)

這會在與您的筆記本相同的目錄中建立一個 dataset.json 檔案,其中包含準備好用於提示評估的任務清單。

有了這個基礎,您現在已擁有一套系統化的方式,可產生測試資料,用以評估您的提示在不同類型 AWS 相關程式設計任務中的表現。