加载中
构建自定义提示评估工作流始于明确目标并生成测试数据。在这个例子中,我们要构建一个帮助用户编写 AWS 特定代码的提示——可以是 Python 函数、JSON 配置,或正则表达式——不包含任何额外的解释或格式。
设定目标
该提示应接收用户的任务描述,并返回以下三种输出类型之一:
- Python 代码
- JSON 配置
- 正则表达式
关键要求是,响应应只包含所请求的代码,不包含页眉、页脚或解释。

从一个简单的初始版本开始,可以让事情更易于管理。初始提示模板很直接:"Please provide a solution to the following task: {task}"
创建评估数据集
评估数据集包含将输入到您的提示中的输入示例。每个测试用例都会与您的提示结合,并发送给 Claude,让您能够看到该提示在不同场景下的表现。

您可以通过两种方式创建数据集:
- 手动编写测试用例
- 使用 Claude 自动生成
对于自动生成,由于您要生成多个测试用例,使用像 Haiku 这样更快的模型是合理的。
使用代码生成测试数据
数据集生成函数使用 Claude 来创建逼真的测试场景。以下是基本结构:
python
def generate_dataset():
prompt = """
Generate 3 AWS-related tasks that require Python, JSON, or Regex solutions.
Focus on tasks that can be solved by writing a single Python function,
a single JSON object, or tasks that do not require writing much code.
Example output:
[
{
"task": "Description of task"
},
...additional
]
Please generate 3 objects.
"""
messages = []
add_user_message(messages, prompt)
add_assistant_message(messages, "```json")
text = chat(messages, stop_sequences=["```"])
return json.loads(text)这种方法使用预填充 assistant 消息的技术,配合停止序列来提取干净的 JSON 响应。assistant 消息以 ```json 开头,并在闭合的 ``` 处停止,从而确保获得格式正确的数据。
保存您的数据集
生成完成后,保存该数据集以避免反复重新生成:
python
dataset = generate_dataset()
with open("dataset.json", "w") as f:
json.dump(dataset, f, indent=2)生成的数据集会创建逼真的 AWS 任务,例如从 ARN 中提取账户 ID、为 EC2 配置编写 JSON schema,以及为 S3 存储桶名称创建正则表达式模式。虽然三个测试用例足够用于初始开发,但生产环境的评估需要数量和多样性都大幅增加的示例。
这一基础为您提供了一个可重复的流程,用于创建与您特定用例相匹配的评估数据集,从而为下一步运行评估和衡量提示性能做好准备。