加载中
加载中

构建自定义提示评估工作流始于明确目标并生成测试数据。在这个例子中,我们要构建一个帮助用户编写 AWS 特定代码的提示——可以是 Python 函数、JSON 配置,或正则表达式——不包含任何额外的解释或格式。

设定目标

该提示应接收用户的任务描述,并返回以下三种输出类型之一:

  • Python 代码
  • JSON 配置
  • 正则表达式

关键要求是,响应应只包含所请求的代码,不包含页眉、页脚或解释。

AWS 代码提示的目标,旁边是"Prompt v1",它将 prompt 变量设置为下方引用的 f-string 模板。

从一个简单的初始版本开始,可以让事情更易于管理。初始提示模板很直接:"Please provide a solution to the following task: {task}"

创建评估数据集

评估数据集包含将输入到您的提示中的输入示例。每个测试用例都会与您的提示结合,并发送给 Claude,让您能够看到该提示在不同场景下的表现。

JSON 对象数组,每个对象都有一个"task"键,例如"Create a Python function to extract the AWS account ID from an ARN"。

您可以通过两种方式创建数据集:

  • 手动编写测试用例
  • 使用 Claude 自动生成

对于自动生成,由于您要生成多个测试用例,使用像 Haiku 这样更快的模型是合理的。

使用代码生成测试数据

数据集生成函数使用 Claude 来创建逼真的测试场景。以下是基本结构:

python
def generate_dataset():
    prompt = """
    Generate 3 AWS-related tasks that require Python, JSON, or Regex solutions.
    
    Focus on tasks that can be solved by writing a single Python function, 
    a single JSON object, or tasks that do not require writing much code.
    
    Example output:
    [
        {
            "task": "Description of task"
        },
        ...additional
    ]
    
    Please generate 3 objects.
    """
    
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

这种方法使用预填充 assistant 消息的技术,配合停止序列来提取干净的 JSON 响应。assistant 消息以 ```json 开头,并在闭合的 ``` 处停止,从而确保获得格式正确的数据。

保存您的数据集

生成完成后,保存该数据集以避免反复重新生成:

python
dataset = generate_dataset()
with open("dataset.json", "w") as f:
    json.dump(dataset, f, indent=2)

生成的数据集会创建逼真的 AWS 任务,例如从 ARN 中提取账户 ID、为 EC2 配置编写 JSON schema,以及为 S3 存储桶名称创建正则表达式模式。虽然三个测试用例足够用于初始开发,但生产环境的评估需要数量和多样性都大幅增加的示例。

这一基础为您提供了一个可重复的流程,用于创建与您特定用例相匹配的评估数据集,从而为下一步运行评估和衡量提示性能做好准备。