맞춤형 프롬프트 평가 워크플로우를 구축하는 첫 단계는 탄탄한 프롬프트를 만든 다음 테스트 데이터를 생성해 그 성능을 확인하는 것입니다. 사용자가 AWS 관련 코드를 작성하도록 돕는 프롬프트를 위한 평가 시스템을 구축하는 과정을 함께 살펴보겠습니다.
목표 설정하기
우리의 프롬프트는 AWS 사용 사례를 위한 세 가지 특정 유형의 출력을 사용자가 작성하도록 도와야 합니다:
- Python 코드
- JSON 구성 파일
- 정규 표현식
핵심 요구사항은 사용자가 작업에 대한 도움을 요청할 때, 추가 설명이나 머리말, 맺음말 없이 이 형식 중 하나로 깔끔한 출력을 반환해야 한다는 것입니다.

다음은 초기 프롬프트 템플릿입니다:
prompt = f"""
Please provide a solution to the following task:
{task}
"""평가 데이터셋 만들기
평가 데이터셋에는 프롬프트에 입력하여 성능을 테스트할 입력값이 담겨 있습니다. 이번 사례에서는 각 객체에 Claude가 수행하기를 원하는 작업을 설명하는 "task" 속성이 있는 JSON 객체 배열이 필요합니다.

데이터셋은 두 가지 방법으로 만들 수 있습니다:
- 수동으로 직접 구성하기
- Claude를 사용해 자동으로 생성하기
자동 생성을 위해서는, 프로덕션 출력이 아닌 테스트 데이터를 생성하는 것이므로 Haiku와 같은 더 빠른 모델을 사용하는 것이 합리적입니다.
코드로 테스트 데이터 생성하기
우리를 위한 테스트 케이스를 생성하도록 Claude에 요청하는 함수를 만들어보겠습니다. 이 함수는 특정 유형의 AWS 관련 작업을 요청하는 포괄적인 프롬프트를 생성합니다.

다음은 핵심 함수 구조입니다:
def generate_dataset():
prompt = """
Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts
that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of objects,
each representing task that requires Python, JSON, or a Regex to complete.
Example output:
```json
[
{
"task": "Description of task",
},
...additional
]
```
* Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
* Focus on tasks that do not require writing much code
Please generate 3 objects.
"""생성 로직 구현하기
Claude로부터 깔끔한 JSON 출력을 얻기 위해, 우리는 정지 시퀀스와 함께 프리필링 기법을 사용하겠습니다:
messages = []
add_user_message(messages, prompt)
add_assistant_message(messages, "```json")
text = chat(messages, stop_sequences=["```"])
return json.loads(text)이 방식은 Claude가 제대로 형식이 갖춰진 JSON으로 응답을 시작하고, 마크다운 종료 펜스에서 멈추도록 보장합니다.
데이터셋 테스트 및 저장하기
생성 함수를 실행한 후에는 다음과 같은 실제적인 테스트 케이스를 받게 될 것입니다:
- ARN에서 AWS 리전을 추출하는 Python 함수 만들기
- AWS Lambda 함수를 위한 JSON 구성 작성하기
- AWS S3 버킷 이름을 검증하는 정규 표현식 개발하기

재사용하기 쉽도록 생성된 데이터셋을 파일로 저장하세요:
dataset = generate_dataset()
with open('dataset.json', 'w') as f:
json.dump(dataset, f, indent=2)이렇게 하면 노트북 디렉터리에 모든 테스트 케이스가 담긴 dataset.json 파일이 생성되며, 워크플로우의 다음 단계에서 프롬프트 평가에 바로 사용할 준비가 됩니다.