로드 중
로드 중

맞춤형 프롬프트 평가 워크플로우를 구축하는 것은 명확한 목표를 설정하고 테스트 데이터를 생성하는 것에서 시작됩니다. 이번 사례에서는 사용자가 AWS 관련 코드—Python 함수, JSON 구성, 또는 정규식—를 추가 설명이나 서식 없이 작성하도록 돕는 프롬프트를 만들고 있습니다.

목표 설정하기

프롬프트는 사용자의 작업 설명을 입력받아 다음 세 가지 출력 유형 중 하나를 반환해야 합니다:

  • Python 코드
  • JSON 구성
  • 정규식

핵심 요구사항은 응답에 헤더, 푸터, 또는 설명 없이 요청된 코드만 포함되어야 한다는 것입니다.

"Prompt v1" 옆에 있는 AWS 코드 프롬프트의 목표로, 아래에 인용된 f-문자열 템플릿으로 프롬프트 변수를 설정합니다.

단순한 첫 번째 버전으로 시작하면 관리하기가 수월해집니다. 초기 프롬프트 템플릿은 간단합니다: "다음 작업에 대한 솔루션을 제공해 주세요: {task}"

평가 데이터셋 만들기

평가 데이터셋은 프롬프트에 입력할 예시들을 포함합니다. 각 테스트 케이스는 프롬프트와 결합되어 Claude에 전송되며, 이를 통해 다양한 시나리오에서 프롬프트가 얼마나 잘 작동하는지 확인할 수 있습니다.

각각 "task" 키를 가진 객체들로 구성된 JSON 배열로, 예를 들어 "ARN에서 AWS 계정 ID를 추출하는 Python 함수를 작성하세요"와 같습니다.

데이터셋은 두 가지 방법으로 만들 수 있습니다:

  • 직접 테스트 케이스를 수동으로 작성
  • Claude를 사용하여 자동으로 생성

자동 생성의 경우, 여러 테스트 케이스를 생성하게 되므로 Haiku와 같은 더 빠른 모델을 사용하는 것이 합리적입니다.

코드로 테스트 데이터 생성하기

데이터셋 생성 함수는 Claude를 사용하여 실제적인 테스트 시나리오를 만듭니다. 기본 구조는 다음과 같습니다:

python
def generate_dataset():
    prompt = """
    Generate 3 AWS-related tasks that require Python, JSON, or Regex solutions.
    
    Focus on tasks that can be solved by writing a single Python function, 
    a single JSON object, or tasks that do not require writing much code.
    
    Example output:
    [
        {
            "task": "Description of task"
        },
        ...additional
    ]
    
    Please generate 3 objects.
    """
    
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

이 접근 방식은 깔끔한 JSON 응답을 추출하기 위해 미리 채워진 어시스턴트 메시지 기법과 중지 시퀀스를 사용합니다. 어시스턴트 메시지는 ```json으로 시작하여 닫는 ```에서 멈추며, 이를 통해 올바른 형식의 데이터를 얻을 수 있습니다.

데이터셋 저장하기

생성이 완료되면, 계속 다시 생성하는 것을 피하기 위해 데이터셋을 저장하세요:

python
dataset = generate_dataset()
with open("dataset.json", "w") as f:
    json.dump(dataset, f, indent=2)

생성된 데이터셋은 ARN에서 계정 ID를 추출하거나, EC2 구성을 위한 JSON 스키마를 작성하거나, S3 버킷 이름을 위한 정규식 패턴을 만드는 등 실제적인 AWS 작업들을 만들어냅니다. 세 개의 테스트 케이스는 초기 개발 단계에서는 충분하지만, 프로덕션 평가를 위해서는 훨씬 더 많고 다양한 예시가 필요합니다.

이러한 기반을 통해 특정 사용 사례에 맞는 평가 데이터셋을 만드는 반복 가능한 프로세스를 확보할 수 있으며, 이는 평가를 실행하고 프롬프트 성능을 측정하는 다음 단계로 이어집니다.