로드 중

테스트 데이터셋 생성하기

강의 1215분
로드 중

맞춤형 프롬프트 평가 워크플로우를 구축하는 첫 단계는 탄탄한 프롬프트를 만든 다음 테스트 데이터를 생성해 그 성능을 확인하는 것입니다. 사용자가 AWS 관련 코드를 작성하도록 돕는 프롬프트를 위한 평가 시스템을 구축하는 과정을 함께 살펴보겠습니다.

목표 설정하기

우리의 프롬프트는 AWS 사용 사례를 위한 세 가지 특정 유형의 출력을 사용자가 작성하도록 도와야 합니다:

  • Python 코드
  • JSON 구성 파일
  • 정규 표현식

핵심 요구사항은 사용자가 작업에 대한 도움을 요청할 때, 추가 설명이나 머리말, 맺음말 없이 이 형식 중 하나로 깔끔한 출력을 반환해야 한다는 것입니다.

AWS 코드 프롬프트의 목표, 입력, 출력, 그리고 아래 코드에 표시된 Prompt v1이라는 레이블이 붙은 프롬프트.

다음은 초기 프롬프트 템플릿입니다:

python
prompt = f"""
Please provide a solution to the following task:
{task}
"""

평가 데이터셋 만들기

평가 데이터셋에는 프롬프트에 입력하여 성능을 테스트할 입력값이 담겨 있습니다. 이번 사례에서는 각 객체에 Claude가 수행하기를 원하는 작업을 설명하는 "task" 속성이 있는 JSON 객체 배열이 필요합니다.

"ARN에서 AWS 계정 ID를 추출하는 Python 함수 만들기"와 같은 작업 객체들로 이루어진 JSON 배열, 그 외에도 다수.

데이터셋은 두 가지 방법으로 만들 수 있습니다:

  • 수동으로 직접 구성하기
  • Claude를 사용해 자동으로 생성하기

자동 생성을 위해서는, 프로덕션 출력이 아닌 테스트 데이터를 생성하는 것이므로 Haiku와 같은 더 빠른 모델을 사용하는 것이 합리적입니다.

코드로 테스트 데이터 생성하기

우리를 위한 테스트 케이스를 생성하도록 Claude에 요청하는 함수를 만들어보겠습니다. 이 함수는 특정 유형의 AWS 관련 작업을 요청하는 포괄적인 프롬프트를 생성합니다.

json을 가져와서 아래 코드에 표시된 프롬프트로 generate_dataset을 정의하는 노트북 셀.

다음은 핵심 함수 구조입니다:

python
def generate_dataset():
    prompt = """
    Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts 
    that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of objects, 
    each representing task that requires Python, JSON, or a Regex to complete.
    
    Example output:
    ```json
    [
        {
            "task": "Description of task",
        },
        ...additional
    ]
    ```
    
    * Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
    * Focus on tasks that do not require writing much code
    
    Please generate 3 objects.
    """

생성 로직 구현하기

Claude로부터 깔끔한 JSON 출력을 얻기 위해, 우리는 정지 시퀀스와 함께 프리필링 기법을 사용하겠습니다:

python
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

이 방식은 Claude가 제대로 형식이 갖춰진 JSON으로 응답을 시작하고, 마크다운 종료 펜스에서 멈추도록 보장합니다.

데이터셋 테스트 및 저장하기

생성 함수를 실행한 후에는 다음과 같은 실제적인 테스트 케이스를 받게 될 것입니다:

  • ARN에서 AWS 리전을 추출하는 Python 함수 만들기
  • AWS Lambda 함수를 위한 JSON 구성 작성하기
  • AWS S3 버킷 이름을 검증하는 정규 표현식 개발하기

소문자, 영숫자이며 3-63자인 S3 버킷 이름과 같이, 세 가지 작업이 전체적으로 나와 있는 노트북 출력.

재사용하기 쉽도록 생성된 데이터셋을 파일로 저장하세요:

python
dataset = generate_dataset()

with open('dataset.json', 'w') as f:
    json.dump(dataset, f, indent=2)

이렇게 하면 노트북 디렉터리에 모든 테스트 케이스가 담긴 dataset.json 파일이 생성되며, 워크플로우의 다음 단계에서 프롬프트 평가에 바로 사용할 준비가 됩니다.