이제 평가 데이터셋이 준비되었으니, 핵심 평가 파이프라인을 구축할 차례입니다. 이 작업은 각 테스트 케이스를 가져와 프롬프트와 병합하고, Claude에 입력한 다음, 결과를 채점하는 과정으로 이루어집니다.

평가 프로세스는 명확한 워크플로우를 따릅니다. 테스트 케이스로 구성된 데이터셋을 가져와 각각을 프롬프트 템플릿과 결합하고, 이를 Claude로 전송해 처리한 다음, 채점 시스템을 사용해 출력 결과를 평가합니다.
핵심 함수 구축하기
평가 파이프라인은 각각 고유한 역할을 담당하는 세 개의 주요 함수로 구성됩니다. 가장 단순한 함수부터 시작해 보겠습니다 - 개별 프롬프트를 처리하는 함수입니다.
run_prompt 함수
이 함수는 테스트 케이스를 받아 프롬프트 템플릿과 병합합니다:
def run_prompt(test_case):
"""Merges the prompt and test case input, then returns the result"""
prompt = f"""
Please solve the following task:
{test_case["task"]}
"""
messages = []
add_user_message(messages, prompt)
output = chat(messages)
return output지금은 프롬프트를 매우 단순하게 유지하고 있습니다. 별도의 형식 지정 지침을 포함하지 않았기 때문에, Claude는 우리가 필요로 하는 것보다 더 장황한 출력을 반환할 가능성이 높습니다. 프롬프트 설계를 반복적으로 개선해 나가면서 나중에 이를 다듬을 것입니다.
run_test_case 함수
이 함수는 단일 테스트 케이스를 실행하고 그 결과를 채점하는 과정을 조정합니다:
def run_test_case(test_case):
"""Calls run_prompt, then grades the result"""
output = run_prompt(test_case)
# TODO - 채점
score = 10
return {
"output": output,
"test_case": test_case,
"score": score
}지금은 하드코딩된 점수 10점을 사용하고 있습니다. 채점 로직은 이후 섹션에서 상당한 시간을 들여 다룰 부분이지만, 이 플레이스홀더를 통해 전체 파이프라인을 테스트할 수 있습니다.
run_eval 함수
이 함수는 전체 평가 과정을 조정합니다:
def run_eval(dataset):
"""Loads the dataset and calls run_test_case with each case"""
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
return results이 함수는 데이터셋의 모든 테스트 케이스를 처리하고 모든 결과를 하나의 리스트로 수집합니다.
평가 실행하기
평가 파이프라인을 실행하려면, 데이터셋을 로드하고 이를 우리의 함수들을 통해 실행합니다:
with open("dataset.json", "r") as f:
dataset = json.load(f)
results = run_eval(dataset)처음 실행할 때는 어느 정도 시간이 걸릴 것으로 예상하세요 - Claude Haiku를 사용하더라도 전체 데이터셋을 처리하는 데 약 30초가 걸릴 수 있습니다. 최적화 기법은 나중에 다룰 예정입니다.
결과 살펴보기
평가는 각 객체가 하나의 테스트 케이스 결과를 나타내는 구조화된 JSON 배열을 반환합니다:
print(json.dumps(results, indent=2))
각 결과에는 세 가지 핵심 정보가 포함됩니다:
- output: Claude로부터의 전체 응답
- test_case: 처리된 원본 테스트 케이스
- score: 평가 점수 (현재는 하드코딩됨)
출력 결과에서 볼 수 있듯이, 아직 구체적인 형식 지정 지침을 제공하지 않았기 때문에 Claude는 상당히 장황한 응답을 생성합니다. 이는 바로 우리가 프롬프트를 다듬으면서 해결할 문제 유형입니다.

지금까지 이룬 성과
이 시점에서 우리는 핵심 평가 파이프라인을 성공적으로 구축했습니다. 데이터셋을 가져와 Claude를 통해 처리하고, 구조화된 결과를 수집할 수 있습니다. 가장 큰 미완성 부분은 채점 시스템으로, 하드코딩된 10점을 실제 평가 로직으로 대체해야 합니다.
이 파이프라인은 대부분의 AI 평가 시스템의 기반을 나타냅니다. 단순해 보일 수 있지만, 여러분은 방금 eval 파이프라인이 실제로 하는 작업의 대부분을 구축한 것입니다. 복잡성은 세부 사항에서 비롯됩니다 - 더 나은 프롬프트, 정교한 채점, 그리고 성능 최적화가 바로 그것입니다.
다음으로, 하드코딩된 점수를 Claude의 성능에 대한 의미 있는 평가로 전환해 줄 채점기라는 중요한 주제로 들어가 보겠습니다.