이제 평가 데이터셋이 준비되었으니, 핵심 평가 파이프라인을 구축할 차례입니다. 이 작업은 각 테스트 케이스를 가져와 프롬프트와 병합하고, 이를 Claude에 입력한 후 결과를 채점하는 과정을 포함합니다.

평가 프로세스는 명확한 워크플로우를 따릅니다. 테스트 케이스 데이터셋을 가져와 각 케이스를 프롬프트 템플릿과 결합한 다음, Claude로 전송하여 처리하고, 그레이더 시스템을 사용하여 출력을 평가합니다.
핵심 함수 구축하기
평가 파이프라인은 각각 특정한 역할을 담당하는 세 가지 주요 함수로 구성됩니다. 가장 간단한 함수부터 시작해 보겠습니다. 바로 개별 프롬프트 실행을 처리하는 함수입니다.
run_prompt 함수
이 함수는 테스트 케이스를 가져와 프롬프트 템플릿과 병합합니다:
def run_prompt(test_case):
"""Merges the prompt and test case input, then returns the result"""
prompt = f"""
Please solve the following task:
{test_case["task"]}
"""
messages = []
add_user_message(messages, prompt)
output = chat(messages)
return output지금은 프롬프트를 매우 단순하게 유지하고 있습니다. 어떠한 형식 지정 지침도 포함하지 않았으므로, Claude는 필요한 것보다 더 장황한 출력을 반환할 가능성이 높습니다. 평가 프로세스를 반복하면서 이 부분을 나중에 개선할 것입니다.
run_test_case 함수
이 함수는 단일 테스트 케이스를 실행하고 결과를 채점하는 과정을 조율합니다:
def run_test_case(test_case):
"""Calls run_prompt, then grades the result"""
output = run_prompt(test_case)
# TODO - 채점
score = 10
return {
"output": output,
"test_case": test_case,
"score": score
}지금은 10이라는 하드코딩된 점수를 사용하고 있습니다. 채점 로직은 이후 섹션에서 상당한 시간을 투자할 부분이지만, 이 자리표시자를 통해 전체 파이프라인 구조를 테스트할 수 있습니다.
run_eval 함수
이것은 전체 데이터셋을 처리하는 메인 오케스트레이터입니다:
def run_eval(dataset):
"""Loads the dataset and calls run_test_case with each case"""
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
return results이 함수는 데이터셋의 모든 테스트 케이스를 순회하며 각각을 처리하고, 모든 결과를 하나의 리스트로 수집합니다.
평가 실행하기
평가 파이프라인을 실행하려면 데이터셋을 로드하고 메인 함수를 호출합니다:
with open("dataset.json", "r") as f:
dataset = json.load(f)
results = run_eval(dataset)처음 실행할 때는 시간이 좀 걸릴 수 있습니다. Claude Haiku를 사용하더라도 전체 데이터셋을 처리하는 데 30초 이상 걸릴 수 있습니다. 최적화 기법은 나중에 다룰 예정이니, 지금은 인내심을 갖는 것이 중요합니다.
결과 확인하기
평가가 완료되면 포맷된 JSON 출력으로 결과를 확인할 수 있습니다:
print(json.dumps(results, indent=2))
결과 구조에는 각 객체가 하나의 테스트 케이스 실행을 나타내는 객체 배열이 포함되어 있습니다. 여기에는 Claude 출력(형식 제약이 없으면 상당히 장황한 경향이 있음), 원래 테스트 케이스 정의, 그리고 점수가 표시됩니다.

지금까지 달성한 것
이 시점까지 우리는 핵심 평가 파이프라인을 성공적으로 구현했습니다. 우리가 할 수 있는 것은 다음과 같습니다:
- 데이터셋에서 테스트 케이스를 가져오기
- 프롬프트 템플릿과 병합하기
- Claude로부터 응답 받기
- 모든 결과를 수집하고 정리하기
아직 부족한 부분은 지능적인 채점입니다. 지금은 모든 응답에 고정된 점수를 부여하고 있을 뿐입니다. 다음 단계는 Claude의 출력이 실제로 올바른지 평가할 수 있는 그레이더를 구축하는 것이며, 여기서 평가 시스템의 진정한 정교함이 드러나게 됩니다.
이 파이프라인 구조는 단순해 보일 수 있지만, 대부분의 AI 평가 시스템이 기반으로 하는 토대를 나타냅니다. 복잡성은 테스트 실행의 기본적인 오케스트레이션이 아니라 채점 로직과 프롬프트 최적화에서 나옵니다.