로드 중
로드 중

프롬프트 평가 워크플로우를 구축할 때, 채점 시스템은 출력 품질에 대한 객관적인 신호를 제공합니다. 그레이더는 모델 출력을 받아 측정 가능한 형태의 피드백을 반환하며, 일반적으로 1에서 10 사이의 숫자로 표현되고, 10은 높은 품질을, 1은 낮은 품질을 나타냅니다.

그레이더의 유형

코드, 모델, 인간 그레이더를 비교한 그림. 모델 그레이더와 인간 그레이더는 아래에서 설명하는 것처럼 출력의 두 버전을 비교할 수도 있습니다.

모델 출력을 채점하는 데는 세 가지 주요 접근 방식이 있습니다:

  • 코드 그레이더 - 커스텀 코드를 사용하여 프로그래밍 방식으로 출력을 평가합니다
  • 모델 그레이더 - 다른 AI 모델을 사용하여 품질을 평가합니다
  • 인간 그레이더 - 사람이 직접 출력을 검토하고 점수를 매깁니다

코드 그레이더

코드 그레이더를 사용하면 상상할 수 있는 모든 프로그래밍 방식의 검사를 구현할 수 있습니다. 일반적인 용도는 다음과 같습니다:

  • 출력 길이 확인
  • 출력에 특정 단어가 포함되어 있는지 또는 포함되어 있지 않은지 확인
  • JSON, Python, 또는 정규식에 대한 문법 검증
  • 적절한 읽기 수준을 보장하기 위한 가독성 점수

모델 그레이더

모델 그레이더는 추가적인 API 호출을 사용하여 출력을 평가함으로써 엄청난 유연성을 제공합니다. 다음과 같은 항목을 평가하는 데 유용합니다:

  • 응답 품질
  • 지시 이행의 품질
  • 완전성
  • 유용성
  • 안전성

인간 그레이더

인간 그레이더는 가장 큰 유연성을 제공하지만 상당한 단점도 존재합니다. 인간은 상상할 수 있는 모든 기준에 대해 응답을 평가할 수 있지만, 그 과정은 시간이 많이 걸리고 지루합니다.

평가 기준 정의하기

"우리 프롬프트가 좋은 출력을 생성하고 있는지 어떻게 알 수 있을까요?"라는 질문에 아래에서 설명하는 세 가지 기준으로 답합니다.

그레이더를 구현하기 전에 명확한 평가 기준이 필요합니다. 코드 생성 프롬프트의 경우 다음에 초점을 맞출 수 있습니다:

  • 형식 - 설명 없이 Python, JSON, 또는 정규식만 반환해야 합니다
  • 유효한 문법 - 생성된 코드는 유효한 문법을 가져야 합니다
  • 작업 이행 - 응답은 정확한 코드로 사용자의 작업을 직접적으로 해결해야 합니다

"형식"과 "유효한 문법"은 코드 그레이더 아래에, "작업 이행"은 아래에서 설명하는 것처럼 모델 그레이더 아래에 그룹화됩니다.

처음 두 기준은 코드 그레이더와 잘 맞으며, 작업 이행은 유연성 덕분에 모델 그레이더에 더 적합합니다.

모델 그레이더 구현하기

모델 그레이더는 구현하기 가장 쉬운 경우가 많습니다. 기본 구조는 다음과 같습니다:

python
def grade_by_model(test_case, output):
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.

    Task: {test_case["task"]}
    Solution: {output}

    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """

    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")
    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

채점 프롬프트는 1~3개의 "strengths"와 "weaknesses" 배열, "reasoning", 그리고 1에서 10 사이의 "score"를 요청합니다.

채점 프롬프트는 포괄적이어야 하며 다음을 포함해야 합니다:

  • 그레이더에 대한 명확한 역할 정의
  • 원래의 작업
  • 평가할 AI 생성 솔루션
  • 구체적인 출력 형식 요구사항

단순히 점수만 요청하지 마세요. 숫자 점수와 함께 강점, 약점, 근거를 요청하세요. 이렇게 하면 모델이 6점과 같은 어중간한 점수로 기본값을 설정하는 것을 방지하고 더 신중한 평가를 이끌어낼 수 있습니다.

워크플로우에 그레이더 통합하기

그레이더 함수를 확보했다면, 이를 테스트 케이스 러너에 통합하세요:

python
def run_test_case(test_case):
    output = run_prompt(test_case)
    
    # 모델 채점자(grader)를 호출합니다
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]
    
    return {
        "output": output, 
        "test_case": test_case, 
        "score": score,
        "reasoning": reasoning
    }

모든 테스트 케이스를 실행한 후, 평균 점수를 계산하여 프롬프트의 성능에 대한 객관적인 지표를 얻으세요:

python
from statistics import mean

def run_eval(dataset):
    results = []
    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)
    
    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")
    
    return results

이렇게 하면 개선에 집중할 수 있는 구체적인 숫자를 얻을 수 있습니다. 모델 그레이더는 다소 변덕스러울 수 있고 더 나은 안내가 도움이 될 수 있지만, 반복하고 개선해 나갈 수 있는 객관적인 평가의 출발점을 제공합니다.