로드 중
로드 중

코드를 생성하는 AI 모델을 평가할 때는 응답이 말이 되는지 확인하는 것만으로는 충분하지 않습니다. 생성된 코드가 실제로 유효한 문법을 가지고 있고 올바른 형식을 따르는지도 검증해야 합니다. 바로 이 지점에서 코드 기반 채점이 필요합니다.

코드 채점의 작동 방식

코드 채점은 AI가 생성한 응답의 두 가지 핵심 측면을 검증합니다:

아래에서 설명하는 형식과 유효한 문법은 코드 채점자 아래에, 작업 수행은 모델 채점자 아래에 그룹화되어 있습니다.

  • 형식 - 응답은 설명 없이 요청된 코드 유형(Python, JSON 또는 Regex)만 반환해야 합니다
  • 유효한 문법 - 생성된 코드는 의도한 언어로 실제로 올바르게 파싱되어야 합니다
  • 작업 수행 - 응답은 질문한 내용을 직접적으로 다루어야 하며 정확해야 합니다

앞의 두 기준은 코드 채점자가 처리하며, 작업 수행은 모델 채점자가 평가합니다. 이 둘이 함께 작동하여 종합적인 평가를 제공합니다.

문법 검증 함수

생성된 코드의 문법이 유효한지 확인하려면, 출력을 파싱하려고 시도하는 세 가지 헬퍼 함수를 만들 수 있습니다:

아래의 세 가지 검증기는 출력을 JSON으로 파싱하거나, Python 추상 구문 트리로 파싱하거나, 정규식으로 컴파일합니다.

python
import ast
import json
import re

def validate_json(text):
    try:
        json.loads(text.strip())
        return 10
    except json.JSONDecodeError:
        return 0

def validate_python(text):
    try:
        ast.parse(text.strip())
        return 10
    except SyntaxError:
        return 0

def validate_regex(text):
    try:
        re.compile(text.strip())
        return 10
    except re.error:
        return 0

각 함수는 텍스트를 각자의 형식으로 파싱하려고 시도합니다. 파싱에 성공하면 완벽한 점수인 10점을 반환합니다. 오류와 함께 실패하면 문법이 유효하지 않은 것이며 0점을 반환합니다.

데이터셋 형식 요구사항

코드 채점자가 어떤 검증기를 사용해야 할지 알 수 있도록, 테스트 케이스에 예상 출력 형식을 명시해야 합니다:

json
{
    "task": "Create a Python function to validate an AWS IAM username",
    "format": "python"
}

예시 출력 구조에 이 형식 필드를 추가함으로써 데이터셋 생성 프롬프트를 업데이트하여 이를 자동으로 포함시킬 수 있습니다.

프롬프트 명확성 개선하기

AI 모델에서 더 나은 결과를 얻으려면, 프롬프트 지시사항을 예상 출력 형식에 대해 더 구체적으로 작성하세요:

* Respond only with Python, JSON, or a plain Regex
* Do not add any comments or commentary or explanation

또한 코드 블록이 포함된 미리 채워진 어시스턴트 메시지를 사용하여 모델이 원시 코드만 반환하도록 유도할 수 있습니다:

python
add_assistant_message(messages, "```code")
output = chat(messages, stop_sequences=["```"])

이렇게 하면 Claude가 사전에 Python인지, JSON인지, Regex인지 명시할 필요 없이 코드 내용을 생성하기 시작하도록 지시할 수 있습니다.

점수 결합하기

먼저, 각 테스트 케이스에 맞는 검증기를 선택합니다:

python
def grade_syntax(output, test_case):
    if test_case["format"] == "json":
        return validate_json(output)
    if test_case["format"] == "python":
        return validate_python(output)
    return validate_regex(output)

마지막 단계는 모델 채점자 점수와 코드 채점자 점수를 병합하는 것입니다. 간단한 방법은 run_test_case 내부에서 평균을 구하는 것입니다:

python
model_grade = grade_by_model(test_case, output)
model_score = model_grade["score"]
syntax_score = grade_syntax(output, test_case)

score = (model_score + syntax_score) / 2

이렇게 하면 콘텐츠 품질과 기술적 정확성 모두에 동등한 가중치를 부여합니다. 특정 사용 사례에서 무엇이 더 중요한지에 따라 이러한 가중치를 조정할 수 있습니다.

구현 테스트하기

코드 채점을 구현했다면, 평가를 실행하여 기준 점수를 얻으세요. 점수 자체가 본질적으로 좋거나 나쁜 것은 아니며, 중요한 것은 프롬프트를 개선함으로써 점수를 향상시킬 수 있는지입니다. 이는 주관적인 평가에 의존하는 대신 프롬프트 엔지니어링 진행 상황을 정량적으로 측정할 수 있는 방법을 제공합니다.