로드 중

일반적인 평가 워크플로우

강의 1010분
로드 중

일반적인 프롬프트 평가 워크플로우는 객관적인 측정을 통해 프롬프트를 체계적으로 개선하는 데 도움이 되는 다섯 가지 주요 단계를 따릅니다. 이러한 워크플로우를 구성하는 방법은 다양하며 여러 오픈 소스 및 유료 도구를 사용할 수 있지만, 핵심 프로세스를 이해하면 작게 시작해서 필요에 따라 규모를 확장할 수 있습니다.

프롬프트 작성부터 프롬프트 변경 및 반복까지, 아래에 설명된 프롬프트 평가 워크플로우의 다섯 단계.

1단계: 프롬프트 작성

개선하고자 하는 초기 프롬프트를 작성하는 것부터 시작하세요. 이 예시에서는 간단한 프롬프트를 사용하겠습니다:

python
prompt = f"""
Please answer the user's question:

{question}
"""

위에 표시된 초기 프롬프트 초안으로, 객관적으로 평가하기 전까지는 효과가 있는지 알 수 없다는 메모가 있습니다.

이 기본 프롬프트는 테스트와 개선을 위한 기준선 역할을 합니다.

2단계: 평가 데이터셋 생성

평가 데이터셋에는 프로덕션 환경에서 프롬프트가 처리할 질문이나 요청 유형을 나타내는 샘플 입력이 포함됩니다. 데이터셋에는 프롬프트 템플릿에 삽입될 질문이 포함되어야 합니다.

평가 데이터셋 생성 단계의 평가 워크플로우: 아래 나열된 세 가지 질문을 담고 있는 "Question" 열.

이 예시에서 데이터셋에는 세 가지 질문이 포함됩니다:

  • "2+2는 뭐야?"
  • "오트밀은 어떻게 만들어?"
  • "달까지는 얼마나 멀어?"

실제 평가에서는 수십, 수백, 심지어 수천 개의 레코드가 있을 수 있습니다. 이러한 데이터셋은 직접 만들거나 Claude를 사용하여 생성할 수 있습니다.

3단계: Claude에 입력하기

데이터셋의 각 질문을 프롬프트 템플릿과 병합하여 완전한 프롬프트를 생성합니다. 그런 다음 각각을 Claude에 전송하여 응답을 받습니다.

질문 자리표시자가 있는 프롬프트, "2+2는 뭐야?"와 같은 세 가지 테스트 질문, 그리고 "2 + 2 = 4"와 같은 Claude의 답변.

예를 들어, 첫 번째 질문은 다음과 같이 됩니다:

Please answer the user's question:
What's 2+2?

Claude는 수학 질문에 대해 "2 + 2 = 4"라고 답변하고, 두 번째 질문에 대해서는 오트밀 조리법을 제공하며, 세 번째 질문에 대해서는 달까지의 거리를 알려줄 수 있습니다.

4단계: 채점자를 통해 전달하기

채점자는 원래 질문과 Claude의 답변을 모두 검토하여 Claude 응답의 품질을 평가합니다. 이 단계는 일반적으로 1점에서 10점 척도의 객관적인 점수를 제공하며, 10점은 완벽한 답변을 나타내고 낮은 점수는 개선의 여지가 있음을 나타냅니다.

평가 파이프라인의 채점자 단계가 강조 표시됨: 세 쌍의 질문과 답변이 채점자에게 전달되어 각각 10점, 4점, 9점으로 채점됩니다.

이 예시에서 채점자는 다음과 같이 점수를 매길 수 있습니다:

  • 수학 질문: 10점 (완벽한 답변)
  • 오트밀 질문: 4점 (개선 필요)
  • 달 질문: 9점 (매우 좋은 답변)

모든 질문에 대한 평균 점수는 객관적인 측정값을 제공합니다: (10 + 4 + 9) ÷ 3 = 7.66

5단계: 프롬프트 변경 및 반복

기준 점수가 생겼으므로, 이제 프롬프트를 수정하고 전체 프로세스를 다시 실행하여 변경 사항이 성능을 개선하는지 확인할 수 있습니다.

다섯 단계의 평가 워크플로우에서 마지막 단계인 "프롬프트 변경 및 반복"이 강조 표시되고 아래에 수정된 프롬프트가 표시됨.

예를 들어, 프롬프트에 더 많은 안내를 추가할 수 있습니다:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

이 개선된 프롬프트를 동일한 평가 프로세스를 통해 실행한 후, 평균 점수가 8.7로 더 높아질 수 있으며, 이는 추가 지시사항이 Claude가 더 나은 응답을 제공하는 데 도움이 되었음을 나타냅니다.

프롬프트 점수 평가

이 워크플로우의 핵심 이점은 프롬프트 성능에 대한 객관적인 측정값을 얻는 것입니다. 다음을 수행할 수 있습니다:

  • 서로 다른 프롬프트 버전을 숫자로 비교
  • 가장 좋은 점수를 받은 버전 사용
  • 더 나은 접근 방식을 찾기 위해 계속 반복

프롬프트 v1은 7.66점을 받았고, "답변에 충분한 세부 정보를 포함하라"는 내용을 추가한 프롬프트 v2는 8.7점을 받았습니다.

이러한 체계적인 접근 방식은 프롬프트 엔지니어링에서 추측을 배제하고, 변경 사항이 단순히 다른 변형이 아니라 실제로 개선임을 확신할 수 있게 해줍니다.