로드 중

일반적인 평가 워크플로우

강의 118분
로드 중

일반적인 프롬프트 평가 워크플로우는 객관적인 측정을 통해 프롬프트를 체계적으로 개선할 수 있도록 도와주는 다섯 가지 핵심 단계를 따릅니다. 이러한 워크플로우를 구성하는 방법에는 여러 가지가 있으며 다양한 오픈 소스 및 유료 도구가 존재하지만, 핵심 프로세스를 이해하면 작게 시작해서 필요에 따라 확장해 나갈 수 있습니다.

프롬프트 작성부터 프롬프트 변경 및 반복까지, 아래에서 설명하는 프롬프트 평가 워크플로우의 다섯 단계.

1단계: 프롬프트 초안 작성

개선하고자 하는 초기 프롬프트를 작성하는 것으로 시작합니다. 이 예시에서는 간단한 프롬프트를 사용하겠습니다:

python
prompt = f"""
Please answer the user's question:

{question}
"""

위에 표시된 초기 프롬프트 초안과, 객관적으로 평가하기 전까지는 그것이 효과적인지 알 수 없다는 설명.

이 기본 프롬프트는 테스트와 개선을 위한 기준선 역할을 합니다.

2단계: 평가 데이터셋 만들기

평가 데이터셋에는 프롬프트에 입력할 샘플 입력값들이 포함됩니다. 우리의 프롬프트에는 입력값(사용자의 질문)이 하나뿐이므로, 테스트할 수 있는 다양한 질문들의 모음이 필요합니다.

평가 데이터셋 만들기 단계의 평가 워크플로우: 아래 나열된 세 가지 질문이 담긴 "Question" 열.

이 데이터셋에는 프롬프트와 결합할 질문들이 포함되어 있습니다. 이러한 데이터셋은 직접 만들거나 Claude를 사용하여 생성할 수 있습니다. 실제 평가에서는 수십, 수백, 심지어 수천 개의 서로 다른 레코드가 있을 수 있지만, 이 예시에서는 단 세 가지 질문으로 시작하겠습니다:

  • 2+2는 얼마인가요?
  • 오트밀은 어떻게 만드나요?
  • 달까지의 거리는 얼마나 되나요?

3단계: Claude를 통해 전달하기

데이터셋의 각 질문을 프롬프트 템플릿과 결합하여 완전한 프롬프트를 만듭니다. 그런 다음 각각을 Claude에 보내고 응답을 수집합니다.

질문 자리표시자가 있는 프롬프트, "2+2는 얼마인가요?"와 같은 세 가지 테스트 질문, 그리고 "2 + 2 = 4"와 같은 Claude의 답변.

예를 들어, 첫 번째 질문은 Claude가 처리하여 "2 + 2 = 4"와 같은 답변을 반환하는 완전한 프롬프트가 됩니다. 데이터셋의 모든 질문에 대해 이 과정을 반복하여 질문-답변 쌍의 모음을 구축합니다.

4단계: 그레이더를 통해 전달하기

이제 Claude의 응답 품질을 객관적으로 측정하는 중요한 단계가 옵니다. 각 질문-답변 쌍을 가져와 응답을 점수화하는 그레이더에 입력합니다.

평가 파이프라인에서 강조된 그레이더 단계: 세 가지 질문과 답변 쌍이 그레이더에 입력되어 10점, 4점, 9점으로 채점됨.

그레이더는 답변 품질에 따라 점수(일반적으로 1-10)를 부여합니다:

  • 10 = 더 이상 개선할 여지가 없는 완벽한 답변
  • 4 = 적절하지만 분명히 개선할 여지가 있음
  • 낮은 점수는 품질이 낮은 응답을 나타냄

모든 응답에 점수를 매긴 후, 점수들을 평균합니다. 이 예시에서는 10, 4, 9의 점수가 평균 7.66이 되어 프롬프트 성능에 대한 객관적인 측정값을 얻게 됩니다.

"마른 오트밀에 뜨거운 물을 넣으세요."와 같은 답변을 채점하고 점수를 평균하는 그레이더를 포함한 네 가지 평가 단계 전체.

5단계: 프롬프트 변경 및 반복

기준 점수를 확립한 후에는 이제 프롬프트를 수정하고 전체 프로세스를 다시 실행하여 변경 사항이 성능을 개선하는지 확인할 수 있습니다.

다섯 단계 평가 워크플로우에서 마지막 단계인 "프롬프트 변경 및 반복"이 강조 표시되고 아래에 수정된 프롬프트가 표시됨.

예를 들어, 더 구체적인 지시사항을 추가하여 원래 프롬프트를 개선할 수 있습니다:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

프롬프트 점수 매기기

이 워크플로우의 강점은 프롬프트 성능에 대한 객관적인 측정값을 얻을 수 있다는 점입니다. 서로 다른 프롬프트 버전 간의 점수를 비교하여 어느 쪽이 더 나은 성능을 보이는지 판단할 수 있습니다.

7.66점을 받은 프롬프트 v1과, "질문에 충분히 상세하게 답변하세요"를 추가하여 8.7점을 받은 프롬프트 v2.

이 예시에서:

  • 프롬프트 v1은 7.66점을 받았습니다
  • 프롬프트 v2는 8.7점을 받았습니다

v2의 더 높은 점수는 "질문에 충분히 상세하게 답변하세요"를 추가한 것이 프롬프트의 성능을 향상시켰다는 객관적인 증거를 제공합니다. 이후 더 나은 성능을 보이는 버전을 사용하거나 더 높은 점수를 얻기 위해 계속 반복할 수 있습니다.

이러한 체계적인 접근 방식은 프롬프트 개선 과정에서 추측을 배제하고 최적화를 위한 신뢰할 수 있는 프레임워크를 제공합니다. 효과적인 그레이더를 구현하는 데에는 복잡성이 따르지만, 이 워크플로우는 자신만의 평가 시스템을 구축하기 위한 탄탄한 기초를 제공합니다.