로드 중
로드 중

프롬프트 엔지니어링은 작성한 프롬프트를 개선하여 더 안정적이고 더 높은 품질의 출력을 얻는 작업입니다. 이 과정은 반복적인 개선을 거치는데, 기본적인 프롬프트에서 시작해 그 성능을 평가한 다음, 체계적으로 엔지니어링 기법을 적용하여 개선해 나갑니다.

프롬프트 평가, 즉 프롬프트의 자동화된 테스트는 XML 태그를 활용한 구조화 같은 프롬프트 엔지니어링 관행으로 이어집니다.

반복적 개선 프로세스

이 접근 방식은 원하는 결과를 얻을 때까지 반복할 수 있는 명확한 주기를 따릅니다:

다섯 단계의 프롬프트 엔지니어링 단계로, 마지막 두 단계를 반복하며 001_prompting.ipynb의 개선된 평가 파이프라인을 사용하라는 안내가 있습니다.

  1. 목표 설정 - 프롬프트가 달성해야 할 목표를 정의합니다
  2. 초기 프롬프트 작성 - 기본적인 첫 시도를 만듭니다
  3. 프롬프트 평가 - 설정한 기준에 따라 테스트합니다
  4. 프롬프트 엔지니어링 기법 적용 - 특정 방법을 사용하여 성능을 개선합니다
  5. 재평가 - 변경 사항이 실제로 결과를 개선했는지 확인합니다

만족스러운 성능을 얻을 때까지 마지막 두 단계를 반복합니다. 각 반복마다 평가 점수에서 측정 가능한 개선이 나타나야 합니다.

예시: 운동선수를 위한 식단 계획

실제 예시를 통해 살펴보겠습니다. 목표는 운동선수의 신체적 특성과 요구 사항을 바탕으로 하루 식단 계획을 생성하는 프롬프트를 만드는 것입니다.

입력: 키 180cm, 체중 75kg, 목표 "체중 유지 및 파워 향상", 유당불내증, 출력: 약 3000칼로리.

이 프롬프트는 이러한 입력을 받아 총 칼로리, 다량영양소 구성, 분량과 시간대가 포함된 구체적인 식사 세부 내용을 갖춘 포괄적인 식단 계획을 생성해야 합니다.

평가 프레임워크 구축하기

개선 상황을 체계적으로 측정하려면 견고한 평가 체계가 필요합니다. 이 프레임워크에는 다음이 포함됩니다:

  • 데이터셋 생성 - 실제 상황을 대표하는 테스트 케이스를 만듭니다
  • 자동화된 채점 - 일관된 기준을 사용하여 출력을 평가합니다
  • 성능 추적 - 반복 과정 전반에서 개선 사항을 모니터링합니다

평가기를 설정할 때는 API 속도 제한에 유의하세요. 낮은 동시성(동시 요청 1~3개)으로 시작하고, 속도 제한 오류가 발생하지 않을 때만 늘려나가세요.

초기 프롬프트 만들기

완벽하지 않다는 것을 알고 있더라도 간단한 것부터 시작하세요. 다음은 기본적인 첫 시도의 예시입니다:

What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}  
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}

이 프롬프트는 의도적으로 기본적인 수준으로 작성되었으며 아마도 좋지 않은 결과를 낼 것입니다. 바로 그것이 의도한 바입니다 - 개선해 나갈 명확한 기준선을 확보하는 것입니다.

평가 기준 설정하기

프롬프트가 충족해야 할 구체적인 기준을 정의합니다. 식단 계획 예시에서 좋은 출력에는 다음이 포함되어야 합니다:

  • 일일 총 칼로리
  • 다량영양소 구성
  • 정확한 음식, 분량, 시간대가 포함된 식사

이러한 기준은 평가 모델이 출력을 일관되게 채점하는 데 도움이 되며, 개선을 위한 명확한 목표를 제시합니다.

기준 성능 측정하기

초기 프롬프트를 평가 프레임워크를 통해 실행해 보세요. 낮은 점수에 낙담하지 마세요 - 10점 만점에 2.3점은 시작점으로서는 사실 완벽합니다. 이는 개선을 입증할 충분한 여지를 제공합니다.

50개의 테스트 케이스로 구성된 프롬프트 평가 리포트, 평균 점수 10점 만점에 2.3점, 통과율 0.0퍼센트, 그리고 케이스별 행.

결과 분석하기

대부분의 평가 프레임워크는 각 테스트 케이스의 성능을 보여주는 상세한 리포트를 생성합니다. 이러한 리포트에는 일반적으로 다음이 포함됩니다:

50개의 테스트 케이스로 구성된 프롬프트 평가 리포트, 평균 점수 10점 만점에 2.3점, 통과율 0.0퍼센트, 그리고 케이스별 행.

  • 개별 테스트 케이스 결과 - 모델이 정확히 무엇을 생성했는지 확인합니다
  • 채점 내역 - 특정 출력이 낮은 점수를 받은 이유를 이해합니다
  • 근거 - 무엇이 빠졌거나 잘못되었는지에 대한 피드백을 얻습니다

이러한 상세한 피드백을 활용하여 프롬프트가 개선이 필요한 구체적인 영역을 파악하세요. 일회성 문제가 아니라 체계적인 문제를 이해하기 위해 여러 테스트 케이스에서 나타나는 패턴을 살펴보세요.

다음 단계

기준선을 확립하고 평가 프레임워크를 갖췄다면, 이제 구체적인 프롬프트 엔지니어링 기법을 적용할 준비가 된 것입니다. 적용하는 각 기법은 평가 점수에서 측정 가능한 개선으로 이어져, 원하는 출력 품질에 더 가까워지게 해야 합니다.

핵심은 한 번에 하나씩 변경하고, 그 영향을 평가한 다음, 그 변경 사항을 유지할지 아니면 다른 접근 방식을 시도할지 결정하는 것입니다. 이러한 체계적인 과정을 통해 특정 사용 사례에 가장 적합한 기법이 무엇인지 파악할 수 있습니다.