로드 중
로드 중

Claude와 작업할 때, 좋은 프롬프트를 작성하는 것은 시작에 불과합니다. 신뢰할 수 있는 AI 애플리케이션을 구축하려면 두 가지 핵심 개념인 프롬프트 엔지니어링과 프롬프트 평가를 이해해야 합니다. 프롬프트 엔지니어링은 더 나은 프롬프트를 작성하는 기법을 제공하며, 프롬프트 평가는 그 프롬프트가 실제로 얼마나 잘 작동하는지 측정하는 데 도움을 줍니다.

프롬프트 개선 및 평가: 프롬프트 엔지니어링과 프롬프트 평가의 정의를 나란히 비교한 그림으로, 아래에서 설명합니다.

프롬프트 엔지니어링 vs 프롬프트 평가

프롬프트 엔지니어링은 효과적인 프롬프트를 작성하기 위한 도구 모음입니다. 여기에는 다음과 같은 기법이 포함됩니다:

  • 멀티샷 프롬프팅
  • XML 태그를 활용한 구조화
  • 그 밖의 다양한 모범 사례

이러한 기법들은 Claude가 여러분이 요청하는 내용과 원하는 응답 방식을 정확히 이해하는 데 도움을 줍니다.

프롬프트 평가는 다른 접근 방식을 취합니다. 프롬프트를 어떻게 작성할지에 초점을 맞추는 대신, 자동화된 테스트를 통해 그 효과를 측정하는 것입니다. 다음과 같은 작업을 할 수 있습니다:

  • 예상 답변과 비교하여 테스트
  • 동일한 프롬프트의 여러 버전 비교
  • 오류를 확인하기 위한 출력 검토

프롬프트 작성 이후의 세 가지 경로

프롬프트 초안을 작성한 후에는 일반적으로 다음에 무엇을 할지에 대해 세 가지 선택지를 마주하게 됩니다:

프롬프트 작성에서 세 가지 선택지와 그 장단점으로 분기하는 다이어그램으로, 아래에서 설명합니다.

옵션 1: 프롬프트를 한 번 테스트하고 충분히 괜찮다고 판단합니다. 사용자가 예상치 못한 입력을 제공할 경우 프로덕션 환경에서 문제가 발생할 위험이 상당히 큽니다.

옵션 2: 프롬프트를 몇 번 테스트하고 한두 가지 예외 상황을 처리하도록 조정합니다. 옵션 1보다는 낫지만, 사용자는 종종 여러분이 고려하지 못한 매우 예상치 못한 결과를 내놓을 것입니다.

옵션 3: 프롬프트를 평가 파이프라인에 통과시켜 점수를 매긴 다음, 객관적인 지표를 바탕으로 프롬프트를 반복적으로 개선합니다. 이 방식은 더 많은 작업과 비용이 들지만, 프롬프트의 신뢰성에 대해 훨씬 더 큰 확신을 줍니다.

대부분의 엔지니어가 테스트 함정에 빠지는 이유

옵션 1과 옵션 2는 저를 포함한 모든 엔지니어가 빠지는 흔한 함정입니다. 중요한 애플리케이션을 위한 프롬프트를 작성하면서 충분히 철저하게 테스트하지 않는 것은 자연스러운 일입니다. 우리는 실제 사용자가 얼마나 많은 엣지 케이스를 마주하게 될지 과소평가하는 경향이 있습니다.

실제로는 프롬프트를 프로덕션에 배포하면 사용자들이 여러분이 전혀 예상하지 못한 방식으로 상호작용하게 됩니다. 제한된 테스트 중에는 견고해 보였던 프롬프트도 실제 다양한 입력에 직면하면 금세 무너질 수 있습니다.

평가 우선 접근 방식

옵션 3은 프롬프트 개발에 대한 더 체계적인 접근 방식을 나타냅니다. 프롬프트를 평가 파이프라인에 통과시킴으로써, 더 폭넓은 테스트 케이스 전반에 걸쳐 성능에 대한 객관적인 지표를 얻을 수 있습니다. 이러한 데이터 기반 접근 방식을 통해 다음을 할 수 있습니다:

  • 프로덕션 문제가 되기 전에 약점을 파악
  • 서로 다른 프롬프트 버전을 객관적으로 비교
  • 측정 가능한 개선 사항을 바탕으로 자신 있게 반복 개선
  • 더 신뢰할 수 있는 AI 애플리케이션 구축

이 접근 방식은 시간과 테스트 인프라에 더 많은 초기 투자를 요구하지만, 최종 애플리케이션의 신뢰성과 견고함 측면에서 그만한 성과를 가져다줍니다. 목표는 사용자가 문제를 겪은 후가 아니라 개발 단계에서 문제를 발견하는 것입니다.