Claude와 작업할 때 좋은 프롬프트를 작성하는 것은 시작에 불과합니다. 신뢰할 수 있는 AI 애플리케이션을 구축하려면 두 가지 중요한 개념인 프롬프트 엔지니어링과 프롬프트 평가를 이해해야 합니다. 프롬프트 엔지니어링은 더 나은 프롬프트를 작성하는 기법을 제공하며, 프롬프트 평가는 그러한 프롬프트가 실제로 얼마나 잘 작동하는지 측정하는 데 도움이 됩니다.

프롬프트 엔지니어링 vs 프롬프트 평가
프롬프트 엔지니어링은 프롬프트를 작성하고 개선하기 위한 도구 모음입니다. 이는 Claude가 여러분이 요청하는 바를 정확히 이해하고 원하는 방식으로 응답하도록 돕는 일련의 모범 사례입니다. 멀티샷 프롬프팅, XML 태그를 사용한 구조화 등 앞으로 살펴볼 여러 기법과 같이, 이를 프롬프트 작성의 기술이라고 생각하면 됩니다.
반면, 프롬프트 평가는 측정에 관한 것입니다. 이는 여러분의 프롬프트가 실제로 효과적인지에 대한 객관적인 지표를 제공하는 자동화된 테스트입니다. 프롬프트가 잘 작동하는지 추측하는 대신, 평가를 통해 다음을 할 수 있습니다:
- 예상 답변과 비교하여 테스트
- 동일한 프롬프트의 여러 버전 비교
- 출력 결과에서 오류 검토
프롬프트 작성 후의 세 가지 경로
프롬프트를 작성한 후에는 일반적으로 다음에 무엇을 할지에 대해 세 가지 선택지에 직면하게 됩니다:

선택지 1: 프롬프트를 한 번 테스트하고 충분히 좋다고 판단합니다. 이는 사용자가 예상치 못한 입력을 제공할 때 프로덕션 환경에서 문제가 발생할 상당한 위험을 안고 있습니다.
선택지 2: 프롬프트를 몇 차례 테스트하고 한두 가지 예외 사례를 처리하도록 조정합니다. 선택지 1보다는 낫지만, 사용자는 종종 여러분이 고려하지 못한 매우 예상치 못한 결과를 만들어낼 것입니다.
선택지 3: 프롬프트를 평가 파이프라인에 통과시켜 점수를 매긴 다음, 객관적인 데이터를 바탕으로 프롬프트를 반복적으로 개선합니다. 이는 더 많은 사전 작업과 비용을 필요로 하지만, 프롬프트의 신뢰성에 대해 훨씬 더 큰 확신을 줍니다.
대다수 엔지니어가 테스트 함정에 빠지는 이유
선택지 1과 2는 저를 포함한 모든 엔지니어가 빠지는 함정입니다. 프롬프트를 작성하고, 자신의 입력으로 몇 번 테스트해본 뒤 "이 정도면 충분해 보인다"고 생각하는 것은 자연스러운 일입니다. 하지만 진지한 애플리케이션을 구축할 때는 이러한 접근 방식이 프로덕션 환경에서 문제로 이어지는 경우가 많습니다.
문제는 사용자가 여러분의 프롬프트와 상호작용할 모든 방식을 예측할 수 없다는 점입니다. 제한된 테스트에서는 완벽하게 작동하는 것처럼 보이는 것도 실제 사용 패턴에 직면하면 완전히 실패할 수 있습니다.
체계적 평가의 가치
프롬프트를 평가 파이프라인에 통과시키는 선택지 3은 성능에 대한 객관적인 데이터를 제공합니다. 직감이나 제한된 수동 테스트에 의존하는 대신, 다양한 입력을 프롬프트가 얼마나 잘 처리하는지 알려주는 측정 가능한 점수를 얻게 됩니다.
이 접근 방식을 사용하면 자신 있게 반복 개선할 수 있습니다. 프롬프트를 변경하고 그 변경이 성능을 개선하는지 악화시키는지 즉시 확인할 수 있습니다. 이는 프롬프트 개선이 실제로 효과가 있는지 추측하는 것과 확실히 아는 것의 차이입니다.
평가에는 시간과 리소스 면에서 더 많은 초기 투자가 필요하지만, 다양한 사용자 입력 전반에서 일관되게 작동하는 신뢰할 수 있는 프로덕션 준비 프롬프트가 필요할 때 그만한 성과를 거둡니다.