로드 중
로드 중

프롬프트 캐싱은 이전 요청에서 수행한 연산 작업을 재사용하여 Claude의 응답 속도를 높이고 텍스트 생성 비용을 절감하는 기능입니다. 각 요청 후 모든 처리 작업을 버리는 대신, Claude는 유사한 콘텐츠를 다시 보낼 때 이를 저장하고 재사용할 수 있습니다.

Claude가 평소 요청을 처리하는 방식

프롬프트 캐싱을 이해하기 위해, 먼저 캐싱이 활성화되지 않은 일반적인 요청 중에 어떤 일이 일어나는지 살펴보겠습니다.

일반적인 요청: 저희 서버가 Claude에게 하나의 사용자 메시지 "이 긴 텍스트를 요약해줘:" 와 텍스트 자리표시자를 함께 전송합니다.

Claude에게 메시지를 보내면, Claude는 즉시 응답 생성을 시작하지 않습니다. 대신, Claude는 입력에 대해 광범위한 전처리 작업을 수행합니다:

Claude의 네 단계 중 앞의 세 단계가 입력 메시지에 대해서만 수행되는 작업으로 표시되어 있으며, 그 후 요약을 반환합니다.

  • 프롬프트를 토큰화합니다(텍스트를 더 작은 단위로 분할)
  • 각 토큰에 대한 임베딩을 생성합니다(수학적 표현)
  • 주변 텍스트를 기반으로 컨텍스트를 추가합니다
  • 그런 다음에야 실제 출력 텍스트를 생성합니다

Claude 박스 안에서 선택된 네 가지 처리 단계가 "Trash"라고 표시된 빈 점선 박스로 드래그될 준비가 되어 있습니다.

응답을 보낸 후, Claude는 이 모든 연산 작업을 버립니다. 모든 것이 폐기되고, Claude는 다음 요청을 받을 준비가 되었다고 선언합니다.

반복되는 콘텐츠로 인한 문제

여기서 비효율이 발생합니다. Claude와 대화를 나누고 있다고 상상해 보세요. 그러면 후속 요청에는 다음이 포함됩니다:

동일한 "이 긴 텍스트를 요약해줘" 메시지, Claude의 요약, 그리고 "요약이 좀 더 초점을 맞춰야 할 부분은" 이라는 후속 요청.

  • 이전과 동일한 원래 사용자 메시지
  • Claude의 이전 응답
  • 새로운 후속 메시지

후속 요청에서, Claude는 방금 처리했던 반복된 첫 번째 사용자 메시지 "이 긴 텍스트를 요약해줘"를 다시 가리킵니다.

Claude는 불과 몇 순간 전에 정확히 동일한 콘텐츠를 분석했음에도 불구하고, 그 원래 메시지를 처음부터 다시 처리해야 합니다. Claude는 이렇게 생각할지도 모릅니다: "방금 그 메시지를 처리하고 내가 한 작업을 모두 버렸어. 그걸 재사용할 수도 있었는데!"

프롬프트 캐싱이 이를 해결하는 방법

프롬프트 캐싱은 이 낭비되는 과정을 바꿉니다. 전처리 작업을 버리는 대신, Claude는 이를 캐시에 저장합니다.

초기 요청이 Claude의 네 단계를 거쳐 요약 응답으로 이어지며, 옆에는 비어 있는 Trash 박스와 비어 있는 Cache 박스가 있습니다.

작동 방식은 다음과 같습니다:

  1. 초기 요청: Claude가 메시지를 처리하고 연산 작업을 캐시에 기록합니다
  2. 후속 요청: Claude가 동일한 콘텐츠를 다시 볼 때, 처음부터 다시 시작하는 대신 캐시에서 이전에 처리된 작업을 읽어옵니다

사용자 메시지 "긴 텍스트를 요약해줘"와 저장된 토큰화, 임베딩, 컨텍스트 작업을 짝지은 캐시 테이블.

캐시는 일종의 조회 테이블처럼 작동합니다: "이 메시지를 다시 보게 되면, 이미 수행한 이 작업을 재사용할 것이다."

주요 이점과 한계

Claude가 "이것을 요약해줘"라는 프롬프트에 대해 수행한 작업을 캐시에 기록한 다음, 후속 요청에서 이를 읽어옵니다.

프롬프트 캐싱은 여러 가지 이점을 제공합니다:

  • 더 빠른 응답: 캐시된 콘텐츠를 사용하는 요청은 더 빠르게 실행됩니다
  • 더 낮은 비용: 캐시된 작업을 재사용하는 처리에 대해 더 적은 비용을 지불합니다
  • 자동 최적화: 초기 요청은 캐시에 기록하고, 후속 요청은 그로부터 읽어옵니다

하지만 염두에 두어야 할 중요한 한계도 있습니다:

  • 짧은 수명: 캐시는 5분 동안만 유지됩니다
  • 정확한 일치가 필요: 동일한 콘텐츠를 반복적으로 보낼 때만 유용합니다
  • 일반적인 사용 사례: 이는 대화형 애플리케이션과 문서 분석 워크플로우에서 매우 빈번하게 발생합니다

프롬프트 캐싱은 사용자가 짧은 시간 내에 동일한 문서를 자주 참조하거나, 대화를 계속하거나, 유사한 프롬프트를 반복하는 애플리케이션에 특히 유용합니다.