로드 중
로드 중

프롬프트 캐싱은 이전 요청의 연산 작업을 재사용하여 Claude의 응답 속도를 높이고 텍스트 생성 비용을 줄이는 기능입니다. 매 요청 후 모든 처리 작업을 버리는 대신, Claude는 유사한 콘텐츠를 다시 보낼 때 이를 저장하고 재사용할 수 있습니다.

Claude가 일반적으로 요청을 처리하는 방식

프롬프트 캐싱을 이해하기 위해, 먼저 캐싱이 활성화되지 않은 일반적인 요청에서 어떤 일이 일어나는지 살펴보겠습니다.

일반적인 요청: 서버가 Claude에게 "이 긴 텍스트를 요약해 주세요:"라는 사용자 메시지와 텍스트 자리 표시자를 보냅니다.

Claude에게 메시지를 보내면, Claude는 즉시 응답 생성을 시작하지 않습니다. 대신, Claude는 입력에 대해 엄청난 양의 사전 처리 작업을 수행합니다:

아래 단계 중 처음 세 단계는 입력 메시지에 대한 작업이고, 네 번째 단계는 Claude가 반환하는 요약을 생성합니다.

  • 프롬프트를 더 작은 조각으로 토큰화
  • 각 토큰에 대한 임베딩 생성
  • 주변 텍스트를 기반으로 컨텍스트 추가
  • 그런 다음에야 실제 출력 텍스트 생성

응답을 보낸 후, Claude는 이 모든 연산 작업, 즉 토큰화, 임베딩, 컨텍스트 분석을 모두 폐기합니다.

Claude가 "다음 요청을 처리할 준비가 되었습니다!"라고 말하는 동안, 위에 나열된 네 단계는 "휴지통"이라고 표시된 점선 상자 안에 놓여 있습니다.

작업을 폐기할 때 발생하는 문제

동일한 콘텐츠를 포함하는 후속 요청을 할 때 이는 비효율적이 됩니다. 예를 들어, 동일한 긴 텍스트의 요약을 다듬어 달라고 Claude에게 요청하는 대화의 경우:

후속 요청은 이전과 동일한 요약 메시지, 그 요약, 그리고 좀 더 집중해 달라는 사용자 메시지를 Claude에게 보냅니다.

Claude는 불과 얼마 전에 분석했던 콘텐츠에 대해 동일한 사전 처리 작업을 모두 반복해야 합니다. Claude는 이렇게 생각할지도 모릅니다: "방금 그 메시지를 처리했는데 내가 한 작업을 모두 버렸구나 - 재사용할 수도 있었을 텐데!"

세 개의 메시지로 이루어진 후속 요청: 긴 텍스트를 요약해 달라는 사용자 요청, 그 요약, 그리고 좀 더 집중해 달라는 요청.

프롬프트 캐싱이 이를 해결하는 방법

프롬프트 캐싱은 사전 처리 작업을 폐기하는 대신 저장함으로써 이 워크플로우를 바꿉니다:

프롬프트 토큰화와 같은 Claude의 사전 처리 단계가 이제 캐시 상자 안에 놓여 있고, 휴지통 상자는 비어 있습니다.

처음 요청을 할 때, Claude는 평소와 같이 모든 사전 처리를 수행하지만, 결과를 버리는 대신 캐시에 저장합니다. 캐시는 "이 메시지를 다시 보게 되면, 이미 수행한 이 작업을 재사용하겠다"라고 말하는 조회 테이블처럼 작동합니다.

긴 텍스트를 요약해 달라는 사용자 메시지와 그것이 저장하는 세 가지 사전 처리 단계를 짝지은 캐시 테이블.

주요 이점과 제한 사항

프롬프트 캐싱은 다음과 같은 여러 이점을 제공합니다:

  • 더 빠른 응답: 캐시된 콘텐츠를 사용하는 요청은 더 빠르게 실행됩니다
  • 더 낮은 비용: 요청 중 캐시된 부분에 대해 더 적은 비용을 지불합니다
  • 자동 최적화: 초기 요청은 캐시에 쓰고, 후속 요청은 캐시에서 읽습니다

하지만 유념해야 할 중요한 제한 사항이 있습니다:

  • 캐시 지속 시간: 기본적으로 캐시된 콘텐츠는 5분 동안 유지되며, 재사용할 때마다 추가 비용 없이 이 타이머가 갱신됩니다. 선택적으로 수명을 1시간으로 연장할 수 있지만, 이 경우 캐시 쓰기 가격이 더 높아집니다.
  • 제한된 사용 사례: 동일한 콘텐츠를 반복적으로 전송할 때만 이점이 있습니다
  • 높은 빈도 요구 사항: 동일한 콘텐츠가 요청에서 매우 자주 나타날 때 가장 효과적입니다

프롬프트 캐싱은 동일한 대용량 문서에 대해 여러 질문을 하는 문서 분석 워크플로우나, 기본 콘텐츠는 그대로 유지하면서 특정 측면을 다듬는 반복 편집 작업과 같은 시나리오에서 가장 효과적입니다.