로드 중

프롬프트 캐싱의 규칙

강의 443분
로드 중

Claude의 프롬프트 캐싱은 메시지에 대해 수행된 연산 작업을 저장하여 후속 요청에서 재사용할 수 있게 하는 방식으로 작동합니다. 이를 통해 후속 요청을 더 빠르고 더 저렴하게 실행할 수 있지만, 동일한 콘텐츠를 반복적으로 전송하는 경우에만 유용합니다.

과정은 간단합니다. 최초 요청은 처리 작업을 캐시에 기록하고, 후속 요청은 동일한 콘텐츠를 다시 처리하는 대신 해당 캐시를 읽어올 수 있습니다. 기본적으로 캐시는 5분 동안 유지되므로, 이 기능은 해당 시간 내에 동일한 콘텐츠를 반복적으로 전송하는 경우에만 유용합니다. 많은 애플리케이션이 이러한 방식으로 동작합니다. 더 긴 시간이 필요한 경우, 더 높은 캐시 작성 비용으로 1시간의 캐시 지속 시간도 사용할 수 있습니다.

캐시 중단점(Cache Breakpoints)

캐싱은 자동으로 활성화되지 않으며, 메시지의 특정 블록에 캐시 중단점을 수동으로 추가해야 합니다. 작동 방식은 다음과 같습니다:

  • 메시지에 대해 수행된 작업은 자동으로 캐시되지 않습니다
  • 블록에 '캐시 중단점'을 수동으로 추가해야 합니다
  • 중단점 이전에 해당하는 모든 작업이 캐시됩니다
  • 중단점을 포함한 앞부분까지의 콘텐츠가 동일한 경우에만 후속 요청에서 캐시가 사용됩니다

긴 프롬프트 텍스트 블록과 type이 "ephemeral"로 설정된 cache_control 필드, 즉 캐시 중단점이 포함된 사용자 메시지.

캐시 중단점을 추가하려면 짧은 형식 대신 텍스트 블록을 작성하는 긴 형식을 사용해야 합니다:

내용이 "Hi there!"인 짧은 형식의 user_message와, 텍스트 블록에 type이 "ephemeral"인 cache_control이 추가된 긴 형식을 나란히 비교한 그림.

짧은 형식에는 캐시 제어 필드를 추가할 공간이 없으므로, cache_control 필드가 {"type": "ephemeral"}로 설정된 확장 형식을 사용해야 합니다.

캐시 중단점의 작동 방식

메시지에 캐시 중단점을 배치하면, Claude는 해당 중단점까지(포함)의 모든 처리 작업을 캐시합니다. 중단점 이후의 콘텐츠는 캐싱 없이 일반적으로 처리됩니다.

중단점이 있는 "Summarize this" 블록을 처리하는 작업은 캐시되지만, 이후의 "Focus on" 블록은 캐시되지 않는 그림.

후속 요청에서 캐시가 유용하려면 중단점까지의 콘텐츠가 동일해야 합니다. "please"라는 단어를 추가하는 것과 같은 작은 변경조차도 캐시를 무효화하여 Claude가 모든 것을 다시 처리하도록 강제합니다.

중단점이 마지막 사용자 메시지에 위치하므로, Claude가 이전의 사용자 및 어시스턴트 메시지에 대해 수행한 작업도 캐시되는 그림.

메시지 간 캐싱(Cross-Message Caching)

캐시 중단점은 여러 메시지와 메시지 유형에 걸쳐 적용될 수 있습니다. 나중 메시지에 중단점을 배치하면, 이전의 모든 메시지(사용자, 어시스턴트 등)가 캐시된 콘텐츠에 포함됩니다.

중단점이 마지막 사용자 메시지인 "Focus the summary on"에 위치하여, Claude가 세 메시지 모두에 대한 캐시된 작업을 읽는 그림.

이는 특정 지점까지의 전체 컨텍스트를 캐시하고자 하는 대화에서 특히 유용합니다.

시스템 프롬프트와 도구

텍스트 블록에만 국한되지 않으며, 캐시 중단점은 다음에도 추가할 수 있습니다:

  • 시스템 프롬프트
  • 도구 정의
  • 이미지 블록
  • 도구 사용 및 도구 결과 블록

마지막 도구 정의와 시스템 프롬프트 블록에 type이 "ephemeral"로 설정된 cache_control 필드가 있어, 둘 다 캐시되는 그림.

시스템 프롬프트와 도구 정의는 요청 간에 거의 변경되지 않기 때문에 캐싱하기에 매우 적합합니다. 이는 종종 프롬프트 캐싱에서 가장 큰 이점을 얻을 수 있는 부분입니다.

캐시 순서(Cache Ordering)

내부적으로 Claude는 요청 구성 요소를 특정 순서로 처리합니다: 도구, 그다음 시스템 프롬프트, 그다음 메시지 순서입니다. 이 순서를 이해하면 중단점을 효과적으로 배치하는 데 도움이 됩니다.

요청 1에서 도구 3이 시스템 프롬프트와 메시지보다 위에 있는 캐시 중단점이며, 요청 2는 도구 1부터 도구 3까지만 보여주는 그림.

총 4개까지 캐시 중단점을 추가할 수 있습니다. 예를 들어, 도구를 캐시한 다음 대화 기록 중간 지점에 또 다른 중단점을 추가할 수 있습니다. 이를 통해 요청의 서로 다른 부분이 변경될 때 어떤 부분을 캐시할지 유연하게 결정할 수 있습니다.

요청 1의 도구 3과 어시스턴트 메시지에 캐시 중단점이 있으며, 요청 2는 도구 1부터 3까지를 반복하고 도구 3 중단점도 반복되는 그림.

최소 콘텐츠 길이

캐싱에는 최소 길이가 있으며, 이는 모델에 따라 다릅니다. 이 과정에서 사용하는 모델인 Claude Haiku 4.5의 경우, 콘텐츠가 캐시되려면 최소 4,096토큰 이상이어야 합니다. 이는 캐시하려는 모든 메시지와 블록의 합계이며, 개별 블록 기준이 아닙니다.

"Hi there!"와 같은 메시지는 캐시되기에 너무 짧지만, 충분히 긴 프롬프트는 최소 길이에 도달합니다. 최소 길이에 미달하는 콘텐츠는 캐싱 없이 단순히 처리되며, 오류도 반환되지 않습니다. 이를 확인하려면 응답의 사용량을 확인하세요: cache_creation_input_tokens와 cache_read_input_tokens가 모두 0으로 표시됩니다.

효과적인 프롬프트 캐싱의 핵심은 여러 호출에 걸쳐 일관되게 유지되는 요청 부분을 파악하고, 재사용을 극대화하면서 캐시 무효화를 최소화하도록 중단점을 전략적으로 배치하는 것입니다.