로드 중
로드 중

Claude의 프롬프트 캐싱은 메시지에 대해 수행된 연산 작업을 저장해두었다가 후속 요청에서 재사용하는 방식으로 동작합니다. 이를 통해 후속 요청은 더 저렴하고 빠르게 실행할 수 있지만, 동일한 콘텐츠를 반복적으로 전송하는 경우에만 효과가 있습니다.

Claude가 "Please summarize this" 프롬프트에 대해 수행한 작업을 캐시에 기록한 후, 후속 요청에서 이를 읽어옵니다.

이 과정은 2단계 패턴을 따릅니다: 최초 요청에서는 캐시에 쓰기 작업이 이루어지고, 후속 요청에서는 캐시로부터 읽기 작업이 이루어질 수 있습니다. 캐시는 5분 동안만 유지되므로, 이 기능은 짧은 시간 내에 동일한 콘텐츠를 반복적으로 전송하는 경우에 가장 유용합니다.

캐시 포인트

프롬프트 캐싱은 자동으로 활성화되지 않습니다 - 캐시할 대상을 제어하려면 수동으로 캐시 포인트 메시지 부분을 추가해야 합니다. 캐시 포인트는 메시지 내에서 해당 지점 이전의 모든 작업을 캐시하도록 Claude에게 지시합니다.

아래 코드와 같은 사용자 메시지에서, "Long prompt" 텍스트 뒤에 강조 표시된 cachePoint 부분을 화살표로 표시했습니다.

사용자 메시지에 캐시 포인트를 추가하는 방법은 다음과 같습니다:

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

핵심 규칙은 캐시 포인트 이전의 모든 작업은 캐시되지만, 캐시 포인트 이후의 작업은 캐시에 저장되지 않는다는 것입니다.

캐시 포인트의 동작 방식

최초 요청: 캐시 포인트 이전의 "Summarize this long text"에 대한 Claude의 작업은 캐시되지만, "Focus on" 이후에 대한 작업은 캐시되지 않습니다.

캐시 포인트가 포함된 최초 요청을 보내면, Claude는 모든 콘텐츠를 처리하고 해당 캐시 포인트까지 수행한 작업을 저장합니다. 후속 요청에서 캐시 포인트 이전의 콘텐츠가 동일하다면, Claude는 재처리하는 대신 캐시에서 이전에 처리된 작업을 읽어옵니다.

Claude는 "Summarize this long text"에 대해 캐시된 작업을 읽어오고, 캐시 포인트 이후의 세 부분만 처리합니다.

캐시는 캐시 포인트 이전의 콘텐츠가 완전히 동일한 경우에만 사용됩니다. 프롬프트의 맨 앞에 "Please"를 추가하는 것과 같은 작은 변경만으로도 캐시 사용이 차단되어, Claude가 모든 것을 처음부터 다시 처리하게 됩니다.

이제 프롬프트가 "Please"로 시작하므로, "Summarize this"에 대한 캐시된 작업과 더 이상 일치하지 않습니다.

메시지 전반에 걸친 캐싱

캐시 포인트는 여러 메시지에 걸쳐 설정할 수 있으며, 어시스턴트 메시지까지 포함할 수 있습니다. 즉, 특정 시점까지의 전체 대화 기록을 캐시할 수 있다는 의미입니다.

요약 요청, 어시스턴트의 요약, 그리고 캐시 포인트로 끝나는 사용자 메시지가 이어지면, 이 세 가지 모두에 대한 작업이 캐시됩니다.

예를 들어, 사용자 메시지, 어시스턴트 응답, 그리고 또 다른 사용자 메시지로 이루어진 대화에서 맨 끝에 캐시 포인트를 둘 수 있습니다. 이 전체 대화 스레드에 대한 모든 처리 작업이 캐시되어 재사용될 수 있습니다.

최소 콘텐츠 길이

캐시되려면 콘텐츠가 최소 1024 토큰 이상이어야 합니다. 이는 캐시 포인트 이전에 캐시하려는 모든 메시지와 부분의 합계입니다.

캐시 포인트가 있는 두 대화: 단순히 "Hi there!" 하나는 캐시되지 않지만, "Hi there!"를 503번 반복하면 캐시됩니다.

단순한 "Hi there!" 메시지는 1024 토큰이라는 최소 기준을 충족하지 못하므로 아무것도 캐시되지 않습니다. 하지만 "Hi there!"를 500번 반복하면 1024 토큰을 초과하여 캐싱 대상이 됩니다.

캐시 포인트 위치

캐시 포인트는 사용자 메시지에만 국한되지 않습니다. 시스템 프롬프트와 도구 정의에도 추가할 수 있으며, 실제로 이것이 가장 흔한 캐싱 기회입니다.

"Tool definitions will be cached"와 "System prompt will be cached"라는 레이블이 각각 아래에 표시된 도구 및 시스템 코드를 나타냅니다.

도구 정의의 경우:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

시스템 프롬프트의 경우:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

시스템 프롬프트와 도구 목록은 요청 간에 거의 변경되지 않기 때문에, 이러한 부분들이 가장 가치 있는 캐싱 기회이며 캐싱에 완벽한 후보가 됩니다.