Claude의 프롬프트 캐싱은 메시지에 대해 수행된 연산 작업을 저장해두었다가 후속 요청에서 재사용하는 방식으로 동작합니다. 이를 통해 후속 요청은 더 저렴하고 빠르게 실행할 수 있지만, 동일한 콘텐츠를 반복적으로 전송하는 경우에만 효과가 있습니다.

이 과정은 2단계 패턴을 따릅니다: 최초 요청에서는 캐시에 쓰기 작업이 이루어지고, 후속 요청에서는 캐시로부터 읽기 작업이 이루어질 수 있습니다. 캐시는 5분 동안만 유지되므로, 이 기능은 짧은 시간 내에 동일한 콘텐츠를 반복적으로 전송하는 경우에 가장 유용합니다.
캐시 포인트
프롬프트 캐싱은 자동으로 활성화되지 않습니다 - 캐시할 대상을 제어하려면 수동으로 캐시 포인트 메시지 부분을 추가해야 합니다. 캐시 포인트는 메시지 내에서 해당 지점 이전의 모든 작업을 캐시하도록 Claude에게 지시합니다.

사용자 메시지에 캐시 포인트를 추가하는 방법은 다음과 같습니다:
user_message = {
"role": "user",
"content": [
{"text": ""},
{"cachePoint": {"type": "default"}}
]
}핵심 규칙은 캐시 포인트 이전의 모든 작업은 캐시되지만, 캐시 포인트 이후의 작업은 캐시에 저장되지 않는다는 것입니다.
캐시 포인트의 동작 방식

캐시 포인트가 포함된 최초 요청을 보내면, Claude는 모든 콘텐츠를 처리하고 해당 캐시 포인트까지 수행한 작업을 저장합니다. 후속 요청에서 캐시 포인트 이전의 콘텐츠가 동일하다면, Claude는 재처리하는 대신 캐시에서 이전에 처리된 작업을 읽어옵니다.

캐시는 캐시 포인트 이전의 콘텐츠가 완전히 동일한 경우에만 사용됩니다. 프롬프트의 맨 앞에 "Please"를 추가하는 것과 같은 작은 변경만으로도 캐시 사용이 차단되어, Claude가 모든 것을 처음부터 다시 처리하게 됩니다.

메시지 전반에 걸친 캐싱
캐시 포인트는 여러 메시지에 걸쳐 설정할 수 있으며, 어시스턴트 메시지까지 포함할 수 있습니다. 즉, 특정 시점까지의 전체 대화 기록을 캐시할 수 있다는 의미입니다.

예를 들어, 사용자 메시지, 어시스턴트 응답, 그리고 또 다른 사용자 메시지로 이루어진 대화에서 맨 끝에 캐시 포인트를 둘 수 있습니다. 이 전체 대화 스레드에 대한 모든 처리 작업이 캐시되어 재사용될 수 있습니다.
최소 콘텐츠 길이
캐시되려면 콘텐츠가 최소 1024 토큰 이상이어야 합니다. 이는 캐시 포인트 이전에 캐시하려는 모든 메시지와 부분의 합계입니다.

단순한 "Hi there!" 메시지는 1024 토큰이라는 최소 기준을 충족하지 못하므로 아무것도 캐시되지 않습니다. 하지만 "Hi there!"를 500번 반복하면 1024 토큰을 초과하여 캐싱 대상이 됩니다.
캐시 포인트 위치
캐시 포인트는 사용자 메시지에만 국한되지 않습니다. 시스템 프롬프트와 도구 정의에도 추가할 수 있으며, 실제로 이것이 가장 흔한 캐싱 기회입니다.

도구 정의의 경우:
tools = [
{"toolSpec": add_duration_to_datetime_schema},
{"toolSpec": get_current_datetime_schema},
{"cachePoint": {"type": "default"}}
]시스템 프롬프트의 경우:
system = [
{"text": "You are a senior software..."},
{"cachePoint": {"type": "default"}}
]시스템 프롬프트와 도구 목록은 요청 간에 거의 변경되지 않기 때문에, 이러한 부분들이 가장 가치 있는 캐싱 기회이며 캐싱에 완벽한 후보가 됩니다.