프롬프트 캐싱은 이전 요청의 연산 작업을 재사용하여 Claude의 응답 속도를 높이고 텍스트 생성 비용을 줄이는 기능입니다. 매 요청 후 모든 처리 작업을 버리는 대신, Claude는 유사한 콘텐츠를 다시 보낼 때 이를 저장하고 재사용할 수 있습니다.
Claude가 일반적으로 요청을 처리하는 방식
프롬프트 캐싱을 이해하기 위해, 먼저 캐싱이 활성화되지 않은 일반적인 요청에서 어떤 일이 일어나는지 살펴보겠습니다.

Claude에게 메시지를 보내면, Claude는 즉시 응답 생성을 시작하지 않습니다. 대신, Claude는 입력에 대해 엄청난 양의 사전 처리 작업을 수행합니다:

- 프롬프트를 더 작은 조각으로 토큰화
- 각 토큰에 대한 임베딩 생성
- 주변 텍스트를 기반으로 컨텍스트 추가
- 그런 다음에야 실제 출력 텍스트 생성
응답을 보낸 후, Claude는 이 모든 연산 작업, 즉 토큰화, 임베딩, 컨텍스트 분석을 모두 폐기합니다.

작업을 폐기할 때 발생하는 문제
동일한 콘텐츠를 포함하는 후속 요청을 할 때 이는 비효율적이 됩니다. 예를 들어, 동일한 긴 텍스트의 요약을 다듬어 달라고 Claude에게 요청하는 대화의 경우:

Claude는 불과 얼마 전에 분석했던 콘텐츠에 대해 동일한 사전 처리 작업을 모두 반복해야 합니다. Claude는 이렇게 생각할지도 모릅니다: "방금 그 메시지를 처리했는데 내가 한 작업을 모두 버렸구나 - 재사용할 수도 있었을 텐데!"

프롬프트 캐싱이 이를 해결하는 방법
프롬프트 캐싱은 사전 처리 작업을 폐기하는 대신 저장함으로써 이 워크플로우를 바꿉니다:

처음 요청을 할 때, Claude는 평소와 같이 모든 사전 처리를 수행하지만, 결과를 버리는 대신 캐시에 저장합니다. 캐시는 "이 메시지를 다시 보게 되면, 이미 수행한 이 작업을 재사용하겠다"라고 말하는 조회 테이블처럼 작동합니다.

주요 이점과 제한 사항
프롬프트 캐싱은 다음과 같은 여러 이점을 제공합니다:
- 더 빠른 응답: 캐시된 콘텐츠를 사용하는 요청은 더 빠르게 실행됩니다
- 더 낮은 비용: 요청 중 캐시된 부분에 대해 더 적은 비용을 지불합니다
- 자동 최적화: 초기 요청은 캐시에 쓰고, 후속 요청은 캐시에서 읽습니다
하지만 유념해야 할 중요한 제한 사항이 있습니다:
- 캐시 지속 시간: 기본적으로 캐시된 콘텐츠는 5분 동안 유지되며, 재사용할 때마다 추가 비용 없이 이 타이머가 갱신됩니다. 선택적으로 수명을 1시간으로 연장할 수 있지만, 이 경우 캐시 쓰기 가격이 더 높아집니다.
- 제한된 사용 사례: 동일한 콘텐츠를 반복적으로 전송할 때만 이점이 있습니다
- 높은 빈도 요구 사항: 동일한 콘텐츠가 요청에서 매우 자주 나타날 때 가장 효과적입니다
프롬프트 캐싱은 동일한 대용량 문서에 대해 여러 질문을 하는 문서 분석 워크플로우나, 기본 콘텐츠는 그대로 유지하면서 특정 측면을 다듬는 반복 편집 작업과 같은 시나리오에서 가장 효과적입니다.