프롬프트 캐싱은 이전 요청에서 수행한 연산 작업을 재사용함으로써 Claude의 응답 속도를 높이고 텍스트 생성 비용을 절감하는 기능입니다. 이것이 어떻게 작동하는지 이해하기 위해, 먼저 일반적인 요청 중에 Claude 내부에서 무슨 일이 일어나는지 살펴보겠습니다.
Claude가 평소에 요청을 처리하는 방식
Claude에게 메시지를 보내면, 응답을 받기 전에 보이지 않는 곳에서 많은 일이 일어납니다. Claude는 곧바로 텍스트 생성을 시작하는 것이 아니라, 먼저 입력 메시지에 대해 광범위한 작업을 수행합니다.

Claude가 메시지로 수행하는 작업은 다음과 같습니다:
- 프롬프트를 토큰화
- 각 토큰에 대한 임베딩 생성
- 주변 텍스트를 기반으로 컨텍스트 추가
- 출력 텍스트 생성

이 모든 전처리 작업은 Claude가 실제 응답을 생성하기 전에 이루어집니다. Claude가 요청 처리를 마치고 응답을 돌려보내면, 방금 수행한 모든 연산 작업을 버립니다.

작업을 버리는 것의 문제점
이는 Claude와 대화를 나눌 때 비효율을 만들어냅니다. 앞서 보낸 것과 같은 메시지에 Claude의 이전 응답, 그리고 대화를 이어가기 위한 새 메시지를 더한 후속 요청을 보낸다고 가정해 보겠습니다.

Claude가 원래 메시지를 다시 보게 되면, 방금 버렸던 것과 동일한 연산 작업을 다시 해야 합니다. Claude는 본질적으로 이렇게 생각합니다: "방금 이 정확한 메시지를 처리하고 이 모든 작업을 했는데, 그걸 버렸네. 이제 전부 다시 해야 해."

프롬프트 캐싱이 이 문제를 해결하는 방법
프롬프트 캐싱은 연산 작업을 버리는 대신 저장함으로써 이 비효율을 해결합니다. 작동 방식은 다음과 같습니다:

Claude가 초기 요청을 처리할 때, 모든 전처리 작업을 버리는 대신 그 작업을 캐시에 저장합니다. 캐시는 특정 입력 메시지를 그에 대응하는 연산 결과에 매핑하는 조회 테이블처럼 작동합니다.

동일한 내용을 포함하는 후속 요청을 보내면, Claude는 캐시를 확인하고 처음부터 다시 시작하는 대신 이전 작업을 재사용할 수 있습니다.
주요 이점과 제한 사항

프롬프트 캐싱은 다음과 같은 여러 이점을 제공합니다:
- 캐시된 콘텐츠를 사용하는 요청은 더 저렴하고 빠르게 실행됩니다
- 초기 요청은 캐시에 기록됩니다
- 후속 요청은 캐시에서 읽어올 수 있습니다
- 캐시는 5분 동안 유지됩니다
- 동일한 콘텐츠를 반복적으로 보낼 때만 유용합니다 (하지만 이는 매우 빈번하게 발생합니다)
캐시는 5분의 수명을 가지므로, 짧은 시간 내에 중복되는 콘텐츠로 여러 요청을 보내는 대화나 워크플로우에서 가장 큰 이점을 얻을 수 있습니다. 이러한 패턴은 실제 애플리케이션에서 매우 흔합니다 - 챗봇, 문서 분석 도구, 또는 대화 컨텍스트를 유지하는 모든 시스템을 떠올려 보세요.
프롬프트 캐싱이 특히 유용한 이유는 많은 AI 애플리케이션이 동일한 콘텐츠를 반복적으로 보내기 때문입니다. 시스템 프롬프트든, 대화 기록이든, 분석 중인 대용량 문서든, 동일한 텍스트가 한 세션 내 여러 요청에 걸쳐 자주 등장합니다.