로드 중
로드 중

프롬프트 캐싱은 이전 요청에서 수행한 연산 작업을 재사용함으로써 Claude의 응답 속도를 높이고 텍스트 생성 비용을 절감하는 기능입니다. 이것이 어떻게 작동하는지 이해하기 위해, 먼저 일반적인 요청 중에 Claude 내부에서 무슨 일이 일어나는지 살펴보겠습니다.

Claude가 평소에 요청을 처리하는 방식

Claude에게 메시지를 보내면, 응답을 받기 전에 보이지 않는 곳에서 많은 일이 일어납니다. Claude는 곧바로 텍스트 생성을 시작하는 것이 아니라, 먼저 입력 메시지에 대해 광범위한 작업을 수행합니다.

일반적인 요청: 서버가 Claude에게 "이 긴 텍스트를 요약해 줘:"라는 사용자 메시지 하나와 텍스트 자리 표시자를 보냅니다.

Claude가 메시지로 수행하는 작업은 다음과 같습니다:

  • 프롬프트를 토큰화
  • 각 토큰에 대한 임베딩 생성
  • 주변 텍스트를 기반으로 컨텍스트 추가
  • 출력 텍스트 생성

Claude의 네 단계 중 처음 세 단계가 요약을 반환하기 전에 입력 메시지에 대해서만 수행되는 작업으로 표시된 다이어그램.

이 모든 전처리 작업은 Claude가 실제 응답을 생성하기 전에 이루어집니다. Claude가 요청 처리를 마치고 응답을 돌려보내면, 방금 수행한 모든 연산 작업을 버립니다.

Claude 상자 안에서 선택된 네 가지 처리 단계가 "Trash"라고 표시된 빈 점선 상자로 드래그될 준비가 된 모습.

작업을 버리는 것의 문제점

이는 Claude와 대화를 나눌 때 비효율을 만들어냅니다. 앞서 보낸 것과 같은 메시지에 Claude의 이전 응답, 그리고 대화를 이어가기 위한 새 메시지를 더한 후속 요청을 보낸다고 가정해 보겠습니다.

동일한 "이 긴 텍스트를 요약해 줘" 메시지, Claude의 요약, 그리고 "요약에서 좀 더 집중해야 할 부분은"이라는 내용이 포함된 후속 요청.

Claude가 원래 메시지를 다시 보게 되면, 방금 버렸던 것과 동일한 연산 작업을 다시 해야 합니다. Claude는 본질적으로 이렇게 생각합니다: "방금 이 정확한 메시지를 처리하고 이 모든 작업을 했는데, 그걸 버렸네. 이제 전부 다시 해야 해."

후속 요청에서 Claude가 방금 처리했던 반복된 첫 번째 사용자 메시지 "이 긴 텍스트를 요약해 줘"를 다시 가리키는 모습.

프롬프트 캐싱이 이 문제를 해결하는 방법

프롬프트 캐싱은 연산 작업을 버리는 대신 저장함으로써 이 비효율을 해결합니다. 작동 방식은 다음과 같습니다:

초기 요청이 Claude의 네 단계를 거쳐 요약 응답으로 이어지며, 빈 Trash 상자와 빈 Cache 상자가 나란히 있는 모습.

Claude가 초기 요청을 처리할 때, 모든 전처리 작업을 버리는 대신 그 작업을 캐시에 저장합니다. 캐시는 특정 입력 메시지를 그에 대응하는 연산 결과에 매핑하는 조회 테이블처럼 작동합니다.

"이 긴 텍스트를 요약해 줘"로 시작하는 사용자 메시지를 재사용할 세 가지 전처리 단계와 짝지은 캐시 항목.

동일한 내용을 포함하는 후속 요청을 보내면, Claude는 캐시를 확인하고 처음부터 다시 시작하는 대신 이전 작업을 재사용할 수 있습니다.

주요 이점과 제한 사항

Claude가 "이것을 요약해 줘"라는 프롬프트에 대해 수행한 작업을 캐시에 기록한 다음, 후속 요청에서 이를 읽어오는 모습.

프롬프트 캐싱은 다음과 같은 여러 이점을 제공합니다:

  • 캐시된 콘텐츠를 사용하는 요청은 더 저렴하고 빠르게 실행됩니다
  • 초기 요청은 캐시에 기록됩니다
  • 후속 요청은 캐시에서 읽어올 수 있습니다
  • 캐시는 5분 동안 유지됩니다
  • 동일한 콘텐츠를 반복적으로 보낼 때만 유용합니다 (하지만 이는 매우 빈번하게 발생합니다)

캐시는 5분의 수명을 가지므로, 짧은 시간 내에 중복되는 콘텐츠로 여러 요청을 보내는 대화나 워크플로우에서 가장 큰 이점을 얻을 수 있습니다. 이러한 패턴은 실제 애플리케이션에서 매우 흔합니다 - 챗봇, 문서 분석 도구, 또는 대화 컨텍스트를 유지하는 모든 시스템을 떠올려 보세요.

프롬프트 캐싱이 특히 유용한 이유는 많은 AI 애플리케이션이 동일한 콘텐츠를 반복적으로 보내기 때문입니다. 시스템 프롬프트든, 대화 기록이든, 분석 중인 대용량 문서든, 동일한 텍스트가 한 세션 내 여러 요청에 걸쳐 자주 등장합니다.