加载中
加载中

Claude中的提示缓存通过存储对消息所做的计算工作来实现,以便在后续请求中重复使用。这使得后续请求既更便宜又更快执行,但仅当您反复发送相同内容时才有效。

Claude将针对"请总结这段内容"提示所做的工作写入缓存,然后在后续请求中读取它。

该过程遵循两阶段模式:初始请求写入缓存,后续请求可以从中读取。缓存只存在5分钟,因此该功能在您于短时间内反复发送相同内容时最为有用。

缓存点

提示缓存不会自动启用——您需要手动添加缓存点消息部分来控制要缓存的内容。缓存点告诉Claude要缓存消息中该点之前所有内容所做的工作。

像下面代码这样的用户消息,用箭头标注了"Long prompt"文本之后被高亮的cachePoint部分。

以下是向用户消息添加缓存点的方法:

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

关键规则是,缓存点之前所有内容所做的工作都会被缓存,但缓存点之后的任何内容都不会存储在缓存中。

缓存点的工作原理

初始请求:Claude在缓存点之前对"总结这段长文本"所做的工作会被缓存,但对"专注于"所做的工作不会被缓存。

当您发起带有缓存点的初始请求时,Claude会处理所有内容,并存储直到该缓存点为止所完成的工作。在后续请求中,如果缓存点之前的内容完全相同,Claude会从缓存中读取之前处理过的工作,而不是重新处理它。

Claude读取"总结这段长文本"的缓存工作,只处理缓存点之后的三个部分。

只有当缓存点之前的内容完全相同时,缓存才会被使用。即使是像在提示开头添加"请"这样的微小改动,也会阻止缓存的使用,迫使Claude从头开始处理所有内容。

提示现在以"请"开头,因此它不再与"总结这段内容"的缓存工作相匹配。

跨消息缓存

缓存点可以跨越多条消息,甚至可以包括助手消息。这意味着您可以缓存截至某一点的整个对话历史。

一条总结请求、一条助手总结、然后是以缓存点结尾的用户消息,因此这三者的工作都被缓存了。

例如,您可能有一段包含用户消息、助手回复和另一条用户消息的对话,并在末尾设置一个缓存点。该整个对话线程的所有处理工作都会被缓存,并可以被重复使用。

最小内容长度

内容长度必须至少达到1024个令牌才能被缓存。这是指您尝试在缓存点之前缓存的所有消息和部分的总和。

两段带有缓存点的对话:单独一句"Hi there!"不会被缓存,但重复503次的"Hi there!"则会被缓存。

一条简单的"Hi there!"消息无法达到1024个令牌的最低要求,因此不会有任何内容被缓存。但如果您将"Hi there!"重复500次,就会超过1024个令牌,从而符合缓存条件。

缓存点位置

缓存点并不局限于用户消息。您可以将它们添加到系统提示和工具定义中,而这实际上是最常见的缓存机会。

"Tool definitions will be cached"(工具定义将被缓存)和"System prompt will be cached"(系统提示将被缓存)分别标注了下方展示的工具和系统代码。

对于工具定义:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

对于系统提示:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

这些是最有价值的缓存机会,因为系统提示和工具列表在各请求之间很少发生变化,使它们成为缓存的理想候选对象。