加载中
加载中

提示缓存是一项强大的优化功能,当您反复向Claude发送相同内容时,它可以使请求更便宜、更快速。初始请求会写入缓存,后续请求则可以从中读取。缓存的有效期为5分钟,这对于许多反复发送相同工具模式(tool schemas)、系统提示或消息历史记录的应用程序非常有用。

Claude将"请总结一下"这个提示上完成的工作写入缓存,然后在后续请求中读取它。

提示缓存的工作原理

当您标记要缓存的内容时,Claude会处理一次并存储结果。包含完全相同内容的后续请求可以跳过处理步骤,直接从缓存中读取。这仅在缓存内容完全相同时才有效——即使只改动一个字符也会使缓存失效。

您可以在单个请求中设置多个缓存断点。缓存顺序遵循以下序列:

  • 工具模式
  • 系统提示
  • 消息历史记录

设置工具模式缓存

要缓存工具模式,您需要在工具列表中的最后一个工具上添加一个cache_control字段。以下是在不修改原始工具模式的情况下实现这一点的正确方法:

python
if tools:
    tools_clone = tools.copy()
    last_tool = tools_clone[-1].copy()
    last_tool["cache_control"] = {"type": "ephemeral"}
    tools_clone[-1] = last_tool
    params["tools"] = tools_clone

这种方法在添加缓存控制字段之前,会创建工具列表和最后一个工具模式的副本。这可以防止意外修改您的原始工具定义,否则如果您之后重新排序工具,可能会出现问题。

系统提示缓存

对于系统提示,您需要将system参数构造为一个包含文本块的列表,该文本块中包括缓存控制字段:

python
if system:
    params["system"] = [
        {
            "type": "text",
            "text": system,
            "cache_control": {"type": "ephemeral"}
        }
    ]

理解缓存行为

当您首次发送包含可缓存内容的请求时,您会在usage字段中看到cache_creation_input_tokens。这显示了Claude写入缓存的令牌数量。在包含相同内容的后续请求中,您会看到cache_read_input_tokens。

如果同一个请求中既有缓存内容又有新内容,您可能会同时看到缓存读取和缓存写入。例如,如果您保留相同的工具模式但更改了系统提示,您将从缓存中读取工具,同时将新的系统提示写入缓存。只有当工具本身达到最小长度时,您才会获得那种部分读取,因为如果某个缓存断点之前的内容未达到最小长度,它就不会写入任何内容。

缓存失效

缓存对变化极为敏感。即使只修改工具模式描述、系统提示或任何缓存内容中的单个字符,也会使该缓存条目失效。发生这种情况时,Claude会将其视为全新内容,并创建一个新的缓存条目。

这种敏感性意味着您应该慎重考虑要缓存什么内容。在多次请求中保持稳定的工具模式和系统提示是理想的候选对象。频繁变化的动态内容则无法从缓存中受益。

实际应用

在实践中,您会希望默认将缓存机制内置到您的聊天函数中。大多数应用程序在多个请求中使用相同的工具模式和系统提示,这使它们非常适合缓存。当您使用相似内容进行大量请求时,性能和成本方面的优势非常显著。

请记住,当您反复发送相同内容时,缓存的价值最大。由于在实际应用中——尤其是工具模式和系统提示——这种情况极为频繁地发生,因此在开发过程早期实施缓存,将会随着应用程序的扩展而带来丰厚回报。