加载中
加载中

Temperature(温度)是一个强大的参数,它控制着 Claude 响应的创造性或确定性程度。理解如何有效使用它可以显著改善您的 AI 应用程序。

Claude 如何生成文本

在深入了解 temperature 之前,先了解一下 Claude 的文本生成过程会很有帮助。当您向 Claude 发送类似"你怎么看?"这样的提示时,它会经历三个阶段:

  • 令牌化(Tokenization): 将您的输入拆分成更小的片段
  • 预测(Prediction): 计算可能的下一个令牌的概率
  • 采样(Sampling): 根据这些概率选择一个令牌

下一个令牌概率的示意图:"about" 0.3,"would" 0.2,"of"、"is" 和 "when" 各 0.1,"makes" 和 "we" 各 0.05。

在上图中,您可以看到 Claude 如何为潜在的下一个令牌分配不同的概率。单词 "about" 有 30% 的概率,"would" 有 20%,依此类推。这个过程会对每个令牌重复进行,直到响应完成。

将令牌列表转换为柱状图:"about" 30%,"would" 20%,"of"、"is" 和 "when" 各 10%,"makes" 和 "we" 各 5%。

Temperature 的作用

Temperature 是一个介于 0 和 1 之间的十进制值,直接影响这些令牌选择的概率。可以把它看作一个创造力旋钮:

  • 低 temperature(接近 0): 使概率最高的令牌更有可能被选中
  • 高 temperature(接近 1): 将概率更均匀地分布在所有可能的令牌上

在低 temperature 下,"about" 占 100%,其余为 0%;在高 temperature 下,七个令牌分别获得 23%、18%、15%、12%、12%、11% 和 9%。

在 temperature 为 0 时,Claude 会变得具有确定性——它将始终选择概率最高的令牌。在 temperature 为 1 时,概率较低的令牌有更大的机会被选中,从而带来更具创造性和多样性的输出。

Temperature 范围及使用场景

不同的任务需要不同的 temperature 设置:

下方列出的三个 temperature 范围及其使用场景,位于一条从创造性较低到创造性较高的箭头之上。

低 Temperature(0.0 - 0.3)

  • 事实性响应
  • 编码辅助
  • 数据提取
  • 内容审核

中等 Temperature(0.4 - 0.7)

  • 摘要总结
  • 教育内容
  • 问题解决
  • 有约束条件的创意写作

高 Temperature(0.8 - 1.0)

  • 头脑风暴
  • 创意写作
  • 营销内容
  • 笑话生成

在代码中设置 Temperature

默认情况下,Claude 的 temperature 设置为 1.0,这意味着最大程度的创造性。您可以通过在推理配置中添加 temperature 来覆盖此设置:

python
def chat(messages, system=None, temperature=1.0):
    params = {
        "modelId": model_id,
        "messages": messages,
        "inferenceConfig": {"temperature": temperature}
    }
    
    if system:
        params["system"] = [{"text": system}]
    
    response = client.converse(**params)
    return response["output"]["message"]["content"][0]["text"]

实践中的 Temperature

下面是一个使用电影创意生成的实际示例。当 temperature 设置为默认值(1.0)时,您可能会得到如下富有创意的响应:

"一位隐居的折纸大师发现她精巧的纸艺作品会在夜晚活过来,这引领她踏上一段奇幻之旅,去拯救她们的微型世界,使其免受一个威胁要使其存在"展开"的神秘阴影生物的侵害。"

但当您对同样的提示将 temperature 设置为 0.0 时,您会持续得到更可预测的响应:

"一位时间旅行的考古学家必须阻止一位科技亿万富翁偷走古代文物,这位富翁企图利用这些文物来制造一种能够驾驭其被遗忘力量的末日装置。"

多次运行低 temperature 版本会产生非常相似的响应,经常出现重复的主题,比如"时间旅行的历史学家"或"时间旅行的考古学家"。

关键要点

Temperature 让您能够直接控制 Claude 的创造力水平。当您需要一致的、事实性的响应时使用较低的 temperature,当您想要富有创意、多样化的输出时使用较高的 temperature。默认的 1.0 temperature 值最大化了创造性,因此对于需要精确性和一致性的任务,请考虑降低该值。