載入中
載入中

Temperature(溫度)是一個強大的參數,用於控制 Claude 回應的創意程度或確定性程度。了解如何有效使用它,可以大幅改善您的 AI 應用程式。

Claude 如何產生文字

在深入探討 temperature 之前,先了解一下 Claude 的文字生成流程會很有幫助。當您向 Claude 傳送像「您怎麼想?」這樣的提示時,它會經歷三個階段:

  • Tokenization(分詞): 將您的輸入分解成較小的區塊
  • Prediction(預測): 計算可能的下一個 token 的機率
  • Sampling(取樣): 根據這些機率選擇一個 token

下一個 token 機率示意圖:「about」0.3、「would」0.2、「of」、「is」和「when」各 0.1、「makes」和「we」各 0.05。

在上面的示意圖中,您可以看到 Claude 如何為潛在的下一個 token 分配不同的機率。「about」這個字有 30% 的機率,「would」有 20%,依此類推。這個過程會針對每個 token 重複進行,直到回應完成為止。

token 清單轉換成長條圖:「about」30%、「would」20%、「of」、「is」和「when」各 10%、「makes」和「we」各 5%。

Temperature 的作用

Temperature 是介於 0 到 1 之間的小數值,會直接影響這些 token 選擇的機率。您可以把它想像成一個創意程度的調節旋鈕:

  • 低溫度(接近 0): 讓機率最高的 token 更容易被選中
  • 高溫度(接近 1): 讓機率更平均地分散在所有可能的 token 上

在低溫度下「about」為 100%,其餘為 0%;在高溫度下,這七個 token 分別獲得 23%、18%、15%、12%、12%、11% 和 9%。

在 temperature 為 0 時,Claude 會變得具有確定性——它總是會選擇機率最高的 token。在 temperature 為 1 時,機率較低的 token 有更高的機會被選中,進而產生更有創意、更多變化的輸出。

Temperature 範圍與使用情境

不同的任務需要不同的 temperature 設定:

三種 temperature 範圍及其使用情境,如下列所示,在一個從較少創意到更多創意的箭頭上方。

低溫度(0.0 - 0.3)

  • 事實性回應
  • 程式碼協助
  • 資料擷取
  • 內容審核

中溫度(0.4 - 0.7)

  • 摘要
  • 教育內容
  • 問題解決
  • 有限制的創意寫作

高溫度(0.8 - 1.0)

  • 腦力激盪
  • 創意寫作
  • 行銷內容
  • 笑話生成

在程式碼中設定 Temperature

根據預設,Claude 的 temperature 設定為 1.0,這表示最大的創意程度。您可以在推論設定中加入 temperature 來覆寫此設定:

python
def chat(messages, system=None, temperature=1.0):
    params = {
        "modelId": model_id,
        "messages": messages,
        "inferenceConfig": {"temperature": temperature}
    }
    
    if system:
        params["system"] = [{"text": system}]
    
    response = client.converse(**params)
    return response["output"]["message"]["content"][0]["text"]

Temperature 的實際應用

以下是使用電影點子生成的一個實際範例。將 temperature 設定為預設值(1.0)時,您可能會得到像這樣具有創意的回應:

「一位離群索居的摺紙大師發現,她精緻複雜的紙藝作品在夜裡竟然活了起來,帶領她踏上一段神奇的旅程,去拯救牠們的微縮世界,免於一個神秘的陰影生物威脅要讓牠們的存在消散。」

但當您針對同一個提示將 temperature 設定為 0.0 時,您會持續得到較為可預測的回應:

「一位穿越時空的考古學家,必須阻止古代文物被一位科技億萬富翁偷走,這位富翁打算利用這些文物的被遺忘力量,打造一部末日裝置。」

多次執行低溫度版本會產生非常相似的回應,經常出現重複的主題,例如「穿越時空的歷史學家」或「穿越時空的考古學家」。

重點整理

Temperature 讓您能夠直接控制 Claude 的創意程度。當您需要一致、事實性的回應時,請使用較低的 temperature;當您想要創意、多變的輸出時,請使用較高的 temperature。預設的 temperature 值 1.0 會使創意程度最大化,因此對於需要精確度和一致性的任務,請考慮調低此值。