載入中
載入中

溫度(Temperature)是一個強大的參數,用於控制 Claude 的回應有多可預測或多有創意。了解如何有效使用它,能大幅改善您的 AI 應用程式。

Claude 如何生成文字

在深入探討溫度之前,先了解 Claude 的文字生成過程會很有幫助。當您向 Claude 傳送像「你怎麼想?」這樣的提示時,它會經歷三個關鍵步驟:

  • Tokenization(分詞) - 將您的輸入拆分成較小的區塊
  • Prediction(預測) - 計算可能出現的下一個詞的機率
  • Sampling(取樣) - 根據這些機率選擇一個 token

下一個 token 機率的圖表:「about」0.3,「would」0.2,「of」、「is」和「when」各 0.1,「makes」和「we」各 0.05。

在此範例中,Claude 可能會將 30% 的機率分配給「about」,20% 給「would」,10% 給「of」,依此類推。模型接著會選擇一個 token,並重複整個過程來組成完整的句子。

將 token 清單轉換成長條圖:「about」30%,「would」20%,「of」、「is」和「when」各 10%,「makes」和「we」各 5%。

溫度的作用

溫度是介於 0 和 1 之間的十進位數值,會直接影響這些選擇機率。這就像是在調整 Claude 回應的「創意旋鈕」。

低溫度時「about」為 100%、其餘為 0%;高溫度時七個 token 分別為 23%、18%、15%、12%、12%、11% 和 9%。

在低溫度(接近 0)時,Claude 會變得非常確定 - 它幾乎總是會選擇機率最高的 token。在高溫度(接近 1)時,Claude 會將機率更平均地分散在各個選項之間,導致輸出更多樣、更具創意。

互動式溫度示範

您可以透過 Claude 的互動式示範來觀看溫度的實際效果。留意當您調整溫度滑桿時機率分佈如何變化:

溫度示範滑桿設為 0.49:「about」接近 60%,「would」、「of」、「is」、「when」、「makes」和「we」皆低於 10%。

在溫度為 0.0 時,「about」會得到 100% 的機率 - 完全確定。在溫度為 1.0 時,機率會更平均地分散在所有可能的 token 之間,帶來隨機性與創意。

選擇合適的溫度

不同的任務需要不同的溫度範圍:

低、中、高溫度範圍及其用途,列於下方,並有一個從「較無創意」指向「較有創意」的箭頭。

低溫度(0.0 - 0.3)

  • 事實性回應
  • 程式碼協助
  • 資料擷取
  • 內容審核

中溫度(0.4 - 0.7)

  • 摘要
  • 教育內容
  • 問題解決
  • 有限制條件的創意寫作

高溫度(0.8 - 1.0)

  • 腦力激盪
  • 創意寫作
  • 行銷內容
  • 笑話生成

在程式碼中實作溫度

為您的聊天函式加入溫度支援相當簡單。以下說明如何修改您現有的函式:

python
def chat(messages, system=None, temperature=1.0):
    params = {
        "model": model,
        "max_tokens": 1000,
        "messages": messages,
        "temperature": temperature
    }
    
    if system:
        params["system"] = system
    
    message = client.messages.create(**params)
    return message.content[0].text

主要的變更是新增 temperature=1.0 作為參數,並在參數字典中加入 "temperature": temperature。

測試溫度效果

若要實際觀察溫度的效果,可以嘗試使用不同設定來產生電影構想:

python
# 低溫度-較可預測
answer = chat(messages, temperature=0.0)

# 高溫度-較有創意
answer = chat(messages, temperature=1.0)

在溫度為 0.0 時,您可能會持續得到類似「一位穿越時空的考古學家必須阻止古代文物遭竊」這樣的回應。在溫度為 1.0 時,您會看到主題、角色和劇情元素有更多樣的變化。

重點整理

請記住,溫度並不保證會產生不同的輸出 - 它只是改變了得到不同輸出的機率。即使在高溫度下,Claude 有時仍可能產生類似的回應。關鍵在於將您選擇的溫度與特定的使用情境相匹配:

  • 需要一致、事實性的回應?使用低溫度
  • 想要有創意的腦力激盪?調高溫度
  • 介於兩者之間?中等溫度對大多數一般任務都很適用

溫度是您可以調整的最實用參數之一,能針對您的特定需求微調 Claude 的行為。