載入中

下一個 Token 預測

第 4 課20 分鐘
本課內容完成後,您將能夠
  • 說明下一個 Token 預測作為生成式 AI 核心機制的運作方式,以及為何它同時產生 流暢性與幻覺
  • 在下一個 Token 預測的連續光譜上定位任務(熟悉路徑 vs. 未知領域)
  • 辨識具體性(姓名、日期、引用、統計數據)是虛構內容集中出現的區域
  • 辨識能緩解此限制的產品功能(引用來源、不確定性提示、受限生成、 生成者-驗證者模式)

AI 模型如何使用下一個 Token 預測

載入中

下一個 Token 預測 · 4 分鐘

摘要逐字稿

生成式 AI 更接近於一個極其複雜的自動完成功能,而非搜尋引擎。它根據哪些詞通常 會接在哪些詞之後,逐字撰寫答案。正是這個單一特性,同時賦予了它流暢性與幻覺。

大規模的自動完成

載入中

重點整理

  • 下一個 Token 預測指的是生成式 AI 根據哪些詞通常會接在哪些詞之後,逐字撰寫答案這項事實。
    • 能力區:類似模型已見過多次模式的任務(摘要、重新格式化、解釋常見概念)。
    • 限制區:新穎或稀疏的領域,以及任何需要區分「真實」與「聽起來真實」的任務。
    • 虛構內容集中於具體性:姓名、日期、統計數據、引用、網址、引言。主張越精確,就越需要驗證。
    • 產品功能,例如引用來源、不確定性提示、受限生成,以及生成者-驗證者循環,其存在正是為了進一步突破這項限制。
  • 4D 連結:下一個 Token 預測是「辨識力」(Discernment)的基礎。知道輸出是生成出來的,能讓您確切知道該套用哪種審視方式。

練習

驗證測試

為什麼?您現在知道,讓 AI 變得流暢的同一個生成過程,也正是讓它產生虛構內容的原因。是時候在您自己熟悉的領域中,親自驗證這一點了,在那裡您才能抓得到它。

回到您的任務清單,挑選一項您對該領域專業知識最有信心的任務。您需要選擇一個您是專家的主題,因為您必須能夠驗證回傳的內容。從該領域寫下五個具體、可查核的事實:某人的職稱、某份出版品的日期、一項統計數據、一項產品規格、一段直接引言、一個網址。這些都是您知道準確且能夠獨立確認的事物。

現在執行三項探測:

  1. 探測 1:能力區。請 AI 解釋或摘要您該領域中一個廣為人知的概念,一個熱門且有充分記載的主題。注意其流暢度,並抽查內容。這就是能力區的感覺:順暢、自信,而且大致準確。
  2. 探測 2:壓力下的具體性。請 AI 在您的領域中提供五項可查核的具體細節:引用三個來源、指出一位作者、給出確切數字、提供一個網址。逐一驗證。以五分為滿分為其評分:有多少項完全準確?如果它出現虛構內容,請注意它說出這些內容時聽起來有多自信。
  3. 探測 3:採樣的實際運作。在一個全新的對話中,執行完全相同的具體事實請求。比較兩次輸出:哪些內容保持一致?哪些改變了?您看到的變化,正是下一個 Token 預測的採樣機制在運作。

進階挑戰:在啟用引用功能的工具中(例如 Claude 的 Research 模式)重新執行探測 2,再次評分。有來源可供查核,是否改變了分數?

課程反思

  • 如果換成您不熟悉的領域,您還能抓到虛構內容嗎?
  • 看看您的任務清單:哪些任務大多落在能力區,哪些則進入需要驗證的具體細節區?

接下來是什麼

下一個 Token 預測說明了 AI 如何生成內容。接下來,我們將探討它是「根據什麼」來生成的:知識屬性。模型實際上知道什麼?這些知識從何而來?又有哪些缺口?