AI 模型如何使用下一個 Token 預測
載入中
下一個 Token 預測 · 4 分鐘
摘要逐字稿
生成式 AI 更接近於一個極其複雜的自動完成功能,而非搜尋引擎。它根據哪些詞通常 會接在哪些詞之後,逐字撰寫答案。正是這個單一特性,同時賦予了它流暢性與幻覺。
大規模的自動完成
載入中
重點整理
- 下一個 Token 預測指的是生成式 AI 根據哪些詞通常會接在哪些詞之後,逐字撰寫答案這項事實。
- 能力區:類似模型已見過多次模式的任務(摘要、重新格式化、解釋常見概念)。
- 限制區:新穎或稀疏的領域,以及任何需要區分「真實」與「聽起來真實」的任務。
- 虛構內容集中於具體性:姓名、日期、統計數據、引用、網址、引言。主張越精確,就越需要驗證。
- 產品功能,例如引用來源、不確定性提示、受限生成,以及生成者-驗證者循環,其存在正是為了進一步突破這項限制。
- 4D 連結:下一個 Token 預測是「辨識力」(Discernment)的基礎。知道輸出是生成出來的,能讓您確切知道該套用哪種審視方式。
練習
驗證測試
為什麼?您現在知道,讓 AI 變得流暢的同一個生成過程,也正是讓它產生虛構內容的原因。是時候在您自己熟悉的領域中,親自驗證這一點了,在那裡您才能抓得到它。
回到您的任務清單,挑選一項您對該領域專業知識最有信心的任務。您需要選擇一個您是專家的主題,因為您必須能夠驗證回傳的內容。從該領域寫下五個具體、可查核的事實:某人的職稱、某份出版品的日期、一項統計數據、一項產品規格、一段直接引言、一個網址。這些都是您知道準確且能夠獨立確認的事物。
現在執行三項探測:
- 探測 1:能力區。請 AI 解釋或摘要您該領域中一個廣為人知的概念,一個熱門且有充分記載的主題。注意其流暢度,並抽查內容。這就是能力區的感覺:順暢、自信,而且大致準確。
- 探測 2:壓力下的具體性。請 AI 在您的領域中提供五項可查核的具體細節:引用三個來源、指出一位作者、給出確切數字、提供一個網址。逐一驗證。以五分為滿分為其評分:有多少項完全準確?如果它出現虛構內容,請注意它說出這些內容時聽起來有多自信。
- 探測 3:採樣的實際運作。在一個全新的對話中,執行完全相同的具體事實請求。比較兩次輸出:哪些內容保持一致?哪些改變了?您看到的變化,正是下一個 Token 預測的採樣機制在運作。
進階挑戰:在啟用引用功能的工具中(例如 Claude 的 Research 模式)重新執行探測 2,再次評分。有來源可供查核,是否改變了分數?
課程反思
- 如果換成您不熟悉的領域,您還能抓到虛構內容嗎?
- 看看您的任務清單:哪些任務大多落在能力區,哪些則進入需要驗證的具體細節區?
接下來是什麼
下一個 Token 預測說明了 AI 如何生成內容。接下來,我們將探討它是「根據什麼」來生成的:知識屬性。模型實際上知道什麼?這些知識從何而來?又有哪些缺口?