載入中

AI 能力與限制

建立一個準確的心智模型,了解大型語言模型能做什麼、不能做什麼:下一個 token 預測、知識、工作記憶、可操控性,以及上下文限制。

3.5 小時1 個測驗
您將學到的內容完成本課程後,您將能夠
  • 區分生成式 AI 與分類及預測型 AI,並將其四項核心特性定位為從能力到限制的連續光譜
  • 說明兩階段訓練流程(預訓練與微調),並辨識其留下的行為特徵:阿諛奉承、冗長、 過度謹慎,以及信心校準鬆散
  • 說明下一個 Token 預測作為核心生成機制的運作方式,並辨識虛構內容集中出現的位置
  • 描述知識截止日期與訓練涵蓋範圍不均如何影響模型所知道的內容,並辨識何時該以 網路搜尋、檢索或工具使用作為解決方案
  • 說明上下文視窗是一個界線分明的限制,並運用諸如前置重要資訊、分段切割,以及 重新提供關鍵資訊等上下文配置策略
  • 預測指令遵循何時緊密、何時鬆散,並辨識推理偏移與拘泥字面而非精神這兩種 可操控性失效情形
  • 透過指出哪些特性彼此衝突來診斷真實世界中的 AI 失效情形,並選擇針對性的 修正方式
  • 將這四項特性與 4D 框架連結,並透過在每個連續光譜上定位任務來練習校準信任

大多數人初次接觸生成式 AI 系統時,感受往往是驚喜與困惑參半。它能在幾秒鐘內,為一份內容密集的報告產出精練的摘要,接著卻信誓旦旦地捏造出一個根本不存在的引用來源。它能完美遵循一項詳細的指示,卻在下一則訊息中忽略一項簡單的指示。如果沒有一個心智模型來理解背後發生的事,這些時刻會顯得毫無章法——也很難判斷該不該信任下一個輸出結果,或該如何修正上一個輸出結果。

本課程正是為學習者提供這樣的心智模型。它是 AI Fluency: Framework & Foundations 的姊妹課程:該課程教授人類的核心能力(委派、描述、判斷、審慎),而本課程則教授這些能力所回應的機器特性。這兩門課程設計上可依任一順序修習,合起來則構成了人機協作成效的完整圖像。

我們圍繞四項決定 AI 系統能為您做什麼、不能做什麼的特性來組織本課程:下一個 Token 預測(AI 答案的來源)、知識(模型實際知道什麼,以及為什麼它會自信滿滿地說錯)、工作記憶(它此刻正關注什麼,以及什麼會被擠出視窗外),以及可操控性(您的指示究竟能給您多少控制權)。每項特性都落在一個從能力到限制的光譜上,每一節都會搭配一段簡短說明與一項實作練習,讓您能親身感受邊界所在,而不只是閱讀關於它的文字。

最後一節探討當這些特性相互衝突時會發生什麼——因為在實際使用中,它們總是會發生衝突。一份冗長的文件會對工作記憶造成壓力,同時也會偏離模型所知的知識範圍;一項含糊的指示會在下一個 token 預測急於尋找聽起來最合理的內容的同一時刻,考驗可操控性。我們以一套實用的診斷方法作結:如何審視一個出乎意料的輸出結果、辨識它屬於哪一種出乎意料、大致判斷您的任務落在能力到限制這個連續光譜上的哪個位置,並以針對性的修正措施來回應,而不是單純的一般性重試。

無。本課程不要求任何技術背景,也不要求先前使用過 AI 工具的經驗。如果您已完成 AI Fluency: Framework & Foundations,您會認出每項特性與 4D 之間的關聯——但這並非必要條件。

適合對象

任何在工作或學業中使用生成式 AI、或即將開始使用生成式 AI,並想了解它為何會表現出這種行為的人。教育工作者、學生、知識工作者,以及團隊主管,都會發現這套核心模型同樣實用,因為它所描述的特性,並不會因使用情境不同而改變。

Inside the course

開始使用

3 lessons

「AI」這個詞涵蓋的範圍非常廣泛。本節將焦點縮小到您實際會接觸到的系統 類型——大型語言模型——並說明兩個訓練階段,即預訓練與微調,如何將一個 原始的文字預測器轉變為您所互動的實用助理。在此過程中,您將認識貫穿本 課程其餘部分的四項特性框架。

下一個 Token 預測

2 lessons

AI 給出的每一個答案,都是透過預測接下來該出現什麼,一次一個 token 地建構而成。本節展示這在實務上代表什麼:為什麼模型擅長處理摘要或重新 格式化這類熟門熟路的工作,為什麼它會產生聽起來真實卻並非如此的內容, 以及如何辨識一項任務是否已推進到單靠預測不足以應付的領域。

知識

2 lessons

模型所知道的,就是其訓練資料中出現的內容——頻繁出現、近期出現,且一 致出現的內容。本節將解析這意味著什麼:模型在主流議題與常用語言上表現 強勁,但在罕見、近期、小眾或有爭議的內容上則較弱。您將練習判斷一個問 題落在這個光譜上的哪個位置,以便知道何時該信任答案,何時該自備資料來源。

工作記憶

2 lessons

上下文視窗就是模型的工作記憶:它此刻能夠關注的一切,除此之外別無其 他。本節涵蓋哪些內容能容納進去、哪些會悄悄被擠出視窗外、為什麼長文 件中的注意力並非均勻分布,以及為什麼一個全新的對話階段不會記得上一 個階段的內容。您將學會在開始任務之前,先估量任務與視窗容量的關係, 而不是在對話進行到一半時才發現已超出限制。

可操控性

2 lessons

您的指示就是您操控 AI 的方式——但並非所有指示都能同等有效地發揮作 用。簡短、具體、可驗證的要求(例如『以表格形式回答』、『字數在 100 字以內』)能可靠地發揮效果;而冗長的推理鏈、抽象的要求,以及對精確 度要求極高的任務,則是操控開始失靈的地方。本節將協助您分辨兩者的差 異,並將搖擺不定的指示改寫成模型真正能夠遵循的指示。

整合所學與後續步驟

3 lessons

真實任務很少只考驗單一特性。一份冗長的合約審閱會讓工作記憶吃緊,同 時觸及模型知識範圍之外的領域;一份含糊的創意需求則會在下一個 token 預測急於填入看似合理內容的那一刻,考驗可操控性。本節向您展示這四項 特性如何相互衝突,並提供一套診斷方法,適用於任何出乎意料的輸出結 果:指出哪項特性正在起作用、將任務定位在其光譜上,並採取針對性的修 正措施,而不是單純再試一次。