加载中

AI 能力与局限

构建一个准确的心智模型,了解大语言模型能做什么、不能做什么:下一词元预测、 知识、工作记忆、可操控性和上下文限制。

3.5 小时1 个测验
您将学到的内容完成本课程后,您将能够
  • 区分生成式 AI 与分类和预测类 AI,并将其四个核心属性定位为从能力到局限的 连续谱
  • 解释两阶段训练过程(预训练和微调),并识别其留下的行为特征:奉承倾向、 冗长、过度谨慎和置信度校准不精确
  • 将下一词元预测解释为核心生成机制,并识别虚构内容集中出现的位置
  • 描述知识截止时间和训练数据覆盖不均如何塑造模型所知的内容,并识别何时 网络搜索、检索或工具使用是解决方案
  • 将上下文窗口解释为一个边界分明的限制,并运用诸如前置关键信息、分块和 重新提供关键信息等上下文放置策略
  • 预测指令遵循在何处较为严格、何处较为宽松,并识别推理漂移和拘泥字面而 非精神实质是可操控性失败的表现
  • 通过指出哪些属性正在发生碰撞来诊断真实世界中的 AI 故障,并选择有针对 性的修复方法
  • 将这四个属性与 4D 框架联系起来,并通过在每个连续谱上定位任务来练习校 准信任

大多数人第一次接触生成式AI系统时,感受往往是惊喜与困惑交织。它能在几秒钟内对一份冗长的报告生成精炼的摘要,接着又自信满满地编造出一个根本不存在的引文。它能完美地遵循一条详细的指令,转眼在下一条消息中又忽略了一条简单的指令。如果没有一个关于其底层运作方式的心智模型,这些时刻就会显得随机而难以捉摸——让人很难判断是否该信任下一个输出,或者该如何修正上一个输出。

本课程将为学习者提供这样的心智模型。它是《AI流畅度:框架与基础》课程的配套课程:那门课程教授的是人类的能力(委托、描述、甄别、审慎),而本课程教授的则是这些能力所应对的机器属性。这两门课程可以按任意顺序学习,二者结合便构成了关于高效人机协作的完整图景。

本课程围绕四个决定AI系统能为您做什么、不能做什么的属性来组织内容:下一词元预测(AI的回答从何而来)、知识(模型究竟知道什么,以及为什么它可能自信满满地犯错)、工作记忆(它当下正在关注什么,以及什么内容会被遗漏在外),以及可操控性(您的指令究竟能给您多少控制权)。每个属性都处于从能力到局限的一个谱系之上,每一节都将简短的讲解与实践练习相结合,让您能够亲身感受这些边界所在,而不仅仅是读到它们。

最后一节探讨了当这些属性相互碰撞时会发生什么——因为在实际使用中,它们总是会相互碰撞。一份长文档既会挤压工作记忆,又会涉及模型所不具备的知识;一条含糊的指令在考验可操控性的同时,恰恰也是下一词元预测正在寻找听起来最合理内容的时刻。我们以一套实用的诊断方法作为结尾:如何审视一个出乎意料的输出、识别它属于哪种类型的意外、大致定位您的任务落在从能力到局限这一连续谱上的哪个位置,并以有针对性的修复措施作为回应,而不是泛泛地重试。

无。本课程不要求任何技术背景,也不要求具备AI工具的使用经验。如果您已经完成了《AI流畅度:框架与基础》课程,您会认出每个属性与4D框架的对应关系——但这并非必要条件。

适合人群

任何在工作或学习中使用或即将开始使用生成式AI、并希望理解其行为方式背后原因的人,都适合学习本课程。教育工作者、学生、知识工作者和团队负责人都会发现这一核心模型同样有用,因为它所描述的属性不会因使用场景的不同而改变。

Inside the course

入门

3 lessons

'AI'这个词涵盖的范围很广。本节将其聚焦到您实际将要使用的系统类型—— 大语言模型——并解释两个训练阶段(预训练和微调)如何将一个原始文本预 测器转变为您所交互的有用助手。在此过程中,您还会接触到贯穿本课程其 余部分的四属性框架。

下一词元预测

2 lessons

AI给出的每一个回答,都是通过预测接下来应该出现什么内容,一个词元一 个词元地构建出来的。本节展示了这在实践中意味着什么:为什么模型在摘 要或重新格式化等常规路径上表现出色,为什么它会产生听起来真实却并非 如此的内容,以及如何识别某项任务何时已经进入单靠预测无法胜任的领域。

知识

2 lessons

模型所知道的,就是其训练数据中频繁出现、较为新近且一致呈现的内容。 本节详细解释了这意味着什么:模型在主流话题和流行语言上表现出色,而 在任何罕见、近期、小众或有争议的内容上则较为薄弱。您将练习判断某个 问题在这个谱系上的位置,从而知道何时可以信任答案,何时需要自带信息 来源。

工作记忆

2 lessons

上下文窗口就是模型的工作记忆:它此刻能够关注的一切内容,除此之外别 无其他。本节涵盖了什么能够容纳进去、什么会悄悄消失在边缘之外、为什 么在一篇长文档中注意力并非均匀分布,以及为什么一个全新的会话不会记 得上一次会话的内容。您将学会在开始之前就根据窗口大小来评估任务,而 不是在对话进行到一半时才发现已经触及限制。

可操控性

2 lessons

您的指令是您操控AI的方式——但并非所有指令的效果都是一样的。简短、 具体、可验证的要求(例如“以表格形式回答”、“不超过100字”)能够可 靠地发挥作用;而长链条的推理、抽象的要求以及对原生精确度的苛求,正 是操控开始失灵的地方。本节帮助您分辨这两者的区别,并将一条摇摆不定 的指令改写成模型真正能够遵循的指令。

综合运用与后续步骤

3 lessons

真实的任务很少只测试单一属性。一份冗长的合同审查既考验工作记忆,又 超出模型的知识范围;一份含糊的创意简报在下一词元预测想要填入看似合 理内容的那一刻,恰好考验着可操控性。本节向您展示这四个属性是如何相 互碰撞的,并为任何意外的输出提供一套诊断方法:指出哪个属性正在起作 用,将任务定位在其相应的谱系上,并采取有针对性的修复措施,而不是简 单地重试。