AI模型如何使用下一令牌预测
加载中
下一令牌预测 · 4分钟
摘要文字记录
生成式AI更接近于一个极其复杂的自动补全系统,而不是搜索引擎。它逐词撰写答案,依据的是什么词往往紧跟在什么词之后。正是这一特性同时带来了流畅性和幻觉。
大规模自动补全
加载中
关键要点
- 下一令牌预测指的是生成式AI逐词撰写答案,依据的是什么词往往紧跟在什么词之后这一事实。
- 能力区域: 类似于模型已多次见过的模式的任务(总结、重新格式化、解释常见概念)。
- 局限区域: 新颖或稀疏的领域,以及任何需要区分"真实"与"听起来真实"的任务场景。
- 虚构集中出现在具体性中: 姓名、日期、统计数据、引用、URL、引文。主张越精确,就越需要核实。
- 产品功能(如引用、不确定性提示、受限生成和生成器-验证器循环)的存在正是为了将这一局限性进一步推远。
- 4D关联: 下一令牌预测是"明辨"(Discernment)的基础。知道输出是生成而来的,能准确告诉您应采用何种审视方式。
练习
验证测试
原因何在?您现在知道,正是同一个生成过程既让AI变得流畅,也让它产生虚构内容。是时候在您自己的领域中亲自验证这一点了——在那里您能够识破它。
回到您的任务清单,选择一项您在该领域最有信心、最具专业知识的任务。您需要选择一个您是专家的主题,因为您需要能够核实返回的内容。写下该领域中五条具体、可核实的事实:某人的职位头衔、出版日期、一项统计数据、一项产品规格、一段直接引语、一个URL。这些都是您知道准确无误并能够独立确认的内容。
现在进行三项探测:
- 探测1:能力区域。 请AI解释或总结您所在领域中一个广为人知的概念。选择一些流行且有充分文档记录的内容。留意其流畅度,并抽查内容。这就是能力区域的感觉:顺畅、自信且大体准确。
- 探测2:压力下的具体性。 请AI在您的领域中提供五项可核实的具体信息:引用三个来源、说出一位作者姓名、给出确切数字、提供一个URL。逐一核实。按五分制打分:有多少条是完全准确的?如果它出现虚构,记下它在这样做时听起来有多自信。
- 探测3:采样在起作用。 在一个全新的对话中运行完全相同的具体事实请求。比较两次输出。什么保持一致?什么发生了变化?您看到的这种差异正是下一令牌预测的采样机制在起作用。
进阶目标: 在启用了引用功能的工具中(例如Claude的Research模式)重新运行探测2。再次打分。有来源可供核查是否改变了得分?
课程反思
- 如果是在一个您不太熟悉的领域,您是否能发现其中的虚构内容?
- 查看您的任务清单:哪些任务主要处于能力区域,哪些则进入了需要核实的具体性区域?
接下来是什么
下一令牌预测解释了AI是如何生成内容的。接下来我们将探讨它是依据什么来生成的:即知识属性。模型实际上知道什么?这些知识来自哪里?又存在哪些空白?