返回归档 阅读进度

AI 的推理能力不是玄学:它更像规模、数据、提示和评测共同制造的现象

AI 的“推理能力”很容易让人产生一种感觉:它是不是突然开窍了?

它能回答复杂问题、写代码、解数学题、整理逻辑,甚至会给人一种“正在思考”的错觉。于是问题就来了:这种能力到底是科学,还是玄学?

更稳的答案是:不是玄学,但也不能简单理解成“它像人一样懂了”。

大语言模型的推理能力,更像是规模、数据、训练目标、上下文提示和评测方式共同作用后表现出来的能力。

它不是被手工写出来的规则库

传统软件的逻辑很清楚:程序员写规则,机器按规则执行。

大语言模型不是这样。

它的基础训练目标,本质上是从海量文本中学习语言结构和统计规律,预测下一个词或 token。听起来很简单,但当模型足够大、数据足够多、训练足够充分时,这个预测任务会逼迫模型内部形成很多有用的表示:语法、事实、语境、风格、代码模式、数学步骤、常识关联。

GPT-3 论文《Language Models are Few-Shot Learners》已经展示过一个关键现象:模型规模变大后,在没有针对每个任务重新训练的情况下,只靠提示和少量示例,就能在很多任务上表现出泛化能力。

这不是因为工程师在模型里逐条写了“如何做阅读理解”“如何解三位数算术”“如何翻译”。

它更像是模型从大量文本中学到了可迁移的模式,然后在新上下文里临时调用这些模式。

“涌现能力”为什么看起来像突然开窍

很多人说 AI “突然会了”,对应的技术词叫 emergent abilities,通常译作“涌现能力”。

Wei 等人的《Emergent Abilities of Large Language Models》把这种现象描述为:某些能力在小模型上看不到,但在更大规模模型上突然出现,因此很难只用小模型表现线性预测。

这就是“量变到质变”的来源。

但要谨慎:后来 Schaeffer 等人的《Are Emergent Abilities of Large Language Models a Mirage?》提出,很多所谓“突然涌现”,可能与评测指标有关。比如用非连续、阈值型指标看结果,会让平滑提升看起来像突然跳变。

所以现在更稳的说法是:

  1. 模型变大,能力确实会增强。
  2. 有些任务表现看起来像突然出现。
  3. 但“突然出现”的形状,可能部分来自评测方式。
  4. 不应把涌现直接神秘化。

AI 能力有科学基础,但“突然开窍”这个说法容易把复杂工程现象讲成神话。

Chain-of-Thought 说明了提示也很关键

有些推理能力不是模型自己随时都会稳定表现出来的,而是需要合适提示把它“引出来”。

Wei 等人的《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》说明,在复杂算术、常识和符号推理任务中,让模型先生成中间推理步骤,再给出答案,能显著改善表现,尤其是在足够大的模型上。

这件事很重要。

它说明 AI 的“推理能力”不是一个单独开关,而和你怎么问、给不给示例、是否让它拆步骤、是否要求校验有关。

同一个模型,直接问可能答错;让它拆解问题、列出假设、逐步计算,可能就明显变好。

这更像是一种可被提示激活的行为模式,而不是一个永远稳定在线的“理性灵魂”。

它像不像真正理解

这才是最容易吵起来的地方。

如果一个模型能答对逻辑题、解释代码、解数学题,我们能不能说它“理解”了?

要看你怎么定义理解。

如果理解指的是:能在任务中产生正确、可解释、可迁移的输出,那么很多模型确实表现出某种功能性理解。

如果理解指的是:像人一样拥有主观体验、意图、现实世界经验和稳定的因果模型,那就不能直接下结论。

大语言模型的训练材料来自文本。文本里包含大量人类推理的痕迹,但模型不是在真实世界中长大,也没有人的身体、感受和生活经验。它可以模拟很多推理形式,却仍可能在事实、计数、因果、边界条件上犯很低级的错误。

把 AI 当成完全不懂,低估了它;把 AI 当成人类头脑,又高估了它。

为什么工程师也不能完全解释每一步

AI 看起来像黑箱,不是因为它违反科学,而是因为它太复杂。

一个大模型有大量参数,每一层都在做高维向量运算。我们能知道训练目标、架构、损失函数和整体行为,也能用很多 interpretability 方法研究它,但要把某一个具体答案完整还原成“每个参数如何共同导致这个词”,非常困难。

这就像我们知道天气遵循物理规律,但很难精确解释某一阵风在某一秒为什么刚好这样吹。

复杂系统可被研究,不等于每个细节都容易被人类直观理解。

更好的使用心态

面对 AI 推理,最好的态度不是迷信,也不是轻蔑。

可以这样用:

  1. 把它当成强大的模式生成和思路展开工具。
  2. 复杂问题要求它拆步骤、列假设、给反例。
  3. 对数字、事实、法律、医疗、金融结论做外部核查。
  4. 不把“说得像真的”当成“已经证明”。
  5. 用它拓展思路,但保留自己的最终判断。

AI 最强的地方,是帮你更快形成候选路径;最危险的地方,是让错误路径也显得很顺。

一句话记住

AI 的推理能力不是玄学,也不是人类理解的简单复制。

它是大规模模型在数据、训练、上下文和评测共同作用下表现出的功能性能力:很强、很有用,但需要提示、校验和边界。

资料边界

参考 Brown 等人的 Language Models are Few-Shot Learners、Wei 等人的 Emergent Abilities of Large Language Models、Wei 等人的 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models,以及 Schaeffer 等人的 Are Emergent Abilities of Large Language Models a Mirage? 进行校正。本文是技术理解笔记,不构成对任何具体 AI 产品能力的实时评测。

目录