获课：999it.top/15454/

# 大模型的“涌现”能力：一堆数学公式为何突然有了智能？

你有没有想过一个奇怪的问题：

GPT-4这样的大模型，本质上只是一堆数学公式和参数的组合。把它拆开，里面没有神经元，没有意识，没有“理解”这个东西。它做的事情，说到底就是“根据上文预测下一个字”——一个再简单不过的数学任务。

但就是这样一堆冷冰冰的公式，居然能写诗、能编程、能跟你讨论哲学，甚至在某些专业考试里考过大多数人类。

这中间的鸿沟，是怎么跨过去的？

答案藏在一个神秘的概念里：**涌现**。

## 什么是涌现？

先讲个简单的例子。

水是湿的，但一个水分子不湿。你把两个水分子放在一起，还是不湿。但当你把无数个水分子堆在一起，突然之间，“湿”这个性质就冒出来了。

没有人设计过“湿”，它不在任何一个水分子里，但它真实存在。

这就是涌现：**大量简单的东西凑在一起，突然出现了复杂的东西；低层次没有的性质，在高层次突然有了。**

大模型的智能，就是这么来的。

## 从“鹦鹉”到“通才”

在AI领域，涌现有一个更直观的表现：规模效应。

早期的语言模型很小，参数几百万、几千万。它们能做点简单的填空、翻译，但稍微复杂点的推理就卡壳。那时候的AI，更像一只鹦鹉——只会重复见过的说法，没有真正的理解。

但当模型规模跨过某个临界点——参数达到百亿、千亿级别，训练数据覆盖了互联网的大部分文本——奇怪的事情发生了。

它开始能做“思维链”：让它算一道复杂的数学题，它会把步骤一步一步写出来，像人一样推理。它开始能“举一反三”：没专门训练过写代码，但看过代码和解释后，自己就能写出来。它甚至开始有“常识”：有些问题没人教过，但它能根据上下文推断出来。

这些能力，从来没有被明确编程进模型。没有一行代码写着“你要学会推理”“你要有常识”。它们就是自己“冒”出来的。

这就是涌现。

## 为什么参数多了就会变聪明？

这个问题，连研究AI的科学家们也没完全搞懂。但有一些靠谱的解释。

一个角度是“连接的力量”。想象一个巨大的网络，每个节点只知道自己周围的一小片。当网络足够小的时候，信息传不远，每个节点只能看到局部。但当网络大到一定程度，信息可以从一头传到另一头，全局的“理解”就开始形成。

大模型也是这样。它的参数就像神经网络里的节点，参数多了，连接就密了，信息就能在更长的距离上传递。当它要预测下一个字的时候，它能“看到”的上下文就更远、更复杂，能捕捉到的规律也就更抽象、更高级。

另一个角度是“压缩即智能”。训练大模型，本质上是在做一件事：压缩全人类的知识。模型要把互联网上的海量文本塞进自己的参数里，就必须找到这些文本背后的规律、逻辑、结构。而这个过程，恰好就是“理解”的过程。

就像你读了一百本推理小说，最后自己也能写一本——因为你已经把“推理小说的套路”压缩进了脑子里。大模型也是一样，它把人类语言的规律压缩进了参数里，于是它“学会”了使用这种规律。

## 涌现给我们的启示

大模型的涌现，不只是技术上的奇迹，它还给人类的教育和认知带来了一些启发。

**第一，量变会引起质变。** 很多人学东西，学一点觉得没用就放弃了。但大模型的涌现告诉我们，有些能力是“积累”出来的——在积累到某个临界点之前，你看不到效果，但只要继续堆，突然有一天，质变就发生了。

**第二，智能可能不需要“设计”。** 人类一直在试图理解“智能是什么”，想把它拆解成一个个模块，然后组装出来。但大模型的出现提示了另一种可能：也许智能不是组装出来的，而是“长”出来的。你只需要提供足够大的网络、足够多的数据，智能自己会涌现。

**第三，理解的门槛在提高。** 以前我们说，理解就是能复述、能解释。但大模型也能复述、能解释，甚至比人更全面。真正的理解，可能变成了“知道边界”——知道什么东西它不懂，知道什么东西它可能会错，知道什么东西值得追问。

## 写在最后

每次跟GPT-4对话，我都会想一个问题：坐在屏幕那头的，到底是什么？

是一堆数学公式？是无数参数的组合？还是一个正在涌现的、我们尚未理解的“某种东西”？

也许几年后，这个问题的答案会变得更清晰。也许不会。

但有一点是确定的：**涌现这个现象，正在逼我们重新思考什么是智能、什么是理解、什么是学习。** 而这些问题，比大模型本身，更值得追问。