获课：999it.top/15435/

## 学AGI的最佳路径：先搞懂Transformer，再超越Transformer

这两年，关于“Transformer是否已死”的讨论不绝于耳。有人高呼“嵌套学习将开启AGI新时代”，有人押注状态空间模型，还有人试图从认知单元彻底重构AI底层逻辑。

面对这些喧嚣，一个根本性问题浮出水面：**想学AGI，该从哪里入手？**

我的答案是：先搞懂Transformer，再谈超越Transformer。这不是保守，而是通往未来的最短路径。

### 为什么必须从Transformer开始？

2017年，《Attention Is All You Need》的发表，彻底改写了自然语言处理的游戏规则。在此之前，RNN和LSTM统治着序列模型，但它们的串行计算本质，注定了训练效率的瓶颈——你必须一页一页地读小说，读到后面忘了前面。

Transformer的出现，像是给AI装上了“涡轮增压器”。它的核心创新——自注意力机制——让模型在处理每个词时，能够瞬间“关注”输入序列中的所有其他词。这不是渐进式的改良，而是计算范式的革命：从串行到并行，从局部到全局。

更关键的是，**今天几乎所有的主流大模型，都生长在Transformer的树干上**。GPT系列、BERT、Claude、文心一言……无论它们后来长出了多少枝叶，根基都在这里。如果你想理解为什么GPT-4能处理长文本、为什么某些模型会“幻觉”、为什么推理能力存在上限，答案都要回到Transformer的架构设计中去找。

有观点将Transformer的统治地位称为“技术捕获”——行业陷入了由成功路径导致的创新停滞。但对于学习者而言，这意味着：**不懂Transformer，就等于看不懂AI的现在，更无从想象它的未来。**

### 但Transformer并不完美

当你真正理解了Transformer，就会发现它的“命门”。

最致命的问题，叫“顺行性遗忘症”。这是一个医学类比：患者的短期记忆正常，长期记忆也还在，但短期记忆**无法转移为长期记忆**。他们永远活在“现在”。

今天的大语言模型，和这种患者一模一样：

- 预训练阶段学到的知识，是长期记忆

- 当前对话窗口里的信息，是短期记忆

- 但两者之间，**几乎完全没有通道**

模型无法自然地把你刚才告诉它的事情，沉淀为未来可复用的知识。想让它真的学会？只能重新训练、再微调、再烧钱。

此外，Transformer还面临长上下文处理效率低、抽象知识层级有限、适应性弱等问题。当上下文变长，注意力机制的计算复杂度呈平方级增长——这本质上是个数学瓶颈。

### 超越之路：从改良到革命

理解了这些局限，你才能真正看懂当下的技术路线图。

谷歌DeepMind押注的**嵌套学习**，试图从根本上解决持续学习问题。其核心思想是：构建一个多时间尺度的嵌套系统——快模块负责即时响应，慢模块负责知识沉淀，两者通过联想记忆机制协同进化。如果这条路走通，AI将不再只是“记住过去”，而是能够“从经历中学习”。

还有更激进的探索。初创公司Flapping Airplanes正在尝试**非Transformer架构**，如状态空间模型（SSM）和神经符号系统，目标是让复杂推理能在边缘设备上运行。有学者甚至提出以“形根”取代“Token”作为基本语义单元——如果AI不再基于任意性的统计关联，而是从汉字构形逻辑出发理解世界，会怎样？

这些探索的共同指向是：**未来的AGI，不太可能长着和今天一模一样的Transformer面孔。**

### 两条路径，一个答案

所以，学AGI的正确姿势是什么？

第一步，**沉下心搞懂Transformer**。不是浮于表面的API调用，而是真正理解自注意力怎么算、多头为什么有效、位置编码解决了什么问题。就像学物理要先懂牛顿力学，哪怕后来你要学相对论——没有经典物理的底子，连“超越”是什么意思都说不清。

第二步，**带着批判眼光看Transformer**。当你真正理解它的优势和局限，再看嵌套学习、SSM、神经符号系统这些新方向，才能看出门道：它们到底在解决什么问题？是修补还是重构？是改良还是革命？

有观点预测，AGI可能在5年内成为现实。达沃斯论坛上，DeepMind负责人哈萨比斯警告：AGI到来后，劳动力市场将进入未知领域。但无论AGI何时到来、以何种形态出现，有一件事是确定的：**那些真正理解底层逻辑的人，才有资格参与塑造未来。**

先搞懂Transformer，再超越Transformer。这条路看似绕远，实则是通往AGI最近的捷径。