多模态嵌入，当图像变成了另一种语言

我第一次接触多模态模型的时候，最大的困惑不是模型怎么训练的，而是那个最基础的问题：图像和文本，两种本质上完全不同的东西，怎么被塞进同一个向量空间？后来逐渐理解了tokenizer和embedding的设计逻辑，才发现这个问题的答案并不复杂，但它的设计哲学很有意思——不是让图像理解文字，而是让两者在同一个数学空间里“对话”。

先说tokenizer。文本的tokenizer大家都很熟悉了，把句子切成一个个子词单元，映射成整数id。但图像的tokenizer就截然不同了，它干的不是“切分”，而是“压缩”。图像本质上是像素矩阵，一张224x224的图就有五万多个像素值，直接作为token序列丢给模型，计算量谁也扛不住。所以图像tokenizer的核心任务是把高维的像素空间压缩成低维的离散表示。

这个过程很像在做一种有损压缩，但又比普通压缩多了一层语义含义：它不是为了存得更小，而是为了让图像以“token串”的形式去匹配文本的序列结构。CLIP用的是对比学习的方式，不把图像转成离散token，而是直接用视觉编码器抽出一个连续向量；而像Fuyu这类模型更激进，直接把图像像素块当token用，不做任何离散化。这两种路径代表了对“图像如何进入语言模型”这个问题的不同答案：一种是让图像变成向量去匹配文本，另一种是让图像变成类似文本的序列结构去融入。

接下来是对齐。图文对齐这个词听起来很玄，但底层逻辑非常朴素：在同一个向量空间里，语义相近的图文对应该有相近的向量表示。训练时拉近匹配图文对的距离，推开不匹配对的距离，这就是对比学习的核心。CLIP用四亿对图文数据做这件事，最终学到的向量空间有个很有意思的特性：猫的文本向量和猫的图片向量在空间里处在同一个方向，甚至“猫”和“狗”的相对位置关系在文本空间和图像空间里是一致的。

这个性质不是天然存在的，而是通过那个简单的“拉近拉远”目标函数硬生生逼出来的。我后来越来越觉得，多模态对齐的本质不是让模型理解图像，而是让模型发现文本和图像在语义上的“共现规律”。模型根本不知道什么是猫，它只知道“猫”这个字和一堆猫的图片在训练数据里总是同时出现，于是它们的向量就靠拢了。这种基于共现的语义理解，跟人类通过感官经验建立概念的过程有相似之处，但底层机制完全不同。

再说Embedding向量的底层逻辑，这是我觉得最值得深究的部分。很多人把embedding理解成一种“特征表示”，这没错，但太浅了。Embedding的本质是把离散的符号映射到连续的语义空间，而这个空间的几何结构就承载了语义关系。在这个空间里，两个向量的距离表示语义相似度，向量运算甚至能体现语义组合关系。文本里经典的“国王-王后≈男人-女人”这个类比现象，在图文联合embedding空间里也存在类似的跨模态关系，比如“汽车-发动机≈轮船-螺旋桨”这种跨模态类比。

但这里的向量空间有个细微但重要的设计取舍：维度选择。维度太高，计算量大且容易过拟合；维度太低，表达能力不够，语义关系会拥挤。我观察到一个现象：很多开源模型的embedding维度都在768到1024之间，这不太是巧合，更像是经历了大量实验后收敛到的平衡点。768这个数字在BERT时代就被验证过，后来者大多延续了这个规模，说明语义空间的有效维度可能就在这个量级。再高的维度带来的增益边际递减，再低则损失明显。

另外，embedding向量的质量不只看维度，更看分布的均匀性和各向同性。如果向量在空间里分布不均匀，某些区域聚集过多，某些区域空空荡荡，那相似度计算的可靠性就会打折扣。后处理中常见的向量归一化、中心化操作，本质上都是在做空间的“整容”——让向量分布更均匀，让空间里的每一寸都被有效利用。

回到多模态本身，我最想说的一个观点是：图文对齐这件事的成功，某种程度上证明了人类语言和视觉信息在深层次存在着相似的语义结构。如果两种模态的语义结构完全不同，无论怎么训练也无法对齐到同一个空间里去。正是因为有这种共同的结构作为基础，对比学习才能把图文语义映射到同一片向量空间。这片空间就像一座桥，文本和图像在桥的两侧各自表达，但在桥的中心位置，它们的含义是相通的。

最后说个比较朴素的体会：研究多模态的embedding，很容易陷进数学细节里出不来，各种相似度函数、损失函数、负采样策略让人眼花缭乱。但回归到本质，多模态模型要做的事情跟一个两岁的孩子差不多——看到苹果，听到“苹果”这个词，把两者联系起来。孩子不需要知道视网膜成像原理，也不需要理解声波频谱，只要这个联系建立起来了，认知就形成了。多模态模型的底层逻辑也是如此，只不过这个联系不是靠神经元突触，而是靠梯度下降在向量空间里硬找出来的。它笨拙但有效，朴素但深刻。