夏哉ke:bcwit.top/21788

过去两年，多模态大模型（Multimodal Large Language Models, MLLMs）经历了从“能看会说”到“真正理解”的跨越式发展。GPT-4V、Gemini、Claude-3.5等通用模型的发布，让人们看到了多模态理解的潜力；而2025年以来，技术演进进入深水区——研究者不再满足于简单地将视觉编码器与语言模型拼接，而是开始追问更根本的问题：什么样的架构才能真正让模型像人类一样，自然地融合视觉、语言、听觉等多维信息？

这背后是一场从“模态连接”到“原生统一”的范式跃迁。早期多模态模型本质上是“拼装车”——用独立的视觉编码器提取特征，再通过适配器注入语言模型。而今天的前沿研究正在颠覆这一范式：商汤科技提出的NEO-unify架构彻底抛弃了独立的视觉编码器和变分自编码器，让模型直接从像素和文本学习内部表征-2；KAUST与Meta联合发布的MoS（Mixture of States）则通过动态路由机制，让视觉token可以根据去噪步长和输入内容，灵活地从文本编码器的任意层抽取信息-5。这些突破共同指向一个方向：多模态智能正在走向原生和统一。

本文将系统梳理多模态大模型的核心算法原理，从三大技术流派的分野出发，深入探讨细粒度感知、生成式融合、工业级落地等关键议题，帮助读者建立从理论到实践的完整认知框架。

一、多模态大模型的核心挑战：为什么“拼装”不够好？

在深入具体算法之前，我们有必要先理解多模态大模型面临的核心挑战。北京大学彭宇新团队在首篇细粒度多模态大模型综述论文中，将其归纳为三大挑战-4：

第一，架构设计在细粒度特征建模上的不足。 现有模型往往关注全局语义，却忽略了局部细节。例如，一张图片中有多只鸟，模型能回答“这是鸟”，却无法区分哪只是“红腹灰雀”、哪只是“蓝山雀”。这种细粒度类别识别能力的缺失，限制了模型在生物分类、工业质检等场景的应用。

第二，高质量细粒度标注数据的稀缺。 通用图文对数据容易获取，但带有精细标注（如物体边界、关键点、部件属性）的数据极为匮乏。如何在有限监督信号下让模型学会“看见细节”，是数据层面的核心瓶颈。

第三，细粒度感知与计算效率之间的矛盾。 要捕捉细节，往往需要更高的图像分辨率或更多的视觉token，这直接推高计算成本。如何在有限算力下实现精度与效率的平衡，是工程落地的关键。

这三个挑战贯穿多模态大模型发展的全过程。理解它们，才能理解为什么研究者们不断推陈出新，探索各种架构变体。

二、三大技术流派：对齐、融合与原生统一

当前多模态大模型的发展呈现出三大技术路径：对比对齐派、深度融合派、原生统一派。每条路径都有其独特的哲学和适用场景。

2.1 对比对齐派：双塔架构的延续

这一流派继承自CLIP的思想，采用独立的视觉编码器和文本编码器，通过对比学习将图文映射到同一向量空间。其优势在于检索效率高，适合图文搜索、零样本分类等任务。但缺点也很明显：由于缺乏深层的跨模态交互，模型在需要细粒度推理的任务（如视觉问答、多轮对话）中表现受限。

尽管纯双塔架构已不是主流，但其思想被广泛融入现代模型。例如，许多多模态大模型在预训练阶段仍会采用对比损失作为辅助目标，以增强跨模态对齐。

2.2 深度融合派：适配器模式的极致

这是当前最主流的范式。典型代表如LLaVA、BLIP-2、Qwen-VL，其核心设计是：用预训练的视觉编码器提取图像特征，通过轻量级适配器（如Q-Former、线性投影层）映射到语言模型的embedding空间，然后让语言模型进行跨模态理解和生成。

这一流派的最大贡献在于高效复用LLM的能力。LLM已经具备了强大的语言理解和生成能力，通过适配器注入视觉信息，相当于给语言模型“装上了眼睛”，训练成本远低于从头训练。BLIP-2的Q-Former正是这一思想的杰作——它用一组可学习的查询向量，从冻结的图像编码器中提取与文本最相关的视觉特征，再输入冻结的LLM，实现了高效的视觉-语言对齐-2。

然而，深度融合派也有其固有局限：视觉信息经过适配器的压缩，不可避免会丢失细节；语言模型始终站在“第二手信息”的基础上进行理解，难以达到原生视觉推理的深度。

2.3 原生统一派：走向真正的端到端

2025年以来，原生统一架构开始崭露头角，其核心理念是：让模型直接从像素和文本学习，不再依赖独立的预训练视觉编码器。

商汤科技联合南洋理工大学提出的NEO-unify是这一路线的标志性成果-2。它彻底摒弃了视觉编码器（VE）和变分自编码器（VAE），采用原生混合Transformer（Mixture-of-Transformers, MoT）架构，让理解和生成在同一体系中协同进行。实验表明，即使冻结理解分支，独立的生成分支仍能从表示中恢复细粒度的视觉细节——这说明模型内部已经自发形成了兼顾语义与像素的表征空间。

另一项重要工作是Mixture of States（MoS）-5。MoS洞察到一个关键问题：传统文生图模型将文本编码一次后固定使用，但去噪过程是动态的——不同阶段需要的文本信息不同。MoS引入可学习的token级路由器，根据去噪步长和输入内容，动态地从文本编码器的各层选取最相关的特征进行融合。这种动态、稀疏、状态感知的交互机制，让模型在3B-5B参数规模下，性能超越20B参数的传统模型，证明了原生设计在计算效率上的巨大优势。

原生统一派的兴起，标志着多模态大模型正在从“连接主义”走向“整体主义”。正如NEO-unify团队所言：“模型不再在模态之间进行转换，而是能够原生地跨模态思考。”-2

三、细粒度感知：从“看见”到“看懂”

如果说通用多模态大模型解决的是“这是什么”的问题，那么细粒度感知要解决的是“这到底是哪一个”的问题。这是从“看见”到“看懂”的关键一跃。

北京大学彭宇新团队在细粒度多模态领域取得了一系列突破-4。他们首先定义了细粒度感知的三个维度：

• 类别细粒度：区分同一基本类下的不同子类，如不同种类的鸟、不同型号的飞机。

• 空间细粒度：准确定位物体部件或关键点，如“鸟的喙”、“飞机的机翼”。

• 时间细粒度：理解动作的细微变化，如体操动作的质量差异。

基于这一框架，团队研发并开源了首个细粒度多模态大模型Finedefics。其核心创新在于“数据-知识协同训练”——首先通过与LLM的多轮交互构建细粒度子类别的属性知识（如“红腹灰雀有红色的胸部和黑色的头部”），然后通过判别-生成统一的指令微调，将这些属性知识分别与图像和文本对齐。实验表明，Finedefics的细粒度分类准确率达到76.84%，相比QwenVL-Chat提升9.43个百分点-4。

针对图像中微小目标难以识别的问题，团队提出了细粒度视觉推理算法DyFo。其思路是模拟人类视觉搜索行为——先全局浏览，再逐步聚焦关键区域。DyFo让视觉专家模型与多模态大模型协同工作，在无需额外训练的前提下，通过多轮聚焦提升识别精度，在细粒度识别任务上准确率达81.15%，相比Qwen2-VL提升8.90个百分点-4。

这些工作揭示了一个重要趋势：多模态大模型的下一站，不是更大的模型，而是更精细的感知能力。无论是自动驾驶识别远处障碍物，还是医疗影像定位微小病灶，细粒度感知都是技术落地的关键瓶颈。

四、生成式多模态融合：动态、稀疏、状态感知

在图像生成、视频生成等任务中，多模态融合面临独特的挑战：文本条件是静态的，但生成过程是动态的。如何让融合机制适应这一特性？

4.1 动态融合：MoS的启示

如前所述，MoS的核心洞察是：去噪过程的不同阶段，需要不同层级的文本信息。早期去噪阶段可能需要高层语义（“一只猫”），后期细化阶段可能需要低层细节（“毛发的纹理”）。固定使用文本编码器最后一层的特征，显然不是最优解-5。

MoS的解决方案是：让每个视觉token在每一层都有一个可学习的路由器，根据当前的去噪步长和token内容，从文本编码器的所有层中动态选择最相关的K个状态进行聚合。这种设计不仅让融合变得动态和自适应，还通过稀疏选择大幅降低了计算开销。

4.2 稀疏计算：OneVision-Encoder的突破

计算效率是另一个核心议题。传统视觉编码器对图像的所有区域一视同仁，但视觉信号天然具有冗余性——静态背景的信息熵远低于动态前景。IDEA研究院的OneVision-Encoder正是基于这一洞察-8。

它借鉴视频编码器的思想，提出“Codec Patchification”——只对信号熵高的区域（约占3.1%-25%）进行密集计算，其余区域用轻量方式处理。实验证明，效率与精度并非权衡，而是正相关：在显著减少视觉token数量的前提下，OneVision-Encoder在16个图像、视频、文档理解基准上均超越Qwen3-ViT等强基线，视频理解任务平均提升4.1%-8。

这一工作的启示是：多模态大模型的下一次效率革命，可能来自对视觉信号本身的更深刻理解——与其用更大的模型暴力计算，不如让模型学会“只看该看的地方”。

五、工业级实战：从实验室到产线

前沿算法的价值最终要在工业场景中验证。2025年以来，多模态大模型在制造业、物流、铁路等领域的落地案例层出不穷，为理论提供了鲜活的反哺。

5.1 工业预测性维护：先导智能的实践

锂电产线对设备稳定性的要求极高——任何微小异常都可能导致整条产线停机。先导智能自主研发的“基于多模态大模型的AI预测性维护系统”，深度融合设备时序数据、视觉图像与文本日志，通过时空特征对齐与跨模态注意力机制，实现故障发生前7-15天预警，预测准确率较传统方法提升25%以上-9。

这一案例的关键技术突破有三-9：

• 物理机理与AI深度融合：将电机热力学、轴承动力学等物理模型嵌入AI训练，实现“可解释、可信赖”的诊断，破解工业现场对AI“黑箱”的信任难题。

• 核心通用部件孪生建模：聚焦轴承、电机等通用部件，建立高精度数字孪生模型，实现“一次开发、跨行业复用”。

• 预测-诊断-决策闭环：系统不仅预警，还能自动生成维修SOP与备件建议，并通过持续学习沉淀企业专属运维知识。

该系统已在数百台锂电设备上部署，帮助客户降低35%故障频次，每年为单一客户创造超千万元经济效益-9。

5.2 铁路工程设计：铁一院的创新

国铁勘察设计多模态价值工程大模型应用平台，是铁路工程设计领域首个多模态大模型-3。它贯通28个铁路工程专业知识，构建了具备“工程师思维”的智能平台，提供知识检索、智能问答、文本生成、文本审核及多模态对话五大能力。在内部测试中，针对28000条问答的准确率维持在90%以上-3。

这一案例的特殊之处在于领域知识的深度融入。铁路工程设计涉及地质、桥梁、隧道、轨道等多个专业，每个专业都有复杂的规范和经验。通用多模态大模型难以直接胜任，必须通过领域微调和知识注入，让模型“学会工程师的思维方式”。

5.3 机器人操作：武汉大学的突破

武汉大学机器人学院提出的RGMP框架，将几何推理与语义规划明确结合，打破了传统视觉语言模型在机器人操作中缺乏空间感知的局限-1。其核心设计包括：

• 几何先验技能选择器：仅用20条规则约束，即可实现动态技能适配，解决未知场景中的技能选择模糊性问题。

• 自适应递归高斯网络：结合旋转位置编码与自适应衰减机制，构建具有空间记忆的感知交互模型，在少量演示数据下实现灵巧操作。

实验显示，仅用40条“芬达罐抓取”演示数据训练，模型在抓取全新对象时平均成功率高达87%，较主流方法提升17个百分点，数据效率提升5倍-1。

这一案例的价值在于：它证明了几何先验可以以极低成本注入大模型，让人形机器人在有限示教条件下实现泛化操作，为规模化应用奠定了技术基础。

六、未来展望：迈向通用多模态智能

站在2026年的当下，多模态大模型的未来演进呈现几个清晰方向：

第一，理解与生成的统一。 NEO-unify已经证明，同一模型架构可以同时支持视觉理解和生成。未来，模型将不再区分“理解模型”和“生成模型”，而是形成感知与生成交织的闭环-2。

第二，细粒度与广谱性的兼顾。 彭宇新团队提出的核心问题——“如何做到又广（开域泛化）又深（细粒度感知）”——正在催生新的技术路径。知识增强、多尺度建模、强化学习后训练等手段将共同推动这一目标的实现-4。

第三，空间智能与具身智能的融合。 从武汉大学的RGMP到先导智能的预测性维护，空间感知能力正成为多模态模型走向物理世界的桥梁。未来，模型不仅要理解“这是什么”，还要理解“它在哪”“怎么动”，这是人形机器人和自动驾驶的核心需求-1-9。

第四，小模型强泛化的突破。 IDEA研究院的Rex-Omni在3B参数规模下，实现了超越传统检测器的目标检测能力，证明了“小而强”的可能性-7。通过任务构建的统一（将所有感知任务统一为坐标预测）、数据引擎的增强、以及强化学习后训练的引入，小模型同样可以具备强大的泛化能力。

七、结语：站在范式转移的前夜

回顾多模态大模型的发展历程，我们正站在一个关键的转折点上。从CLIP的双塔对齐，到LLaVA的适配器融合，再到NEO-unify的原生统一——每一次范式转移，都在向更本质的问题靠近：智能的本质是什么？视觉和语言在人类大脑中是如何统一的？

技术路线的演进没有绝对的对错，只有适合与否。对于需要快速落地的场景，深度融合派依然是最高效的选择；而对于追求通用智能极限的研究，原生统一派提供了更广阔的想象空间。重要的是理解每种选择背后的权衡，并根据实际需求做出判断。

正如商汤科技在NEO-unify发布时所言：“一条新的路线图正在展开——模型不再在模态之间进行转换，而是能够原生地跨模态思考。多模态AI不再只是连接不同系统，而是构建一个从未割裂的统一智能体，并让所需能力从其内部自然涌现。”