获课：xingkeit.top/16187/

多模态评测体系：当AI终于能“看图说话”，我们该如何给它打分？

我第一次接触多模态模型评测时，心里冒出的第一个问题是：这不就是给AI做“看图说话”考试吗？考了这么多年计算机视觉和自然语言处理，合在一起考能有多难？直到我真正翻开MMBench和SEED-Bench的评测手册，才意识到自己有多天真。单模态时代的评测思维，在多模态面前几乎全面失效——你会发现自己连“怎么出题”都搞不定，更别说“怎么打分”了。

为什么传统评测在多模态面前失效了？

让我们先做个思想实验。你给AI一张照片：一只橘猫蹲在窗台上，窗外下着雨。然后你问两个问题：“这是什么品种的猫？”和“猫在做什么？”传统视觉模型能答出第一个（虽然可能不准确），传统语言模型能答出第二个（虽然没见过“雨”这个视觉信息），但只有多模态模型才能把两者结合起来：“一只橘猫蹲在窗台上看雨”——这个回答同时依赖视觉识别和场景理解。

问题来了：这个回答里，哪部分算“看懂了”，哪部分算“想通了”？ 如果AI答对了“窗台”但认错了“橘猫”，该给几分？如果它把“下雨”理解成“背景模糊”，是扣视觉分还是扣逻辑分？这些模糊地带就是传统评测束手无策的地方——我们不能简单地用准确率来判断，因为一个回答里交织着视觉感知、常识推理、语言表达多个维度。

MMBench和SEED-Bench这样的多模态评测体系，本质上就是在回答一个很棘手的问题：如何把“AI看图说话”这件事，拆解成可量化、可对比、可追溯的评分项？ 这远比想象中复杂。

MMBench：一场针对AI的“结构化考试”

我第一次认真看MMBench的论文时，被它的问题设计方式吸引住了。它不像以前的评测那样丢一堆图片给AI让它随便说，而是把每个问题都设计成选择题，且选项经过精心构造——有三个选项很接近，只有一个正确。这种“三选一”的设计看似简单，实则暗藏玄机：它要求模型不仅要“看对”，还要“区分对”。

MMBench真正厉害的地方，是它的分类维度。它把所有评测问题分成了20多个能力维度，从最基础的“物体识别”“颜色判断”，到中级的“空间关系”“场景理解”，再到高级的“常识推理”“逻辑推断”。一张看似简单的图，可能同时考察五六个维度。模型在哪个维度上强、哪个维度上弱，一目了然。

我观察过一个模型在MMBench上的表现，它在“物体识别”维度上接近满分，但在“空间关系”维度上惨不忍睹——让它在“茶杯在桌子的左边还是右边”这种问题上屡屡翻车。这种精细的维度拆解让我意识到：多模态能力不是铁板一块，视觉理解和逻辑推理是两码事，底层感知和上层认知更是天差地别。 一个能在物体识别上拿高分的模型，可能在空间关系上一塌糊涂——这两者需要的能力完全不同。

SEED-Bench：当AI需要“看完视频再回答”

如果说MMBench考验的是“看图后的静态理解”，那SEED-Bench就是在考验“看视频序列后的动态推理”。SEED-Bench最让我印象深刻的是它的时间维度问题——它会问“接下来的动作是什么”、“之前是什么状态”、“这个变化经历了几个步骤”。这些问题要求模型不仅理解当前帧，还要构建时间序列上的因果链条。

这意味着评测从“二维空间理解”升级到了“三维时空理解”。一个模型能准确识别每帧里的物体，但未必能判断“人物是先拿起杯子再倒水，还是先倒水再拿起杯子”——这需要跟踪时间上的顺序关系。SEED-Bench把这类问题单独列为“时间推理”维度，让我认识到：能看懂单张图的AI，未必能看懂一段视频，因为后者需要构建“发生了什么变化”的叙事能力。

另一个让我觉得SEED-Bench设计精妙的地方，是它的问题多样性。它不只是问“发生了什么”，还会问“为什么发生”、“接下来会怎样”。这些问题要答对，模型得把视觉线索和世界知识结合起来。比如看到“一个人跑步后擦汗”，你要推断出“他刚剧烈运动过”——这个推断不是来自单张图的识别，而是来自对“汗”这个视觉线索与“运动”这个常识之间的关联理解。

评测指标背后的认知偏差

在多模态评测的数据里，我发现一个有趣的现象：很多模型在“简单”问题上翻车，却在“复杂”问题上表现不错。 这不是模型有毛病，而是说明我们的“简单”定义和模型的实际能力不匹配。在人类看来“一眼就能看出来”的物体遮挡、光照变化、视角变换，对模型来说可能是地狱难度；而人类觉得“绕了好大一圈”的逻辑推理，对模型来说可能只是模式匹配。

这种偏差揭示了一个残酷真相：评测指标反映的是“模型擅长什么”，而不是“模型有多智能”。 我们测的是模型在特定问题分布上的表现，而这个分布是人类设计的、带有特定偏向的。你觉得“识别猫”很简单，所以给它的权重低；你觉得“逻辑推理”很难，所以给它权重大。但模型可能恰好相反——它天生就擅长识别猫，因为训练数据里有海量猫图；但逻辑推理全靠死记硬背，换种表达就露馅。

所以我一直觉得：理解评测指标的前提，是理解设计这些指标的人是怎么思考的。 MMBench的设计者认为“区分相似选项”是核心能力，所以加了近义选项；SEED-Bench的设计者认为“时序理解”是关键，所以加入了大量视频问题。这些设计选择本身就代表了某种价值判断——而你应该问自己：这个价值判断符合你的应用场景吗？

评测的终点不是分数，是认知

折腾多模态评测这么久，我最大的感悟是：评测不是为了得到一个“好分数”，而是为了搞清楚模型的能力边界在哪里。 一个90分但你不知道它哪些场景会翻车的模型，比一个80分但你清楚它所有弱点的模型更危险。因为前者会在你最意想不到的地方突然失效，而你连排查的方向都没有。

我对团队的要求一直是：跑完MMBench和SEED-Bench之后，除了汇总分数，必须输出一份“失败案例分析”——挑出20个模型答错的典型问题，逐条分析是视觉识别失败、推理逻辑偏差、还是语言表达缺陷。这份案例分析比任何总分都更有价值，因为它直接告诉我们“这个模型能不能用在我们的业务里”、“用在哪些场景必须加后处理兜底”。

说到底，MMBench和SEED-Bench这类评测体系，给我最大的启示其实和技术关系不大，而是关于一个很朴素的认知：想真正了解一个AI的能力，别只看它做对了什么，要看它做错了什么；别只看总分，要看每个维度下的表现；别只看测试集的分数，要看失败案例里藏着的规律。 评测的真正目的，从来不是“排名”，而是“认知”——让你知道自己手里的AI，到底是全才还是偏科生，是可靠伙伴还是危险玩具。