### [MMBench](https://hello123.com/)

**Published:** 2026-10-31T05:48:00

**Author:** hello123

**Excerpt:** MMBench 由上海 AI 实验室等机构推出，提供约 3000 道单选题、20 项细粒度能力评估，支持 VL…

## MMBench 是什么：多模态基准测试的定位

**MMBench** 是一个**多模态**基准测试，用于评估视觉语言模型（VLM，能同时处理图像和文本的模型）的综合能力。它由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员联合推出。该基准测试的核心目标，是提供一个细粒度的评估框架，衡量模型从感知到认知的逐级能力。

![MMBench截图](https://cdn.hello123.com/wp-content/uploads/2026/09/mmbench.jpg)

### 研发背景与机构

MMBench 的研发团队来自五所高校与科研机构。上海人工智能实验室主导了项目设计，南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员参与数据构建与评测策略制定。官方论文于 2023 年发布，代码托管在 GitHub 的 open-compass 组织下。该基准测试的定位，是解决早期多模态评测中能力维度粗糙、选项偏差明显的问题。

### 评测流程与能力维度

评测流程从感知到认知逐级细分。感知层考察模型对图像基本元素的识别，如物体、颜色、位置。认知层则要求模型进行推理、比较、逻辑判断。整个体系覆盖 20 项细粒度能力，包括视觉问答、图像描述生成、属性识别、空间关系理解等。每道题均为单项选择题，模型需从四个选项中选出正确答案。评测时，系统用 **ChatGPT** 将模型自由文本回复匹配到选项，而非简单规则匹配。

## MMBench 功能列表：从数据集到排行榜

该平台提供七项核心功能，覆盖从数据准备到结果提交的完整流程。

| 功能  | 说明  |
| --- | --- |
| 细粒度能力评估 | 覆盖 20 项能力维度，可定位模型薄弱环节 |
| 大规模数据集 | 约 3000 道单选题，人工筛选标注 |
| 循环评估策略 | 同一题多次出现，降低随机猜测噪声 |
| 多语言支持 | 提供英文与中文两个版本数据集 |
| 数据可视化 | 展示样本结构与得分分布 |
| 官方评估工具 VLMEvalKit | 支持标准化评测流程 |
| 公开排行榜 | 展示各模型总分与分项得分 |

### 细粒度能力评估与数据集规模

数据集包含约 3000 道单项选择题，覆盖 20 种能力维度。题目来源为互联网公开图像与权威基准数据集，经过人工筛选与标注。每道题配有图像和四个文本选项。官方将能力维度分为感知与认知两大类，再细分为物体识别、场景理解、逻辑推理等子类。开发者可查看模型在具体维度上的准确率，定位薄弱环节。

### 循环评估策略与多语言支持

循环评估策略是 MMBench 的独特设计。同一道题会以不同选项顺序出现多次，模型需在每次推理中给出一致答案。系统统计多次循环的结果，降低随机猜测带来的噪声。官方提供英文和中文两个版本的数据集，分别命名为 MMBench-EN 和 MMBench-CN。两个版本题目内容相同，仅语言不同，便于对比模型跨语言表现。

### VLMEvalKit 工具与排行榜提交

VLMEvalKit 是官方开发的评估工具包，支持标准化评测流程。用户安装后，可加载数据集、运行推理、计算准确率。工具包基于 `Python` 编写，依赖 PyTorch 等库。排行榜位于 mmbench.opencompass.org.cn，展示各模型在测试集上的总分与分项得分。提交结果需上传 xlsx 格式的预测文件，系统自动计算并更新排名。

## MMBench 新手上手指南：安装到提交结果

注册后通常会看到排行榜页面与提交入口。首次使用需安装 VLMEvalKit，下载数据集，运行推理，最后上传结果。整个流程可在本地完成，无需调用远程 **API**。

### 安装 VLMEvalKit 与下载数据集

安装命令为 `pip install vlmevalkit`。该工具包会自动拉取依赖项，包括 PyTorch、transformers 等。数据集从官方 GitHub 仓库下载，地址为 https://github.com/open-compass/mmbench/。以开发集为例，命令如下：

```bash
wget <Download Link (VLMEvalKit)> -O MMBench_DEV_EN.zip
unzip MMBench_DEV_EN.zip
```

下载后解压，得到图像文件夹与标注文件。

### 加载数据与运行推理

用 VLMEvalKit 的 Python 接口加载数据。示例代码：

```python
from vlmeval.dataset import ImageMCQDataset
from vlmeval.smp import mmqa_display

dataset = ImageMCQDataset('MMBench_DEV_EN')
dataset.display(0)
item = dataset.build_prompt(0)
print(item)
```

运行推理时，指定模型名称与数据集。例如使用 llava\_v1.5\_7b：

```bash
python run.py --model llava_v1.5_7b --data MMBench_DEV_EN --mode infer
```

推理结果保存为 Excel 文件，如 `llava_v1.5_7b/MMBench_DEV_EN.xlsx`。

### 上传预测文件与查看排行榜

登录排行榜网站，上传测试集预测文件。文件格式为 xlsx，需包含样本 ID 与预测选项。系统自动计算准确率，并展示模型在各能力维度上的得分。排行榜按总分排序，支持筛选特定模型或维度。公开数据仅显示模型名称与分数，不公开具体预测内容。

## MMBench 同类工具横向比较

多模态基准测试领域还有 SEED-Bench、MM-Vet、MMMU 等。它们与 MMBench 在能力划分、任务类型、数据规模上各有侧重。

### 与 SEED-Bench 的差异

SEED-Bench 由腾讯 AI Lab 推出，包含约 1.9 万道多选题，覆盖 12 个能力维度。MMBench 的题目量约 3000，但维度更细，达到 20 项。SEED-Bench 强调空间与时间推理，MMBench 则更均衡。评估策略上，SEED-Bench 采用单次推理，MMBench 使用循环评估降低噪声。

### 与 MM-Vet 的差异

MM-Vet 由新加坡国立大学推出，侧重开放式生成任务，而非选择题。它要求模型生成自由文本回答，再由 **GPT-4** 评分。MMBench 全部为单选题，评测更标准化。MM-Vet 的题目量约 200 个，远小于 MMBench。两者适用场景不同：MM-Vet 考察生成质量，MMBench 考察判别准确率。

### 与 MMMU 的差异

MMMU 由多所大学联合推出，包含约 1.15 万道题，覆盖 30 个学科领域。MMBench 的题目量约为其四分之一，学科覆盖较窄。MMMU 强调大学水平知识，MMBench 更关注通用视觉理解。数据来源上，MMMU 从教科书与考试题改编，MMBench 从互联网图像采集。

| 比较维度 | MMBench | SEED-Bench | MM-Vet | MMMU |
| --- | --- | --- | --- | --- |
| 题目数量 | 约 3000 | 约 1.9 万 | 约 200 | 约 1.15 万 |
| 能力维度 | 20  | 12  | 无固定维度 | 30 学科 |
| 任务类型 | 单选题 | 单选题 | 开放生成 | 单选题 |
| 评估策略 | 循环评估 | 单次推理 | GPT-4 评分 | 单次推理 |

## MMBench 真实用户案例：五大应用场景

研究者和开发者使用该平台进行模型选型、性能诊断、学术验证。教育领域也将其作为教学工具。

### 模型性能评估与学术研究

研究者用 MMBench 定位模型强弱项。例如，某模型在物体识别维度得分高，但在逻辑推理维度得分低。这提示开发者需要加强推理能力训练。学术论文中，MMBench 常作为标准基准，用于对比新模型与基线模型。官方排行榜提供历史数据，便于追踪进展。

### 工业应用与教育培训

企业选型时，用该平台评估候选模型。例如，一家电商公司需要识别商品图像，可对比不同模型在属性识别维度的得分。教育培训中，教师用 MMBench 数据集设计课程作业。学生通过运行 VLMEvalKit，理解多模态评测流程。官方提供数据可视化功能，帮助展示样本结构。

### 跨领域应用：CCBench 文化基准

CCBench 是基于 MMBench 框架构建的中国文化基准测试。它包含与中国历史、文学、艺术相关的图像与问题。该基准测试用于评估模型在特定文化领域的表现。例如，一道题可能展示一幅传统水墨画，询问画中描绘的节日。CCBench 的推出，推动了对模型文化适应性的研究。

## MMBench 总体评价：优势与局限

> 该基准测试的优势在于循环评估策略与细粒度能力划分。局限在于数据集规模相对较小，且全部为单选题。

### 循环评估策略的可靠性

循环打乱选项顺序，要求模型多次推理。这能有效识别对选项位置敏感的模型。官方实验表明，循环评估可降低随机猜测的影响，提高结果稳定性。但多次推理增加了计算成本，单次评测时间约为普通基准的 3 倍。

### 数据集规模与覆盖范围

> 约 3000 道题，对于覆盖 20 种能力维度而言，平均每维度仅 150 题。这可能导致某些子类样本不足。例如，空间关系理解类题目可能不到 100 道。相比之下，SEED-Bench 的题目量是 MMBench 的 6 倍以上。但 MMBench 的题目质量较高，人工筛选严格。

### 推荐指数与适用人群

对于研究者，该平台是标准基准之一，推荐使用。对于开发者，若需快速筛选模型，可用开发集进行初步测试。对于企业用户，建议结合业务数据自行构建评测集，MMBench 可作为参考。总体而言，该基准测试适合需要细粒度诊断的场景，不适合大规模快速评测。



---