企业官网建设流程全解析

正在为多模态大模型做选型评测？MMMU-Pro 是一个增强版的多学科多模态理解评测基准（Benchmark），它提供4选项、10选项和 Vision（纯视觉输入）三大评测模式。本文帮你快速搞懂每种模式的区别、适用场景和加载方式，选对模式，评测结果才更有说服力。

🧭 MMMU-Pro 是什么？

MMMU-Pro 是在原版 MMMU 基准上的增强版本，核心目标是更严苛地检验 AI 模型融合图像与文本信息进行真实理解的能力。它通过三个关键改进提升了难度：

• 过滤纯文本题：剔除那些只靠文字（不看图）就能答对的题目；
• 扩充选项数量：候选答案从 4 个增加到 10 个，大幅降低"蒙对"的概率；
• Vision 纯视觉设置：题目和上下文直接嵌入截图/照片中，模型无法单独拿到文本，必须自己"读图"。

这些方法让 MMMU-Pro 成为衡量视觉语言模型（VLM）真实理解能力的"试金石"。

📊 三大评测模式一键对比

三种模式覆盖同样的 1730 道题目、多个学科（化学、生物、音乐、艺术、医学、数学、科学、工程等），因此分数可以直接横向对比，观察模型在不同设置下的"掉分幅度"。

字段速览（来自 README.md）：

• 标准模式包含：id、question、options、explanation、image_1~image_7、img_type、answer、topic_difficulty、subject
• Vision 模式包含：id、image、options、answer、subject

🎯 哪种模式适合你的场景？

1️⃣ 与历史结果对齐 → 选standard (4 options)这是与原版 MMMU 保持相同选项数的设置，适合做基线对比。如果你想回答"我的模型和公开榜单上的 MMMU 分数差多少"，从这个模式入手最方便。

2️⃣ 检验真实推理能力 → 选standard (10 options)选项从 4 个扩到 10 个后，随机猜测的正确率从 25% 降到 10%，模型必须真正理解图文信息才能得分。这是 MMMU-Pro 论文主推的核心设置，最能暴露模型对学科知识的掌握深度。

3️⃣ 模拟真实使用场景 → 选vision用户在实际使用中往往直接发一张截图（PPT、网页、文档照片），文字以不同背景、字体、字号呈现。Vision 模式下题目完全嵌入图片，不单独提供文本输入，是对模型"看图读题"能力的终极考验。

💡实用建议：资源有限只跑一个模式，优先跑standard (10 options)；想完整展示模型短板，三个模式全跑，用分数差值说明模型对"更多选项"和"纯视觉输入"的敏感度。

📁 数据集文件导航

仓库按 HuggingFace 数据集格式组织，每个模式一个子目录，数据以 Parquet 分片存储：

• 标准4选项数据：standard (4 options)/test-00000-of-00002.parquet/test-00000-of-00002.parquet)（共 2 个分片）
• 标准10选项数据：standard (10 options)/test-00000-of-00002.parquet/test-00000-of-00002.parquet)（共 2 个分片）
• Vision 数据：vision/test-00000-of-00004.parquet（共 4 个分片，图片更大所以分片更多）
• 评测配置：eval.yaml 中定义了三个评测任务mmmu_pro_vision、mmmu_pro_standard_4_options、mmmu_pro_standard_10_options，均指向test分割
• 完整说明文档：README.md

🚀 快速开始：三行代码加载数据

使用 HuggingFacedatasets库，通过不同的 config 参数即可切换三种模式：

from datasets import load_dataset mmmu_pro_vision = load_dataset("MMMU/MMMU_Pro", "vision") mmmu_pro_standard_4 = load_dataset("MMMU/MMMU_Pro", "standard (4 options)") mmmu_pro_standard_10 = load_dataset("MMMU/MMMU_Pro", "standard (10 options)")

注意 config 名称必须与仓库目录名完全一致（包括括号和空格），写错会直接报 config 不存在的错误。

📉 难度有多大？看这组分数

MMMU-Pro 相比原版 MMMU（Val 集）的整体结果（摘自 README.md）：

可以看到：即使是 GPT-4o 级别的最强模型，成绩也普遍下滑 15~20 个百分点；小模型更是"腰斩"。这正是 MMMU-Pro 的设计意图——用更硬核的设置拉开模型差距。

✅ 选型决策速查

一句话总结：想对齐历史选 4 选项，想拉开差距选 10 选项，想模拟真实场景选 Vision。三种模式题目同源、数量相同（1730 题），放心横向对比！