企业官网建设流程全解析

stage1-mm-projectors是 OpenGVLab 开源的多模态大模型Stage 1 多模态投影器（MM Projector）预训练权重仓库，收录了 4 套完成视觉-语言对齐预训练的投影器文件，可直接用于构建多模态 LLM。本文带你一文看懂：仓库里有什么、4 个模型怎么选、关键参数怎么读、如何快速下载。

📦 这个仓库里有什么？

仓库非常简洁，包含4 个模型目录（按"视觉塔 + LLM"命名）和一份 README.md：

每个目录内都是同样 3 个文件：

• config.json：完整模型配置，含 LLM 结构参数与所有mm_*多模态开关，例如 config.json
• mm_projector.bin：投影器权重本体（约 8~36 MB，通过 Git LFS 存储）
• trainer_state.json：Hugging Face Trainer 训练日志，记录了每一步的 loss 与学习率，例如 trainer_state.json

🔍 什么是多模态投影器？为什么叫 "stage1"？

多模态大模型通常由三部分组成：视觉编码器 + 投影器（Projector）+ 大语言模型。投影器负责把图像/视频的视觉特征"翻译"成 LLM 能理解的词向量，是视觉与语言之间的"桥"。

多模态模型训练一般分多个阶段，Stage 1 就是只训练投影器、冻结视觉塔和 LLM 的对齐预训练阶段——这正好与配置中的mm_tunable_parts: "mm_mlp_adapter"（只调 MLP 适配器）相吻合。由于投影器本身很轻量，所以整个训练只需 2030 步即可完成。

⚙️ 关键配置参数解读

打开任意一份 config.json，与投影器训练最相关的参数有：

💡ToMe（Token Merging）是一种 token 合并技术：视频帧会产生海量视觉 token，tome16表示先做 16 倍合并降采样，再送入 MLP 投影，从而大幅降低 LLM 侧的序列长度与计算开销。

📈 训练过程速览

从各模型的trainer_state.json可以看到一致的"配方"：1 个 epoch、2030 步，起始 loss 约 6.4，最终收敛如下：

学习率日志显示采用 warmup + 余弦衰减策略（峰值约 1e-4 量级），loss 平稳下降无异常震荡，说明这批检查点训练质量可靠。

🚀 如何快速下载仓库

权重文件较大，仓库启用了 Git LFS（可在 .gitattributes 中确认*.bin均走 LFS 通道）。推荐直接克隆：

git clone https://gitcode.com/OpenGVLab/stage1-mm-projectors

克隆后如果.bin文件仍是指针文本（开头为version https://git-lfs...），执行git lfs pull即可拉取真实权重。

❓ 常见问题（FAQ）

Q1：应该选哪个模型？

• 想要最强视觉能力（InternVideo2-1B 是强视觉基座）：选stage1-InternVideo2-1B-Qwen2_5-7B-tome16_mlp
• 需要超长视频/文档上下文：选stage1-UMT-Qwen2_5_7B_1m-tome16_mlp（LLM 支持 1M 上下文，max_position_embeddings: 1010000）
• 显存紧张、追求速度：选stage1-UMT-Qwen2_5_2B-tome16_mlp，投影器仅约 7.5 MB

Q2：mm_projector.bin为什么才几十 MB？Stage 1 只训练投影器这一"桥"，视觉塔与 LLM 保持冻结，所以产物非常轻量。

Q3：这个仓库能直接当多模态模型用吗？不能。它只是"桥"的预训练权重，需搭配对应的视觉编码器与 LLM 主体，在后续训练阶段（Stage 2/3）加载使用。

✅ 小结

stage1-mm-projectors用极简的结构交付了完整可用的资产：4 套 ToMe+MLP 方案的多模态投影器预训练权重 + 完整配置 + 全程训练日志。如果你是多模态 LLM 的初学者，这里是理解"视觉-语言对齐预训练"的最佳样本；如果你在做视频理解模型，这些检查点能帮你跳过最耗时的第一阶段训练，直接起跑。