企业官网建设流程全解析

• 人工智能
• 大模型
• 多模态
• 模型量化
• 模型优化

MiniMax-M3.1-Flash-Quark-MXFP4 是 AMD 基于 Quark 量化工具发布的 MXFP4 量化版多模态大模型，专为 AMD MI350/MI355 GPU 深度优化，支持 vLLM 与 SGLang 部署。本文带你前瞻它的实验特性——MXFP4 共享专家在线量化与融合，并给出 vLLM 启用步骤，让 MoE 推理更快一步。

📦 模型速览：MXFP4 量化做了什么

这个仓库是 MiniMax-M3.1-Flash 的量化版本，架构为MiniMaxM3SparseForConditionalGeneration（MoE 稀疏专家 + 视觉塔），输入文本/图像/视频，输出文本。

AMD-Quark 将路由专家（Routed Experts）从 NVFP4 转换为OCP MXFP4格式：

量化配置可参考 config.json 中的quantization_config字段；量化脚本（quantize_quark.py）与完整部署说明收录在 README.md 中。

🧩 什么是"共享专家"：一文看懂 MoE 结构

MiniMax-M3.1-Flash 每层 MoE 有128 个本地专家，每个 token 只激活 4 个，另外还有1 个共享专家（shared expert）：路由专家按"谁相关谁上岗"，共享专家则对每个 token 都参与计算（见 config.json 中num_local_experts与n_shared_experts）。

离线量化时，共享专家被排除在外、保留了原始精度（排除规则见 README.md 的--exclude_layers，其中包含*block_sparse_moe.shared_experts.*）。这意味着共享专家的计算路径与量化后的路由专家不一致，存在额外的算子开销——这正是实验特性要解决的问题。

🔬 实验特性前瞻：在线量化 + 专家融合

什么是"在线量化"（Online Quantization）

指不在离线阶段转换权重，而是让 vLLM 在加载模型时现场把权重量化到目标格式。对共享专家来说，就是用--quantization-config.targets指定mxfp4，让运行时将其转为 MXFP4，与路由专家格式对齐。

什么是"共享专家融合"（Fusion）

通过VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS=1开启 AITER 融合算子后，共享专家计算可与路由专家合并到同一融合 MoE Kernel 中执行，减少算子调度与显存往返开销，提升 AMD GPU 上的解码吞吐。

三步启用实验特性

在标准 vLLM 启动命令基础上追加环境变量与量化目标即可：

VLLM_ROCM_USE_AITER=1 VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS=1 vllm serve \ amd/MiniMax-M3.1-Flash-Quark-MXFP4 \ ... \ --quantization-config.targets '{"*shared_expert*": "mxfp4"}'

⚠️注意：该组合目前为实验特性（Experimental），官方不建议作为默认配置，生产环境请优先使用标准部署方式（完整命令见 README.md）。

⚡ 硬件环境与配套能力

• 硬件：AMD MI350 / MI355；ROCm 7.2.3、PyTorch 2.13.0、Transformers 5.19.0（Linux）
• 支持 vLLM、SGLang 双引擎推理，均开启 AITER 优化
• 附带dspark 投机解码草稿模型（5 层、block_size=7、Markov rank=256），位于 dspark/ 目录，参数见 dspark/config.json，权重清单见 dspark/model.safetensors.index.json

✅ 精度表现：量化后几乎不掉分

官方使用 vLLM + EvalScope 在 GSM8K（4-shot）上评测：

复现命令（服务启动 + 评测）同样收录在 README.md 中。

🗂️ 仓库文件导航

总结

MiniMax-M3.1-Flash-Quark-MXFP4 用 MXFP4 静态/动态量化换来了显著的显存与带宽收益，GSM8K 精度恢复率达 99.69%。其实验性的共享专家在线量化 + 融合特性，为追求极致 MoE 推理性能的进阶用户打开了一条优化路径——建议先在测试环境验证效果，再决定是否上线。

• 人工智能
• 大模型
• 多模态
• 模型量化
• 模型优化