企业官网建设流程全解析

Nemotron 3 Super 120B量化剖析：Model Optimizer超大模型压缩工作流

【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer

Nemotron 3 Super 120B（120B 总参数、每 token 仅激活 12B 的 Mamba-MoE 混合架构）是典型的"大参数量、高显存占用"模型。本文剖析 Model Optimizer 官方为它设计的量化压缩工作流：如何用 NVFP4 + FP8 混合精度配方，把约 240GB 的 BF16 权重压缩一半以上，再一键导出到 vLLM / TensorRT-LLM / SGLang 部署，帮助新手理解超大模型量化、推理加速的完整链路。

为什么 Nemotron 3 Super 120B 必须压缩？

Nemotron 3 Super 120B-A12B 是 MoE 架构：总参数 120B，每个 token 只激活 12B。BF16 原始权重大约 240GB，单节点放不下，部署成本极高。

Model Optimizer 官方已经将量化后的检查点开源（FP8 与 NVFP4 两个版本），并完整公开了背后的量化配方与脚本，这正是本文要剖析的工作流：

量化方案剖析：Mamba-MoE 的分层混合精度设计

超大模型量化最大的坑是"一刀切"——把所有层都压到 4 bit 会导致精度崩塌。官方配方 nvfp4-mse.yaml 采用了按组件精细分配精度的混合方案，这也是 Model Optimizer 混合精度量化的典型思路：

核心逻辑：压缩收益最大、精度风险最低的专家层压到 4 bit；敏感的注意力与输出层保持 BF16。同一份层映射还提供了 nvfp4-max-calib.yaml（max 校准版）用于对比实验。

两种校准算法：MSE 搜索 vs Max 校准

量化精度由"校准"决定。两份配方唯一的区别在校准算法（详见 modelopt_recipes/ptq.md）：

• nvfp4-mse（与官方发布检查点一致）：权重 scale 用MSE 最小均方误差搜索选出，并对 FP8 scale 在 128 个 e4m3 候选值上做扫描（fp8_scale_sweep: true），比直接取最大值（amax）更精细，精度更好，但耗时略高。
• nvfp4-max-calib（对照组）：同一份层映射，改用经典的max/amax 校准，适合快速基线对比。

如果不想手写配方，Model Optimizer 还提供AutoQuantize自动搜索：自动为每一层挑选 NVFP4 / FP8 / BF16 精度组合，在给定有效比特数预算下逼近 BF16 精度：

工作流一：Hugging Face 脚本量化（推荐入门）

入口脚本是 examples/hf_ptq/hf_ptq.py，配合 examples/hf_ptq/README.md 即可上手。关键步骤：

1. 加载模型 + 校准：默认混合使用 128~512 条样本做校准（cnn_dailymail + Nemotron 后训练数据集），无需重训练；
2. 指定 recipe：用--recipe传入上面的配方名，一步声明量化算法 + 层映射 + KV cache 策略；
3. 导出统一检查点：export_hf_checkpoint生成与 HuggingFace 结构对齐的检查点，三大推理框架通用。

对于 Nemotron 3 Super 这种 120B 级别的模型，单节点显存不够怎么办？官方提供了多机 FSDP2 分布式 PTQ的现成脚本 examples/hf_ptq/slurm/multinode_fsdp2_ptq.slurm，默认任务就是把 Nemotron-3-Super 量化到 NVFP4：

sbatch --nodes=2 slurm/multinode_fsdp2_ptq.slurm

FSDP2 把模型切片到多台 GPU 上完成校准与导出，是"超大模型压缩工作流"里最省心的一条路。若需 clone 仓库，仓库地址为 https://gitcode.com/GitHub_Trending/te/Model-Optimizer 。

工作流二：Megatron-Bridge 量化 + 导出（训练级场景）

如果量化后还要继续做 QAD（量化感知蒸馏）微调，推荐走 Megatron-Bridge 两步流程（见 examples/megatron_bridge/README.md）：

1. 量化：examples/megatron_bridge/quantize.py 在 Megatron 分布式（TP/PP/EP）下做 PTQ 校准，保存带 ModelOpt 状态的 Megatron 检查点，可继续加载训练；
2. 导出：examples/megatron_bridge/export_quantized_megatron_to_hf.py 将其转换为可直接部署的统一 HF 检查点。

仓库还内置了该模型的端到端 launcher 任务，例如 megatron_lm_ptq.yaml 一键完成"量化 + 导出 + vLLM 冒烟测试"（1 节点 4 卡），以及投机解码评测任务 specdec_bench_mtp_vllm.yaml，可直接参考其参数组织方式。

部署：统一检查点直通三大推理框架

量化导出后的统一 HF 检查点无需任何转换即可在 TensorRT-LLM（PyTorch 与 C++ 后端）、vLLM、SGLang 上部署。Nemotron 3 Super 120B 的 FP8 与 NVFP4 两个版本在官方支持矩阵中均已全绿 ✅（见 docs/source/deployment/3_unified_hf.rst）。

底层能力均来自 Model Optimizer 核心模块：

• 量化算法与校准：modelopt/torch/quantization/
• 统一检查点导出：modelopt/torch/export/
• 内置量化配方库：modelopt_recipes/

精度回补：QAD 量化感知蒸馏

如果 NVFP4 量化后精度仍不达标，最后的大招是QAD（Quantization Aware Distillation）：以原始 BF16 模型为教师，对量化模型做蒸馏微调，把量化损失"学回来"。官方提供了端到端的 W4A4 NVFP4 + QAD 教程（Nemotron 系列的完整工作流参考 examples/megatron_bridge/tutorials/），下图展示了 QAD 过程中量化损失随训练步数收敛的曲线：

小结：一套可复用的超大模型压缩清单

• 先看架构定精度：MoE 专家层压 NVFP4，敏感层保留 BF16，KV cache 用 FP8；
• 校准确认精度：MSE 搜索精度更高（配fp8_scale_sweep），max 校准更快；
• 显存放不下就分布式：Slurm + FSDP2 多机 PTQ 是 120B 级模型的标准操作；
• 导出即部署：统一 HF 检查点直通 vLLM / TensorRT-LLM / SGLang；
• 不达标再上 QAD：蒸馏微调回补精度。

掌握这条工作流后，你可以把它平移到 Qwen、DeepSeek、Llama 等任意超大 MoE 模型上——这正是 Model Optimizer "统一压缩库"的价值所在。

【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer