企业官网建设流程全解析

• 大模型
• 基础模型
• 模型量化
• 模型优化
• 本地部署
• DeepSeek

DeepSeek-V4-Pro-NVFP4是 AMD 官方发布的 DeepSeek-V4-Pro 大模型NVFP4 量化版，专为 AMD ROCm 平台深度优化。它把 MoE 专家层压缩到 4-bit（NVFP4），配合vLLM 部署方案，让 61 层 MoE 大模型可以高效跑在 MI355 / MI350 显卡上，而 GSM8K 数学基准精度保持率高达99.36%。本文面向新手，带你走通"克隆仓库 → 启动服务 → 第一次对话"的完整流程。

🧠 先搞懂：NVFP4 量化是什么？

简单说，NVFP4 就是一种 4-bit 权重压缩格式：模型体积和显存占用大幅缩小，推理速度显著提升，精度损失却很小。

这个量化版的分层策略是：

量化效果在 GSM8K 基准上的表现（数据来自仓库 README.md）：

一句话：压缩了体积，几乎没掉精度，这就是量化版的价值。

📋 环境要求：硬件与软件清单

动手前先对照检查，这是 vLLM 部署顺利的关键：

• 硬件：AMD MI355 / MI350（MI300 模拟），推荐 8 卡（tensor-parallel-size 8）
• ROCm：7.2.3
• PyTorch：2.11.0
• Transformers：5.13.1
• 操作系统：Linux
• 推理引擎：vLLM（本文主方案）或 SGLang
• Docker 镜像：vllm/vllm-openai-rocm:v0.29.0

🚀 10分钟快速开始：vLLM部署四步走

第一步：克隆模型仓库

git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4

仓库里是 64 个分片权重（见 model.safetensors.index.json）和模型配置 config.json，直接给 vLLM 加载即可，无需转换。

第二步：准备 vLLM ROCm 运行环境

推荐直接使用官方 ROCm 镜像，省去手动装依赖的麻烦：

docker run -it --device=/dev/kfd --device=/dev/dri \ -v $PWD/DeepSeek-V4-Pro-NVFP4:/models \ --rm -p 8001:8001 \ vllm/vllm-openai-rocm:v0.29.0 bash

第三步：一键启动 vLLM 服务

在容器内执行下面这条命令，这是跑通本模型的"标准姿势"：

VLLM_ROCM_USE_AITER=1 \ VLLM_ROCM_USE_AITER_MOE=1 \ vllm serve DeepSeek-V4-Pro-NVFP4 \ --host 0.0.0.0 \ --port 8001 \ --dtype auto \ --kv-cache-dtype fp8 \ --tensor-parallel-size 8 \ --max-num-seqs 512 \ --max-num-batched-tokens 8192 \ --distributed-executor-backend mp \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --tokenizer-mode deepseek_v4 \ --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --compilation-config '{"mode": 3, "cudagraph_mode": "FULL_DECODE_ONLY"}'

等日志出现Uvicorn running on ...字样，就说明服务已就绪。

第四步：发起第一次对话

服务默认暴露OpenAI 兼容接口，用curl测试：

curl http://localhost:8001/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "DeepSeek-V4-Pro-NVFP4", "messages": [{"role": "user", "content": "你好，介绍一下你自己"}], "max_tokens": 256}'

看到模型流畅回复，🎉 部署成功！

⚙️ 关键参数解读：为什么这么配？

新手不需要死记硬背，理解这几个即可：

💬 两种调用方式

方式一：OpenAI 兼容 API（推荐生产使用）

服务自带/v1/chat/completions、/v1/completions等标准接口，直接替换 base_url 即可接入你现有的 OpenAI SDK 代码或各类应用，支持推理解析与自动工具调用。

方式二：命令行即席对话

仓库 inference/ 目录附带了一套独立推理代码，适合不想起服务、直接命令行聊天：

# 1. 先把 HF 权重转成本项目的格式 export EXPERTS=384 export MP=8 python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} --model-parallel ${MP} # 2. 交互式对话（多机推理则加 --nnodes 等参数） torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} --config config.json --interactive

• inference/convert.py：权重格式转换脚本
• inference/generate.py：生成 / 对话入口
• inference/config.json：模型结构配置（n_routed_experts: 384、expert_dtype: fp4等）
• inference/requirements.txt：依赖清单

详细说明见 inference/README.md。

🛠️ 常见问题排查清单

🎯 总结

DeepSeek-V4-Pro-NVFP4 用 NVFP4 把 MoE 专家压到 4-bit，让 AMD MI300/MI350 系列显卡也能高效跑起旗舰级 MoE 大模型；配合 vLLM 的 ROCm 优化内核，克隆仓库 → 起容器 → 一条命令 serve → curl 对话，10 分钟即可完成首次部署。模型配置可参考 config.json，生成采样参数见 generation_config.json。掌握这套流程后，你还能进一步用它做 RAG、Agent 工具调用等场景，值得动手试一试！

• 大模型
• 基础模型
• 模型量化
• 模型优化
• 本地部署
• DeepSeek