企业官网建设流程全解析

GLM-4.7-W8A8C8 是一款面向 vLLM 与昇腾 NPU 优化的 GLM-4.7 MoE 大模型 W8A8 量化版本，支持最长约 20 万 token 上下文。本指南带你快速掌握ModelScope 三种下载方式（SDK、Git clone、命令行）以及本地推理的完整配置清单，帮助新手一次性把 GLM-4.7 量化模型跑起来。

一、3 分钟了解：GLM-4.7-W8A8C8 是什么？

W8A8C8 量化的含义：

量化配方记录在 GLM-4.7_best_practice.yaml 中：权重采用 per-channel int8 对称量化、激活采用 per-token int8 对称量化（minmax 方式），并附带 smooth quant 子图优化，适配昇腾 NPU 的 int8 计算链路。

模型结构要点（来自 config.json）：

• 架构：Glm4MoeForCausalLM（MoE 混合专家结构，model_type 为glm4_moe）
• 92 层隐藏层，160 个路由专家 + 1 个共享专家，每 token 激活 8 个专家
• max_position_embeddings为 202752，即约 20 万 token 的上下文长度
• 词表规模 151552，原生支持工具调用（见 chat_template.jinja）

二、ModelScope 三种下载方式：SDK / Git / 命令行

模型权重共42 个 safetensors 分片（每片约 8GB，合计约 336GB），加上分片索引 quant_model_weights.safetensors.index.json、quant_model_description.json、tokenizer 等文件。建议预留 400GB 以上磁盘空间。

方式一：ModelScope SDK 下载（适合脚本化）

pip install modelscope

from modelscope import snapshot_download model_dir = snapshot_download('vllm-ascend/GLM-4.7-W8A8C8')

SDK 下载支持断点续传，model_dir返回值可直接作为推理时的模型路径，是三种方式中最省心的选择。

方式二：Git clone 下载（适合 Git 用户）

git lfs install git clone https://www.modelscope.cn/vllm-ascend/GLM-4.7-W8A8C8.git

提示：模型文件通过 Git LFS 管理，克隆前务必先执行git lfs install，否则下载到的只是指针文件。

方式三：modelscope 命令行下载（最简单）

pip install modelscope modelscope download --model vllm-ascend/GLM-4.7-W8A8C8 --local_dir ./GLM-4.7-W8A8C8

一行命令完成下载，中断后重新执行即可续传。

三种方式怎么选？自动化流水线选 SDK；习惯 Git 工作流选 clone；只想快速拿到文件就选命令行。

三、本地推理配置清单：Ascend NPU 部署 GLM-4.7 量化模型

这个 W8A8 量化版本是为vLLM + 昇腾 NPU（vLLM-Ascend）环境定制的，按以下清单逐项核对即可部署：

1. 硬件与软件环境

• ☐ 昇腾 NPU 环境（Atlas 系列加速卡），并已安装对应 CANN 软件栈
• ☐ vLLM 与 vLLM-Ascend 推理框架，版本兼容当前 NPU 驱动
• ☐ 多卡环境建议启用张量并行（--tensor-parallel-size），按卡数设置

2. 磁盘空间检查

• ☐ 完整模型约 336GB，确保目标目录有400GB+ 剩余空间
• ☐ 下载完成后核对 42 个分片与 quant_model_weights.safetensors.index.json 是否齐全

3. 推理服务启动要点

python -m vllm.entrypoints.openai.api_server \ --model /path/to/GLM-4.7-W8A8C8 \ --served-model-name glm-4.7 \ --tensor-parallel-size 8 \ --max-model-len 32768

• ☐--model指向本地下载目录，不要填模型名
• ☐--max-model-len决定实际上下文上限：模型上限约 20 万 token，但为节省显存，日常使用建议按需调低
• ☐ 量化信息（W8A8C8）由模型自带配置驱动，无需额外传量化参数
• ☐ 生成参数可参考 generation_config.json（temperature默认 1.0，eos_token_id已内置）
• ☐ 启动后可调用 OpenAI 兼容接口/v1/chat/completions验证对话与工具调用

四、模型目录关键文件速查表

写在最后

至此，GLM-4.7-W8A8C8 量化模型的下载与部署要点已全部覆盖：先用 ModelScope 三选一的方式把约 336GB 的模型完整落到本地，再按配置清单检查 NPU 环境与启动参数，即可通过 vLLM 服务以 OpenAI 兼容接口调用这个支持 20 万上下文的 MoE 大模型。遇到下载中断，三种方式均支持续传，重新执行即可，无需从零开始。