企业官网建设流程全解析

• 文档
• 教程
• 知识库
• 人工智能

本文以仓库文档 DeepSeek-V3 高效训练关键技术分析 为主体骨架，结合仓库内 DeepSeek技术解读：从V3到R1的MoE架构创新 等资料，系统拆解 DeepSeek-V3 如何通过模型架构、并行策略、通信优化与显存优化四个层面的工程创新，以远低于传统方案的算力成本训练出对标 GPT-4o 级别的大模型。读完本文，你将掌握 DeepSeek-V3 高效训练的完整技术脉络，理解 MLA、DeepSeekMoE、DualPipe、FP8 低精度训练等每一项关键技术的原理与工程价值。

前言：为什么 DeepSeek-V3 值得被深入研究

DeepSeek-V3 与 R1 的发布对国内外 AI 圈产生了巨大影响，其本质在于开拓了一条不同于 OpenAI 的训练路径：通过模型架构与训练方法的极致优化，用更少的算力资源训练出同等能力水平的大模型。这不仅让业界对 OpenAI 等厂商的高算力投入产生质疑，也通过开源先进模型的策略，对闭源模型的商业模式形成了冲击。

由于 DeepSeek-R1 源于 DeepSeek-V3 架构，且 V3 技术报告中包含更多高效训练方法相关内容，因此本文将 DeepSeek-V3 作为研究对象，从模型架构、并行策略、通信优化、显存优化四个维度，逐一拆解其在高效训练方面采用的关键技术。

一、模型架构：从注意力到专家网络的全面重构

1.1 高效的模型架构设计：MLA 与 DeepSeekMoE

多头潜在注意力（MLA，Multi-head Latent Attention）：MLA 与标准的多头注意力（MHA）相比，核心是对注意力的键（Key）和值（Value）进行低秩联合压缩，显著减少了推理时的 KV 缓存（KV Cache），降低推理内存占用、提升推理效率。MLA 首次在 DeepSeek-V2 中引入，其本质是对 KV 进行有损压缩——将 KV 矩阵转换为两个较小矩阵（潜向量）的乘积，推理时只缓存潜向量而非完整 KV，从而在压缩缓存的同时尽量保留关键细节。从训练角度看，MLA 对训练过程无直接帮助，因此不是本文分析的重点；但它是 V3/R1 全系模型降低计算成本的基础设施之一。

DeepSeekMoE 架构：这是 V3 高效训练的核心。DeepSeekMoE 采用更细粒度的专家分配策略：每个 MoE 层包含1 个共享专家 + 256 个路由专家，全模型共有 58 个 MoE 层、合计 14906 个专家，每个输入 Token 激活 8 个路由专家。与标准 MoE 架构相比，差异主要体现在三点：

• 专家构成：标准 MoE 各专家相对独立地处理不同输入数据，缺少专门设计的协作与共享机制；DeepSeekMoE 中的共享专家负责提取不同类型输入数据的共性特征，实现知识共享、减少参数冗余，而路由专家负责处理具有特定模式或特征的数据，提高模型对不同数据的适应性与处理能力。
• 专家分配：标准 MoE 的门控网络对复杂数据特征的区分不够精准；DeepSeekMoE 采用更细粒度的专家分配，门控网络能更精准地分析输入特征并将其分配到最合适的专家，提升复杂数据的处理能力。这一思路的本质是将知识空间离散细化，以逼近连续的多维知识空间。
• 专家激活：标准 MoE 对激活专家数量没有固定标准，可能过度激活非必要专家导致计算浪费；DeepSeekMoE 明确每个 Token 激活 8 个路由专家，共享专家始终处理每个 Token 以提取通用特征，路由专家根据 Token 特征决定是否激活，从而在保证效果的同时避免计算资源浪费。

从整体参数规模看，DeepSeek-V3 是一个总参数671B的 MoE 语言模型，每个 Token 计算时约激活37B参数，属于典型的稀疏激活模型。

1.2 创新的负载均衡策略：无辅助损失 + 序列级负载均衡

基本概念：在 MoE 大模型训练中，输入数据按路由规则分配到不同专家，可能出现负载不均衡——某些专家被频繁调用、另一些很少被使用，导致训练效率与模型性能下降。业界通常引入专门的辅助损失函数强制平衡专家负载（例如惩罚专家间负载差异），但这会带来模型复杂度增加、训练不稳定、与原训练目标不一致等问题。此外，除了单 Token 维度的负载不均，同一输入序列中的 Token 也可能集中分配给某些专家，形成序列级负载不均。

优化方法：DeepSeek-V3 采用两条策略并行解决：

• 无辅助损失负载均衡（Auxiliary-Loss-Free Load Balancing）：为每个专家引入一个可学习的偏置项（bias term），随训练过程根据专家负载情况动态更新。门控网络计算 Token 与各专家的匹配得分时，该偏置项会动态调整得分；系统结合对专家利用率的实时监测（如时间窗口内专家处理的 Token 数、计算资源占用时长），将 Token 实时分配给负载较低的专家。与传统辅助损失方案不同，该偏置项不通过梯度下降更新，而是在整个训练过程中持续监控并动态调整——如果某个专家命中次数不足，就在每个梯度步骤中微调偏置项提高其被选中的概率。这一设计避免了辅助损失带来的衍生问题，训练效果优于有辅助损失的均衡方案。
• 序列级负载均衡（Sequence-Level Load Balancing）：额外增加一个序列级负载均衡损失函数，对序列中的每个 Token 进行精细化分析与处理，根据 Token 在序列中的位置、上下文等信息更合理地分配到各专家，兼顾 Token 之间的关联性与序列整体结构，避免同一序列 Token 过度集中到部分专家。

1.3 多令牌预测（MTP）：一次训练，训练与推理双提速

基本概念：MTP（Multi-Token Prediction，多令牌预测）对应 V3 发布前业界普遍使用的单令牌预测（STP，Single-Token Prediction）。STP 一次仅预测一个 Token，而 MTP 可同时预测多个 Token，训练阶段提升数据训练效率，推理阶段实现显著加速（据称生成速度可提升 1.8 倍）。

实现方案：MTP 由一个主模型（Main Model）与多个 MTP 模块（MTP Module 1、MTP Module 2 等）构成：

• 输入 Token 与输出 Token：输入序列 t1、t2、t3、t4 经嵌入层转换为向量表示，分别在主模型与 MTP 模块内部计算；模型预测的 t2、t3、t4、t5 等目标 Token 对应不同深度的预测任务，基于与目标 Token 计算得到的 Loss 指导参数更新。
• 主模型与 MTP 模块：主模型负责基础的下一个 Token 预测任务，MTP 模块用于预测多个未来 Token，二者协作完成多 Token 预测训练。
• 共享机制：嵌入层（Embedding Layer）和输出头（Output Head）在主模型与 MTP 模块之间共享，确保不同预测任务中的参数一致性、减少参数量，提升训练效率。在 V3 的具体配置中，MTP 深度设置为 1，即除下一个 Token 外，每个 Token 还额外预测一个 Token。

核心价值：一次预测多个 Token，使模型在相同数据量下学习到更多信息、提升数据利用效率；同时基于多 Token 预测更合理地调整参数，学习到更丰富的语言模式与语义信息，帮助模型更好收敛。这与仓库中 DeepSeek-R1 技术全景解析 所描述的"数据反哺"思路一脉相承：让模型在训练过程中产出更高质量的内部信号。

二、并行策略：以 EP 为核心的分布式训练体系

2.1 大量使用 EP、不再使用 TP

并行策略总结：DeepSeek-V3 的训练由自研的 HAI-LLM 训练框架支持，采用16 路流水线并行（PP）、跨越 8 个节点的 64 路专家并行（EP），以及ZeRO-1 数据并行（DP），实现计算资源充分利用。HAI-LLM 本身支持 DP、PP、TP、EP、FSDP 等多种并行模式，V3 的实际部署则重点采用了 PP + EP + ZeRO-1 DP 的组合。

使用 EP 而非 TP 的原因：

• 模型结构适配性：MoE 模型由多个专家网络和一个门控网络组成，EP 正好与此结构匹配——可将不同专家分配到不同计算单元并行计算，让模型同时处理多个不同的任务或数据特征；而 TP 通常用于处理大型张量计算，难以对应 MoE 的结构特点。
• 通信成本考虑：EP 中不同专家之间的通信相对较少，主要开销在于门控网络与专家网络之间的信息交互，以及参数更新时的全局通信；TP 则需在多个设备间频繁进行张量切分、合并，通信量随模型规模和数据量显著增加，拖累训练效率。
• 计算资源利用率：MoE 中不同专家可能具有不同计算复杂度与数据需求，EP 可根据各专家特点灵活分配计算资源，使不同性能的计算单元都得到充分利用；TP 的资源分配方式相对单一，难以支撑专家的多样性计算需求。

2.2 DualPipe 流水线并行：双流并行与双向调度

双流并行计算优化：训练过程包含前向传递与反向传递两个阶段，涉及计算流与通信流两类操作：

• 前向传递：按顺序执行 ATTN（注意力计算，计算流）→ DISPATCH（数据/任务在不同 GPU 节点间的分发，通信流）→ MLP（多层感知机计算，计算流）→ COMBINE（将各 GPU 节点的计算结果合并，通信流）。
• 反向传递：执行 COMBINE（通信流）→ MLP_B（Bias，偏置项梯度计算，计算流）→ MLP_W（Weight，权重梯度计算，计算流）→ DISPATCH（通信流）→ ATTN_B（注意力偏置参数梯度，计算流）→ ATTN_W（注意力权重梯度，计算流）。

DualPipe 的"双流并行"精髓在于：将原本存在先后顺序的 MLP_B（更新当前层权重）与 MLP_W（将梯度传递到前一层）拆分为两个独立且并行的流，并通过细致设计让训练的 barrier 恰好停在两个流任务都完成之时，计算流与通信流互不等待，提高计算效率。

双向流水线调度优化：PP 并行中常见"气泡"（GPU 闲置）问题——不同计算阶段复杂度与执行时间不同，快的阶段需等待慢的阶段，同时阶段间的数据通信受网络带宽影响产生延迟。图中蓝色代表前向传播、绿色代表反向传播、灰色代表空闲（气泡），数字表示不同微批次（Micro-batch）在各 GPU 上的计算顺序与时间分布。

传统单向流水线按固定顺序从起始端（设备编号较小的 Device 0）依次处理微批次；DeepSeek-V3 采用双向流水线调度，同时从两端（起始端与末端，如 Device 7）处理微批次，末端设备也在合适时机启动计算任务，并非被动等待。此外，V3 将每个 micro-batch 进一步划分为更小的 chunk，对计算与通信进行精细调度实现高度重叠，提高 GPU 利用率。DualPipe 的具体收益包括：流水线气泡更少、通道使用效率更高；将前向/后向传播中的计算与通信重叠，解决跨节点专家并行（EP）带来的繁重通信开销；在计算与通信比例恒定的情况下具有良好的 Scale-out 能力。

2.3 ZeRO-1 数据并行：降低内存占用、加速训练

基本概念：ZeRO（Zero Redundancy Optimizer，零冗余优化器）是微软提出的旨在减少分布式训练内存使用的技术框架；ZeRO-1(DP) 将零冗余优化器思想与数据并行策略结合。

工作原理：传统数据并行中每个设备保存完整的优化器状态（梯度、参数等），造成内存冗余；ZeRO-1 将优化器状态划分到不同设备上，每个设备只保存一部分。反向传播计算完成后，各设备交换自己负责的参数的梯度信息，据此更新各自保存的部分优化器状态与模型参数。虽然每个设备只保存部分信息，但最终所有设备上的模型参数保持一致。

核心价值：

• 降低内存占用：显著降低单个 GPU 的内存占用，让模型能在有限显存中训练。
• 加速模型训练：内存占用降低后模型可处理更大批量数据，提高计算资源利用率；同时通过在不同 GPU 间共享部分状态变量，减少 GPU 间通信开销，进一步提升整体训练效率。

三、通信优化：MoE 路由的 All-to-All 深度调优

3.1 MoE 路由的 All-to-All 优化：网络拓扑与资源分配双管齐下

基本概念：MoE 训练需将数据按类型/特征分配给最合适的专家，常用两种路由方案：

DeepSeek-V3 实际训练选择了All-to-All 通信方案，并通过以下手段弥补其通信效率劣势：

• 限制路由范围：限制每个训练 Token 最多只能被调度到4 台 GPU 服务器，减少跨节点间的 IB（InfiniBand）流量，规避 Token 随意路由导致的通信拥塞。实际算法中每个 Token 通过路由选择 8 个专家，但该架构在保持相同通信成本下可扩展到最多 13 个专家（4 节点 × 平均每节点 3.2 个专家）。
• 网络拓扑优化：训练集群采用多轨组网方案（该信息并未由官方正式公布，属外部渠道推测），确保服务器收发数据时可在不同节点的同号卡之间实现最少跳数互联。数据路由时，通过 IB 网络将数据从源端服务器传输到目标服务器相同卡号的 GPU 上，再基于 NVLink 转发至托管目标专家的特定 GPU，实现高效机内与机间通信，最大化利用高速互联带宽。跨节点 GPU 与 IB 完全互连，节点内通信通过 NVLink 完成（NVLink 带宽约 160 GB/s，约为 IB 的 3.2 倍）。
• 资源分配优化：当训练流与通信流同时工作并重叠时，会出现 GPU SM（Stream Multiprocessor，流多处理器；H800 有 132 个 SM）资源争抢。DeepSeek-V3 使用定制化的 PTX 指令（比 CUDA 更底层的并行线程执行指令，属于 CUDA 生态基础层），对 GPU 的 132 个 SM 进行改造，专门划分出20 个 SM（划分为 10 个通信信道）用于处理服务器间通信任务，并根据训练流与通信流的特性优化指令执行（如分配指令优先级、调整指令执行顺序），减少 SM 资源分配与 L2 缓存抢占。调度过程中 IB 发送、IB 到 NVLink 转发、NVLink 接收等分别由相应 warp（线程束）处理，且分配给每个通信任务的 warp 数量会根据所有 SM 的实际工作负载动态调整。
• 动态资源调整：采用自动调整的资源分配策略，根据训练流与通信流在不同时刻的资源需求动态分配 SM 与 L2 缓存资源；同时通过为每个专家引入的偏置项、依据专家历史利用率动态调整其接收新任务的概率——即前述无辅助损失负载均衡策略，让负载均衡逻辑与通信调度形成闭环。

四、显存优化：把每一字节显存都用到刀刃上

4.1 FP8 低精度训练：混合精度框架与精细量化策略

混合精度训练框架：对占据大量计算量的 GEMM（通用矩阵乘法）操作采用FP8 精度执行。FP8 数据类型内存占用低、计算速度快，可显著提升计算效率、降低显存开销；同时为保证训练稳定性，对少数精度敏感的关键操作保持高精度（BF16/FP32）计算，包括嵌入模块（将 Token 转换为向量表示）、MoE 门控模块、归一化算子与注意力算子等。V3 是首次在超大规模大模型训练中验证 FP8 混合精度框架有效性的实践，FP8 数据位宽仅为 FP32 的 1/4。

精细量化策略：FP8 需对训练数据、模型参数、中间激活值进行量化，容易因量化误差导致模型发散。DeepSeek-V3 采用三种策略解决：

• 分块量化：划分粒度较细，将数据划分为多个小块分别量化，更精细地适应数据局部特征、减少量化误差。对激活数据按 1×128 分组缩放，对权重按 128×128 分组缩放，并根据最大/最小数据调整缩放系数以适应异常值。
• 块级量化：划分粒度较粗，对更大的块统一量化处理，关注数据整体特征与分布，简化量化计算、降低计算复杂度。
• 高精度累加：中间计算用 FP8 提速，但累加时将 FP8 数据转换为更高精度（BF16/FP32）进行累加，再转回 FP8 继续后续计算，控制量化误差积累。例如 FP8 GEMM 在 H800 上的累加精度约保留 14 位，明显低于 FP32；DeepSeek 将中间结果累加升级为 FP32 高精度累加后转回 FP8，避免大量微小误差叠加带来的训练偏差。

此外，V3 的 FP8 框架还采用在线量化（在线计算每个激活块/权重块的最大绝对值以推算缩放因子，而非使用静态历史数据）与低精度/混合精度存储与通信（基于 FP8 进行数据/参数缓存与激活处理，节省显存与缓存空间；低精度优化器状态以 BF16 存储；主要权重、权重梯度与优化器状态保持高精度存储以保障数值稳定性）。

4.2 选择重计算：以算代存、精准取舍

基本概念：训练需占用大量显存存储模型参数与中间结果，大模型场景常出现显存不足。业界通用做法是重计算：前向传播时不保存中间结果，反向传播需要时重新计算，大幅减少中间结果的显存占用。

实现方案：粗暴的完全重计算因计算量过大、会大幅增加训练总时长，因此业界探索更高效的选择重计算。DeepSeek-V3 主要应用两种手段：

• 间隔重计算：即"隔一层重计算一次"——反向传播中对一半层的输入输出进行重计算，另一半层按传统方式保存中间结果，在显存节省与计算开销之间取得平衡。
• 选择性重计算：大模型每一层通常由计算强度较弱的RMSNorm 类算子（包含平方、求和、开方等，用于稳定训练、加速收敛）与计算强度较强的GEMM 矩阵乘法组成。RMSNorm 类算子计算时间占比小但单位计算显存占用大，GEMM 计算时间占比大但单位计算显存占用小。因此选择性重计算重点对 RMSNorm 相关算子进行重计算，获得最大性价比——在反向传播期间重新计算所有 RMSNorm 操作与 MLA Up-Projection，无需持久存储其输出激活，实现"以算代存"，充分利用 GPU 内算力充沛但缓存不足的特点。

4.3 EMA 显存优化：异步处理与显存卸载

基本概念：EMA（Exponential Moving Average，指数移动平均）对训练中每一步更新的参数计算指数加权平均值，得到一组新参数用于监测训练方向，避免噪声影响，得到更稳定、泛化能力更强的参数。由于 EMA 需额外维护一组参数，会占用一定显存空间。

实现方案：DeepSeek-V3 采用异步处理与显存卸载两种方法优化 EMA 的显存占用：

• 异步处理：EMA 计算不依赖训练过程中实时产生的数据，可独立于前向/反向传播开展，因此让 EMA 计算过程与训练过程并行进行。
• 显存卸载：基于异步处理，将 EMA 计算从 GPU 显存卸载至 CPU——每轮训练结束后将模型参数传递给 CPU，在 CPU 上计算 EMA 参数并存储在 CPU 内存中，从而把 EMA 占用的 GPU 显存释放出来。

4.4 头尾参数共享：embedding 层与 lm_head 层共用权重

基本概念：embedding 层位于模型首端，将离散 Token 转换为连续向量表示，依赖一个大小为vocab_size × hidden_size（词表大小 × 嵌入向量维度）的可学习权重矩阵；lm_head 层位于模型末端，将模型输出的嵌入向量映射回 Token 的概率分布以计算损失函数，同样依赖一个vocab_size × hidden_size的权重矩阵。

实现方案：头尾参数共享即让 embedding 层与 lm_head 层使用同一个权重矩阵。该方案减少了参数存储量，与之相关的梯度、优化器状态与参数备份占用的显存也相应减少；同时共用的权重矩阵有助于模型学习到更稳定、通用的 Token 表示，提升模型性能与泛化能力。在 MTP 场景下，通过 DualPipe 策略将模型最浅的层（含嵌入层）与最深的层（含输出头）部署在相同的 PP 等级上，允许 MTP 模块与主模型之间物理共享参数、梯度、嵌入与输出头，进一步提升显存效率。

总结：高效训练的本质是算法创新与极致工程的统一

通过以上分析可以看出，DeepSeek-V3 之所以能以显著更低的算力（据仓库文档，约为 GPT-4 训练成本二十分之一的 557.6 万美元）训练出对标 GPT-4o 的模型，与其创新性的模型架构设计（MLA + DeepSeekMoE + MTP）、高效的并行策略（PP + EP + ZeRO-1 DP，以 EP 替代 TP）、对集群通信（All-to-All 定制优化、PTX 指令级调度）以及显存（FP8、选择重计算、EMA 卸载、头尾共享）的极致优化密不可分。

值得强调的是：高效训练方法的表象是需要更少规模的算力，其本质却是对算法创新与极致集群性能的更高要求。因此 DeepSeek-V3 的经验对 AI Infra 绝非利空——随着精细化高效训练方法被业界普遍采用，基于先进芯片选型与先进架构搭建的 AI Infra 的重要性反而越发凸显。若读者希望继续深入，可进一步阅读仓库内 DeepSeek技术解读：从V3到R1的MoE架构创新（含 MLA 低秩压缩细节、Dense 与 MoE 对比）、DeepSeek-R1的四个训练阶段 与 DeepSeek-R1的训练流程强化学习（RL）阶段采用了GRPO算法（了解 V3 之上 R1 的后训练演进），以形成从预训练到后训练的完整技术视图。

• 文档
• 教程
• 知识库
• 人工智能