企业官网建设流程全解析

第三部分 工程实践：如何建设一张智算网络

第九章 规模测算方法

前两部分建立了概念与结构。本部分转入工程实施，从最基础的工作开始——把一个"多少卡"的需求，逐步转化为设备数量、机柜数量、供电容量与投资估算。

9.1 从卡数到设备台数的推算方法

设备数量推算遵循四个步骤，其数学基础已在 6.4节给出：

1. 确定单卡带宽与端口速率，得到每台 Leaf可接入的卡数（k）；
2. 计算 Leaf 台数：N =卡数 ÷ k；
3. 计算上行端口总数：N × k；
4. 计算 Spine 台数：上行端口总数 ÷单台 Spine端口数。

同时需用 6.4节的判据校验规模是否超限：卡数 ≤端口数²。

9.2 2048 卡 POD 的完整测算示例

以单卡 400G、Leaf采用 32下行 + 32上行、1:1无收敛为设定条件，测算过程如下：

第一步：2048 ÷ 32 =64 台 Leaf；

第二步：64 × 32 =2048 个上行端口；

第三步：2048 ÷ 64 =32 台 Spine（按 64端口机型计算）；

第四步：校验判据。64² = 4096 ≥ 2048，满足，且余量为两倍，可扩展至 4096卡而无需改变架构。

图 112048卡 POD组网测算

这一测算结果解释了三个工程事实：为什么 2048卡成为默认 POD尺寸（两层即可支撑且留有扩展余量）；为什么万卡集群必须引入 Core层（2048 × 5 = 10240 > 4096）；为什么十万卡集群需要更复杂的拓扑（规模远超两层 CLOS上限）。

9.3 光模块用量测算

光模块的用量与连接关系一一对应。仍以 2048卡 POD为例：

按 800G模块每只约 16W估算，仅光模块自身的功耗即达到约 82kW。第 14章将说明这一数量在投资结构中所占的比重。

9.4 机柜、供电与散热的配套测算

网络设备之外，机房侧的配套测算同样需要给出，且存在几个容易出错的环节。

机柜数量。 按 4台服务器每柜计算，2048卡（256台 8卡服务器）需要约 64个算力机柜；网络设备集中部署时，64台 Leaf按每柜 8台计算需要约 8个网络机柜。整个 POD规模约 72个机柜。

功率测算的注意事项。 机柜功率不能按设备额定功率直接相加。实际计算需包含三部分：加速卡与 CPU的实际运行功耗、电源模块的转换损耗、以及网卡与交换机的功耗。在此基础上还需预留约 10%的冗余。

散热方案的临界点。 风冷机柜的散热能力上限约为 25至 30kW。长期接近该上限运行会导致设备降频，进而影响算力输出。单柜功率超过 32kW 时必须采用液冷方案，这在高密度算力机柜中已是普遍情况。

网络设备自身的功耗。 一项容易被忽略的数据：网络设备自身的功耗占集群总功耗的 10% 至 15%。在十万卡级集群中，这意味着十余兆瓦的功耗由交换机与光模块消耗，也是液冷方案被推向光模块的原因。

9.5 三档规模的工程特征

不同规模的集群在工程性质上存在跃迁，可用三档来描述：

图 12三档建设规模的工程特征

上表按冷板液冷、32卡每柜、单柜 40kW工程预留估算。三档规模的工程性质可概括为：千卡级属于项目，万卡级属于工程，十万卡级属于基建。

术语解释：POD 隔离域

POD是智算集群中的一个部署单元，其规模通常定为 2048卡。之所以以此划分，原因有二：其一，大模型训练的常用并行规模落在此范围内，一个训练任务可完整位于单个 POD内，无需跨域通信；其二，故障影响范围（爆炸半径）可控——单个 POD内出现故障时，其他 POD的任务不受影响。

9.6 投资结构

万卡级集群的投资结构大致如下：

图 13万卡集群投资结构占比

这一结构包含两个反直觉的结论：

结论一：光模块的投资是交换机的 4.5 倍。 网络相关三项（光模块、交换机、布线）合计约占 12.5%，其中光模块一项即占 9%。这解释了为什么在第 14章讨论光互联时，技术演进的经济动因如此强烈——降本的核心环节在光模块，而非交换机。

结论二：网络投资占比虽小，但具有一票否决性质。 如 3.4节所分析，若网络效率减半，占投资 55%的算力板卡中将有一半沦为低效资产。因此评估网络方案时，不能仅比较设备报价，而应评估其能够支撑的算力利用率。

9.7 本章要点

• 设备数量推算遵循"卡数 → Leaf台数 →上行端口数 → Spine台数"四步，并用端口数平方判据校验；
• 2048卡 POD的标准配置为 64台 Leaf加 32台 Spine，配套光模块约 5120只；
• 机柜功率不可按额定值直接相加，须计入转换损耗并预留冗余；单柜超过 32kW必须采用液冷；
• 网络设备自身功耗占集群总功耗的 10%至 15%；
• 千卡、万卡、十万卡三档规模的工程性质依次为项目、工程、基建；
• 光模块投资约为交换机的 4.5倍，是网络侧降本的核心环节。

第十章 无损网络原理

第一章与第三章建立了两个前提：训练流量对丢包的容忍度极低，而以太网本身是会丢包的。本章讨论这一矛盾的技术解法，以及为什么这些解法在实践中难以调好。

10.1 根本矛盾

RDMA（Remote Direct Memory Access，远程直接内存访问） 是分布式训练中卡间通信的底层传输技术。其设计假设是数据包一定能够到达——一旦发生丢包，接收端不会像 TCP那样进行平滑的重传与拥塞窗口调整，而是触发传输层的异常处理流程，导致整个传输停顿。

这一假设与以太网的现实存在直接冲突。以太网交换机的缓冲区容量有限（通常为几十兆字节），当瞬时流量超过端口速率时，超出的部分只能丢弃。如 3.3节所述，训练流量存在微突发与 Incast汇聚，正是最容易触发缓冲区溢出的场景。

因此，无损网络的全部技术手段，本质上都是在网络侧人为制造"不丢包"的条件，使 RDMA的假设得以成立。这一目标不是通过增加缓冲区实现（缓冲区增长永远追不上突发强度），而是通过在缓冲被填满之前就抑制发送方的速率来实现。

10.2 技术路线选择：RoCEv2 与 InfiniBand

实现 RDMA传输有两条路线：