企业官网建设流程全解析

要说这几年AI行业最不缺的热词，一是大模型，二就是AI芯片。我做训练和推理优化也有一段时间了，从H100用到A100，也试过GCP上的TPU、AWS上的Trainium，还在Groq上薅过免费API，对这个领域算是有点真实体感。很多人一聊AI芯片就开始念参数，什么TFLOPS、HBM、互联带宽，喊得挺热闹，但真要问一句这些指标到底怎么影响你的训练速度和推理成本，大部分人又说不太清楚。

这篇文章不打算写成芯片教科书，我想站在实际做项目的从业者角度，把NVIDIA、Google TPU、AMD、Cerebras、AWS Trainium、Groq这几家的架构思路拆开揉碎聊一遍，再讲讲最近圈子里明显能感受到的趋势变化。无论你是正在选训练平台的算法工程师，还是想搞懂AI芯片差异的产品经理，又或者是准备上手Groq这类新平台的开发者，这篇文章应该能给你一个比较完整的参考系。

1. 先看框架：AI芯片绕不开的几个基本维度

1.1 算力数字只是入场券，真正拉开差距的是存储和互联

很多评测号喜欢把厂商PPT里的峰值算力拉出来对比，什么H100 989 TFLOPS、MI300X 1.3 PFLOPS，好像谁数字大谁就厉害。但在真实项目里，芯片的峰值算力往往只是入场券，真正决定体验的是另外两件事：数据能不能喂饱算力，以及多颗芯片能不能高效协作。

我见过不少团队一开始只看单卡算力，结果把大模型放上去跑，实际利用率只有30%上下。原因很简单：Transformer的计算模式是大量矩阵乘法叠加，矩阵乘法的瓶颈经常不在计算单元本身，而在数据搬运。FP16的H100看似每秒可以做近千万亿次运算，但HBM带宽只有3.35TB/s，如果权重和激活数据要频繁从显存里搬进搬出，运算单元就得干等着。这个差距有个专有名词叫“内存墙”或者“存储墙”，几乎每家AI芯片厂商都在跟它死磕。

所以看AI芯片，我建议先看三个维度：算力密度、存储层次、互联能力。算力决定理论上限，存储决定实际能跑多快，互联决定你能不能把成百上千颗芯片组织成一台真正的“超级计算机”。后面聊的每家公司，其实都是在这三个维度上给出不同的答题思路。

1.2 从矩阵乘法说起，为什么GPU能打赢CPU

要理解AI芯片架构的差异，得先回到最底层：深度学习训练和推理的核心运算是什么？是矩阵乘法和卷积。这两种运算有个共同特征——同样的输入数据会被反复复用。比如一个512x512的矩阵乘以另一个512x512的矩阵，中间要对输入元素做几百万次乘法累加。CPU的设计初衷是尽可能处理各种复杂的控制流指令，它的强项是通用性，而不是这种高度重复的密集计算。

GPU的思路则是完全相反的：我不管你要处理什么复杂任务，我只专门优化大量重复的浮点运算。英伟达从Fermi架构开始把SM（流式多处理器）组织成大规模并行阵列，到了Volta时代又引入Tensor Core（张量核心），专门为4x4矩阵乘累加这类操作服务。这就像是CPU像是一个什么活都会干的全能老师傅，但只有一双手；GPU则像是一条庞大的流水线工厂，每个工人只做一件重复的小事，但件件熟能生巧，合在一起就能每秒完成海量操作。

后来出现的TPU脉动阵列、Groq的LPU，本质上走得比GPU更远：它们连通用计算都不太想管，直接针对矩阵乘法做硬连线实现。理解了这个背景，后面我们聊各家架构的时候，你就能知道它们到底在哪些地方动了脑筋。

1.3 存储层次和“内存墙”到底怎么理解

存储这件事，听起来没有算力那么性感，但实际工程里它比算力更能决定项目的成败。先看一组数据：GPU里的寄存器最快，SRAM次之，然后才是片上Cache，再到HBM显存，最后是CPU主存。每往下一级，容量可以大一个数量级，但延迟也会高一个数量级。SRAM比HBM快10到20倍，但容量密度低、成本高，所以通常只做很小的片上缓存。

可AI模型的胃口太大了。一个70B参数的模型，光权重用FP16存就需要140GB，这已经超过单颗H100的80GB显存；推理时的KV Cache还得再占空间。所以NVIDIA的H100要配80GB HBM3，H200直接加到141GB，MI300X甚至堆到192GB。内存越大，能塞下的模型越大，卡间通信就越少，整体效率自然越高。

但更大容量不等于更高带宽。HBM的带宽也在提升，从HBM2e到HBM3再到HBM3e，H200做到了4.8TB/s，Blackwell架构的B200进一步推到8TB/s。听起来很吓人对不对？可如果和芯片内部SRAM动辄几十TB/s的带宽比，HBM依然慢得像个仓库搬运工。这也是为什么Cerebras和Groq敢走极端路线：它们干脆把大量SRAM和计算单元放在同一颗芯片上，尽量减少“出片”的频率。理解了这个逻辑，再看这两家的架构就不会觉得它们是神经病了。

1.4 互联能力决定你能不能把所有算力用起来

单卡性能再强，在超大模型训练面前都是浮云。GPT-4级别的大模型动辄需要几万张卡一起训练，这时候能不能把这么多芯片组织成一台逻辑上完整的机器，靠的就是互联技术。

NVIDIA的答案是NVLink和NVSwitch。NVLink从最初的每GPU 300GB/s一路升级到Blackwell时代的方向性提升，配合NVSwitch可以做到一个大域内几十块GPU全互联。Google TPU更激进，直接用自研的ICI（Inter-Chip Interconnect）加OCS光电路交换，能把上千颗TPU连成一个低延迟超大规模集群。AWS Trainium则走的是依赖EFA（Elastic Fabric Adapter）的云原生互联路线，强调在亚马逊自己的网络里做大规模扩展。

为什么互联这么重要？因为分布式训练里最怕的就是通信瓶颈。每训练一步，各个芯片都要交换梯度，如果互联带宽不够，算力再高也要被通信拖死。很多团队从8卡扩到64卡，性能不升反降，大概率就是互联设计没跟上。下一波AI芯片的竞争，说实话已经从单颗芯片的算力，正式转移到了整机集群的系统能力上。

2. 六大芯片架构逐个拆解

2.1 NVIDIA：从CUDA核到Blackwell，GPU已经不再只是GPU

NVIDIA这几年的架构演进，核心脉络非常清晰：先是把GPU从图形渲染专用改造成通用并行计算平台，然后针对深度学习的矩阵运算建了一整套加速生态。V100时代Tensor Core刚出现，A100进化到第三代，H100直接引入了Transformer Engine和FP8精度，专门为大模型优化。到了Blackwell架构，单颗B200已经是用两块die封装到一起的chiplet方案，晶体管总数逼近2080亿，FP4精度下的算力可以摸到10 PFLOPS以上，HBM3e容量192GB、带宽8TB/s，放在三年前这几乎是整台超算的指标。

但NVIDIA真正的护城河早就不是单卡性能了。DGX整机、NVLink互联域、CUDA生态、Triton推理服务器、NIM微服务，这套东西是成体系的。我自己的感觉是，NVIDIA之所以在AI芯片市场占据绝对主导，不是因为每一代产品都全面领先，而是因为从单卡到集群、从训练到推理、从框架到底层算子，它全都给你安排好了。你打开PyTorch，model.cuda()一下就能跑，其他平台多少还要折腾一阵，这种“心智占领”极其恐怖。

值得一提的是NVIDIA也在往更有开创性的方向走。不只是GPU本身，还包括面向智能驾驶的开源VLA推理模型Alpamayo这类模型层动作，以及Grace CPU和Blackwell GPU的超级芯片组合。这意味着NVIDIA的目标不只是做芯片，而是要做“面向AI的完整计算平台”。对开发者来说，这种绑定既是福音也是压力：你在它的生态里越舒服，想迁移出去的成本就越高。

2.2 Google TPU：脉动阵列和“把超算做成CPU”的哲学

Google TPU大概是除NVIDIA之外最有辨识度的AI芯片。它从第一代开始就不是通用GPU的思路，而是专门为矩阵乘法定制的ASIC。核心计算单元用的是脉动阵列（Systolic Array），数据像流水线一样在一个个乘加单元之间流动，输入端的数据会被反复复用，极大地减少了寄存器读写和片上搬运。用大白话说，GPU是用很多并行小核心去扛矩阵乘法，TPU则是直接把一大片计算单元排成矩阵，数据流在单元间“定向漂移”，功耗和延迟都更低。

TPU真正的杀招其实是集群能力。单颗TPU的算力放在今天并不算夸张，Google把它的超大规模集群优势发挥到了极致：通过自研的ICI互联和OCS光路交换机，可以把几千颗TPU组织成一台逻辑上的超算。TPU v5e和v5p就是两种不同定位的产品，一个偏成本效率和推理，一个偏超大规模训练。我去年在GCP上试用过TPU v5e跑微调任务，整体稳定性和速度都比想象中好，但使用体验上明显感觉它“为超大规模而生”的特性：如果你只用几十颗芯片，很多优化优势反而体现不出来。

TPU还有个非常独特的地方在于它跟编译器绑定极深。XLA编译器会把计算图翻译成适合脉动阵列的底层指令。这种软硬协同让TPU在标准Transformer模型上效率很高，可一旦你的模型结构比较冷门或者算子特别自定义，调试起来就会很痛苦。Google这套架构的哲学有点像“我把超算包装成CPU给你”——给你的是一整台高度自动化的机器，前提是你要接受它设定的运行规则。

2.3 AMD：存储堆料派与ROCm的后发追赶

AMD这几年的存在感明显回来了，MI300X可以说是它最有力的一次反击。单颗MI300X搭载192GB HBM3，带宽5.2TB/s，FP16算力达到1.3 PFLOPS，从纸面数据看，显存容量直接碾压同代的H100。这对大模型推理特别友好，因为显存越大，意味着能塞下更大的模型或者更大的批次。我见过不少做70B级别模型部署的团队，之所以选MI300X不是因为想折腾ROCm，纯粹是H100显存不够、H200又不好买，而MI300X一张卡就能放下完整模型。

AMD的CDNA架构在设计上针对矩阵运算强化了Matrix Core，加上Infinity Fabric互联，多卡扩展能力也不错。但软件生态依然是它最大的短板。ROCm这些年进步确实很大，官方支持PyTorch和主流框架，但“支持”和“开箱即用”之间还有距离。我自己踩过的坑包括：某些算子在新版ROCm上性能反而不如旧版、容器镜像版本跟驱动不匹配导致黑屏、调试工具链没有CUDA那么顺手。如果你团队里全是CUDA经验为主的工程师，迁移到AMD平台的学习成本必须提前算进去。

不过AMD还有一个值得期待的点，就是它在联合推动UALink这样的开放互联标准。如果整个行业最后能搭建起一个不依赖NVIDIA私有协议的互联生态，AMD和它的小伙伴们就有机会在超大集群场景里撕开一道口子。说到底，AI芯片竞争不只是芯片本身，更是整机、集群和生态的竞争。

2.4 Cerebras：把整个晶圆做成一颗芯片的疯狂路线

Cerebras是这几家里最“极端”的，它的思路简单粗暴：你们觉得芯片间通信是瓶颈？那我干脆把整片12英寸晶圆做成一颗芯片。Cerebras的Wafer Scale Engine（WSE）系列，晶体管数量逼近4万亿，集成了90万个计算核心，44GB SRAM直接做在片上，片上带宽达到20PB/s量级。这个数字什么概念？对比一下H100的3.35TB/s HBM带宽，高了将近三个数量级。

这种设计最大的好处是，权重可以直接存在SRAM里，计算单元几乎从不等数据。Cerebras官方宣称在超大模型训练上能做到接近线性扩展，背后的底气就是省掉了大量芯片间通信。它把“系统”和“芯片”的边界直接抹掉了，不再需要纠结NVLink和以太网集群拓扑，整台CS-3就是一台超级计算机。

代价也很明显：功耗高、需要专门的液冷整机柜，而且软件生态相对封闭。目前Cerebras主要面向超大规模训练和科研计算，不是随便一个小团队能轻松上手的。我自己没有在生产环境用过Cerebras，只是在展会上和分享会上接触过。说实话，如果你训练的是Grok级别的超大模型，它对存储墙的破解方案很有吸引力；但如果只是微调一个7B模型，用这种“坦克级别”的武器就是杀鸡用牛刀了。

2.5 AWS Trainium：云厂商自研芯片，把成本效率刻进DNA

AWS做Trainium的逻辑跟前面几家都不一样。它不是想卖芯片，而是想让自己云上的训练成本降下来，顺便把用户留在自己的生态里。Trainium这个名字就很直白，就是为训练而生。配合Inferentia做推理，AWS希望给用户提供一套不依赖NVIDIA的云原生算力套餐。

从架构上看，Trainium是典型的ASIC思路，没有走通用GPU路线。它砍掉了很多图形和通用计算能力，把晶体管集中在矩阵运算、梯度同步和分布式通信优化上。搭配Neuron SDK，可以把PyTorch和JAX的模型编译成Trainium底层指令。我身边有朋友在AWS上用Trn1实例做大规模模型预训练，反馈是单位成本确实比同级别GPU低，但前期的迁移调试时间也不短。2024年底推出的Trainium2进一步提升了算力和内存，主打的是“以更低的美元成本训练更大的模型”。

Trainium的另一个优势是它跟AWS整个网络基础设施深度耦合。配合EFA和EC2 UltraCluster，分布式训练在多机扩展上做得比较顺滑。但它的缺点也很明显：锁平台。一旦你的训练代码深度适配Neuron，想换个云就基本等于重写一遍。AWS这套方案比较适合那种长期稳定在AWS上做大模型训练、并且对成本非常敏感的团队。如果你只是临时跑个实验，那还是租GPU更灵活。

2.6 Groq：把SRAM当信仰，专啃大模型推理的LPU

Groq应该是我最近体验最“上头”的一家。它的LPU（Language Processing Unit）走了一条非常极端的路：不要HBM，全部用片上SRAM。单颗LPU有230MB SRAM，片上带宽80TB/s，这个带宽是H100的好几倍。因为数据几乎都在片上，Groq运行大模型推理时，单batch的延迟非常低，给人的感觉就是输出token像连发子弹一样往外蹦。

Groq能做到低延迟靠的不只是SRAM，还有它的编译器。GroqFlow会在编译阶段就把整个模型的计算顺序、数据搬运、存储分配全部排好，运行时不需要像GPU那样动态调度，相当于“静态编排一切”。这种思路和TPU有点像，但走得更远。缺点也显而易见：片上存储容量太小了，跑一个70B级别的模型需要把权重切到几十甚至上百颗LPU上，部署规模和维护成本会很高。

但如果你做的是小模型推理、函数调用、代码生成这种延迟敏感任务，Groq的体验是真的爽。更妙的是Groq现在提供了免费API接口，完全兼容OpenAI SDK，我在项目里直接把base_url切成Groq的地址，几行代码就体验到了Llama系列模型的丝滑推理。对于想快速验证产品原型的开发者来说，这几乎是零成本试错的机会。Groq这种“SRAM优先”的架构能不能大规模铺开，现在还有争议，但在低延迟推理这个细分赛道上，它确实跑出了差异化。

3. 真实项目中的选型与避坑

3.1 训练场景怎么选：GPU省事，TPU/Trainium省钱但绑定深

做训练选型，我个人总结的经验是：先看团队能力和项目阶段，再看单价。如果你的目标是在最短时间内把模型跑出来、验证效果，那NVIDIA GPU几乎是无脑选择。CUDA生态的成熟度是别的平台短期追不上的，PyTorch里几行代码就能用上FlashAttention、混合精度、分布式数据并行，这些问题在NVIDIA上基本都有成熟答案。

但如果你到了规模化的阶段，GPU的成本会变得非常扎眼。这时候TPU和Trainium的优势就体现出来了，单位算力的价格确实更低。不过代价是绑定。TPU要求你用XLA/JAX或者特定PyTorch版本，Trainium要求你用Neuron SDK，很多自定义算子需要重新实现，调优经验也要重新积累。我见过一个团队从A100迁到TPU v5p，第一周整个团队都在跟XLA报错作斗争。所以我的建议是：项目初期老老实实用GPU把方案跑通，同时留一套“降本评估”的脚本，测试你的模型在TPU或Trainium上的可迁移程度，等确认收益大于迁移成本再切换。

3.2 推理场景怎么选：Groq的低延迟与部署规模陷阱

推理场景的选型逻辑完全不一样，训练关注吞吐，推理更关注延迟和成本。GPT-4那种级别的模型，用GPU推理平台最稳，NVIDIA的TensorRT-LLM和Triton推理服务器已经非常成熟。但如果你做的是小模型高频调用，Groq的LPU就值得认真考虑了。

Groq的问题在于“部署规模陷阱”。单颗LPU的SRAM太小，大模型需要切到很多卡上，这不仅增加硬件成本，还要处理复杂的模型并行逻辑。Groq的编译器会帮你做很多工作，但你也得为跨卡通信买单。我的实际体验是，像Llama-3.1-8B这类模型，在Groq上跑小batch延迟极低，但一旦并发请求上来，吞吐就受限于芯片间互联和片上容量了。所以如果你做的是高并发C端产品，Groq不一定比GPU划算；但如果你是做低延迟工具类应用、Agent调用链里的中间层，Groq体验相当惊艳。

3.3 驱动、工具链与API接入：那些让我印象深刻的坑

说到AI芯片，大家都知道算力和架构重要，但真正让人头秃的往往是驱动和软件栈。这个话题特别值得展开聊聊，因为我见过太多人在Linux下折腾NVIDIA驱动翻车。

最常见的报错就是nvidia-smi has failed because it couldn't communicate with the nvidia driver。这个问题的本质是：驱动内核模块没有成功加载，或者加载的版本和用户态驱动不一致。排查思路一般是：先用dkms status看内核模块状态，再查uname -r确认内核版本，然后用dmesg看是不是有Nouveau冲突或者Secure Boot挡住了模块签名。Ubuntu 22.04和24.04我都踩过坑，特别是Secure Boot开启的情况下，第三方驱动模块没签名就加载不进去，表现就是重启后黑屏或者nvidia-smi报错。解决办法是进BIOS关掉Secure Boot，或者给驱动模块签名，没有别的捷径。

还有一个高频问题是“Ubuntu离线安装NVIDIA驱动后重启黑屏”。这通常是因为显卡驱动安装时自动生成的nvidia-drm.modeset参数和你的显示管理器冲突。我自己处理过几次，解决套路是把nouveau彻底禁用，或者在grub启动参数里加上nomodeset，先能进系统再重新配置驱动。总而言之，AI芯片的算力再强，驱动装不上都是零。

除了驱动，工具链的版本匹配也很折磨人。比如很多人想在Linux下编译带NVIDIA硬件加速的FFmpeg，核心不在于下载源码，而在于FFmpeg、NVIDIA Video Codec SDK、CUDA三者的版本必须对齐，编译时--enable-nvenc --enable-cuda-nvcc这些flag一个都不能漏。我自己在Ubuntu 22.04上编译过好几次，每次升级CUDA都会重新折腾一遍。如果你是新手，我更建议直接用官方提供的容器镜像，比如NVIDIA的CUDA容器里已经配好环境，省去很多编译地狱。

Groq那边就轻松很多，它提供完全兼容OpenAI SDK的API接口，把base_url指向Groq的endpoint，再把API key配置好，就可以直接调用。这种“免费API接口+兼容生态”的打法确实聪明，让开发者五分钟就能上手。当然，免费版有并发和用量限制，生产环境还是得付费或者考虑自建集群。

3.4 一张表看清六家芯片的适用场景

聊了这么多，最后用一张表把这几家芯片的核心差异和适用场景做个快速对照。

这张表只是大方向的参考，具体选型还得结合你实际的项目规模、团队技术栈和预算来决定。

4. 架构发展的几个确定性方向

4.1 从“算力为中心”到“内存为中心”

过去二十年，芯片设计的主流思路是“算力为中心”：尽可能提高时钟频率和并行度。但AI时代的瓶颈已经明显转移到了“怎么把数据喂给算力”。所以现在的架构趋势是内存为中心（Memory-Centric）或者近存计算（Near-Memory Computing）。把计算单元尽量贴近内存放置、把更多SRAM搬到片上、用先进封装把HBM和计算die集成到同一颗芯片里，这些都是同一逻辑下的不同实现。

HBM的叠层设计本身就是一种“离计算更近的内存”，而Cerebras和Groq则走得更极端：把尽可能多的SRAM直接做到计算核心旁边。未来这种思路还会继续深化，CXL和光互联技术也会慢慢进入AI芯片体系，让内存池可以被多颗芯片共享。对我们做应用层的人来说，这意味着选型时要更关注“模型权重放不放得下、数据搬运快不快”，而不是只看峰值算力。

4.2 从单卡性能到集群互联的军备竞赛

NVIDIA的GB200 NVL72把72块GPU和36块Grace CPU连成一个超大的NVLink域，本质上就是把“一台服务器”变成“一颗超大的GPU”。Google那边TPU的OCS光交换已经把几千颗芯片连成低延迟集群。AWS用EFA在云网络里做超大规模分布式训练。各家的方向其实是一致的：单颗芯片的天花板已经快到了，接下来拼的是集群级系统设计。

这种军备竞赛对普通开发者也产生直接影响。过去你可能只需要关心代码在单卡上跑多快，现在要开始考虑模型并行、张量并行、流水线并行怎么切分，通信和计算怎么重叠。好消息是这些能力越来越多的集成到了框架和编译器里，坏消息是你至少得理解它们的存在，否则在集群上跑深度学习依然会一头雾水。

4.3 专用推理芯片和异构计算继续扩大地盘

训练和推理对芯片的需求差异越来越大。训练需要极大的算力和支持动态图、自动微分，推理则更看重低延迟和单位成本。Groq这种ASIC只是开始，未来还会有更多针对特定场景的专用推理芯片出现，比如面向智能驾驶的VLA模型推理芯片、面向端侧小模型的NPU。NVIDIA自己也推出了Alpamayo这样面向辅助驾驶的开源VLA推理模型，说明巨头都在往“行业专用+推理优化”的方向走。

对应用层开发者来说，这种趋势意味着未来不会再有“一块芯片打天下”的情况。你可能同时要用GPU做训练、用ASIC做高并发推理、用NPU做端侧部署。工作流会变得更加异构化，像LLM Compiler这样的工具链可能越来越重要，把同一个模型自动编译到不同硬件平台上。

4.4 软件生态才是真正的护城河

芯片架构的差距，说实话没有PPT上看起来那么大，尤其是大家都在使用相近的制程和HBM技术时。但软件生态的差距可以是数量级的。CUDA积累的几十年工具链、算子库、分布式框架支持，让NVIDIA即使在某些硬件参数上落后一点，综合体验依然是最好的。Google的XLA、AWS的Neuron、AMD的ROCm，都在努力补齐各自的软件栈，但短期内谁能把“从模型训练到部署全流程”体验做到最顺滑，谁才能真正赢得开发者。

现在的软件栈竞争也升级到了AI原生阶段。NVIDIA推出了NIM微服务、AI Foundry，Groq直接做了OpenAI兼容API，Cerebras也推出了推理服务。芯片厂商不再只卖硬件，而是直接提供“模型服务”。这套路类似于当年Intel和微软形成的Wintel联盟：硬件公司+软件体验绑定，最后建立起生态霸权。所以以后评价一家AI芯片公司，不能只看芯片参数，还得看它的编译器、runtime、推理服务、开发者社区整盘棋。

5. 写在最后的一点个人体会

这几年我最大的感触是，AI芯片这个领域已经不能只用“性能”来衡量了。NVIDIA赢赢在了系统生态的完整性，TPU赢在超大规模集群的技术积累，AMD在赌存储和开放互联，Cerebras在展示一种极致架构的可能性，AWS在走云原生的成本路线，Groq则在低延迟推理赛道上找到了自己的生态位。没有谁是全能的，关键是你处于什么场景，想要什么结果。

如果你是个独立开发者，想快速体验新芯片的能力，我的建议是最低成本的路径，比如先用Groq的免费API接口跑几个模型感受一下SRAM路线和HBM路线的差异，再去云上用TPU或Trainium做一次小规模的训练对比，这样你对“架构差异”就不会停留在参数层，而是有了实打实的体感。最后再啰嗦一句：峰值算力诚可贵，存储互联价更高。选芯片之前，先想清楚你的模型会被“卡”在哪里。