企业官网建设流程全解析

AI 计算芯片这件事，最近大半年几乎每个搞大模型或者边缘部署的朋友都在聊。但聊着聊着容易跑偏——要么只盯着 GPU 训模型那一亩三分地，要么被各种参数榜单带节奏，觉得芯片就得看 TOPS 数字大小。实际干过几个项目之后就明白，AI 计算芯片的选择，核心不是"谁最强"，而是"放哪里用"。云端、边缘、端侧，这三条线对芯片的需求完全不是一个逻辑，选型思路也不一样。这篇我把自己在这三条线上的实际经验、踩过的坑和对各家企业技术路线的理解整理出来，希望能给正在选型或者刚入行做 AI 系统的人一些参考。

1. 先想清楚一件事：AI 芯片为什么不能只盯着一家看

1.1 场景决定架构，不是芯片决定场景

做 AI 系统部署的人最怕什么？最怕一上来就问"英伟达和华为哪个强"。真到项目里你会发现，这个问题根本不是这么问的。AI 计算芯片的选型，第一个要搞清楚的是你的模型跑在哪个环节——是在数据中心里做大规模训练，是在靠近数据源的边缘节点做实时推理，还是直接塞进手机、摄像头、机器人这些终端设备里。

这三个场景对芯片的要求差得不是一星半点。云端训练芯片要的是绝对算力和超高带宽，一块卡几十万的显存、TB 级别的互联带宽都是标配，因为它要喂给大模型的数据量极其恐怖。而边缘芯片的命门是功耗和时延，比如一个智能质检工位上的盒子，整机功耗限制在几十瓦以内，还得做到几十毫秒出结果。端侧就更苛刻了，手机、耳机、智能摄像机这些，芯片面积就那么一点，散热几乎不存在，还得跑得足够省电，否则用户一天充三次电直接骂街。

所以我在选型的时候，第一件事从来不是翻参数表，而是先问三个问题：

1. 模型的权重和输入数据量有多大，在目标设备上能不能放得下？
2. 从数据产生到输出结果，业务方接受的最大时延是多少？
3. 部署现场给了多少功耗预算和成本预算？

这三个问题问完，芯片选型的范围基本就锁定了。好比你要买通勤开的车，目标就是省油好停，那就不该盯着大排量越野车看。AI 芯片也是同样的道理，场景本身就是最好的筛选器。

1.2 从"一卡走天下"到"三条线分头跑"

前几年大家默认 AI 计算约等于 GPU，英伟达的 A100、V100 成了 AI 计算的代名词。但近两年你会发现一个明显变化：各家芯片设计公司开始主动按场景分线了。云上继续堆大算力，边缘出低功耗高能效的推理卡，端侧走 NPU 和端侧大模型的路线。

这个变化背后是需求的驱动。大模型参数越来越大，训练和推理需求暴增，云端的 AI 加速卡供不应求；同时大量 AI 应用要落地到工厂、路口、门店，这些场景不可能拉个机房过来，边缘计算盒子就成了刚需；再往下，手机上的语音助手、实时翻译、拍照优化，这种毫秒级响应的需求必须端侧直接算，不能把数据传云端。

三条线各自跑出代表性玩家之后，选型就不再是单一维度的对比了。云端拼算力带宽，边缘拼能效比和生态，端侧拼集成度和专用化。后面我就按这三条线详细拆一下，每一条线里有哪些主流玩家、核心技术指标怎么看、实际部署要注意什么。

2. 云端计算芯片：训练与推理的主战场

2.1 GPU 依然稳坐训练头把交椅，但它不是唯一解

云端训练这个场景，英伟达依然是绕不开的存在。H100、H200 现在基本是训练 Clusters 的默认选项，新一代 Blackwell 架构的 B200 也在慢慢铺货。为什么大家疯抢？不是因为 CUDA 的生态锁定——那只是表面原因——真正的原因是大模型训练是一个对算力和通信极度贪婪的过程。

拿一个千亿参数模型的预训练举例，数据并行和模型并行会拆出成千上万个计算任务，每个 GPU 之间每秒钟要交换的数据量都是 TB 级别。NVLink 和 NVSwitch 把卡间带宽做到了 900GB/s 级别，这个通信性能直接影响训练效率。你用别的芯片自己搭集群，单卡算力可能不差，但一到多卡互联时通信就卡脖子，算力堆起来也白搭。

不过也要看到，AMD 的 MI300X 这两年咬得很紧，它的优势是显存容量和带宽对非常敏感的大模型推理场景，单卡 192GB HBM3 显存，跑 70B 级别的模型推理可以不切分，直接整卡塞进去。Google 的 TPU 是自家云上自用，外部用得少，但 v5e、v6 的量产证明了一个事：专门为矩阵运算打造的 ASIC，在特定负载上真的能比 GPU 更高效。国内的话，昇腾 910B/910C 在训练场景确实稳住了基本盘，很多国产大模型训练集群就是它扛下来的。

云端推理这条线上，GPU 的统治力其实没有训练那么夸张。原因是推理负载对显存带宽和算子调度优化的需求各不相同，ASIC 反而更好发挥。AWS 的 Trainium/Inferentia、Google 的 TPU 推理版本、百度的昆仑芯、阿里的含光，都在公有云上开了推理实例。我个人的看法是，如果你是中小团队，短期内做推理用云上的 GPU 实例完全够用，性价比也合理；但如果业务量大批量跑固定模型，自研 ASIC 的云实例每 token 成本确实能压一个量级。

2.2 云服务商自研芯片的逻辑：不是炫技，是成本账

云厂商做自研 AI 芯片，本质上是在打成本算盘。GPU 太贵了，而且供货周期长。大厂的云业务体量摆在那，如果推理负载有一半能切到自研芯片上，节省的成本是十亿美元级别的。

这个逻辑我在客户那里见过实际案例。一家做 AI 绘画工具的创业公司，日活很高，大部分负载是 Stable Diffusion 类的推理。早期全跑在 A10 上，成本占了营收四成。后来把推理迁到同类 ASIC 云实例上，成本压到原来的一半以下，因为这类专用芯片对卷积和 Transformer 的算子做了硬化和矩阵压缩，能耗比高很多，云厂商用更低价格出实例依然有利润。

但自研芯片也不是没有代价。最核心的问题在软件生态。CUDA 二十来年积累的算子库、调试工具、分布式框架适配，不是随便就能替代的。云厂商的 ASIC 目前能跑通的模型主要是热门开源模型，遇到小众结构或者自定义算子就得等官方适配。所以我在项目里给团队的建议是：能用 GPU 原型验证就跑 GPU，确认模型结构稳定不动了，再考虑迁到 ASIC 实例上降本。

2.3 便宜 4090 云端：个人开发者和中小团队的"活命"选择

顺带说一个现象级的事——云上的 4090 有多火。现在各种"便宜的 4090 云端"的热门搜索背后，是大量个人开发者和中小团队在跑微调、跑中小模型的推理。4090 这卡虽然被各种限制，但在很多云平台上还能租到，价格比 H100 便宜一个数量级。24GB 显存跑 7B、13B 模型的推理完全没问题，LoRA 微调也能勉强跑。

我试过用 4090 云实例跑 Qwen 7B 的微调，峰值显存占用大概 18GB 左右，训练速度虽然比不上数据中心卡，但对个人开发者来说完全够用。这个路线对预算极其敏感的人群是福音，也带动了"便宜的 4090 云端"这个需求的持续火热。不过提醒一句，租 4090 一定要问清楚是什么版本的驱动和 CUDA 版本，很多平台的镜像预设环境装不齐你想要的依赖，踩坑概率不小。

3. 边缘 AI 计算：低时延、数据隐私、离线可用的交汇点

3.1 为什么 AI 计算一定要往下沉

边缘 AI 这个词前几年还是概念，现在已经是很多行业的刚需。我在工厂、园区、零售这类项目里见到的真实驱动因素就三个：时延、带宽、隐私。

先说时延。自动驾驶、工业质检、AGV 避障这些场景，数据产生到决策输出的链路必须做到几毫秒到几十毫秒。你把画面传云端来回一个往返就得几百毫秒，等云端算完黄花菜都凉了，所以必须在靠近摄像头和传感器的地方把推理做完。

再说带宽和成本。一个工厂车间几十路摄像头，全是 1080p@25fps 的视频流，全传云端的话，上行带宽费用一个月就是个不小的数字。在边缘节点直接把推理结果传上去，等于把原始数据量砍掉了 99%，这笔账很好算。

最后是隐私合规。医生诊断影像、金融单据识别这些数据不能出域，模型必须部署在本地设备上。边缘 AI 盒子提供了物理上的数据边界，合规风险一下降下来了。

3.2 ARM 和 FPGA 是边缘网关上的常客，选谁看业务

边缘网关这个形态，目前主流芯片可以分两类：一类是 ARM 架构的 SoC，一类是 FPGA 加上 ARM CPU 的组合。

ARM SoC 这边，英伟达 Jetson 系列在边缘 AI 市场占有率极高。Jetson Orin NX、AGX Orin 这些模块，从 16GB 到 64GB 内存可选，做机器视觉、机器人、智能网联都没问题，而且 CUDA 生态直接复用，模型从 GPU 迁移过来基本是无痛的。我在项目里评估过，一个老式的车辆识别模型从云端 GPU 迁到 Jetson Orin NX，改动无非是 TensorRT 转换和显存管理适配，两三天就能跑起来。

FPGA 的玩法不一样。FPGA 的优势在低时延、可重构、I/O 丰富。比如一些通信测试终端和工业协议转换网关，需要同时采集多种总线的数据，还要实时做边缘处理，ARM 的通用接口不够，用 FPGA 开路做适配是最省事的。而且 FPGA 可以做到确定性时延——这是它比 GPU 和 ARM 强的地方，适合控制类和数据清洗类的任务。缺点也明显，开发周期长，Verilog/VHDL 写逻辑、上板调试都是硬功夫，没点底子的团队慎选。

ARM+FPGA 的组合在通信行业的边缘网关里很常见，ARM 上跑应用和协议栈，FPGA 做高速数据预处理和协议适配，两者分工明确。这个形态在运营商基站配套、电力配网终端、工业数采网关等场景应用很成熟。

3.3 常见实操：YOLO 在边缘部署的误检率为什么压不下来

这里分享一个我实际排查过的案例。一个客户在园区用边缘盒子做人员闯入监测，用的是 YOLOv8 的模型，在训练集上 mAP 不算差，但一上线误检率就到了让人崩溃的水平——树影晃动、光影变化、小动物路过，全给你标记成"人员闯入"。

排查下来问题出在三个地方：

1. 训练数据里几乎没有目标设备真实拍摄的现场画面。模型在标准开源数据集上训练，到了阳光强烈、树叶乱晃的实景里，特征分布对不上，误检自然飙升。
2. 边缘设备上的图片分辨率被压得太低。为了跑满帧率，把输入从 640x640 降到 416x416，远处的行人只有几十个像素，模型想认准也难。
3. TensorRT 的 FP16 精度转换中，某些层的激活函数数值范围变化导致输出分布轻微偏移，在小目标的置信度上被放大了。

前两个问题靠采集现场数据做针对性增强解决，第三个问题换回 FP32 或者做逐层精度对比之后就稳住了。这个案例说明一件事：边缘部署最大的坑往往不在芯片本身，而在链路里的数据流和精度取舍。芯片选型只是解决了"算得动"的问题，"算得准"才是更深的学问。

4. 端侧 AI 芯片：把大模型塞进口袋的硬仗

4.1 手机和终端上的 AI 竞赛，比的是 NPU 不是 CPU

如果说 2023 年大家还在争论端侧能不能跑大模型，2024 年已经没人讨论了——因为已经普及了。手机芯片厂商发布新品，不提自家 NPU 跑 LLM 的速度，都不好意思开发布会。苹果从 A17 开始，Neural Engine 规格一路拉高，跑摘要、润色、改写这种模型已经可以本地完成。

这里的核心变化是大模型变小了。4-bit 量化之后，7B 参数模型能压到 4GB 左右，加上 KV Cache 优化和稀疏化技术，手机 16GB 内存完全能跑。骁龙 8 Gen 3 的 Hexagon NPU 集成了专用 Transformer 加速单元，去年开始各家旗舰机都宣称可以本地跑端侧大模型。实测下来，token 生成速度大概在每秒 10~20 token 之间，虽然不能和云端比，但应对智能问答、摘要、表格识别这类轻交互绰绰有余。

我个人的观点：端侧 AI 的重点不是"什么都算"，而是把需要隐私、需要低时延的那部分留在本地，把重活交给云端。这对于 AI Agent 类应用尤其重要——打断对话、用户的个人信息记忆、敏感指令处理，都应该在端侧完成，云端只负责重推理和长文本理解。

4.2 端侧 AI 的芯片选型指标：除了 TOPS 还要看什么

端侧选芯片，大家第一眼都看 NPU 算力 TOPS。但只看这个数字容易掉坑。同样的"20 TOPS"，不同架构在不同模型上的落地表现差距可以达到数倍。我建议关注三个维度：

第一，位宽。很多手机 SoC 的 NPU 写的是 INT8 算力峰值，但跑到大模型用的 4-bit 权重时，性能表现完全取决于硬件对低位宽的支持程度。有些 NPU 要先把 4-bit 重量反量化为 INT8 再算，性能直接打五折。第二，内存带宽。端侧大模型是典型的内存敏感型负载，芯片和内存之间的带宽决定了 token 生成速度的上限，带宽不够算力再强也白搭。第三，算子覆盖。LLM 里的 LayerNorm、Softmax、RMSNorm 这些算子有没有硬件加速，直接影响实际效率，很多 NPU 的数字好看，一跑实际模型就露馅。

做端侧部署时，工具链的成熟度甚至比芯片本身更重要。高通 的 QNN 和 SNPE、联发科的 NeuroPilot、苹果的 CoreML，我至少都会跑一遍。重点关注几个点：支持哪些精度的导出、端侧内存峰值、模型格式转换以后算子是否被正确映射而不是退回 CPU。这些细节在报出来的参数表里根本看不出来，必须实测。

4.3 端侧 NPU 跑 LLM 与视觉任务的平衡之道

端侧 AI 芯片不仅要跑大语言模型，还要跑 CV、音频、传感器融合这些任务。我用过的方案里，一个常见的平衡套路是：语音唤醒和 VAD 常驻在低功耗的协处理器或者 NPU 待机模式下，等唤醒以后再把主力 NPU 拉起来跑 LLM，视觉任务插空跑。这样待机功耗压得很低，用户正常用一天不掉电，需要功能时又能迅速响应。

还有一个开发上的平衡点：内存。端侧内存是芯片外面配的，不是芯片自带，但芯片的寻址能力和低功耗特性决定了你能塞多大的模型。如果目标设备只给了 8GB 内存，那 4-bit 量化后的 7B 模型加上 KV Cache 和系统占用，基本到顶了。想跑更大的模型，换内存更现实，而不是换芯片。

5. 从需求到芯片：跨场景选型的一线经验

5.1 快速判断项目属于哪条线的三个问题

很多朋友问我，手上这个项目到底应该用云端、边缘还是端侧。我给出一套快速判断方法，三个问题回答完，基本能定位到大致方向。

问题一：数据在哪产生？如果数据产生点极其分散，比如全国几千个门店、几万个摄像头，那大概率得上边缘或端侧，否则网络和带宽撑不住。问题二：业务能容忍的时延是多少？如果是毫秒级交互——实时翻译、手势识别、驾驶辅助——绝对不能上云端，必须端侧或边缘。问题三：模型的更新频率和复杂度如何？大模型动不动十几亿参数还频繁更新，边缘端就吃不消，得留云端。

三个问题都答完，你会发现自己项目的归属还挺清楚的。比如一个工业质检项目，数据在工厂车间，时延要求 200ms 内出结果，模型是 YOLO 微调版本，那边缘网关是最合适的。再比如一个文档智能助手，数据是用户私有文档，时延要求高但模型体量大，那就端侧加云端的混合架构，敏感部分本地处理，复杂生成放云端。

5.2 换芯片不是换零件：一定要算迁移总成本

这几年"国产化替代"喊得响，很多团队被要求从 GPU 换到国产芯片。我见到的最大误区，是觉得换芯片和换显卡一样，插上去就能用。实际上算力从 A 平台迁到 B 平台，是一整套软件栈的推倒重来。

举个具体例子，把训练好的 PyTorch 模型从 CUDA 环境迁到国内某家的加速卡上，你需要：第一步，把模型脚本里的 CUDA 调用全部替换成对应芯片的算子接口；第二步，跑算子兼容性测试，找出迭代里用了但对方算子库不支持的操作；第三步，重新做精度对齐，因为不同芯片的浮点行为有差异，训练出来的 GPU 模型在边缘端推理时可能掉点；第四步，模型压缩和推理引擎适配。

这四步每一步都有坑。所以我会在选型早期就确认软件栈的成熟度——算子覆盖、调试工具、模型转换工具、容器支持、还有最重要的一线支援响应速度。这些东西比单卡算力参数重要得多。

5.3 量化与压缩是不可跳过的基本功

最后聊一下所有场景都适用的一个基本工作：模型量化和压缩。这不是某些场景才需要的，而是这个行业的基本功。

端侧部署 7B 模型，不用 4-bit 量化根本塞不下。边缘盒子跑 YOLO，不把 FP16 转 INT8 帧率上不去。云端要做降本，KV Cache 量化能省一半显存。量化涉及的技术点不少——对称量化、非对称量化、GPTQ、AWQ、光滑量化，每样都得会基本操作。

实操层面我给几个原则：量化后必须跑完整评估集，别拿几个样本看了"像回事"就完事；敏感层（比如 attention 输出层）可以混合精度，不必整模型一刀切；量化校准数据集要和真实数据分布对齐，否则校准出来全是偏差。这些原则在不同芯片上适用程度有差异，但大方向完全一致——模型优化做好了，芯片选型的压力就小一半。

6. 常见问题速查与排查思路

我把这段时间在芯片选型和部署中被问得最多的问题整理成一张速查表，基本都是实际踩过坑或者帮人排查出来的点，直接拿走用。

这些问题的共同点是：表面上都像"芯片不行"，查到最后绝大多数是软件栈、数据流或环境的问题。所以排查的时候一定要稳，先定位问题再下结论，别一上来就怪芯片。

最后说一点我自己的体会

AI 计算芯片的选型这个事，做得越久越觉得关键不在于看懂各家参数表，而在于建立"从场景倒推芯片"的习惯。云端、边缘、端侧这三条线，每一条的取舍逻辑都不一样，不存在放之四海皆准的最优解。我见过不少项目，因为一开始选型方向就偏了，后面改了架构、浪费了预算，还得推倒重来。

做选型也好，做部署也好，多花点时间搞清楚业务的数据流、时延预算和功耗限制，比纠结先看哪家厂商的新闻要重要得多。芯片这东西迭代很快，今天的最强明天可能就被反超，但场景的约束是相对稳定的。把思路理清楚，无论后续芯片怎么换，你都能找到那个不后悔的答案。