☰
AI芯片选型没有固定排行榜?从120多种芯片中捞出最合适的
2026/10/20 19:03:25 网站建设 项目流程

今年我给自己挖了个大坑:做一个AI芯片选型调查,第一版表格整理了57种芯片,后来越写越多,最终到了120多种。朋友问我是不是在收集卡种,其实真不是。所有参数拉平对比之后,我才意识到AI芯片选型这件事,根本没有一张固定的排行榜,只有“在你自己约束条件下最合适的搭配”。这篇就聊聊我这份调查是怎么从57种扩散到120多种的,以及当一堆参数摆在面前时,到底该看什么。

如果你是要为某个AI应用选硬件,或者正在纠结训练卡、推理卡、端侧NPU怎么分,又或者只是不想被厂商纸面参数带跑偏,这篇应该能给你一条清晰的筛选路径。内容不涉及具体品牌代指,只看方法本身。

1. 从57种到120多种:一份AI芯片调查的边界是怎么扩大的

1.1 初版调查为什么只有57种

最开始做调查的动力很简单:团队要为一个AI推理项目选设备,我负责把市面上“可能用得上”的芯片拉一遍。第一版表格里只有57种,基本集中在两类:一类是云端AI加速卡里的主流选手,另一类是常见边缘盒子用的SoC。当时觉得这个数量够了,因为AI推理市场翻来覆去就那么几个大平台在供货,芯片名再花哨,本质没跑出几个架构。

但这个数量很快就不够用了。原因也很直接:我开始逐项核对这些芯片在真实负载下的表现,发现一个型号在表格里只占一行,但它在不同场景下的定位可能完全不一样。同一个系列里会有旗舰款、性价比款、低功耗款,不同供货版本又有不同封装和温域。也就是说,光把“型号”列出来不算调查,得把“型号+定位+场景约束”一起放进去才具备可比性。

所以57种只是一个起点。它是我对新一轮AI硬件市场的第一版认知,后来每次发现候选清单里缺了某一类产品,表格就会涨一批。最终到120多种,不是因为我贪多,而是AI芯片的产品线横向切开后,确实有这么多值得记录的位置。

1.2 覆盖范围为什么要超过实际采购清单

很多人会问,你只需要给一个项目选几台设备,干嘛去覆盖那么多?我的看法是:选型调查从来不只是为了买到一块卡,而是为了确认“为什么选这块而不是另一块”。如果候选集里只有5种芯片,最后选出来的结果,往往只是“矮子里挑高个”,而不是真正适合需求的方案。

覆盖120多种还有一个实际作用,就是应对需求变化。AI项目的模型不是固定的:这个月跑检测模型,下个月可能换生成式模型,再下个月客户要的是多路视频流并发。每一次变化,硬件的需求都会重排。但如果你手里的调查表足够宽,重新筛选就只需要改一改权重,而不是从头再查一遍市场。表格从57种写到120多种,本质上是在为一个动态决策集建索引。

覆盖范围也应该大于采购清单,还有一层风险考量。很多AI芯片看起来性能很好,但实际上是demo级的,量产供货、长期维护、软件更新都无法确认。如果只盯着最终能买的卡,就会漏掉那些“现在不能买、但可能下个季度就能买”的潜在选项,也会漏掉厂商的下一代产品线,这些对中长期决策很有参考价值。

1.3 120多种之后,表格怎么排版本

我记得表格中后期被拆成了好几块:基础规格、算力指标、内存规格、功耗与散热、软件生态状态、价格区间与供货情况、评测来源。每个芯片除了型号外,还标注了“所处场景锚点”,比如“云端训练”“云端推理”“端侧视觉”“车规预研”等。这样当我要做某个具体项目的筛选时,就先按锚点切一块子集,再进入深度比较。

表格版本控制也踩过坑。最开始我用一个文件反复改,后来发现数据出现的频次太高,一改就丢。建议用带日期的文件名,每次批量更新就另存一个版本,或者用在线表格保留修改记录。毕竟120多种芯片的数据,不可能一次性填完,它一定是随着调查资料、厂商白皮书、用户实测反馈不断在更新的。

2. 选设备到底该看什么:四个维度拆解

2.1 TOPS、FLOPS这些峰值算力,和真实性能差多少

选AI芯片时,最显眼的参数就是TOPS和FLOPS。但这两个值,看看就好,不能当真实性能来用。TOPS通常指的是INT8精度下的理论峰值算力,FLOPS通常指的是FP16或FP32下的理论峰值。厂商给的都是理想状态下、跑特定算子组合的峰值,真实业务负载很难达到这个数字。

我自己计算时会用一个更保守的估算方式:先算清楚模型需要多少乘加计算量,再除以目标推理耗时,最后加一个冗余系数。比如一个检测模型,前向计算大约需要50GMACs,也就是50G次乘加运算,要求20毫秒内完成。那么对应的整数算力需求大约是50G乘以2,除以0.02秒,得到5TOPS。这里乘以2是因为一次乘加在硬件上通常对应两次操作。真要选型,我会把这个理论值再卡上1.3到1.5倍冗余,因为实际算子效率、内存搬运、模型量化都会吃掉一部分性能。

峰值算力最大的迷惑性在于它不体现操作数的精度分布。一块卡INT8是100TOPS,但你在它上面跑FP16模型,性能可能直接降一半甚至更多;反过来,如果模型量化到INT4,理论上算力还能再涨,但精度损失和算子兼容性又要重新评估。所以选设备第一步,不是看谁的数字大,而是确定你的模型最终要在什么精度下运行,然后再拿这个精度下的有效算力去横向对比。

2.2 内存带宽与容量:决定模型能不能跑、跑得快不快

算力决定了处理器的“心脏”有多强,但决定整套系统能跑多大模型、跑得快不快的,往往是内存子系统。我第一次做筛选时只关注算力,后来被现实上了一课:同样100TOPS的芯片,一块配了高带宽内存,另一块用的是普通内存,跑同一个Transformer模型时,高带宽那个能轻松跑到实时,另一个直接变成幻灯片。

简单估算可以用这条路径:模型权重和中间激活都要驻留在内存里。比如一个7B参数的量化模型,如果是INT8,那么权重占7GB,KV Cache和中间激活再说几GB,单是容量就筛掉了一大批端侧芯片。而带宽决定了每个token生成时,权重能多快被搬运到计算单元。高带宽内存和普通内存的差距不是一点点,而是好几倍。

选型时不要只看存储容量,比如很多人觉得内存越大越好,但实际部署时经常看到某款卡规格看起来很强,实际因为内存带宽太低,大模型跑不起来。我的习惯是,先查芯片的带宽规格,再对照模型的单次推理权重量,估算理论吞吐,再去看算力。容量决定了“能不能装下”,带宽决定了“跑得快不快”,两件事分开看,才不会误判。

2.3 功耗、散热和电源:连续运行才会暴露的问题

设备选型里最容易被低估的参数是功耗。很多芯片纸面性能很漂亮,但峰值功耗同样惊人。更麻烦的是,真实硬件环境里根本不给它跑满的机会。我之前遇到过一个情况,某个加速卡标称性能很高,但部署的机箱电源只能给到60%的功率,结果卡一跑重负载就触发功耗墙降频,性能直接砍到标称值的70%不到。后来排查了很久,才发现不是芯片不行,是供电跟不上。

散热同理。数据中心里服务器风道好,功耗高一点还能接受;但换到边缘机柜、车载环境、桌面小盒子,散热条件变差之后,芯片会频繁热降频。一个实际经验是:看规格参数里的TDP还不够,还要看同系列产品的实测持续功耗,以及厂商推荐的散热方案。我之前整理调查表时,会把每个芯片标注“能否在无主动散热条件下工作”,这个字段在实际部署时价值比很多算力参数都重要。

还有一点容易被忽略,就是整机功耗和电源适配。很多项目选完卡才发现,电源功率不够,又要换电源、换机箱,预算和周期双双失控。建议在初筛阶段就把整机功耗作为强制约束条件,提前规划好供电余量。

2.4 软件生态与易用性:前期不算账后期成本翻倍

这块是我最想提醒别人的部分。AI芯片的硬件指标只是起点,真正的开发周期和交付质量,很大程度上由软件生态决定。主流GPU厂商之所以强,不只是芯片算力高,还因为配套的开发框架齐全,模型转换工具成熟,算子库覆盖广,遇到问题能查到大量解决方案。而一些新出来的AI加速卡,芯片数据很好看,但工具链不完善,支持列表里缺算子,你只能自己写算子或者找厂商定制,开发周期从两天拉到两个星期。

调查表格里我给每个芯片的软件生态打过分,分成几档:完全成熟的、基本可用的、需要深度适配的、只有实验性支持的。这个分数对选型影响极大。还是那句话:硬件只决定上限,软件决定你能用出多少上限。如果团队里没有太多搞底层移植的人,那应该优先考虑生态成熟的平台。

另外,设备后续的固件更新、驱动维护、模型转换工具支持,也要放进调查范围。有些芯片当年很火,过两年厂商转型不更新工具链了,你的项目就得跟着踩坑。所以我在做芯片调查时,会把“最近一次工具链更新”时间记录下来,长时间没动静的,默认优先级降一档。

3. 120多种芯片怎么分类:五条主线盘点

3.1 主线一:云端训练与通用AI计算

这一类的目标是训练大模型或做大规模数据中心的通用AI计算。选这类设备时,最关注的不是单卡TOPS,而是几个更细的点:混合精度支持是否完善,多卡互联的带宽是否够高,集群扩展时的线性效率能到多少。训练任务要跑几天甚至几周,单卡跑得快但互联拉胯的话,多卡协同反而可能更慢。

云端训练芯片通常配套的显存容量和带宽都比较高,因为要喂给大规模数据并行和模型并行。选型上我建议重点看厂商提供的参考集群方案:一个训练任务能扩展到多少卡,扩展后性能损耗有多少,这比单纯看“芯片A比芯片B快20%”更有参考意义。我调查到的很多云侧训练卡,单卡性能都接近,真正拉开差距的其实是可持续运行的稳定性和互联方案。

3.2 主线二:云端推理与专用加速

云端推理芯片是当前市场最卷的赛道,也是我调查表里数量最多的一类。这类芯片通常不追求绝对高精度计算,而是追求单位功耗、单位成本下能跑多少路推理。关注指标主要是INT8或FP8性能、单路延迟、P99延迟、单卡并发路数,以及每路成本。

做推理选型时要避免一个误区:不要只看整卡吞吐,还要看单路延迟。有些芯片批量处理时吞吐很高,但单路请求延迟过大,实时交互场景根本没法用。另一个重点是动态形状支持,也就是模型输入尺寸变化时的性能表现。很多推理芯片在固定shape下优化得很激进,但实际业务里输入尺寸千变万化,性能会明显下降。

3.3 主线三:端侧与边缘NPU

端侧芯片和边缘盒子里出现的NPU,是另一套逻辑。这类芯片通常部署在手机、摄像头、智能终端、边缘服务器上,功耗预算非常紧张,目标是以尽量低的功耗完成持续的AI处理。关注点主要是INT8能效比、内存带宽、工具链对模型结构和量化方案的支持程度。

我做边缘选型时发现,很多端侧NPU的实际表现比纸面参数低很多,原因集中在两点。一是端侧芯片的内存带宽受限,模型稍微大一点,搬运权重的时间就远超计算时间,算力根本吃不满。二是私有工具链支持的算子有限,一旦网络结构里出现Unsupported算子,整个模型就会被拆成CPU和NPU混合执行,速度骤降。所以在端侧选型时,最好拿自己的模型结构去适配,先跑通再谈参数。

3.4 主线四:车规级AI芯片

车规级芯片在调查表里单独列了一类,因为它的决策逻辑完全不同。车规芯片需要满足车规级的可靠性与安全认证要求,比如温度范围、抗震动、供货周期等。而且车端场景通常和低延迟相关,比如自动泊车、辅助驾驶,一次推理失败可能造成实际问题,所以对确定性要求极高。

车规级选型时不能只看算力,还要看芯片是否有足够的供货冗余、是否支持锁步等功能安全机制、以及厂商是否有长期供货承诺。我之前调查过的某车规芯片平台,性能中规中矩,但胜在生态封闭且稳定,目标场景适配度高,最终比一堆高算力芯片更实用。这也侧面说明,不同场景的“最佳芯片”差异巨大。

3.5 主线五:FPGA、自研ASIC与其他异质处理器

120多种里面有不少芯片不是大家熟悉的GPU或NPU形态,而是FPGA、自研ASIC、类脑芯片这类。这类芯片的特点是专用性极强,在特定算子上可能特别快,但通用性很差。FPGA的好处是逻辑可重配,适合算法还在频繁迭代的项目;ASIC则把效率和功耗压到极致,但算法一换,芯片可能直接报废。

对这类芯片,我的建议是先确定你的工作负载是否足够固定。如果模型结构一年内不会大变,ASIC是不错的选择;如果你的项目还处在快速试错阶段,那FPGA或通用NPU反而更划算。不要被某个“特定算子表现特别快”的测试结果迷惑,那只是整个系统里非常小的一段。

4. 实操筛选流程与问题排查实录

4.1 先画负载画像:模型结构、精度、batch、并发、延迟目标

我拿到一个选型任务,不会先看芯片,而是先画负载画像。模型结构是CNN还是Transformer?主要算子是卷积、矩阵乘、归一化还是softmax?模型权重多大,激活量多大?推理目标延迟是多少,P99能不能接受?需要支持多少路并发?工作负载主要是单路大batch训练,还是多路小batch推理?这些问题都用一张表记录,后面所有芯片参数都要往这张表上套。

举个例子,一个端侧视觉检测项目,模型是CNN类,输入分辨率固定,要求端到端延迟30毫秒,整机功耗不能超过3瓦。那么算力需求就能推算出来,模型计算量约600M MACs,延迟30毫秒折算出来约40GOPS,加上冗余,目标芯片至少要有60到80GOPS的实测INT8能力,内存带宽要能支撑完整模型的权重搬运。这么一算,很多看起来“足够”的芯片就会出局。

4.2 用三条硬性约束做初筛:预算、功耗、生态

负载画像画完后,下一步是用硬性约束过滤。120多种芯片不可能逐个实测,这时候需要快速缩小范围。三条硬约束通常是:预算上限,功耗与散热条件,软件生态可接受度。前两条好理解,第三条经常被忽略,吃过亏才知道。

软件生态这条硬约束怎么设?如果团队有一定移植能力,可以把标准放到“工具链基本可用”;如果是纯应用团队,那标准直接设为“支持主流的模型转换方案,且有大量案例可查”。先按这三条硬约束把120多种砍到二三十种,再进入深度对比。这个阶段筛选效率最高,因为这三条都是单一否决项,一票就可以出局。

4.3 实测环节:测什么、怎么测、记录哪些数据

初筛出二三十种之后,不要急着下单,先找可用的开发板或云实例做实测。实测要有统一的基准模型和基准数据,不能只跑厂商自带的demo。我一般会准备三个测试负载:一个小型分类模型、一个中型检测模型、一个偏大一些的Transformer模型,覆盖不同计算特性。精度对齐后,记录FPS和延迟,还有功耗数据。

实测过程中一个容易踩的坑是,很多芯片只有在特定batch size下性能才好看,比如厂商报告的批量处理吞吐是在batch 32甚至更大时测的,而实际业务可能大多是batch 1。所以记录数据时要把batch size、输入分辨率、量化精度、是否开启编译优化这些变量全部固定下来。我习惯用一张统一的表格记录以下字段:模型名、精度、batch、输入shape、平均延迟、P99延迟、吞吐、整卡功耗、温度、实测与理论峰值差距。

4.4 常见问题速查表

整个调查过程下来,有几个高频问题值得单独列出来,刚好也是选型时最容易翻车的点。

症状常见原因排查方式
同一芯片不同项目性能差异巨大算子组合不同,量化方式不同,内存搬运占比不同用自己的模型实测,别移植厂商测试结论
TOPS很高但大模型跑不动内存带宽不足,内存容量不够,算子支持有缺陷先看带宽和容量,再看TOPS
低功耗芯片部署后延迟抖动热降频、动态电源管理、Cache命中率不稳定长时间稳定性测试,检查温度日志
厂商评测数据很好看,实测严重缩水评测用了理想shape和理想batch,还做了静态量化按真实业务参数复测
某个加速卡驱动更新后性能变化明显软件栈在快速迭代,性能和稳定性未必同步固定驱动版本上线,升级前先验证

还有几个实践心得想分享。一是不要太迷信“跑分软件”的结果,那些benchmark和自己业务重合度低的话,参考意义有限。二是在对比多个芯片时,最好用同一套转换工具、同一份模型权重、同一套测试脚本跑完再下结论。三是记录测量条件比记录结果更重要,没有测量条件的数字只是无源之水。

4.5 这次调查后我留下的几个筛选习惯

这份调查做完了,我也养成了几个固定习惯。拿到任何芯片参数,先划掉峰值算力那栏,改成记录“在目标模型、目标精度下的实测性能”;不看内存容量,先看内存带宽和模型权重的比例;不单独看TDP,而是结合整机供电和散热方案一起评估。120多种芯片列下来,最后真正进入实测的不过20种左右,进入决赛圈的可能就三五款,但这三五款是经过完整逻辑链筛出来的,用起来心里踏实。

最后再分享一个我自己调整过的心态:芯片选型调查不是一次性工作,它是需要不断更新的数据库。这份表格从57种写到120多种,几个月后可能又会变成150多种,因为新品在出、老产品在退市,工具链也在迭代。与其追求一次做完,不如把它当成一个随时能拿出来重排的资产。只要我手里的模型负载没变,这个资产就一直在帮我压缩选型决策的时间成本。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询