大模型赛道热了两年多,从ChatGPT到开源社区的Llama、Qwen,到国产的DeepSeek、GLM,资本、人才、舆论几乎全被卷进了这场算力和参数的狂欢。但一个很反常识的现象是:大模型越强大,它对物理世界的感知越贫瘠。它能写出以假乱真的行业报告,却不知道你家楼下的土壤湿度是多少;它能生成一段完美的车间质检代码,却看不见产线上那颗螺丝是否拧紧。这中间缺的,不是模型能力,而是从数字世界伸向物理世界的那只手。
这只手,就是AIoT基础设施。
我之所以说它是“被低估的万亿级空白”,是因为现在所有人的目光都在参数、Token、上下文长度上,几乎没人认真讨论一个问题:大模型推理出来的结论,由谁来感知、由谁来执行、由谁来验证?答案只能是物联网终端、边缘算力、传感器网络和云边协同体系。这篇文章我想把这些年观察到的行业逻辑、技术拆解和落地链路完整写出来,结合智慧农业、工业质检、端侧推理这些具体场景,聊聊为什么我认为下一个十年属于AIoT基础设施。
1. 大模型的“失明”问题:为什么大模型困在数字世界里
1.1 语义智能不等于物理智能
先做一个思想实验。你让一个大模型帮你管理一座玻璃温室,它能告诉你番茄生长的最佳温度是22到28摄氏度,能给你背出授粉期的湿度标准,甚至能写一套完整的病虫害防治SOP。但你问它“现在温室里第三号种植槽的土壤EC值是多少”或者“西侧通风窗的步进电机是否卡死了”,它会直接卡住。
这不是模型不够聪明,而是它的训练数据里压根没有“此时此刻、此地此设备”的实时状态。大模型的知识来自公开语料的静态切片,它本质上是一个压缩了人类历史文本的概率模型。它的“智能”是语义层面的,可以理解为一位读过万卷书但从未出过书房的学者——你让它做文献综述,它天下无敌;你让它感知房间里的一氧化碳浓度,它无能为力。
而AIoT基础设施解决的正是一个“感官”问题。传感器负责把物理世界的温度、湿度、位移、振动、图像、气体浓度转化为结构化数据,物联网网关负责把这些数据在正确的时间送到正确的位置,边缘计算节点负责在数据产生的地方完成低延迟推理。没有这套感官系统,大模型就是一个信息孤岛上的天才,一个看得见文字、看不见世界的“数字盲人”。
1.2 幻觉的根源不只是算法,更是数据断点
行业里讨论大模型幻觉,通常归因于注意力机制、训练策略或温度参数。但我在实际项目中感受更深的是另一个维度:当模型对现实世界的状态一无所知时,它只能用语言惯性去补全那些缺失的事实,这就必然产生幻觉。
举个例子,某智慧农业项目最初用云端大模型做灌溉决策,模型给出的建议是根据历史天气和作物模型推算的“基准方案”,看起来逻辑自洽。但问题是,上一小时的强降雨已经把土壤含水量推到田间持水量以上,模型不知道这个实时变化,依旧输出“建议灌水10毫米”。一片汪洋就是这么来的。
这个案例说明,幻觉的核心根源之一是实时数据断点。模型没有连接到物理世界的观测流,就只能靠先验知识去猜。AIoT基础设施恰恰是把传感器流、设备状态流、环境变化流接入大模型的关键管道。没有这个管道,模型的能力边界在所有物理场景中被粗暴地砍掉一大截——它能写好方案,但永远无法验证方案在现实里是否成立。
1.3 从“会说话”到“会做事”中间隔着执行层
大模型目前最成熟的应用是生成内容:写代码、写邮件、画图、做表格。这些任务有一个共同特征——输出本身就是最终产品,边界在数字世界里闭合。但一旦进入物理世界,比如“根据当前墒情自动打开三号电磁阀”,事情就变了:需要设备接入能力、需要协议解析、需要可靠的控制链路、需要执行后的状态回读。
这就是AIoT基础设施中的执行层价值。它由PLC控制器、继电器模组、电机驱动、工业网关等组成,负责把模型推理出的“决策意图”翻译成物理动作。没有这一层,大模型的能力只能停留在“建议”层面,永远无法升格为“行动”。上一个十年我们解决了数据的采集和上云,下一个十年要解决的是决策的下行和闭环验证,这正好是AIoT基础设施最核心的增量空间。
2. 万亿级空白到底“空”在哪:AIoT基础设施四层拆解
2.1 感知层:从一个传感器到一个数字孪生体
很多讨论把AIoT简单等同于“传感器+云平台”,这是严重的低估。真正的感知层不是孤立地采集某一个数据点,而是为一个物理实体建立完整的实时数字映射。比如一个智能温室,感知层不仅包括土壤温湿度传感器、光照传感器、CO₂传感器,还包括风机状态、水肥机运行参数、卷帘电机位置、虫情监测摄像头的图像流。
把这些异构数据在时间轴上对齐、清洗、打上空间标签,形成数字孪生体,才是感知层真正的价值所在。这里面涉及大量的边缘数据治理功夫:传感器漂移补偿、异常值剔除、多源数据时间同步、缺失值插补。很多时候模型效果不好,问题不在模型而在感知数据质量;数据有了物理语义和空间属性,AI决策才有立足点。
2.2 连接层:从“能连”到“连得可靠、连得经济”
连接层是整个AIoT基础设施里最不性感但最致命的一环。消费互联网的“连接”可以被云厂商抽象掉,但工业、农业、城市基础设施场景里的连接完全不是一回事。
举几个实际场景:一个分布在10平方公里范围内的农业基地,用LoRa是否足够?一个年产几十万件的工厂车间,5G专网的成本算得过账吗?地下管廊里的传感器节点靠电池供电,NB-IoT的功耗到底能不能撑住一年一换?这些问题的本质是连接不是“通不通”,而是“在成本约束下稳不稳定、延时可不可控、覆盖可不可能”。
当前连接层的技术栈正在快速成熟:低功耗广域网有LoRa和NB-IoT可选,中高带宽有5G和Wi-Fi 6,新型的Wi-Fi HaLow在穿透力上又有明显升级,卫星物联网也开始从应急走向常态。AIoT基础设施的万亿级空间,有很大一部分会落在连接方案的升级替换上——把原本孤立的哑终端、半人工抄表的离散系统,改造成一张实时在线、全域覆盖的智能网络。
2.3 边缘层:算力下沉的第一站
最容易被低估的层是边缘层。目前行业里有个惯性思维:大模型这么强,放到云端就好了,终端只需要做采集和展示。但物理世界里大量的场景对延迟和隐私有硬约束。
想象一个工厂的安全帽佩戴检测系统,摄像头拍到一名工人未戴安全帽的画面,如果数据要传到云端再返回结果,即便网络条件很好也有几百毫秒的延迟,而且一旦断网整套系统就瘫痪了。更致命的场景是工业机械臂的碰撞检测、无人矿卡的避障控制,延迟超过50毫秒就会出事故。这些场景必须在现场完成推理,边缘计算节点就是为此存在的。
边缘层的形态也非常多元:可以是一块带NPU的开发板,可以是一台工业边缘服务器,可以是智能网关里内置的一颗AI芯片。它们的共同点是:把模型推理能力直接嵌入物理现场,让数据在产生的地方被处理、被决策、被执行。
2.4 平台层:设备、数据与业务的中枢神经
平台层是真正把AIoT和大模型价值释放出来的地方。它要做的事包括:海量设备的接入注册与生命周期管理,设备数据的存储与流式计算,数字孪生模型的维护,以及机器学习模型从训练到部署再到OTA更新的全链路管理。
现在的挑战在于,平台层不仅要处理传统的IoT数据(消息量巨大但单条信息密度低),还要开始编排大模型的调用和部署。也就是说,未来的AIoT平台要同时管两类资源:一类是设备,一类是智能。设备产生数据,数据喂养模型,模型的输出再回到设备执行,这个闭环的编排中枢是平台层。
3. 为什么是“现在”:三股力量同时撞上拐点
3.1 过去的失败与真正的瓶颈
很多人对AIoT的第一反应是怀疑,因为“物联网”这个概念已经提了十几年,从RFID到智能家居再到智慧城市,口号喊了无数轮,似乎也没有等到真正的万亿级爆发。这种怀疑有道理,但需要看到过往失败的共性原因:只有连接,没有智能。
上一波物联网浪潮卖的是“状态可监测”——设备联网,数据上云,人可以在大屏上看到实时曲线。但数据看到了,然后呢?没有智能化的决策,没有自动化的闭环执行,数据只是躺在数据库里的数字,没有产生实际的生产力提升,用户自然不愿意为它持续付费。就好比给一个房间装了无数摄像头,但房间里从来没有一个保安去看屏幕,也不会有任何报警系统,这些摄像头的价值就趋近于零。
3.2 三股力量同时到位
现在的拐点在于三个要素同时成熟了。
第一,AI模型的能力上来了。过去工业场景里做缺陷检测,需要用传统的机器视觉算法为每一个产品型号手工设计特征,三个月一个项目,泛化能力还差。现在有了大模型和迁移学习,用几百张样本就能微调出一个可用的检测模型,时间和成本降低了一个数量级。
第二,端侧算力足够承载推理。即便是1-3B的小参数模型,配合INT8量化之后,已经可以在几十块钱成本的边缘SoC上流畅运行。更复杂的任务可以交给带独立NPU的模组,功耗控制在几瓦以内。算力不再是大模型下沉到终端的门槛。
第三,数据基础设施的铺垫完成。过去十年,无论效果如何,大量的传感器、网关、平台已经被部署到了农田、厂房、园区和城市里,数据通道已经铺好,部分场景甚至已经积累了数年的历史数据。这些数据有了AI加持,立刻就能转化出决策价值,而不必从零开始建设。
4. 标杆场景解剖:智慧农业如何把AIoT的闭环跑通
4.1 从“看天吃饭”到“数据决策”,一个真实技术栈
农业是目前AIoT基础设施最有说服力的落地场景之一,因为它对感知、连接、边缘计算、平台管理和大模型决策的需求几乎一样不缺。就拿热词里提到的“智能灌溉施肥”来做案例拆解。
一个完整的水肥一体化智能系统包含这样的结构:土壤墒情传感器(测含水量和温度,埋在根系层30厘米深处)、气象站(采集降水、风速、辐射、湿度)、水肥一体机(混肥、调pH/EC)、电磁阀组(分区灌溉控制)、边缘控制器(采集和执行)、云端AIoT平台(数据汇聚与模型训练)。大模型在这里扮演的角色是“决策大脑”:根据当前墒情、未来48小时天气预报、作物生长模型和生育期特征,输出“什么时候浇、浇多少、加什么肥、肥水比是多少”的完整策略。
这个策略来自大模型,但真正让它生效的是传感器数据和执行设备。没有墒情传感器,模型只能盲猜;没有电磁阀控制器,模型再聪明也只是一个“种植建议App”。
4.2 量化一下这套系统的真实收益
我见过的实际项目里,一套成熟的水肥一体化系统带来的节水节肥效果通常很显著。以100亩番茄种植基地为例,传统漫灌每亩每次灌溉用水大约60立方米,全生育期灌溉20次左右,总用水量约为12万立方米。智能滴灌配合墒情数据决策后,单次灌溉量可以降低到40立方米以下,同时根据土壤实测含水量跳过那些“不需要浇”的灌溉计划,整体节水率普遍在40%到50%之间。
肥料端的逻辑类似。传统施肥是“按经验撒肥”,过量施肥不仅浪费,还会造成土壤盐渍化。智能系统按作物吸收规律分次配肥,肥料利用率提升30%以上,对土壤环境也是长期的保护。
这里有个容易被忽视的技术细节:墒情传感器的埋设位置和标定方式。埋在10厘米深处和埋在30厘米根区深处读出的数据差异巨大;电容式传感器在不同土质下的电压—含水量曲线也需要现场标定。这个环节做不好,再好的模型也只会“一本正经地算错”。
4.3 大模型在农业场景里的突破:从规则引擎到多模态融合
传统农业智能化项目通常用的是专家系统加规则引擎:设定阈值,低于某个值就开阀,高于某个值就停止。这种方案能用,但非常僵硬。不同生长阶段的需求不同,不同天气条件下同样的土壤含水量的意义也不同,规则引擎靠人工维护上百条规则才能勉强覆盖。
大模型介入后,可以做得更灵活。比如把土壤数据、气象预测、作物图像(叶片颜色、卷曲度)综合成一个多模态Prompt,让模型判断当前作物的水分胁迫状态,再结合生育期模型给出差异化决策。这种方式处理非线性关系和隐性关联的能力远远超过手工规则,而且随着数据积累,模型会越用越准。
5. 端侧大模型与AIoT的融合:模型怎么从云端“沉”到设备上
5.1 云端与端侧的分工逻辑
聊到AIoT基础设施,绕不开端侧大模型的话题。现在搜索热度里“端侧大模型”、“本地部署大模型”持续走高,说明越来越多的人开始意识到不是所有任务都应该交给云端。但真正的问题不是“端侧还是云端”,而是“哪些任务该在端侧做、哪些该上云”。
我的实践经验是遵循一个“三秒原则”:一个决策如果必须在三秒内响应,就一定要放到端侧。安全检测、设备保护、实时控制类的推理全部属于这个范畴。而数据汇总分析、跨设备优化、策略训练这类不追求实时性的任务,则更适合放到云端用大模型处理。端侧和云端不是替代关系,而是协同关系。
5.2 模型压缩是端侧落地的核心功课
端侧部署大模型,最硬核的功夫在模型压缩。目前工业界最成熟的套路是量化、剪枝和蒸馏三件套。以7B参数模型为例,FP16精度下权重占大约14GB内存,绝大多数嵌入式设备根本装不下。通过INT4量化压缩后,权重体积降到大约4GB,配合4GB内存的边缘设备就能跑起来。
实际选型的时候,还需要考虑推理框架的兼容性。目前llama.cpp、Ollama在端侧部署中都表现稳定,GGUF格式的量化模型在嵌入式Linux环境里可以无缝运行。如果用的是带算力的边缘盒子,比如Jetson Orin系列或瑞芯微RK3588平台,还可以借助GPU/NPU加速,把7B模型的推理速度从每秒几个Token提升到每秒二三十个Token,基本具备可用性。
我在边缘设备上跑过一组对比测试,主要看不同配置对推理速度的影响,结果整理如下表:
| 硬件平台 | 模型规模 | 量化精度 | 内存占用 | 推理速度(Token/s) |
|---|---|---|---|---|
| 树莓派5 | 1.5B | INT4 | 1GB | 8-12 |
| RK3588开发板 | 3B | INT4 | 2.5GB | 15-20 |
| Jetson Orin Nano | 7B | INT4 | 4.5GB | 20-30 |
| x86工业电脑 | 7B | INT4 | 4.5GB | 35-45 |
这个表的意义在于:端侧推理不再是“实验室里的玩具”,已经能在真实的工业成本约束下提供可用性能。加上NPU单元的普及,未来这个数据还会继续刷新。
5.3 数据飞轮:AIoT基础设施最独特的竞争力
大模型时代的AIoT基础设施和过去的物联网最大的不同在于,它具备自我进化的能力,这就是数据飞轮。还是以农业为例:智能灌溉决策的每一次执行结果,包括灌溉量、实施后的土壤墒情变化、作物的响应表现,都会作为一条真实样本回流到训练数据集中。下一次模型微调或强化学习时,这些实际反馈就会用来修正决策策略。
一个直接的结果是,部署越久的AIoT系统会越聪明。它不只是“被安装”的一套硬件设施,而是会随着运行时间不断积累领域知识的一套智能体。这种边际效应递增的特性,是纯软件大模型不具备的,也是我判断AIoT基础设施将是下一个十年核心赛道的最重要原因。
6. 谁有机会吃到这波红利:产业链玩家与个人切入点
6.1 产业链上各层级的玩家机会
把AIoT基础设施的产业链展开看,每一层都有明确的机会,市场足够大,容得下大量玩家。
芯片与模组层最直接的机会是端侧AI芯片和通信模组。过去海外厂商在高端GPU上占主导,但端侧AI推理芯片的格局还没有完全固化,国内厂商在边缘SoC、低功耗AI芯片上正在快速追赶。万物互联带来的模组需求是海量的,每一台设备都需要联网和本地推理能力。
运营商与连接服务层的机会来自网络升级。5G RedCap、NB-IoT的持续演进、卫星物联网的补充,会把过去无法覆盖的场景逐步纳入在线网络。连接服务的价值不在于“卖流量”,而在于为行业提供差异化的SLA保障。
云平台与软件层的机会在于AIoT平台本身。现在大家都在关注基础大模型,但很少有人做好“设备接入、模型编排、数据回流”这件事。这里面的技术门槛比想象中高:设备接入协议的碎片化、边缘节点的分布式管理、大规模设备OTA、模型在边缘的持续更新,每一个都是真实的工程难题,也都是巨大的商业机会。
交付与集成层的机会被很多技术人低估,但实际上不可小觑。我见过不少做智慧农业集成的公司,毛利比软件公司还高。行业Know-how本身有很高的壁垒,你光有模型和硬件,不懂农艺、不懂工艺,照样做不出好用的系统。这也正是AIoT和纯互联网最大的区别——它需要下地、进厂、走现场。
6.2 个人如何切入这个赛道
对个人而言,AIoT基础设施是一个难得的职业方向切换窗口。它要求的能力不是单一的大模型算法或嵌入式开发,而是“端、边、云、模”全栈的复合能力。
我的建议是主线学好三门课:第一,嵌入式系统与物联网协议栈(RTOS、Linux、MQTT、Modbus、LoRa);第二,模型压缩与边缘部署(量化、剪枝、llama.cpp、Ollama、TensorRT);第三,云边协同与数据工程(KubeEdge、OpenYurt、时序数据库、流式计算)。
实战落地的路线可以遵循“两条腿走路”:先买一块带NPU的开发板,把一个小模型量化后部署上去,跑通一个实时的视觉检测Demo,这是技术侧的腿;再找一个具体的物理场景,比如家里的绿植自动浇水、办公室的温湿度调控,完整做一遍“采集—上云—训练—部署—闭环控制”的链路,这是业务侧的腿。两条腿都站稳了,这个赛道的入场券就到手了。
6.3 别被“大模型热”带偏,基础设施才是真正的底牌
过去两年资本市场对“大模型”三个字的追捧已经到了近乎迷信的程度。但一个朴素的商业常识是:大模型的边际成本会迅速下降,基础模型的同质化是必然趋势,真正的差异化来自于场景数据的积累和落地能力的深浅。而场景数据从哪里来?从AIoT基础设施来。落地能力靠什么承载?靠AIoT基础设施。
谁掌握了AIoT基础设施,谁就掌握了大模型进入物理世界的入口。这个大方向的确定性,比任何一个单点技术的爆发都更值得押注。
我在实际跟踪和参与这类项目的这几年,最大的体会是:AIoT基础设施不像大模型那样有炫目的演示效果,它藏在温室大棚的控制箱里、工厂产线的边缘服务器里、城市路灯的智慧网关里。它是那种不声不响、但离开它一切智能都悬空的底层系统。如果你在做技术选型或者职业规划,我的建议很直接:大模型是那个让所有人兴奋的大脑,但产业真正缺的是撑起这颗大脑的神经系统。下一个十年,做那个把智能送进物理世界的人,远比在模型榜单上追一个数字更有复利。