最近几站跟大模型产业应用城市纵深行跑下来,我听到最多的一个说法是:“我们不是不想用大模型,是找不到一个能用的。”注意,大家说的不是“不够聪明”,而是“用不上”。企业真正在找的,是那个既懂业务、又能上手干活的AI——不是能聊天的那种,是能接进产线、填进表单、跟着流程走的那种。这个需求听起来朴素,做起来却让很多人挠头。这篇文章我就结合这轮城市纵深行里看到的真实场景,聊聊为什么“懂业务、能上手”的AI这么难找,以及到底怎么把它找出来、用起来。
这个活动的模式跟普通技术大会不一样,它不是台上讲PPT、台下玩手机,而是每一站都扎进城市、走进企业现场,把技术方和业务方按在同一张桌子上,对着真实业务流程一点一点拆。几场下来,我最大的感受是:大模型本身的能力早就不是瓶颈,真正的瓶颈全在“接上业务”这件事上。
1. "懂业务"与"能上手"为什么常常是两回事——问题到底出在哪
先澄清一个常见的误解:很多人觉得“懂业务的AI”和“能上手的AI”是一回事,其实它们是两个完全不同的维度。懂业务,意味着这个AI能理解你行业里的术语、流程、规则和潜规则;能上手,意味着它能稳定运行在你的系统里,不会三天两头出幺蛾子,出错了还有人兜底。这两个要求叠加在一起,难度不是相加,是相乘。
1.1 业务侧的怨气:不是模型不行,是“接不上”
我走访的一家制造企业,质检环节积累了十几年的纸质记录和Excel台账,负责人跟我说,他们试过用大模型做质检报告自动分析,模型确实能读懂报告里那些“毛刺”“砂眼”“形位公差”这类专业词汇,理解能力没问题。但真到落地就卡住了:报告在内部系统里是以图片和扫描件形式存的,先要过OCR;过完OCR,表格结构又乱掉,有的字段串行;好不容易把数据提出来,还要跟MES系统的批次号对齐。折腾两个月,光数据清洗就占了一个半。他说:“模型没问题,是我的数据有问题。”
这种情况在走访里太常见了。业务侧的怨气,大多不是冲着模型能力去的,而是冲着“接不上”这三个字。你的系统接口老不老实、数据结构规不规范、权限边界清不清楚,这些看似跟AI无关的“脏活累活”,恰恰决定了一个大模型能不能真正上岗。模型再聪明,喂进去的是坏数据,吐出来的就是坏结果。
1.2 技术侧的委屈:不是不做定制,是“不敢承诺”
另一边,做技术落地的团队也有苦衷。在一次闭门交流里,某服务商的技术负责人说得挺直白:“客户要求AI准确率不低于95%,但业务数据里本身就有大量噪声,连人工标注都对不齐。我要是拍胸脯承诺,后面全是坑。”他举了个例子,客服机器人要识别用户“退款”“退货”“换货”的意图,这三个词在业务口径里是完全不同的流程,但在用户嘴里经常混着用。“我可以说模型理解力很强,但我不能保证它每次都分得清你们家复杂的售后规则,因为规则本身还在按月变。”
这话点出了技术侧的真实处境:大模型厂家擅长做通用能力,越往上走、进入具体行业之后,越是涉及那些“只可意会”的业务知识,模型厂商覆盖不过来,集成商又不太敢碰,最后就悬在半空。不是没人想做定制,是定制这件事的边界太模糊,谁都不敢乱承诺。
我用一个生活化的类比来理解这个局面:大模型像一个知识渊博的顾问,你跟它聊行业趋势、管理方法,它能说得头头是道。但你要是让它直接上手操作你公司的内部系统、替你审核报销单、帮你回复客户邮件,它就抓瞎了——因为它不熟悉你们公司的审批流程、话术规范、权限体系,甚至连你们内部那些缩写词都看不懂。你需要的不是一个更聪明的顾问,而是一个在你公司待了三个月、摸清所有门道的“自己人”。
2. 一线走访的三个真实切片:AI到底卡在了哪一环
城市纵深行每一站都会拆企业真实场景,我把其中三个比较有代表性的案例拿出来,看看AI落地到底卡在哪个环节。你会发现,卡点各有不同,但背后逻辑高度相似。
2.1 某制造企业:质检报告分析卡在“术语词典”上
这家企业做精密零部件,想把过去几年积累的质检记录变成可检索、可分析的知识库。模型选型倒很快,通用能力完全够,真正费劲的是第一步:OCR识别之后的文本清洗。质检报告里有很多特殊写法,比如“R0.4”表示粗糙度,“Ø12.5+0.02”表示直径公差,还有老师傅手写的“圈A”“三角B”这类内部标记,通用OCR根本认不全。他们后来专门建了一个术语词典,把过去几千份报告里的特殊符号、缩写、单位全部枚举出来,再配合规则做预清洗,AI的可用率才从60%提到90%。
这个卡点很有代表性:业务数据里最宝贵的那部分,往往是“非标”的。模型参数再大,也不认识你车间里的一个特殊符号。所谓“懂业务”,第一步往往不是上大模型,而是把业务语言翻译给模型听。这一步只能靠企业内部的人来做,外部团队再厉害,也不可能比你更懂你自己的“方言”。
2.2 某物流公司:客服知识库“能问答”但“不敢放出去”
物流这家很有意思,他们已经把大模型接进了客服知识库,做一个内部问答助手,一线客服输入用户问题,系统推荐回答话术。试点效果不错,组长们觉得回答质量挺高。但真准备放开全员使用的时候,IT负责人拦住了一个问题:“这个回答的依据是什么?如果客服直接照着念,念错了算谁的?”他们内部查了一圈,发现知识库里有32个文档是半年没更新的旧版本,大模型很容易把旧政策当成新政策回答。
后来他们花了近两个月做的事情,不是优化模型,而是把知识库做了一次“版本大扫除”,给每篇文档打上生效日期、适用范围、责任部门标签,再让大模型在回答时强制标注内容来源。在AI前面加了一道“引用溯源”的司法监督关卡。这背后其实是一个很现实的问题:AI不是不聪明,是“不能错”;而业务系统的容错率,决定了它能不能被真正放手使用。技术侧的解法不是让模型更精准,而是让错误更容易被发现、被追溯。
2.3 某零售企业:促销方案生成卡在“多模态输入”上
零售的案例让我印象深刻。他们想用一个AI助手帮门店店长生成促销方案:店长拍一张货架照片发给助手,助手根据库存数据、季节、历史销量生成一张促销建议单。这个场景听起来很酷,但实际落地时,第一个问题就把大家难住了:店长们拍照的姿势千奇百怪,有的斜着拍,有的灯光昏暗,有的货架反光严重,AI根本认不出商品。后来只能强制规定店长按固定角度、固定距离拍照,结果一线反馈:“用得这么麻烦,还不如我自己写。”
这个案例特别说明问题:很多所谓的“智能场景”,是技术团队在办公室里想象出来的。你以为拍照识别很轻松,但真实门店的环境复杂度远超预期。要让它真正可用,要么改造业务流程(规定拍照姿势),要么升级技术方案(增加多模态理解模型,容忍倾斜和暗光),要么干脆放弃这个入口,换一个更简单的交互方式。最后他们选的是第三条路,让店长直接在系统里勾选商品品类,AI只负责生成方案文本,流程朴素,但真能跑起来。
3. 把大模型“塞进”业务流程的关键三步:选型、调优、兜底
看完这些切片,我想把方法论层面的东西单独拎出来说。经过这几站的交流,我逐渐形成一个相对固定的实操套路:任何业务场景要接大模型,都可以拆成“选型—调优—兜底”三步走,每一步都有明确的检查点。这是把AI真正“上手”的核心路径,也是我在相关项目里反复验证过比较稳妥的做法。
3.1 选型:不要先看排行榜,先看你的数据形态
很多团队选模型,第一反应是看参数排行榜、评测分数。但按照我这几次走访的经验,选型的第一参考变量应该是“你的业务数据长什么样”。数据是纯文本,还是包含大量图片、表格、语音?你的场景对实时性要求多高?数据能不能出城(离线部署还是云端调用)?这三个问题问完,选择范围通常就缩小了一大半。
拿表格场景举个例子:如果业务数据里有大量复杂表格,你需要模型能精确读取行列结构,这时候有些通用对话模型反而不如专门的表格理解方案;如果场景是客服问答,知识库更新频繁,那走检索增强(RAG)的路子比频繁微调更划算;如果数据涉及核心工艺参数,那基本就不考虑云端API了,得看私有化部署的权重模型。下表是我在这次活动中整理的一张粗选参考表,供参考:
| 场景特征 | 优先考虑方向 | 主要原因 |
|---|---|---|
| 客服问答、知识库检索,文档频繁更新 | RAG方案 + 商用/开源底座 | 知识更新不用重新训练,成本低 |
| 专业领域强、术语密集、输出格式固定 | 小样本微调 + 业务术语表 | 提升关键术语准确率,控制部署体积 |
| 数据敏感、不能出内网 | 私有化部署权重模型,量力而行 | 满足合规与数据主权要求 |
| 实时性要求极高(毫秒级响应) | 轻量级模型 + 规则兜底 | 控制延迟,防止大模型“空转” |
| 多模态输入(图片、语音、视频) | 升级多模态模型,同时约束输入规范 | 提升交互体验,但也要治输入乱象 |
这张表不追求面面俱到,它的核心意义是:让团队在选型之前先想清楚“我的输入和输出是什么样子的”,而不是先被一个炫酷的演示Demo带偏。
3.2 调优:RAG优先,微调克制
到具体调优环节,我的经验和大多数人相反:能走RAG的,尽量别一上来就微调。RAG的意思是,先把业务知识切片存进向量库,用户提问时先检索最相关的知识片段,再把这些片段塞给大模型作为参考上下文,让它基于检索结果回答。好处是知识更新只需要改向量库,不需要动模型本身。在物流客服那个案例里,他们最终就是靠RAG解决的版本追溯问题,每次知识库更新只跑一次索引,半小时搞定。
那什么时候才需要微调呢?我判断的标准很简单:当“表达方式”比“知识内容”更重要的时候。比如生成固定的质检报告、按严格的公文格式输出、模仿某种特定的文风,这些属于“说话方式”问题,微调效果立竿见影;而“知道某条业务规则是什么”属于知识问题,应该靠RAG来解决。把这两件事混在一起,是最常见的调优误区。我见过一个团队花了大价钱微调模型,最后发现效果还不如直接把业务规则写在系统提示词里,白白烧了一轮算力。
3.3 兜底:让AI学会“认怂”,比让它更聪明更重要
第三件事,也是我觉得最容易被忽略的一件事:兜底设计。所谓兜底,就是当AI不确定、不会做、拿不准的时候,它应该怎么办?我见过太多AI项目死在“迷之自信”上:模型不知道答案,却一本正经地编了一个,业务人员要是没仔细核对,就出事了。
好的兜底设计有三层:第一层是“拒绝层”,模型判断置信度低于阈值时,直接回复“我不确定,建议转人工”,而不是强行给答案;第二层是“校验层”,用规则脚本校验输出格式和关键字段,比如日期格式对不对、金额是否为负数、代码能否编译,不合格就重新生成;第三层是“人工闭环层”,高风险操作(比如自动回复客户、自动生成合同)必须有人工审批节点,AI只做草稿,人来拍板。三层全上,AI才算是真正具备了“可上岗”的资格,因为这时候它即使犯错,也不会造成不可控的后果。
4. 城市纵深行的解法路径:从“模型选型”到“场景共创”
说回这次城市纵深行本身。很多人问我,这个活动跟那些AI峰会、路演到底有什么区别?我的理解是:常规大会解决的是“让人们知道AI能做什么”,而这个活动解决的是“让某个具体企业知道自己的AI怎么落地”。它给出的不是一套通用答案,而是一条可复用的解题路径。
4.1 不一样的形式:走进现场做“诊断”,而非“布道”
每站活动的基本动线是固定的:先走访两到三家本地企业,直接在业务现场看流程、看数据、看卡点;下午再做闭门共创,把技术专家、服务商和企业的业务负责人聚在一起,围着几个真实场景逐条拆解。这种形式天然有一个好处:不给企业留“回去再研究”的借口。讨论必须当场产出结果,哪怕只是一个粗糙的试点方案设计。我印象很深的一次,某企业的IT负责人原本只是打算“听听看”,结果在现场被问到“你们数据接口文档有没有版本管理”,他愣了一下说“这个问题我回去查一下”,带队的专家直接说,那你现在打开电脑查,我们等你。
这种“逼到现场”的节奏,确实比线上沟通高效不少。它把很多“等一等”“再想想”的拖延空间压缩掉了,逼着所有人在当下面对真实问题。
4.2 共创环节里最有价值的“三张清单”
在闭门共创环节,我最推崇的是“三张清单”工作法。第一张是数据清单,列出这个场景涉及哪些数据源、数据质量如何、由谁维护、更新频率怎样;第二张是风险清单,列出AI犯错可能的后果、影响范围、是否需要人工复核、失败预案是什么;第三张才是场景清单,把候选场景按“见效速度”和“实施难度”排个序,选出第一优先级切入点。
这套方法看上去不复杂,但很有实际用处。它的核心逻辑是把“能不能做”的问题,拆成“数据是否支持”“风险是否可控”“场景是否值得”三个子问题。无数项目卡壳,都是因为跳过前两张清单,直接扑到第三张上。很多企业上来就说“我要做一个智能问答”,结果一列数据清单,发现核心数据散落在五个部门,权限都没有打通,这事就根本走不下去。三张清单能帮你在花大钱之前,先花小钱把底数摸清。
4.3 交付方式分层:不是所有场景都需要大动干戈
这几站下来,我还发现一个规律:真正落地的项目,交付方式往往是分层的,而不是千篇一律“上一套大系统”。最轻的方式是“工具化”,比如把大模型封装成一个内部问答助手,接到企业微信或钉钉上,先给少数骨干用,成本低、见效快;中等的方式是“流程化”,把大模型嵌进某个具体业务环节,比如自动生成日报、自动初筛简历,替代一部分重复劳动;最重的方式才是“系统级重构”,比如把整个客服系统、质检流程全部用大模型重做,这种项目周期长、投入大,只适合核心业务场景。
带队的技术专家反复强调一个观点:第一优先级是先让一部分人用起来,哪怕只解决一个小环节,也比憋一个大工程强。因为只有用起来,业务方才会提出真实反馈,技术方才能迭代真实模型。这个逻辑,跟敏捷开发的思想是一致的,但在大模型项目里尤其重要,因为模型效果的好坏,离开了业务反馈根本无从谈起。
5. 从会用到用好:算清楚AI上手的真实成本账
很多企业问“大模型落地贵不贵”,大家问的其实是“我到底要花多少钱才能让它真正干活”。我在这几站交流里发现,大多数人只算了调用费,不算其他账,最后预算超支得莫名其妙。AI上手的成本,至少要分成四块来算。
5.1 显性成本:调用费、算力和人工
显性成本相对好估算:如果走商用API,按token计费,日常问答场景通常可控;如果私有化部署,要买GPU服务器或租用算力,这是一笔不小的固定开销;再加上需要一两个懂大模型应用的开发人员,人力成本也跑不掉。这三块加起来,就是很多人心里的“落地成本”。
但真正容易爆的雷,在后面两块。第一块是数据治理成本,也就是前面说的数据清洗、打标、建术语表。这笔钱非常容易被低估,甚至经常不被计入项目预算。我见过最夸张的一个案例,企业做质检报告分析,数据治理花掉的工时占整个项目70%,模型调用只占20%。你问它AI落地贵不贵,它说贵,但你细看,贵在数据,不是贵在AI。
5.2 隐性成本:效果回归测试与变更管理
第二块隐性成本是效果回归测试和变更管理。大模型不是静态软件,你升级一次底座模型,或者是调整一次提示词,都可能让之前的输出结果发生变化。没有效果回归测试机制,早晚出事故。靠谱的做法是准备一组固定的测试用例集,每次改动都自动跑一遍,对比输出质量。另外,模型改动会牵扯到业务流程相关方的习惯变化,这个“变更管理”的沟通成本、培训成本,也要算进去。
这里我给一张参考的ROI测算框架,四列就可以试用:场景名称、投入成本(含数据治理和回归测试)、预期收益(节省人力时长的折价)、回本周期。按我们的经验,如果第一优先级选得好,大多数项目回本周期在六个月内,但也有选错场景、一年都见不到效果的。差距不在模型能力,而在切入点的选择。
5.3 预算分配的经验比例
聊得多了之后,大家普遍比较认可一个预算分配比例:数据治理占30%-40%,模型调用和部署占20%-30%,效果回归测试和迭代占20%-30%,剩下的才是项目管理和其他杂项。如果预算表里没有数据治理和回归测试这两栏,那这个项目大概率会在中途超支。我把这个比例写在这里,不是拍脑袋,是这轮纵深行里好几个踩过坑的企业用真金白银换来的经验。
6. 我的实操体会:怎么判断一个AI方案靠不靠谱
最后这部分,分享一些我在实践中沉淀出来的判断方法,尤其是怎么在众多供应商和方案里快速识别“真能落地”的和“PPT做得好”的。这几条不能保证你选到最优解,但大概率能帮你避开最离谱的坑。
6.1 五个问题快速筛掉空转方案
跟任何一个供应商聊完后,我都会问五个问题,基本上能筛掉一半以上的“伪需求”方案:
- 请具体描述我的数据是怎么从源头流到模型输入端的,中间经过哪些处理步骤?
- 当模型答错的时候,谁来发现这个错误?发现之后有什么处置流程?
- 你们的方案里,哪些环节是真的用到大模型了,哪些其实是规则、脚本、人工在干活?
- 模型升级之后,你们怎么保证之前能跑通的场景不出问题?
- 给我看一下你们在相似行业里真正上线超过三个月的案例,不看Demo,看运维记录。
我自己的经验是,问完这五个问题,如果对方开始含糊其辞,那不管模型能力多强、演示多么惊艳,都建议慎重。因为第一个问题能看出对方有没有真正研究过你的数据链;第二个问题能看出对方是不是只想着“展示效果”,没想过“如何容错”;第四个问题则直指“模型升级后效果回退”这个最经典的坑。
6.2 一次“看起来很美”的失败教训
这里插一个我们自己的失败案例。早前我们帮某企业做合同审阅AI,模型表现很不错,条款识别、风险提示都挺靠谱,领导人很满意,催着我们尽快全量上线。结果上线一周就出事了:模型把一份补充协议里的“视为同意”理解成了“已同意”,风险等级判错。当时我们没做兜底拒识,导致一份本来该人工复核的合同被系统标注为“低风险”,幸好业务同事复核时发现了。从那之后,我把“兜底设计是否完整”当作上线的硬性条件,宁可晚上线,也不能裸奔。
那次之后我也给了自己两个教训:第一,AI项目的验收标准不能只看“好时候的准确率”,要看“坏时候的误报率”;只需一次误报,业务方对你的信任就会清零。第二,任何时候都要给模型留一条“说不知道”的退路,聪明但不认怂的AI,在真实业务里就是个麻烦制造者。
6.3 一些关于城市纵深行的个人看法
要说这次城市纵深行有没有给“懂业务、能上手的AI在哪里”这个问题一个答案,我的体会是:答案不在某个模型里,也不在某份解决方案里,而在企业和产业服务者的持续碰撞里。AI的能力上限由模型决定,但它的可用下限,是由业务现场的数据质量、流程设计、兜底机制决定的。活动真正起的作用,是把这件事从“企业自己在办公室里想”变成了“一群人在业务现场一起干”。
我特别想给还在观望的企业同行们一个建议:不要总想着等模型再强一点再动手。你等得起,业务等不起;更关键的是,等你真正动手的时候,你才发现数据要治理、流程要调整、团队要培训,每一项都不是一个月能搞定的。真正靠谱的路径,就是挑一个足够小但足够痛的场景,用最小的成本把整条链路跑通,让模型、数据、流程、兜底四个齿轮先咬合起来。转起来之后,再逐步替换更大的环节。
如果你所在的城市也有类似的活动,有机会就去现场看看,最好是带着一个真实的业务问题去。哪怕只是得到一张粗糙的路线图,也比自己在黑夜里摸强得多。就像这次活动里一位参与代表说的,与其问“AI能不能干”,不如问“我们身边哪一个环节,最值得先让AI去干”。把这个问题想清楚,那个懂业务、能上手的AI,其实已经离你不远了。