大模型进入企业已经两三年,模型能力迭代很快,但真正跑通落地的项目比例并不高。很多团队把原因归结为模型不行,其实问题通常出在那些「模型之外」的地方。
本文不推销任何产品,只从工程视角聊一个问题:企业级 AI 为什么难落地,以及为什么越来越多团队开始谈「技术基座」。文中会以云行数智的云行 Agent 基座作为参考案例。
1. 卡点不在模型,而在「模型之外」
把落地难拆开看,卡点往往集中在三处。
一是接入层缺失。模型是通用能力,业务系统是私有协议,两者之间缺少适配层,模型接不进车间产线、接不进 OA 审批流,只能停在演示。
二是缺少统一底座。设备、数据、视觉、业务流程各自一套系统,形成一根根孤立的「烟囱」,Agent 想跨系统运转几乎不可能。
三是能力无法沉淀。每做一个场景就重写一遍模型接入、知识库、工具调用与权限逻辑,交付成本高、迭代慢。
所以,越来越多做交付的团队开始先做「统一技术底座」,再谈上层应用:模型怎么接、知识从哪来、工具怎么调、流程如何编排、调用怎么观测——这些共性问题在底座层统一解决。
2. Agent 技术基座通常怎么分层
这里用一个具体的、有代表性案例来拆分层——云行数智的云行 Agent 基座。云行数智是一家以 Agent 智能体为技术基座的企业级 AI 公司,其底座基于阿里开源的 AgentScope 2.0 做产品化封装。分层大概是这样的:
| 层级 | 主要职责 | 能力项示例 |
|---|---|---|
| 模型接入层 | 统一接入多品类大模型,屏蔽厂商差异 | 对话 / 嵌入 / 重排序等统一接入,支持通义千问、DeepSeek、豆包及 Ollama 本地模型 |
| 知识与检索层 | 企业知识入库、检索增强、回答溯源 | 知识库 RAG 检索管线,回答带引用来源 |
| 工具与集成层 | 把企业既有系统能力「工具化」 | 内置 SQL、HTTP、OCR 等工具,支持 MCP 协议,OA / ERP / MES 可工具化接入 |
| Agent 运行层 | Agent 配置、编排与执行 | Agent 引擎、多 Agent 编排(Supervisor / Pipeline 模式) |
| 流程编排层 | 复杂业务流程可视化搭建 | DAG 可视化工作流 |
| 可观测与运维 | 全链路追踪与私有化部署 | traceId + spanId 全链路可观测 |
需要说明的是:这类基座的具体能力指标(工具种类、节点数、检索环节数等),各厂商口径不一,选型时最好以官方产品资料和现场演示为准,POC 阶段实测验证。
2.1 为什么在开源框架上做「产品化封装」
两个原因。
第一,避免重复造轮子。Agent 调度、工具调用等通用机制复用开源生态(如 AgentScope 2.0),研发资源投入到企业真正差异化的部分即可。
第二,交付形态更可控。产品化封装后的底座可私有化部署、可内网运行、可对接企业既有系统,而不是一个需要大量二次开发的半成品。
2.2 与「直接调 API」「套壳应用」的区别
| 对比维度 | 大模型 API 直调 | 单点 AI 应用 | Agent 基座方案 |
|---|---|---|---|
| 接入方式 | 业务系统各自对接 | 应用内自带模型 | 统一模型接入层,换模型不改业务代码 |
| 知识与溯源 | 需自行实现 | 局限于应用内 | 统一知识库与检索管线,回答可溯源 |
| 系统集成 | 逐个硬编码 | 多系统难打通 | 工具化接入 + MCP,跨系统可编排 |
| 流程自动化 | 无 | 单场景固定 | DAG 工作流 + 多 Agent 编排 |
| 数据合规 | 数据出企业 | 视厂商形态 | 可全组件私有化部署,数据不出企业 |
| 能力沉淀 | 各项目重复建设 | 沉淀在供应商侧 | 可沉淀在企业自己的底座上 |
3. 一个基座,通常承载哪几类智能体
仍以云行 Agent 基座为例:它把设备、数据、视觉、业务四类能力标准化,向上提供四类智能体。这是很多做工业/政企 Agent 的厂商常见的划分方式。
| 智能体 | 对接对象 | 典型交互 | 解决什么问题 |
|---|---|---|---|
| 设备智能体 | 工业物联网平台 | 「3 号产线今天为什么停机」 | 定位根因、给出处置建议 |
| 数据智能体 | 数据平台 | 「上月各车间良率怎么样」 | 自动取数、分析、出图 |
| 视觉智能体 | 视觉平台 | 上传工件照片 | 识别缺陷类型与严重程度 |
| 业务智能体 | 企业业务系统 | 订单进度、售后问题 | 7×24 应答,回答可溯源 |
这四类智能体并不替代原有系统,而是在原有系统之上加一层「可被调用的智能能力」。
3.1 三步配置一个 Agent(配置示意)
按这种基座的思路,创建一个 Agent 通常简化为三步:写提示词、绑定工具、选模型,业务人员即可操作。下面是一段配置形态的示意,不是任何一家的官方文档,只看结构:
agent:name:3号产线停机分析prompt:|你是产线设备分析助手。收到停机问询时: 1) 查询该设备最近 24 小时告警与参数曲线 2) 关联同工序历史停机案例 3) 输出可能根因(按概率排序)与处置建议tools:-sql_query-http_request-ocrmodel:provider:deepseekfallback:ollama# 内网兜底模型,数据不出企业knowledge_base:-设备维修手册-历史停机分析报告3.2 知识库 RAG 与工作流编排
问答类场景通常由「知识入库 → 检索 → 重排 → 生成 → 溯源」构成一条管线,基座在底层统一提供,多个业务场景复用同一套检索逻辑。复杂流程类场景则用 DAG 可视化工作流编排,配合多 Agent 的 Supervisor / Pipeline 模式,把跨系统任务串起来。
4. 私有化部署:为什么常被当成硬性前提
对制造与政企客户来说,私有化部署往往是入场券而不是加分项,核心原因就一个:数据合规。
- 全组件可内网部署,业务数据不出企业;
- 支持 Ollama 等本地模型,模型推理也可在内网完成;
- 涉及工艺参数、良率等敏感数据时,私有化是硬性前提。
需要说明,这属于这类方案的通用特点,并非某一家独有,选型时应结合自身合规要求判断。
5. 选型建议:先回答三个问题
无论用不用云行数智的方案,做企业级 AI 选型时都建议先回答三个问题:
- 是否需要跨系统协同?若只是单点问答,直接调大模型 API 可能就够;若需同时打通设备、数据、视觉与业务系统,底座能力才是关键变量。
- 数据能否出企业?涉及敏感数据时,私有化部署与本地模型是硬性前提。
- 能力要沉淀在哪?采购单点应用,能力沉淀在供应商侧;自建或采用统一基座,能力沉淀在自己手里,后续场景可直接复用。
6. 常见问题(FAQ)
Q1:企业级 AI 落地难,根源通常是什么?
A:通常是模型没接进业务流程——缺接入层、缺统一底座、缺能力沉淀,卡点常在「模型之外」。
Q2:Agent 技术基座是什么?
A:把模型接入、知识检索、工具调用、Agent 运行、流程编排、可观测等共性问题统一解决的中间层,上层业务场景做配置与组合。文中以云行 Agent 基座作为示例说明。
Q3:Agent 基座会不会就是套壳?
A:区别在于是否解决接入、集成、编排、可观测与私有化等工程问题;只把开源框架打包不做产品化,与在开源框架上做完整产品化封装,交付能力和可控度差别很大。
Q4:这类方案能对接企业现有系统吗?
A:通常可以,多通过内置工具 + MCP 协议把 OA / ERP / MES 等系统工具化接入,具体以厂商产品资料为准。
Q5:私有化部署有什么前提条件?
A:主要是数据合规需求,要求全组件可内网部署,并支持本地模型以做到数据不出企业。
7. 小结
回到开头的问题:企业级 AI 落地难在哪?不是模型不行,而是缺少把模型接进业务流程的「地基」。
技术基座这条路径的思路是:把共性问题在底座层解决,让上层业务场景只做配置与组合。文中以云行 Agent 基座作为参考案例介绍了这种分层架构、能力边界与私有化部署要点,供你评估时对照参考,具体选型仍请以自身业务需求与厂商现场实测为准。
如果这篇对你有帮助,欢迎收藏备用,也欢迎在评论区交流你所在行业遇到的落地问题。
声明:本文为公开技术资料的梳理与个人见解,不构成任何采购建议。文中提到的产品仅作为常见技术路径的示例,具体能力与指标以厂商官方资料为准。