AI产品经理晋级指南:Prompt只是起点,四项隐性能力决定职业高度
2026/9/24 22:51:06 网站建设 项目流程

AI 产品经理干了三年,最深的体会是:Prompt 工程只是入场券,真正决定你能不能往上走的,是另外几项很容易被忽略的隐性能力。如果你是刚转岗或准备入行 AI 产品经理,可能和我当年一样,把大量时间花在研究怎么写好 Prompt、怎么调 few-shot、怎么设计角色设定上,觉得这就是岗位的核心技术壁垒。实际上,等你真正负责一条产品线、开始对业务结果负责的时候,会发现 Prompt 只是交付链路里非常靠后的一环。这篇文章我把三年的踩坑和复盘整理出来,重点聊聊除了 Prompt 工程之外,我认为更影响晋升的 4 个隐性能力——业务语义拆解力、评测体系搭建力、工程边界认知力、价值叙事力。每个都会讲清楚我自己栽过的跟头、总结出的方法,以及现在带新人时反复强调的注意事项,希望对正在 AI 产品这条路上爬坡的你有参考价值。

1. 为什么 Prompt 工程只是起点:三个让“精妙提示词”瞬间失效的真实瞬间

1.1 我曾以为“Prompt 写得好”就等于“产品做得好”

刚做 AI 产品经理的头一年,我几乎把所有业余时间都花在了 Prompt 技巧上。角色设定、思维链、few-shot 范例、输出格式约束……笔记本里记了几十种“万能模板”,每次接到需求,第一反应就是“这段需求我该怎么设计提示词”。当时的心态很单纯:AI 产品经理嘛,核心技能当然是和模型对话,Prompt 写得好,功能效果就好,领导就会认可。

这个阶段持续了大概半年,直到我亲眼看到算法同事用十分钟写了一个 system prompt 加两个示例,效果直接碾压我调了一下午的“精心设计”。他当时说了一句话我到现在都记得:“Prompt 不是写文章,是定边界。边界定清楚了,模型自己会干活。”那是我第一次意识到,我对 Prompt 的执念可能跑偏了。

1.2 三个让 Prompt 失效的瞬间

第一个瞬间,是业务规则变化导致 Prompt 反复重写。当时做客服会话摘要,业务方第一次说“要三段式:问题、原因、动作”,我改了一版提示词;第二天说“第二段要加优先级等级”,又改一版;第三天说“客户情绪不好的时候要在开头加一句警告”,再改一版。两周时间里,同一个 Prompt 改了七八版,每一版都是按业务方的口述去堆规则,越堆越长、越改越乱。后来业务方的需求越来越细,我意识到问题不在提示词本身,而在于——业务规则根本不该靠 Prompt 来承载,应该被结构化、配置化。

第二个瞬间,是模型升级后效果滑坡,而我拿不出任何证据。某个功能上线时我花了很大功夫把 Prompt 调到“自认为完美”,一个月后底层模型升级,效果明显变差。我翻出之前的 Prompt 反复微调,也没有恢复到原来的水平。更要命的是,当初合作过的同事问我“到底差了多少、差在哪几个场景”,我答不上来——因为我没有留存一份“可以在每次改动后回放对比”的评测集和基准结果。

第三个瞬间,是老板在评审会上要我讲“价值”。我准备了详细的功能演示,讲了 Prompt 怎么设计、badcase 怎么优化,老板听完点点头,问了一句:“所以呢?这个功能比之前给公司省了什么?省了多少?”我当场语塞。那一刻我才明白,AI 项目的技术细节在老板眼里不是价值本身,价值要能被翻译成业务语言。

1.3 Prompt 工程真正该占的位置

经过这三年,我给 Prompt 工程的定位是:它是 AI 产品经理最基础的能力,但最多只占你精力的两成。什么时候该把知识放进上下文,什么时候该用检索召回,什么时候该用规则兜底,什么时候该转人工——这些判断比“怎么写提示词”重要得多,也是后来让我实现从一个“写提示词的人”向“设计智能系统的人”转变的关键。

一句话总结:Prompt 解决的是“模型怎么输出”,而产品经理真正该解决的是“系统怎么决策”。把精力从前者挪一部分到后者,你会发现晋升的瓶颈不在提示词上。

2. 隐性能力一:业务语义拆解力——把老板的一句话变成模型能执行的任务流

2.1 为什么说这不是 Prompt 技巧,而是问题结构化能力

我见过很多 AI 产品经理(包括当年的我自己)拿到需求后,开口就问“这个功能要用什么模型、怎么写提示词”。但真正成熟的 AI 产品经理会先问一句:“这个业务问题到底是什么?它能不能被拆成几个阶段?”

这里的“拆解”和我们常说的“需求分析”不太一样。需求分析更多是搞清楚用户要什么,而业务语义拆解是更进一步的工程化动作——你要把一句话需求拆成“哪部分适合用模型做、哪部分适合用规则做、哪部分适合走检索、哪部分必须人来做”。这个能力决定了一个 AI 产品的架构雏形,也直接决定你在后续和算法、工程、业务方对话时候的深度。

2.2 我在需求评审时用的“拆解四问”

现在带项目,我要求自己和新人在评审任何 AI 需求之前,先过一遍下面四个问题:

  • 用户到底要完成什么任务?任务的成功标准是什么?——这决定了你后面用什么指标来验收,而不是凭感觉说“效果好”。
  • 这个任务能拆成哪些子任务?哪些适合模型,哪些适合规则,哪些适合检索,哪些必须人工?——不是所有环节都需要大模型。很多场景用规则或简单分类模型更稳、更快、更省成本。
  • 模型的输出要被谁消费?需要什么结构?错误容忍度有多高?——如果是给前端展示,需要结构化 JSON;如果是给用户直接看,要考虑语气和格式;如果后端要用,错误容忍度可能是零。
  • 如果模型做不好,兜底方案是什么?——这是最容易漏掉的问题。模型一定会错,你必须在设计阶段就想好错了怎么办。

这四个问题问完之后,需求基本就清晰了一半。很多人觉得拆解难,其实不是难在不会拆,而是难在“忍住不去写 Prompt”。

2.3 一个例子:把“做一个客服助手”拆成可执行任务流

刚转岗时接到一个需求:“做一个客服助手,用户问问题能自动回答。”当时的我第一反应是“可以,我写个 Prompt,让模型扮演客服”。后来用拆解四问重新走了一遍,整个思路完全不一样了:

  • 任务拆解:用户来客服助手,最常见的是查订单、退换货、问规则。所以先拆成“意图识别”和“答案生成”两条线。意图识别不需要一上来就上大模型,意图类别少的时候,用规则加分类模型又快又便宜;等意图多了再考虑用模型。
  • 知识来源:规则类问题(退货期限、发货时间)要回答得准,不能靠模型“编”,需要走知识库检索,把相关规则原文召回,再让模型按原文改写。这里就引入了 RAG 的思路,而不是把全部规则都塞进上下文。
  • 输出结构:客服助手的输出不只是给用户看的一句话,后台还需要知道它命中了哪个意图、召回了哪条知识、置信度多少,方便后续质检。所以输出必须是结构化字段,而不是一段纯文本。
  • 兜底机制:意图置信度低于阈值时,不硬答,直接转人工。涉及售后争议的,不让模型自由发挥,只给标准规则卡片。

拆完这些之后你会发现,“Prompt 怎么写”只是这个流程里非常小的一一个环节。而这个拆解方案的产出,已经相当于一个初版产品架构了。后来这套拆法帮我快速拿下过很多项目立项,因为评审会上大家看到的不再是“我想做一个智能客服”,而是“系统每个环节怎么运作、模型负责哪一段、错了怎么办、成本大概什么样”。

业务语义拆解力越强,你能接住的需求就越复杂。从“帮我做个问答机器人”到“帮我重构整个售后流程”,背后的差异就是你能不能把模糊的诉求翻译成可以执行的系统设计。

3. 隐性能力二:评测体系搭建力——让“效果不错”从主观感受变成可量化证据

3.1 没有评测体系,AI 项目就是一笔糊涂账

“效果不错”这四个字,听上去最让人安心,实际上最危险。没有评测体系的时候,AI 项目会陷入一种循环:测试发现几个 badcase → 开发改一版 prompt → 那些 badcase 修好了,但没人知道有没有引入新的 badcase → 上线后用户反馈变差 → 重新排查。整个过程全靠感觉和记忆,最后项目变成一笔糊涂账。

我在做第二个 AI 项目时,被老板问过一句:“你说效果不错,有数据吗?”当时我拿不出来。后来花了很大的力气补评测,才慢慢意识到,评测体系其实是 AI 产品和传统软件产品最大的不同——传统功能有明确的输入输出用例,而模型输出是概率性的,你只有靠一套固定的评测集持续跑分,才能知道每一次改动到底是变好了还是变差了。

3.2 我是怎么落地“最小评测集”的

很多团队没做评测,不是因为不想做,而是觉得“做一套评测系统太复杂了”。其实这里有个很大的误区:你不需要一开始就做一个全自动、大规模的评测平台。我实际落地的是“最小评测集”,成本很低,非常实用,步骤如下:

第一步,收集第一批测评样本。100 条左右就够了。来源主要是三个地方:翻历史对话记录(如果是客服场景)、从用户反馈和工单里挑高频问题、找业务方提供他们自己最关心的真实案例。注意,样本一定要是真实的,尽量不要自己编。自己编容易“手抖”,会把复杂场景编得过于简单。

第二步,建立分级标注标准。我们不追求很高的标注一致性,先按三级来:bad(不可用)、ok(能用但不够理想)、good(完整可用)。每一级都要有明确的定义。比如在客服问答场景里,“good”的定义是“答案信息准确、来源正确、语气可接受”;“bad”的定义是“答案与事实不符,或者直接没有回答用户问题”。先让评测的两个人各自标 20 条,然后对一遍,把标准拉齐。

第三步,每次改动都跑同一套评测集。改 Prompt、换模型、调检索参数,都要拿这 100 条跑一遍,记录 bad/ok/good 的数量和具体的失败案例。保留历史结果,方便对比。我习惯用一个简单的表格记录:版本号、改动内容、bad 数量、ok 数量、good 数量、备注(失败案例怎么失败的)。不用开发什么复杂系统,一个表格就够。

第四步,留一份“脏数据”。把最差的那批输入也放进评测集,防止某个改动“看起来整体指标涨了,实际上只是把容易的问题都做对了,最难的还是不行”。这个点很多人会忽略,但后来我复盘时发现,评测集里脏数据的比例直接决定了你上线后的稳定性。

3.3 评测驱动迭代:一次模型替换的实测教训

真正让评测体系成为习惯的,是一次模型替换的实测。当时某个场景计划从闭源模型换成开源模型,理由是成本低。我们菩提跑了一遍评测集,粗略看回复质量还可以,我差点就说“能上”。但把评测结果按场景拆开一看,发现了问题:多轮对话场景里的 good 比例掉得非常厉害,很多 badcase 都是模型在长对话中间丢了前面的信息。进一步排查,是应用层把历史消息截断到了只剩两轮——在以前的模型上这个截断策略还能用,换个模型后直接暴露了。

如果没有评测集,这批功能大概率就直接上线了,上线后才会在真实流量里陆续暴露,而且那时候你没法说清楚“到底是模型问题还是应用层问题”,只能继续拍脑袋调。这次经历让我对评测体系的态度彻底变了:它不是“有空再做”的加分项,而是 AI 产品经理的安全生产线。

注意:评测集不是越大越好,100 条先跑起来,比 1000 条一直没标完强得多。先把“每次改动前跑一遍”变成团队习惯,再慢慢扩充规模和自动化。这个顺序非常重要,很多团队一上来就做复杂平台,最后发现连第一批样本都没攒齐。

4. 隐性能力三:工程边界认知力——懂 RAG、Agent 和上下文预算,才能和算法工程师有效沟通

4.1 AI PM 不需要会写代码,但必须懂这些工程约束

很多人觉得 AI 产品经理不懂技术没关系,“反正有算法工程师”。但实际合作下来,我发现如果完全不懂工程约束,你会在几个地方特别被动:

  • 你提的方案实现成本太高,算法团队直接否定,你又没法判断是“真的做不到”还是“他不想做”。
  • 你设计的交互流程在工程上有隐患,上线之后才爆雷,只能返工。
  • 你无法和工程师一起优化成本,导致项目在成本层面永远踩在悬崖边。

我自己的经验是,AI PM 不需要会写代码,但需要把几个关键工程概念理解到“能算账、能判断边界”的层面。

Token 与上下文窗口。模型一次性能“看到”的内容是有限的,你不能把整本百科全书都塞进去。什么内容必须进上下文、什么内容不该进,这不只是技术决策,也是一个产品决策。很多效果问题,根源不是模型不够聪明,而是“有效信息没进去、噪音全进去了”。

RAG 的基本逻辑。检索、排序、拼接、生成。每个环节都有产品可以介入的参数:召回多少条、相关度阈值多高、拼接到上下文里的模板长什么样。理解这四个字,你就能在效果不好的时候判断:是模型问题,还是检索问题,还是上下文拼得不对。

Agent 的工具调用与编排。现在很多产品不是“问一句答一句”,而是模型决定调用什么工具、按什么顺序执行。你需要知道工具清单和调用权限是产品可以定义的,模型不是万能的,它的判断需要约束。

延迟与成本。一次调用如果多了 1000 token,单个用户感觉不明显,但乘以日活,延迟和成本都会以非常直观的方式体现出来。我心里一直有一句话:AI 产品经理可以不懂模型训练,但必须懂 token 预算。

4.2 一次 Token 预算危机给我的教训

有一段时间做 FAQ 智能助手,产品上想把 200 多篇文档“全部喂给模型”,理由是“这样知识最全,回答更准”。第一版上线后,效果确实还行,但问题来了:每次调用消耗的 token 数非常高,接口延迟从 2 秒涨到了 6 秒,而且模型在长上下文里反而容易“犯糊涂”,偶尔会答非所问。更现实的是,如果按照这个方案放量到全天 5 万次调用,每个月的成本相当吓人——这个方案根本没法健康地大规模跑起来。

我当时的处理方式是先别急着埋冤“工程不给力”,而是跟工程师要了一次调用的真实平均 token 数、每天预计调用量、按不同模型价格算了一笔账:基础方案月成本多高,优化后月成本多低。然后我主动提出一个产品方案:按用户意图先做检索,只把最相关的 3 篇文档片段拼到上下文里,而不是把所有文档都灌进去。工程师照做之后,效果下降非常小,因为本来不相关的文档对生成答案就是纯噪音,延迟和成本却大幅压下来了。

这个案例给我最大的启发是:AI PM 的职责不是“把 Prompt 写漂亮”,而是决定让模型“只看哪些信息”。上下文是一块有限的地皮,怎么分配这块地皮,是产品经理参与做的最重要的决策之一。

4.3 和算法、工程协作时,我会用“算账思维”

和工程师沟通时,我慢慢总结出一个很实用的方式:不要只抛方案和期待,先替他把账算一半。比如不要只说“能不能让回答更准确一点”,而是说“我想控制在单次 1000 token 以内,让准确率从 60% 提到 80%,你看从检索侧还是生成侧做更划算?”先把预算和期望指标给出来,工程师就有明确的方向,而不是大家一起凭感觉讨论。

这套“算账思维”也帮我在成本谈判中拿到过很多支持。成本不只是一个技术问题,更是一个产品取舍问题。你把“什么必须保证”“什么可以妥协”想清楚,工程和算法的配合会顺畅很多。我的口头禅是:先算账,再动手。

5. 隐性能力四:价值叙事力——晋升不是因为做得多,而是因为你让关键决策者“感知”到价值

5.1 晋升的真相:技术和成果本身不会自动说话

在 AI 产品这条路上,我见过不少技术能力很强的同事,做了很多功能,但晋升总是不顺利。回过头看,核心问题不是他们没产出,而是产出的价值没有被关键决策者真正感知到。老板不可能每天都盯着你的工作过程,他只会通过几个关键触点形成判断:项目汇报、周报、复盘、跨部门会议。如果你不能在触点里把工作成果翻译成他能理解的业务语言,那你做了多少事,在他那里就是模糊的。

尤其 AI 项目有自己的难度:模型效果是概率性的,过程问题多,很容易在汇报里变成“我们在调模型、我们在写 Prompt”。这种汇报听起来没有价值感。所以,价值叙事力不是“会写 PPT 忽悠人”,而是把你散落的成果组织成一个让人快速理解“我们解决了什么、产生了什么价值”的故事。

5.2 我沉淀的“价值一页纸”汇报法

被老板问“价值在哪”问怕了之后,我开始强制自己每周更新一张“价值一页纸”,每次汇报都从里面提炼内容。这张纸通常包含五块:

  • 服务对象和问题:一句话说清楚我们解决了谁的什么问题。比如“帮售后团队减少重复问答,让用户不用排队等人工”。
  • 问题规模:量化这个问题的盘子。比如“每天约 5 万次用户咨询,其中 60% 是重复性问题,按一次人工处理 3 分钟计算,每天占用约 1500 人时”。
  • 我们做了什么:两三条,不写技术细节,只写业务动作。比如“上线了智能自助问答,覆盖高频售后问题;接入工单系统自动分类”。
  • 可量化的结果:这是整张纸的核心,必须有对比。比如“自助解决率从 20% 提升到 58%,平均响应时间从 3 分钟降到 10 秒,人工工单量下降约 35%”。
  • 下一步怎么放大:下一阶段计划,要具体一点,比如“把自助问答扩展到 80% 的问题类型,预计再降低 20% 人工量”。

写这一页纸最重要的,是平时就记录,而不是到汇报前临时凑。我给自己定了一个很简单的规则:每周五下午花 15 分钟,把这一周的数据变化、用户反馈里的典型案例、跨部门协作里听到的评价,全部填进这张纸。坚持三个月之后,你会发现素材积累得非常快,每次汇报都是“顺手一整理”而不是“拼命回忆”。

5.3 让业务方替你说好话,才是高阶玩法

价值叙事里还有一层容易被忽略:除了自己讲自己的价值,还要让业务方愿意替你讲价值。这不是什么厚黑学,而是让成果真正嵌到业务方的目标里。具体做法是:每做完一个阶段,主动把成果输出给业务对接人,确保他的周报里能多一条“接入智能客服后,团队重复工作量下降 40%”。当你的成果变成了业务方的业绩,他会在各种场合不经意地提到你做的产品。这种来自业务侧的“他证”,比你自己说十遍都有用。

当然,价值叙事的前提是真实。每个数字都要能回溯到后台数据或者评测记录,汇报前把数据口径、时间范围写在备注里,防止被追问的时候说不清。我自己就吃过一次亏:汇报时随口说了一个转化率提升数据,结果被老板追问口径,当场发现口径没统一,场面非常尴尬。从那以后,我所有汇报数据都自带“来源说明”。

6. 三年踩坑补充清单:还有这些工作细节在关键时刻救过我

6.1 好的 Prompt 也要做版本管理

Prompts 也应当像代码一样做版本管理。以前我用“UI_v13_final2.doc”这种文件命名方式,后来发现根本不行——模型升级之后,当时效果最好的版本可能失效,你需要知道“为什么那个版本当时有效”,才能在最短时间内调整。现在我的做法很简单:一个小表格,记录每个 Prompt 的版本号、改动点、对应的评测结果、当时用的模型版本。这个表格逼着我每次改动前都先想清楚“我要解决的是什么问题”,而不是随手乱试。

6.2 “事实—影响—行动”三段式表达

我在跨部门协作、项目复盘和向上汇报时,基本都用“事实—影响—行动”三段式来表达。先说发生了什么(尽量带数据),再解释这个事实带来了什么影响(对业务、对用户、对项目进度),最后提出我建议的行动。这个表达方式最大的好处是:它逼着你自己先把逻辑理顺,也能最大程度避免在讨论中陷入情绪化拉扯。我带的新人一开始写复盘都是长篇大论,我教他们用这个框架之后,基本都能在一两分钟内把问题讲清楚。

6.3 警惕“技术实验陷阱”

AI 项目的团队很容易陷进一个陷阱:为了优化一个技术指标,不断做实验,越做越深,两周过去了,业务指标没有一点变化。作为 AI 产品经理,你的职责就是盯住核心业务指标,而不只是技术指标。模型准确率从 88% 提到 89% 可能很重要,但更重要的问题是:这个提升对用户的最终完成率有影响吗?如果团队在跑实验的时间超过两周,而业务指标没有动静,我就会主动喊停或者调整方向,因为 AI 项目最怕的不是做不出来,而是团队沉浸在技术实验里,忘了为什么要做。

三年走过来再回看,我的能力成长曲线其实很明显:第一年我在打磨提示词,第二年我在学着拆业务、建评测、算成本,第三年我在想怎么让项目价值被看见。每一步都不是因为某个突发的顿悟,而是被真实项目里的问题逼着往前走的结果。如果你正在 AI 产品经理这条路上,我的建议是:Prompt 工程一定要学,但别把它当成护城河。真正让你能接到更难的项目、让老板放心把更重要的事交给你的,是你能不能把复杂业务拆清楚、能不能拿出可信的效果证据、能不能和工程团队在同一个频道上对话、能不能让所有人看到产品的价值。这些能力不一定写在招聘 JD 里,但它们才是决定你能走多远的隐藏因素。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询