版权与内容来源声明
本文为原创整理。文中涉及官方文档、开源仓库、论文与公开报道的内容,均在附表 A 中标注来源;引用官方原文保持原样,不作改写。文中命令、版本号与界面截图以本文成文时的实测/核验结果为准,标注「待验证」的部分请以你本地环境实际输出为判断依据。本文不推荐任何不合规的软件获取方式,也不对任何收益结果作承诺。转载请注明出处。
1. 先别问「哪边更好」,先看两边每天在干什么
1.1 一个具体到不能再具体的岔路口
你在传统技术岗上——Java 后端、测试、运维、数据分析,或者非科班自学进了这行。决定往 AI 走之后,招聘页面上会看到两串关键词:一串是算法工程师 / 大模型算法(听起来是「做模型」的),一串是大模型应用开发 / AI 应用工程师(听起来是「用模型」的)。很多人卡在同一个问题:我该报哪一串?
先把两个词用人话说清:
- 算法岗:改模型本身的人——数据怎么配、模型怎么训、参数怎么调、效果怎么量。
- 应用岗:把训好的模型接进业务系统的人——模型是黑盒,他负责让黑盒稳定、可控、能上线。
1.2 为什么不建议用「哪边更好」来选
「哪边更好」本身没有答案,因为两边的好是不同种类的好。有答案的问题是另一个:哪一边的日常动作,你现有的经验能立刻上手一半?
回答它靠两张表:**表一(第 1.3 节)**是两边「一天在干什么」,**表二(第 4 章)**是两边「被考什么」。顺序不能反——日常决定你每天投入什么;先照面试题挑边,很容易挑到「题能背、活干不动」的方向。
1.3 表一:一天在干什么
| 对照维度 | 算法岗的日常 | 应用岗的日常 |
|---|---|---|
| 主线任务 | 让模型在某个任务上变得更好 | 让模型在一条业务链路里变得可控 |
| 主要输入 | 原始数据、论文、上一轮实验结果 | 业务需求、接口文档、线上日志与用户反馈 |
| 主要输出 | 一个更优的模型或一套训练方案 | 一条能上线的链路和它的评测结论 |
| 最常打开的东西 | 训练脚本、实验记录、评测集 | 接口文档、链路代码、日志与监控看板 |
| 工作节奏 | 一轮实验一轮实验地推进,单轮周期长 | 小步集成、小步验证,单步周期短 |
| 一天里最不确定的事 | 这个改动到底有没有让效果变好 | 这次改动会不会在真实流量上出问题 |
| 交付给谁 | 交给应用侧或平台侧去部署 | 交给业务方和真实用户去用 |
这张表只需要看两列:算法岗的不确定性是「有没有变好」,应用岗的不确定性是「会不会出事」。这是后面所有判断的起点。
2. 表一左边:算法岗的一天怎么排
2.1 数据、训练、调参、评估
- 数据:清洗、去重、构造训练样本。这一步最不出彩,但往往决定效果——模型只在见过的样本类型上稳定。
- 训练:让模型在数据上更新参数。两个词要人话解释:**精度(FP32 / BF16)**指模型内部每个数用多少位来存,位越多越准、越占显存;4 比特量化指把每个数压到只留很少的信息,模型变小、跑得动,代价是精度可能下降。
- 调参:调训练里的旋钮,比如学习率(每步更新迈多大步子)、批大小(一次看多少条样本)。
- 评估:最容易被非科班低估的一件。它不只是「跑一下看看」,而是先定义「什么叫好」,再让这个定义能被别人复算。指标名F1分数就是这类定义的一种:把「找得准」和「找得全」合成一个数,好处是能横向比,代价是掩盖了两者的取舍。
这四步会产生大量中间结果,所以算法岗几乎必然依赖实验记录工具。MLflow 官方文档对 MLflow Tracking 的定位是:一套记录参数、代码版本、指标与产物文件并可事后可视化的 API 与界面;它的组织核心是运行(run,一次代码执行)与实验(experiment,把同一任务的多次运行归到一组)。
2.2 读论文和跑实验:被忽略的两种体力活
非科班常以为算法岗的难点在数学,实际占比很大的两件事是读论文和跑实验。
读论文不是为了把公式全推一遍,而是回答:这个方法能不能搬到我手上的问题上?标准很朴素——它要的数据我有吗?它的改动我这轮做得完吗?
跑实验是体力活加一点纪律:每轮都要说清「改了什么、结果如何、下一步」。没有记录的实验等于没做。
下面是一份实验记录的字段示例,没有在真实训练任务上跑过。
⚠️代码待验证
experiment:"对比两种训练数据配比"# 一次实验的名字runs:# 同一实验下的多次运行(run)-run_name:"baseline"changed:"无,作为基线"# 这一轮改了什么metrics:f1:"记录本轮评测的 F1分数"conclusion:"作为后续对比的参照"-run_name:"mix-b"changed:"调整了训练数据的类别配比"conclusion:"上升则保留,下降则回到基线"next_step:"在留出集上复跑一次,确认不是数据泄漏导致的虚高"最后一行是这类记录里唯一不能省的一行:你要提前写下什么情况算「不算数」。
2.3 一个常见误解:算法岗不等于「天天调参」
调参是动作,不是目标。真正区分水平的,是能不能把一个模糊目标(「回答得更好」)翻译成可复算的评测口径。
这一点在交付环节最明显。论文《Model Cards for Model Reporting》提出的**模型卡(model card)**做法,核心诉求是:发布模型时附一份文档,写清它打算用在哪、性能怎么测出来的、什么条件下表现不好——防止模型被用在并不适合的场景里。算法岗交付的不只是模型文件,还有它的边界说明。
3. 表一右边:应用岗的一天怎么排
3.1 接口集成与流程编排
应用岗日常里最基础的两件事:
- 接口集成:把模型当成远程服务调用,处理鉴权、超时、重试、并发与兜底。听着不像「AI」,但占掉的时间很多。
- 流程编排:把「先检索、再生成、再校验格式」串成一条链路;每一步都可能失败,链路要能告诉你失败在哪一步。
举个例子:返回鉴权失败时,正确动作不是重试到天亮,而是立刻停止、记下请求标识。这条判断是纯工程常识,也是传统技术岗转过来的人最容易占优势的地方。
⚠️代码待验证
一条最小链路的四段与各自的失败面: 取上下文 → 数据源不可用、内容超长 组装提示词 → 模板变量没填全 调用模型 → 鉴权失败、超时、被限流 校验输出 → 结构不合规、答非所问 每一段都要说清:出错时是「硬拦」「降级」还是「只记录」。3.2 提示词、评测与回归
LangSmith(LangChain)官方文档《Evaluation concepts》的定义是:大模型输出是非确定性的(同一输入两次跑结果可能不同),质量因此很难判断;评测就是把「什么是好的表现」拆解开并量化。该文档说明,离线评测有四类用途:基准测试、回归测试、单元测试、回测;其中回归测试可以写成断言——新版本必须在相关指标上优于基线版本,否则不通过。
这也点出了应用岗的核心工作方式:上线前先攒一批带参考输出的题目,上线后让真实流量补题目。该文档建议从人工精选手写的高质量示例起步,先覆盖常见场景与边缘案例,再把线上异常流量转成新示例;这类评测可用常规测试工具(如 Python 生态常见的 pytest)写成,接进既有集成流程。
下面是一份评测样本的字段示例,没有在真实服务上跑过。
⚠️代码待验证
{"输入":"用户原话,不改写成更顺口的版本","参考输出":"只给评测器对照用,不传给应用本身","评判方式":"代码规则 / 人工判读 / 模型打分,三选一并写明理由","停手条件":"哪一类样本连续两轮没有改善,就不再为它投入"}真正需要写进规范的是最后一行。没有停手条件的评测集,会变成一份只增不减、谁也不敢删的负担。
3.3 上线、监控与业务对齐
监控这一层已有相对统一的做法。OpenTelemetry 的生成式 AI 语义约定(semantic conventions,即「给同一类数据起统一的名字」,让不同工具采到的数据能对得上)已独立成仓维护,覆盖生成式 AI 客户端、模型上下文协议(MCP)与厂商特定约定,定义三类信号:跨度(span,一次调用的完整记录)、指标(metric,可聚合的数值,如耗时与用量)、事件(event,值得单独记下的时刻)。截至 2026-10-13 该仓库仍在演进中。它的意义是:你不用自己发明一套日志格式来表达「这次调用花了多久、用了多少 token」。
业务对齐是最不像技术的一份工作:把「模型变好了」翻译成业务方能听懂的一句话。翻译不好的典型症状是:你拿着一堆指标说效果提升,对方只回一句「所以用户会少打几个电话给我吗」。
4. 表二:被考什么
4.1 两类岗位的考察重心
下面这张表是对两类岗位公开职责描述与常见考察方向的定性归纳,不引用任何统计数字,也不指代具体公司的题目。
| 考察项 | 算法岗更看重 | 应用岗更看重 |
|---|---|---|
| 原理与数学 | 模型为什么有效、损失函数、优化过程的直觉 | 知道模型的能力与局限即可,不必推导 |
| 代码能力 | 训练与数据处理脚本的工程规范 | 服务端工程:并发、超时、重试、幂等 |
| 实验素养 | 会设计对照实验、会判断收益是否可信 | 会设计评测集、会判断回归是否通过 |
| 系统设计 | 训练与推理链路的资源规划 | 端到端业务链路的设计与降级策略 |
| 数据工作 | 造训练数据、清洗与配比 | 造评测数据、从线上日志里回收样本 |
| 交付意识 | 交付模型与其适用边界说明 | 交付可运维的链路与其监控口径 |
注意一件事:两边的重叠区是「实验素养」和「数据工作」。重叠区就是后面要讲的迁移枢纽。
4.2 追问的方向不一样
两类考察的差别不在「问什么题」,而在顺着哪条线往下挖。下面的路径是本文构造的示意。
| 类型 | 第 1 层追问 | 第 2 层追问 | 第 3 层追问 |
|---|---|---|---|
| 算法岗路径 | 这个指标是怎么算的 | 提升是在哪一批数据上测出来的 | 如果换一批数据,你预期会怎样 |
| 应用岗路径 | 这条链路是怎么串的 | 中间某一步失败时会怎样 | 你怎么知道这次改动没有把别的地方弄坏 |
两条路径的第三层都能把人问穿,但方式不同:前者考你的结论泛不泛化,后者考你的系统稳不稳。
4.3 一句可以自测的判据
如果你的表达方式是「我做了 A,结果 B 变了」,且能说清 A 到 B 的因果,你更接近算法岗;如果是「我改了 A,系统没有因此坏掉」,且能说清你用什么方式确认了这一点,你更接近应用岗。
这不是能力高低之分,是思维习惯之分。习惯可以练,所以「选错边」的成本远比想象中低。
5. 非科班怎么用这两张表做判断
5.1 先看可迁移资产落在哪一边
非科班转行最怕的不是「懂得少」,而是把已有的资产清零重新开始。下面这张表把常见经验按「在哪一边更值钱」排一遍。
| 你可能已经有的资产 | 在算法岗的价值 | 在应用岗的价值 | 说明 |
|---|---|---|---|
| 业务理解与领域知识 | 中等 | 高 | 知道业务方真正要什么,决定评测题目怎么出 |
| 传统工程经验(鉴权、并发、超时、日志、上线流程) | 中等 | 高 | 应用岗的日常动作几乎全是这些 |
| 数据处理与指标口径经验 | 高 | 高 | 两边都要,应用岗更缺人做评测数据 |
| 领域内的合规与边界意识 | 中等 | 高 | 决定一条链路「能做什么、不能做什么」 |
| 数学与模型原理的深度 | 高 | 中等 | 算法岗的入场券,不是应用岗的 |
| 论文阅读与复现经验 | 高 | 中等 | 算法岗靠它跟进方法,应用岗靠它判断能不能用 |
判据:把上表里你「高」的那几行圈出来,看它们集中在哪一列。集中在右边,先走应用岗是顺着势走;左边也有好几行「高」,那你两边都能试,只是顺序问题。
5.2 再看岗位供给与自己的时间预算
这一节只做定性判断,不给任何数字,因为数字会过期,判断方式不会。
- 入口宽窄:应用岗的职责项里工程能力占比更高,从传统技术岗切过去更直接;算法岗更看重「你之前做过什么跟模型相关的事」。
- 可拆解程度与容错:应用岗的链路能一段段交付(先跑通调用、再加评测、再加监控),适合碎片时间;算法岗一轮完整实验需要连续时间块。要尽快有一条能讲清楚的经历,先从能小步交付的一边入手。
一句话:时间预算决定的是「先做哪一边」,不是「永远只能做哪一边」。
5.3 一张判断清单
| 序号 | 自测问题 | 答「是」偏向 |
|---|---|---|
| 1 | 我能不查资料说清一个业务指标的口径怎么算 | 应用岗 |
| 2 | 我遇到线上问题的第一反应是「先止损,再定位」 | 应用岗 |
| 3 | 我愿意为一个结论去手写一批带参考输出的题目 | 两边都需要 |
| 4 | 我读到一个方法时,会先想「它的收益在什么条件下成立」 | 算法岗 |
| 5 | 我能接受一件事连续几周没有可见产出 | 算法岗 |
| 6 | 我更愿意做「把已有能力用稳」而不是「把能力推高」 | 应用岗 |
| 7 | 我手头已经有能直接拿出来讲的项目或成果 | 先看它落在哪一列 |
第 7 条必须先答。先清点资产,再谈方向;顺序反了,容易选到一个自己其实进不去的方向。
这份资料是什么:「大模型学习路线图」把从零基础到能自己动手做 Agent 的路径按阶段拆开了,每一阶段都写清了要练的动作,正好可以拿第 5.3 节的清单先给自己定位、再挑起点。放在资料包里,扫码即可获取:
6. 三个容易被说错的地方
6.1 应用岗不等于「只会调接口」
「只会调接口」的错,在于把应用岗的浅水区当成了全部。这张表把两档分开。
| 同一件事 | 浅水区(能做出来) | 深水区(能做稳) |
|---|---|---|
| 调模型接口 | 能拿到返回结果 | 分得清哪些错误可重试、哪些必须立刻停 |
| 写提示词 | 能跑通一个例子 | 能说清这个提示词在哪些输入上会失效 |
| 做评测 | 手动看几条觉得还行 | 有固定评测集、有回归断言、有停手条件 |
| 上线 | 本地跑通 | 有降级策略、有监控口径、有回滚路径 |
深水区里没有一行需要你写训练代码,但每一行都需要长期积累。这也是应用岗不是「临时跳板」的原因:它自己有一条完整的纵深。
6.2 算法岗也不是唯一的技术上限
把技术上限等同于「改模型」是一种错觉。技术上限的本质是你能解决别人解决不了的问题,而这类问题两边都有:算法侧是「现有方法就是不行」,应用侧是「这条链路在真实流量下就是不稳」。
应用岗的深水区还有个特点:离业务更近,反馈更快——不是说它更容易,而是同样时间里你能试更多次。
6.3 两边之间可以迁移,枢纽有两个
两边不是两条平行的河,它们之间有两座桥。
- 桥一:评测。算法岗用它判断「模型改动有没有让它变好」,应用岗用它判断「链路改动有没有把它弄坏」。动作同构,只是对象不同,习惯可以直接搬。
- 桥二:数据。算法岗造训练数据,应用岗造评测数据;构造纪律相通——先定义「好」,再覆盖常见与边缘情况,最后留出只用于验证的那部分。
支撑两座桥的工具也是同构的:MLflow 用运行和实验组织一次次训练尝试,LangSmith 用示例、数据集和实验组织一次次评测尝试,两边都支持并排比较多个实验。命名不同,干的却是同一件事:把「好不好」变成别人也能复算的东西。
7. 选错一边的沉没成本,体现在哪里
7.1 沉没成本不是「时间花了」
时间花了不算沉没成本——时间在任何一边都会花掉。真正的沉没成本是下面三件事。
| 沉没成本的形态 | 具体长什么样 | 为什么难挽回 |
|---|---|---|
| 知识是点状的 | 名词知道一堆,连不成一条能跑通的线 | 点状知识在简历上无法自证 |
| 动作不可迁移 | 练的是「怎么点按钮」,不是「怎么判断」 | 换一套工具就要从零开始 |
| 拿不出一条闭环 | 只有学习记录,没有可演示的成果 | 对方无法验证你的能力边界 |
第三行最要命。「学过」和「做过」之间的差距,靠再学一门课是补不上的。
7.2 三个把成本压到最低的动作
这三个动作的共同点是:都可撤销——做完之后你换方向,前面的投入仍能带走一部分。
动作一:两周做一个小闭环,不求大。选一个真实存在的小需求,从输入到输出全部打通,哪怕只覆盖一种输入类型;价值不在成品,而在你被迫做了取舍。
动作二:先交出「可演示的过程」,再谈方向。演示的不是效果,而是你怎么判断它有没有做好——判据是什么、什么情况下你会认输。
动作三:评测先写,方向后定。先为手上的任务写几张带参考输出的样本,再想「要不要深入算法」;写评测会自动告诉你:你更享受「把标准想清楚」,还是「把方法改到更好」。
三者连起来就是一条可撤销的起步顺序:写样本定义「好」→ 跑通最小链路 → 记下第一轮基线 → 每次只改一处看变化方向 → 写成一份能给别人看的说明。任何一步做不下去,说明你缺的是那一步对应的能力,而不是「你不适合 AI」——卡住的位置本身就是诊断结果。
7.3 三个月后的四个检查点
走完三个月,用四个问题给自己做体检;答不出任何一个,方向就需要重新校准。
| 检查点 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 评测口径 | 能用一句话说清「好」的定义 | 只能说「感觉还行」 |
| 取舍记录 | 记得住放弃过什么、为什么 | 只记得学过的名词 |
| 失败经验 | 能讲出一个具体的失败场景与停手判断 | 讲不出任何失败 |
| 迁移资产 | 换一边后,之前练的至少两成直接可用 | 换一边等于从零开始 |
第三个最反直觉:能讲清失败的人,通常比只能讲成功的人更可信,因为失败场景无法从教程里抄。
到这里,两张表就用完了:表一说明两边每天在干什么,表二说明两边被考什么;可迁移资产决定你先走哪边,评测与数据这两个枢纽保证你随时能换边。方向不是选出来的,是先小步验证出来的。
这份资料是什么:「AI 大模型知识库」里有 Agent Skills 从入门到落地的专题,讲的是怎么把一件事的输入、输出和边界写清楚——和本章「先定义标准、再谈方法」是同一种思路。放在资料包里,扫码即可获取:
附表 A:本文引用事实与出处对照表
| 序号 | 事实 | 出处(文档名 + 发布方 + 链接) | 本文位置 |
|---|---|---|---|
| 1 | 「人工智能训练师」职业定义:使用智能训练软件,在人工智能产品实际使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业的人员;含数据标注员与人工智能算法测试员两个工种 | 《人工智能训练师国家职业技能标准(2021 年版)》,人力资源社会保障部、工业和信息化部批准,https://www.mohrss.gov.cn/xxgk2020/fdzdgknr/rcrs_4225/jnrc/202112/W020211227626977039770.pdf | 第 2.1、3.2 节 |
| 2 | 「人工智能工程技术人员」职业定义:从事与人工智能相关算法、深度学习等多种技术的分析、研究、开发,并对人工智能系统进行设计、优化、运维、管理和应用的工程技术人员;分级设五个职业方向,含「人工智能应用产品集成实现」 | 《人工智能工程技术人员国家职业技术技能标准(2021 年版)》,人力资源社会保障部办公厅、工业和信息化部办公厅,https://zsgx.mohrss.gov.cn/uploads/2024-10-24/人工智能工程技术人员国家职业技术技能标准.pdf | 第 1.1、1.3 节 |
| 3 | 大模型输出是非确定性的;评测(evaluation)是把「什么是好的表现」拆解并量化;离线评测用于基准测试、回归测试、单元测试与回测 | 《Evaluation concepts》,LangSmith(LangChain)官方文档,https://docs.langchain.com/langsmith/evaluation-concepts | 第 3.2、6.3 节 |
| 4 | 回归测试可以写成断言:新版本必须在相关指标上优于基线版本,否则不通过 | 同上,LangSmith 官方文档《Evaluation concepts》 | 第 3.2 节 |
| 5 | 评测数据集的推荐起点是人工精选手写的高质量示例,先覆盖常见场景与边缘案例;可用常规测试工具(如 pytest)编写并接入既有流程 | 同上,LangSmith 官方文档《Evaluation concepts》 | 第 3.2 节 |
| 6 | MLflow Tracking 是记录参数、代码版本、指标与产物文件并可事后可视化的 API 与界面;组织核心为 run(一次代码执行)与 experiment(把同一任务的多次运行归组) | 《MLflow Tracking》,MLflow 官方文档,https://mlflow.org/docs/latest/tracking.html | 第 2.1、6.3 节 |
| 7 | OpenTelemetry 的生成式 AI 语义约定已独立成仓维护,覆盖生成式 AI 客户端、模型上下文协议(MCP)与厂商约定,定义 span、metric、event 三类信号;该仓库仍在演进中 | open-telemetry/semantic-conventions-genai 仓库,OpenTelemetry,https://github.com/open-telemetry/semantic-conventions-genai | 第 3.3 节 |
| 8 | 建议发布模型时附一份模型卡,写清模型的预期用途、性能评估程序与相关说明,以避免模型被用于并不适合的场景 | 《Model Cards for Model Reporting》,Margaret Mitchell 等,arXiv:1810.03993,https://arxiv.org/abs/1810.03993 | 第 2.3 节 |
| 9 | 本文的表一、表二、可迁移资产表、判断清单、浅深水区表、沉没成本表,以及第 4.2 节追问路径与第 7.2 节起步顺序,均为本文整理的对照框架与示意结构,未经过对照实验验证,待验证 | 本文整理 | 第 1、4、5、6、7 节 |
附表 B:术语速查表
| 术语 | 一句话解释 | 在本文哪里用到 |
|---|---|---|
| 算法岗 | 改模型本身的人:数据怎么配、模型怎么训、参数怎么调、效果怎么量 | 第 1.1、2、4 节 |
| 应用岗 | 把训好的模型接进业务系统、并让它稳定可控地跑起来的人 | 第 1.1、3、4 节 |
| 接口集成 | 把模型当成远程服务调用,处理鉴权、超时、重试、并发与兜底 | 第 3.1 节 |
| 流程编排 | 把取上下文、组装提示词、调用模型、校验输出串成一条链路 | 第 3.1 节 |
| 评测(evaluation) | 先把「什么叫好」定义清楚,再让这个定义能被别人复算 | 第 3.2、6.3 节 |
| 回归测试 | 断言新版本在关键指标上优于基线,否则不通过 | 第 3.2 节 |
| 迁移枢纽 | 换方向时能让之前的积累被带走的两个抓手:评测与数据 | 第 6.3、7.3 节 |
写在最后:这篇用到的资料
写这篇文章时,把相关的官方文档和源码又翻了一遍,顺手也整理了几份配套的东西:
- 大模型学习路线图:从零基础到能自己动手做 Agent,按阶段说明每一步该学什么、哪些可以先跳过
- 《LangChain + LangGraph + MCP 智能体开发实战》视频课:7 个模块,从私有化部署、Embedding+RAG 到 MCP+Agent 全流程
- AI 大模型知识库(在线可查):Agent Skills 从入门到落地、Claude Skills 完全指南等专题,按目录浏览即可
- 640 套 AI 大模型行业报告 + 经典 PDF 书籍:看行业落地案例和别人怎么做的时候用得上
- 大模型零基础到精通教学视频:跟着敲一遍,比只读文档快得多
资料是我自己整理的,放在下面这个码上,扫码即可获取:
添加时备注「AI」,优先通过。
资料按「先路线、再动手、最后查漏」的顺序整理好了,建议先看学习路线那一份,照着它挑一条适合自己当前基础的路径再往下看。