Day 1:机器学习、深度学习、大模型,到底是个啥关系
很多刚接触AI应用开发的人,第一个卡点往往不是代码,而是被一堆名词直接整懵了。机器学习、深度学习、大模型,听起来像三个近义词,分不清谁是谁,仿佛学了这个忘了那个。更麻烦的是,网上的课程经常把这几个概念混在一起讲,你今天学“机器学习入门”,明天学“大模型微调实战”,回头一看,脑子里只剩一团浆糊。
我本身在中小企业做过几年算法和AI应用落地,也带过不少零基础的实习生。每次新同学入职,我基本上都会先花一个小时,专门把这几个概念之间的“辈分关系”讲清楚。这个“30天从零开始学AI应用开发”系列,Day 1 就先不急着敲代码,我们花一整篇的篇幅,把机器学习、深度学习、大模型到底是什么关系彻底理清。这三者不是并列关系,而是一个层层嵌套、逐步演化的包含关系。你只有把这层关系刻在脑子里,后面29天学任何东西才能找到位置,不至于越学越乱。
1. 机器学习到底在干嘛:从一个“程序不再写死”说起
1.1 机器学习和传统编程的本质区别
理解机器学习最好的方式,是先用传统编程做对比。假设你要做一个垃圾邮件过滤器,传统程序员的思路是写规则:
- 标题里含“免费”两个字,判为垃圾。
- 发件人不在通讯录里,判为垃圾。
- 正文里出现“点击链接”超过3次,判为垃圾。
这个方案能跑,但很快会出问题。垃圾邮件发件人把“免费”改成“免.费”,把“点击链接”改成“点我领福利”,你的规则全废了。你得不停地追加规则,追到后面规则会互相冲突,改也改不动。这就是经典的“规则爆炸”问题。
机器学习解决的就是这件事:我们不手工写规则了,而是把几千、几万封历史上已经知道是“垃圾”还是“正常”的邮件喂给程序,让它自己总结出“看起来像垃圾邮件”的特征和判断逻辑。你给它看到的样本越多,它学到的规律就越接近真实世界。
所以机器学习最朴素的定义就是:从数据中自动归纳规律,并用这个规律去预测新数据。它能替代人类去做很多“看一眼就知道”但“写规则很难”的事情,比如识别一张图里是不是猫、判断一段评论是不是负面情绪、预测一个用户明天会不会流失。
1.2 机器学习项目里真正的工作流程是什么
热搜词里有一个词是“机器学习中的数据处理是什么”,这说明很多初学者卡在了这里。确实,网上大多数教程上来就是数学推导,搞得人以为学机器学习就是学高数,完全偏离实际。真正的机器学习项目,数据处理的比重远大于算法部分。
一个标准机器学习应用流程大概是这样的:
- 明确业务问题:你到底想预测什么?是分类(垃圾/正常)还是回归(房价多少)?
- 采集和清洗数据:把日志、Excel、数据库里的数据捞出来,处理缺失值、去重、修正格式。
- 特征工程:把原始字段变成对预测有用的特征。比如用户注册日期变成“使用天数”,文本内容变成词频向量。
- 选择算法并训练:把带标签的数据分成训练集和测试集,喂给模型学一遍。
- 评估效果:用准确率、召回率等指标看模型在没见过的数据上表现如何。
- 部署上线与监控:模型跑起来之后,还要持续观察效果有没有衰减。
如果你去看一些成熟的机器学习平台,或者用Python的scikit-learn库,你会发现真正写算法训练代码可能就一行model.fit(X_train, y_train),前面80%的时间全花在数据整理和特征设计上。这不是夸张,是我每一个项目都在经历的现实。
1.3 机器学习的三大派别:监督、无监督、强化
机器学习这个学科内部还分了好几个流派,初学者最容易混淆。快速帮你划清边界:
- 监督学习:数据自带标准答案(标签),模型学习输入和输出之间的映射。比如垃圾邮件识别、房价预测、用户流失预测,都属于监督学习。
- 无监督学习:数据没有标签,模型自己找结构。比如把几千个用户根据行为自动分成几类,方便做精细化运营,这叫聚类。把几千维的画像数据压缩成几维方便画图,这叫降维。
- 强化学习:没有静态标签,只有“奖励”信号,模型通过不断试错来学会策略。最典型的就是游戏AI、机器人控制、自动驾驶等复杂决策场景。
对于打算做AI应用开发的人来说,监督学习是你最先应该掌握的,因为它对应着绝大多数业务场景的预测类需求。无监督学习在用户画像和推荐场景也很有用。强化学习前期可以先不碰,等你把前面两项搞熟了再学也不迟。
2. 深度学习为什么是“更深”的机器学习
2.1 神经网络的直觉:从“人工设计特征”到“自动发现特征”
理解了机器学习之后,深度学习就好理解多了。一句话:深度学习就是“用了多层神经网络”的机器学习。
还是拿垃圾邮件举例。传统机器学习有一个绕不开的痛点:你得人工设计“邮件长度”“敏感词数量”这些特征,模型才学得动。这个环节叫特征工程,非常费人、非常吃经验。而深度学习想做的事情是:输入原始文本就可以,模型自己在层与层之间自动提取“哪些词重要”“哪些组合有规律”等高层次特征。它把原来需要人来做的特征工程,用一堆堆叠的神经元自动完成了。
你可以把神经网络想象成一个有多层“流水线”的车间:输入从最左边进去,第一层只看出最基础的原子特征(比如图像的边缘、文本里的字符),第二层把这些原子特征拼接成局部形状(比如眼睛、鼻子),第三层再组合成更整体的语义(比如“这是一张脸”)。每一层都是上一层输出的加工结果,这就是“深度”的意思——层数越多,能学到的特征就越抽象、越强大。
2.2 CNN、RNN、Transformer:不同数据形态催生了不同架构
深度学习不是单指某一种算法,它是一个庞大的家族。不同架构擅长处理不同形态的数据,这点很多人没搞清。
- CNN(卷积神经网络):最早大规模应用在图像领域。它的核心思路是“小窗口扫描”,在每一层只用一小块感受野,然后再逐层扩大感受范围。这样既能减少参数,又能保持空间结构信息。你手机里的人脸识别、拍照搜索基本都有CNN的影子。有意思的是,后来安全领域把二进制恶意软件转成字节序列或灰度图,再用CNN来识别,效果也很好。这就是热搜词里“深度学习模型cnn识别恶意软件”的场景。
- RNN/LSTM(循环神经网络):擅长处理序列数据,比如文本、股票历史K线、语音。它会把上一步的隐藏状态传给下一步,形成“记忆”。但序列太长时容易遗忘,所以后来更多地被下面的机制替代。
- Transformer:2017年出现的架构,核心创新是“自注意力机制”——不是按先后顺序一个一个读,而是一次性看完整段文本,计算每个词和其他所有词之间的关联权重。这个设计让并行计算效率大幅提升,也为后来超大模型的训练铺平了路。可以这么说,没有Transformer,就不会有大模型这个说法。
所以你会发现,深度学习整体上仍然是机器学习这个学科的一部分,只不过它选择了“用神经网络来学习”这条路线,并且在图像、音频、文本、视频等非结构化数据上取得了碾压性优势。
2.3 深度学习和传统机器学习的分工边界
不是所有问题都该无脑上深度学习。这是很多初学者容易走偏的地方。如果你拿到一份公司内部的用户订单表,几百个字段,几万行数据,这种典型“结构化表格数据”,你用XGBoost或者随机森林可能又快又好,甚至不需要GPU。如果用深度学习去硬怼,反而会因为样本量不够而效果变差。
反过来看,如果数据是图像、语音、长文本、视频,传统机器学习基本束手无策——你简直没办法手工设计那几千个特征。这时候只有深度学习能扛得起来。
深度学习兴起还有一个背景是算力的大幅升级。多层神经网络早就有人提过,但以前CPU算不动,后来GPU并行计算普及,加上大数据积累,深度学习才真正爆发。另一个关键词是“激活函数”的改进和归一化技巧的出现,让几十层上百层的网络不再容易“梯度消失”。这些是历史脉络,不是考试重点,但了解了之后你会明白,深度学习不是突然从石头里蹦出来的,它踩在很多前置条件上。
3. 大模型:深度学习家族里突然“开窍”的那一脉
3.1 “大”在哪里:参数、数据、算力三重膨胀
聊完深度学习的机理,终于轮到大模型了。我见过最坑的理解方式是把“大模型”和“深度学习”当成两个平等的东西来对比,比如有人问“我是学深度学习还是学大模型”,这个问题本身就有问题。
正确的关系是:大模型是深度学习家族里,沿着“更大规模”这条路走到极致之后涌现出来的特别成员。它本质上还是神经网络,还是Transformer那一套自注意力机制在打底。那它“大”在哪里?
- 参数更多:一个可能是几百万参数的模型属于“传统深度学习模型”,而一个动辄几十亿、上千亿参数的大模型,哪怕存下来的文件都要几十上百GB。
- 数据更多:大模型的神经权重是在海量文本、图片、代码上训练出来的。比如开源的Llama、Qwen、DeepSeek系列,训练数据的规模基本都是万亿级token。
- 算力更猛:训练一个几十B参数的模型需要几百上千张GPU卡跑上几周甚至几个月,费用几百万人民币起步。这就是为什么真正“预训练”大模型的玩家只有少数大厂和巨头,普通团队根本玩不转。
你可能会问:把参数堆大,效果就会“质变”吗?是的,这就是大模型领域最著名的“涌现能力”。规模没有达到某个阈值之前,模型看起来就像一个笨拙的统计机器;参数规模跨过临界点之后,突然就表现出来一些没被明确训练过的能力,比如把一段描述改写成代码、根据几句提示写出整篇文章、在几步推理里算出正确答案。这个现象没有谁能给出百分之百的理论解释,但工程上已经反复被验证。所以我们现在喊的“大模型”,本质上是深度学习在巨量参数下涌现出通用智能的产物。
3.2 大模型改变了AI应用开发的游戏规则
传统深度学习的应用路径是:我拿到一个具体任务,收集数据,训练一个专用模型,上线。成本高、周期长,而且每个任务都要重新训练。大模型直接把这个范式掀了。
现在一个AI应用开发者的日常,可能根本不写训练代码,而是调API、写提示词、搭检索流程。这背后的关键原因是大模型的“通用性”和“上下文学习”。你给它一段指令,再加上几个示例,它当时就能学会你想要的输出格式,不需要为每个任务重新训练一份模型。
正因为应用方式变了,国内外的技术社区开始大量出现这些热词:“大模型提示词工程与上下文工程”“大模型微调实战”“本地部署大模型让个人电脑智能化”。这些东西看着多,其实归类很简单:
- 提示词工程:不用改模型,纯靠写清楚“你要什么”,引导模型输出好结果。这是零成本最快见效的技巧,也是大多数人入门的起点。
- 上下文工程/RAG:把私有知识库、最新文档截取出来,拼接进模型的上下文里,让它“带着答案回答问题”,解决模型知识过时和幻觉问题。
- 微调:当通用模型效果达不到业务要求时,用几万条你自己的高质量数据,在开源大模型的基础上做小规模二次训练,常见做法是LoRA。它成本比从头预训练低好几个数量级。
- 本地部署:用Ollama、LM Studio之类的工具把开源大模型跑在个人电脑上,数据不出本地,适合对隐私要求高的场景。
从热搜词“windows11部署大模型hermes”“herdsman大模型官网下载”可以看到,现在已经有很多人在折腾“本地跑大模型”。我的建议是,如果你机器配置一般(比如显卡显存8G以内),优先选7B-9B参数量且经过量化的模型,这类模型跑起来负担小,对话和翻译效果也够用。想要效果好一点就上14B量化版,但确保你的内存和显存能扛住。
3.3 什么时候用API、什么时候微调、什么时候本地部署
很多刚入行的人会纠结一个问题:我到底是用别人训练好的模型调API,还是自己微调一个开源模型?我给你一个可以抄作业的判断表:
| 场景 | 推荐方案 | 原因 |
|---|---|---|
| 快速验证产品原型,预算有限 | 调商业大模型API | 效果稳定,按量付费,开发成本最低 |
| 业务涉及敏感数据,不能传外部 | 本地部署开源大模型 | 数据不出内网,可控性最强 |
| 需要特定风格、专业术语、固定输出格式 | 开源模型 + LoRA微调 | 通用大模型不具备你的业务私有知识 |
| 答案依赖实时或私有资料 | 大模型 + RAG检索增强 | 比微调便宜,更新知识只需要换库 |
这是个很实用的判断框架。实际项目里,我见过很多人一上来就花大价钱微调,最后发现数据质量不行、效果提升有限,还不如老老实实做RAG。记住一个原则:工程手段能解决的,不要动不动就训练模型。成本规模完全不是一个量级。
4. 三者的关系图谱:AI、机器学习、深度学习、大模型,到底谁包含谁
4.1 一句话版本和一张实用关系图
看到这里,你现在可以试着用一句话把它们串起来了:
人工智能是学科,机器学习是实现人工智能的一大类方法,深度学习是机器学习中依靠多层神经网络自动提取特征的一支路线,大模型则是深度学习发展到超大参数规模后涌现出通用能力的具体产物。
如果画成包含关系,就是:人工智能 包含 机器学习,机器学习 包含 深度学习,深度学习 里面长出了 大模型。
大模型和普通深度学习之间的边界在哪里?我习惯用三个维度来切:“是否基于Transformer”“参数是否到B(十亿)级以上”“是否出现通用任务能力”。满足三者基本就算大模型范畴了。当然这不是官方精确标准,但对普通人做应用开发时理解技术栈已经够用。
下表方便你收藏,是我给团队新人的常备对比卡片:
| 维度 | 机器学习 | 深度学习 | 大模型 |
|---|---|---|---|
| 核心思想 | 从数据中学习规律 | 用多层神经网络自动提取特征 | 超大规模神经网络 + 海量数据训练 |
| 代表算法/架构 | 线性回归、决策树、SVM、XGBoost | CNN、RNN、Transformer | GPT、Llama、Qwen、DeepSeek这类预训练模型 |
| 最擅长问题 | 结构化表格数据、轻量预测 | 图像、音频、文本等非结构化数据 | 通用对话、写作、代码生成、复杂推理 |
| 开发门槛 | 中等,单机CPU可跑 | 偏高,需要GPU和数据 | 使用门槛低(API),预训练门槛极高 |
| 典型工程工具 | scikit-learn、XGBoost | PyTorch、TensorFlow、Keras | API平台、Ollama、LangChain、LoRA |
4.2 一个典型AI应用开发团队的日常分工
顺着热搜词里“中小自研公司的ai应用开发岗位多吗”这个问题往下说:其实现在很多中小型公司在招AI应用开发岗,但招聘JD上写的往往不是“研究型算法工程师”,而是“会调API、懂提示词、能做RAG、能整合业务系统”的工程型人才。这也是为什么我反复强调,不要被“机器学习难度”吓退,AI应用开发的大部分工作,已经前置到了业务理解和工程集成层面。
在团队里,通常是这样分工的:懂算法的少数人负责专有模型的训练和优化,极度稀缺;其余大部分工程师,负责调用现成的大模型API、搭建业务流程、处理数据、评估效果、做前后端集成。一个人如果能熟练掌握提示词工程、RAG流程设计、基本的数据处理能力,加上一点微调的知识,基本上就能胜任AI应用开发岗的主要内容。这也是30天系列的定位逻辑:我们培养的是能把大模型用起来、用对、落到业务里的人,而不是培养训练万亿参数模型的研究员。
4.3 接下来29天你该怎么走
“30天”听起来很长,其实拆成四周,每天两三个小时,完全走得到入门到实战。结合今天的认知打底,我给一条被不少朋友验证过的路径:
- 第一周:动手“用”大模型。注册一个主流大模型API平台,把对话、翻译、总结、代码生成都玩一遍。同时精读几篇关于提示词工程和上下文工程的文章,然后自己尝试优化一个具体任务的提示词。目标是把“大模型应用开来”这一套手感打出来。
- 第二周:机器学习速通。重点关注监督学习,用scikit-learn跑通一个分类和回归项目,理解训练集、测试集、准确率、过拟合这些概念。不要死磕数学推导。李沐的《动手学深度学习》、吴恩达的机器学习课程,哪个看得顺眼就跟哪个,关键是敲代码。数据处理部分占最大头,建议专门花两天练习数据清洗。
- 第三周:进入深度学习和大模型微调。了解CNN、RNN、Transformer的直观原理,然后跑通一个开源大模型的本地部署(可以设置7B量化模型),有条件再试一次LoRA微调,数据量几百上千条就够体验。
- 第四周:做一个组合项目。这里最推荐做“个人知识库问答助手”,也就是大模型 + RAG:你有几十篇自己的文档,系统先把文档切块向量化,用户提问时检索相关片段拼给大模型,让大模型基于这些片段回答。做完这个,你对AI应用开发的整体理解会成型。
熟悉我的人知道,我比较喜欢推荐两条路线并进:一条是概念,一条是代码。今天这篇属于概念定调,接下来Day 2我们会正式打开编辑器,从一个最简单的API调用开始,让你第一次亲身和“智能”对话。
5. 写在Day 1末尾的两点私货
最后分享点我在实际带人过程中的体会。
一是很多初学者学机器学习会陷入“数学焦虑”,觉得不把矩阵求导、概率论啃完就没法学AI。我自己的经历是,数学很重要,但那是当你准备深入研究训练底层才必须补的。对于大部分人做AI应用开发,先“会用”比先“懂原理”效率高得多。你完全可以在跑通几个项目之后再回过头去补理论,那时候你才知道该补哪块。
二是一个用起来很顺的小技巧:给自己做一张“概念备忘卡”,把文章里的包含关系图和那张对比表保存下来。之后无论你在课程里看到“微调”“RAG”“注意力机制”这些新词,都先往这张卡片上靠一靠,问自己一句:它属于机器学习、深度学习还是大模型应用这个层?靠得多了,知识体系自然就长出来了。这也是我做这个系列的初衷——不要被热词绑架,先建立框架,再去填内容。
今天的内容就到这里,“AI应用开发”这个名词你已经不会再陌生了。Day 2,我们动手跑通第一个大模型API调用,准备好你的开发环境,咱们不见不散。