☰
AI发展历程与底层原理:从机器学习到大模型的系统解读
2026/10/13 5:16:10 网站建设 项目流程

这几年,人工智能几乎成了每个技术聊天群、甚至家庭饭桌上的高频词。但坦率讲,多数人对AI的认识还停留在“它能画画、能写代码、能聊天”的应用层面,一旦追问“它为什么能做到这些”“底层原理到底是什么”,能讲清楚的人少之又少。作为一个从机器学习入门、跟着深度学习浪潮走到大模型时代的从业者,我一直觉得,把人工智能发展历程和底层原理放在一起看,才是理解这门学科最有效的方式。历史告诉你技术为什么长成今天这个样子,原理告诉你它到底是怎么运转的。这篇文章我不打算写成教科书,而是用我这些年踩过坑、做过项目之后沉淀下来的理解,把这两个维度完整梳理一遍,希望对正在入门或想系统补课的你有点实际帮助。

1. 一个“老生常谈”的话题,为什么值得再拆一遍

1.1 从表象到本质:AI热背后的认知断层

过去一两年,AI产品迭出的速度让人觉得技术突飞猛进,但真正懂行的人都知道,今天这波爆发不是凭空冒出来的,而是几十年积累之后的集中兑现。问题在于,市面上的信息大多只讲“最新效果”,不讲“怎么来的”和“为什么这么做”。这就造成一种很常见的认知断层:大家知道大模型能生成文章,却不知道生成式AI和传统判别式AI的区别在哪里;知道神经网络很强大,却说不清它和“函数拟合”之间是什么关系。

我见过不少朋友兴致勃勃买了一堆AI相关的书,翻了几天就放弃了,原因是直接看底层原理容易被符号、公式劝退,直接看应用教程又觉得心里没底,遇到问题不知道怎么排查。这个尴尬恰恰说明,发展历程和底层原理不是两个可以割裂的知识模块——它们是一体的。了解一段技术为什么失败、为什么复兴、为什么换了个思路,能帮你理解今天那些看似神奇的模型为什么是“这个形状”,而不是别的形状。

1.2 这篇内容讲什么、适合什么人

我会按两条线展开:一条是历史线,从图灵测试到达特茅斯会议、两次寒冬、统计学习复兴、深度学习革命,再到Transformer带来的生成式大爆发;另一条是原理线,讲清楚机器学习的三要素、神经网络怎么通过损失函数和梯度下降完成“学习”、反向传播到底在做什么,以及卷积和注意力机制这两种代表性架构为什么能各自称霸一方。

适合的读者很明确:第一类是想系统建立AI认知框架、不满足于只会调API的人;第二类是已经学过一些机器学习碎片知识、但缺少串联的初学者;第三类是做产品、做技术选型,想搞明白“大模型靠不靠谱”“深度学习适合解决什么问题”的决策者。不需要高深的数学基础,我会尽量用生活化的类比把核心逻辑讲透。

2. 发展历程:几轮起落教会我们的事

2.1 起点不是“机器人”,而是“能不能让机器思考”

人工智能的源头,通常要追溯到20世纪中期。当时计算机刚问世没多久,一批数学家、逻辑学家和工程师开始认真思考一个问题:机器能不能模仿人类智能?其中标志性的思想实验就是“图灵测试”——如果一台机器能在对话中让人类无法分辨它是人还是机器,那么我们就应该承认这台机器具备智能。

现在回头看,图灵测试的意义不在于它本身是否科学,而在于它确立了一个“以行为判断智能”的评判思路。这个思路深远地影响了后来AI的发展方向:大家不再执着于造一个长得像人的机器人,而是专注于让机器完成需要智能的行为,比如下棋、翻译、识别图像。另一个重要的早期铺垫,是神经网络概念的雏形——一种模仿生物神经元连接方式来设计计算结构的想法,后来发展成今天深度学习的基础。只是当时计算机太弱,这些想法只能停留在纸面和极小的实验规模上。

2.2 达特茅斯会议与第一次热潮:理想很丰满

1956年,达特茅斯会议上正式使用了“人工智能”这个术语,成为学界公认的AI起点。会议聚集了一批年轻学者,他们乐观地认为,用一个夏天就能解决让机器具备智能的核心问题。这种乐观并非没有依据:当时已经有人写出能证明数学定理的程序,也有人做出简单的跳棋程序,而感知机——一种单层神经网络模型——已经被证明能够学习简单的模式分类。

那个时期的主流路线是符号主义,思路非常“理工男”:把知识写成逻辑规则,让计算机一步一步推理。人怎么解题,就怎么给机器写规则。这套思路在解决封闭问题时表现不错,比如逻辑游戏、数学定理证明,但一遇到现实世界的模糊性就立刻露馅。识别一张照片里的猫,你没法用几千条规则穷举猫的所有形态。更重要的是,感知机被证明无法处理异或这类简单但非线性的问题,这个结论让很多人心灰意冷。资本和政府资金开始撤出,第一次“AI寒冬”到来了。

2.3 专家系统与第二次寒冬:规则玩不出真智能

到了上世纪80年代,AI迎来第二次热潮,这次的主角是专家系统。所谓专家系统,就是把某个领域内资深专家的知识整理成庞大的规则库,用推理引擎去匹配和推导。比如医疗诊断系统,输入症状,系统根据预置规则输出可能的疾病。商业公司确实从中赚到了钱,相关硬件和软件一度成为热门投资方向。

但专家系统的天花板也极其明显:第一,规则构建和维护成本巨大,知识之间的冲突和边界很难梳理;第二,系统极度脆弱,遇到规则覆盖不到的情况就完全失效,毫无“举一反三”的能力;第三,它本质上没有学习能力,只是知识的搬运工。到了80年代末,随着PC普及导致专用AI硬件市场萎缩,加上当时技术无法突破固有瓶颈,第二次寒冬降临。这段历史给行业留下了深刻的教训:靠人类手工编码知识的路子走不通,机器必须学会自己从数据中找规律。

2.4 统计学习的复兴:让机器“学会学习”

从90年代开始,AI的主流思路发生了根本转向——从“让机器记住规则”变成“让机器从数据中学习规律”。这个时期支撑技术是现代统计学习理论,代表方向包括支持向量机、贝叶斯方法、决策树与随机森林等。它们共同的特点是:把问题建模成一个数学模型,用优化方法调整参数,使得模型在已知数据上的错误最小化,并希望它能泛化到未知数据。

我当时学机器学习的时候,接触的第一批算法就是这些模型。印象最深的是支持向量机的思路,它本质上是在找一个“分类边界”,并且让这个边界离两侧数据点尽可能远。它比感知机高级的地方,在于能通过核函数把低维空间里的非线性问题映射到高维空间去解决。统计学习时代让AI重新获得了学界和工业界的信任,搜索引擎、推荐系统、垃圾邮件过滤等应用开始大规模落地。不过,这一时期的模型依赖人工特征工程,也就是说,人们需要绞尽脑汁设计好的特征喂给模型,模型本身提取特征的能力仍然偏弱。

2.5 深度学习的逆袭:算力、数据与算法的合流

深度学习的爆发并非一夜之间。早在2006年左右,就有研究者提出逐层预训练的方法,解决了深层网络难以训练的部分问题,但真正点燃火焰的是2012年的一项图像识别竞赛成果——用深度卷积神经网络在大规模图像数据集上将错误率大幅压低,震惊了整个学界。从那之后,深度学习开始以摧枯拉朽之势横扫计算机视觉、语音识别、自然语言处理等领域。

为什么是那个时候爆发?三个因素缺一不可:一是GPU的大规模应用把并行计算能力提高了好几个量级,矩阵运算从“慢慢等”变成“刷刷跑”;二是互联网催生了海量标注数据,深度学习恰恰是数据喂养型算法,数据越多效果越好;三是算法层面的突破,例如ReLU激活函数解决了梯度消失问题,Dropout缓解了过拟合,Batch Normalization加速了训练收敛。我有段时间在本地小数据集上折腾过神经网络,同样的模型架构,换了更好的训练策略之后效果天差地别,那种切身体会让我深刻理解了“算法工程和模型架构同等重要”这个道理。

深度学习的核心思想其实一句话就能概括:不再手工设计特征,而是让多层神经网络自动从原始数据中逐级提取特征——底层提取边缘纹理,中层提取部件形状,高层提取语义概念。这种端到端的学习方式,是它碾压传统方法的关键。

2.6 从判别到生成:大模型时代的新范式

2017年,Transformer架构论文发表,最初是为了解决机器翻译中的长距离依赖问题,但很快人们发现,它的“注意力机制”天然适合并行计算和规模扩展。随后几年,基于Transformer的预训练大模型不断刷新各种榜单:先是在自然语言理解上碾压传统模型,接着通过“下一个词预测”这个简单的训练任务,催生了能够流畅对话、写代码、做逻辑推理的生成式模型。

为什么大模型能产生如此惊人的能力,至今仍有争论。比较主流的解释是:模型参数规模扩大到一定程度后,会在训练数据覆盖的大量模式中隐式学习到语法、知识、甚至某种程度的推理能力。这个过程叫“涌现”。这个阶段和以往AI有一个本质不同:之前的AI大多是判别式,也就是判断“这是什么”;今天的生成式AI是给定一段上下文,逐个预测最可能接续的内容。这个差异极其关键,它解释了为什么大模型有时候会一本正经地胡说八道——它本质上追求的是“像人话”,而不是“真理”。

3. 底层原理拆解:人工智能到底在“算”什么

3.1 机器学习的三要素:数据、模型、目标函数

不管深度学习还是传统机器学习,底层都逃不开三个核心要素:数据、模型、目标函数。数据是经验来源;模型是假设空间,也就是你觉得输入和输出之间可能存在什么样的函数关系;目标函数是“好”的标准,模型调整参数的方向就是让它更好。

拿一个最常见的例子来说:房价预测。输入是房屋面积、位置、房龄,输出是价格。最简单模型是线性回归:价格约等于权重乘以面积加权重乘以位置减去权重乘以房龄加偏置。一开始权重是随机的,预测自然不准。这时候目标函数登场——常用的是均方误差,也就是把每个样本的预测值和真实值的差的平方求平均。训练过程就是寻找一组权重,让均方误差最小。

这里要特别强调:机器学习的“学习”,不是真的像人一样“理解”了什么,而是一个数学上的参数寻优过程。你用数据告诉模型“这个输入应该对应那个输出”,模型通过反复计算调整自己的内部参数,直到输入输出映射关系足够好。理解这一点,你就不会被“AI有意识”这类说法迷惑了。

3.2 神经网络的骨架:从单个神经元到多层网络

神经网络的基本单位是“神经元”,说得直白点,它就是一个带权重和偏置的运算单元:把多个输入各自乘以权重后相加,加上偏置,然后经过一个激活函数输出结果。权重决定每个输入的影响大小,激活函数负责引入非线性——如果没有非线性,不管网络叠多少层,本质上还是一个线性模型,能解决的问题极其有限。

把大量神经元按层组织起来,就形成了深度神经网络:输入层接收原始数据,隐藏层逐级变换信息,输出层给出最终结果。层数越多,模型能够表达的映射关系越复杂,于是就有了“深度”的说法。关键问题是参数数量:假如一个网络有几百万甚至上千亿参数,靠人工指定是没有可能的,必须让训练算法自己去调整这些参数。

打个比方:神经网络像一个大得离谱的旋钮面板,每个旋钮对应一个参数。训练过程就是你不断微调这几百亿个旋钮,让整个系统的行为越来越符合期望。听起来很朴素,但这正是深度学习最核心的直觉。

3.3 损失函数与梯度下降:AI的“学习动作”具体是什么

前面提到目标函数,在神经网络领域里它通常叫损失函数。训练目标就是让损失函数的值尽可能小。问题在于,损失函数往往是一个高维空间里的复杂曲面,你不可能逐一尝试所有参数组合,必须用高效的搜索策略。最主流的方法就是梯度下降。

梯度的数学含义是函数在某一点上升最快的方向,梯度下降就是反其道而行之:沿着梯度反方向走一小步,让损失下降一点,循环往复。每一步的步长叫学习率,它是训练中最敏感的超参数之一。学习率太大会震荡甚至发散,太小会让训练慢如蜗牛。我在调参时经常用的一种策略是先设一个偏大的学习率跑几十步观察损失变化,再逐步缩小,这个操作虽然土,但效率很高。

实际工程中没有人手动算梯度,靠的是自动求导工具。但你依然需要理解梯度下降的原理,因为各种高级优化器——比如带动量的SGD、Adam——无非是在基本梯度下降的基础上加上“惯性”“自适应步长”等改进,底层逻辑并没有变化。训练过程中的损失曲线是你最应该盯住的信号,它像一个体检报告,告诉你模型有没有在正常学习、是不是卡在了局部最优。

3.4 反向传播:误差如何从最后一层传回第一层

多层网络里,输出层的损失和中间层的参数之间隔着一层层运算。怎么知道中间某个参数应该变大还是变小、变多少?这个问题的解法叫反向传播算法,核心就是微积分里的链式法则。

链式法则简单说:复合函数的导数等于内外层导数的乘积。神经网络前向计算的时候,信息从输入流向输出;反向传播的时候,损失对输出的偏导数沿着网络一层一层往回传,每经过一层就乘上这一层的局部导数,得到网络每一层参数的梯度。这个操作就像把误差信号“分摊”到每个参数头上,谁对损失贡献大,谁就获得更大的调整量。

反向传播在处理大规模网络时计算量惊人,但它恰好天然适配GPU的并行架构——每一层的神经元之间互相独立,可以同时计算。这也是为什么深度学习兴起与GPU普及几乎同步出现的根本原因。没有反向传播,网络根本训不起来;没有GPU,训起来也太慢、根本没法实践。

3.5 卷积与注意力:两种看世界的方式

卷积神经网络曾经是视觉领域绝对霸主,它的核心卖点是局部连接和参数共享。人可以类比成“局部扫描”:每次只看图像中一个小区域,用一个可学习的窗口提取局部特征,然后在整张图上滑动。这样做的好处是大幅减少了参数数量,同时天然保留空间位置信息。从第一层提取边缘,到后面逐层组合出复杂的语义特征,CNN这种层次化特征提取能力让它在图像分类、目标检测上长期领先。

Transformer的问世则带来了另一种思路——注意力机制。它不再局限于局部窗口,而是让序列中每个元素都能直接关注序列中的任意其他元素。你可以理解为,在处理某个词的时候,模型会动态计算它和所有其他词的相关程度,然后根据相关度加权整合信息。这种全局视角特别适合语言这种依赖长距离语境的数据。一个句子里的指代词要理解清楚,往往需要跨越很长距离找到它指代的对象,这恰恰是传统RNN做不好、而注意力机制擅长的。

现在回头看,卷积是“先看局部再看整体”的自下而上方式,注意力是“一步到位全局加权”的并行方式。两种方式各有各的偏好,各有各的理论优势,而大模型时代注意力机制暂时占了上风。未来怎么演化,很难说,但理解这两种典型思路,你会更容易跟上新的架构变化。

4. 概念辨析:别再把“大模型”和“人工智能”画等号

4.1 人工智能、机器学习、深度学习:三个圆的关系

很多人把这几个概念混用,实际上它们是嵌套关系:人工智能是最大的范畴,目标是让机器具备智能行为;机器学习是人工智能下的一个分支,核心是让机器从数据中自动学习规律,而不是依靠人工编码规则;深度学习又是机器学习下的一个分支,使用多层神经网络作为模型,拟合能力更强,几乎不需要人工特征工程。

我用一句话概括:深度学习是机器学习的一种手段,机器学习是实现人工智能的一条路径。严格来说,今年大红大紫的大语言模型,是深度学习在自然语言处理领域的一个具体产物,它不是人工智能的全部,甚至不是深度学习的全部。搞清楚这个层级关系,有助于你在看到“XX公司用AI技术推出XX产品”时,心里自动翻译成“这家公司用了某类机器学习模型”,而不至于被华丽的名词绕晕。

4.2 弱人工智能与强人工智能:距离比看起来更远

学界常把AI分成弱人工智能、强人工智能和超人工智能。弱人工智能指的是在特定任务上接近甚至超过人类水平的系统——图像识别、语音识别、下棋、生成文本都算;强人工智能指的是具备通用智能,能在各种任务上像人一样灵活适应的系统,目前还不存在。市面上所有商用产品,无论宣传得多唬人,都处于弱人工智能范畴。

这个区分极其重要。大模型看似什么都会一点,但它没有稳定的目标意识,没有自我驱动力,也没有持续学习的能力。你可以把它理解成一个巨大的“能力映射器”:给它一个输入模式,它从参数中检索、组合出最合理的输出。它的局限性其实和它的能力来自同一个机制——训练数据中隐含的模式。一旦遇到训练分布之外的场景,它的表现就会迅速退化。

4.3 大模型只是“生成概率”,不是“思考”

关于大模型的一个关键认知是:它的训练任务通常是“下一个词预测”。给定前面所有词,模型输出一个概率分布,表示下一个词最可能是什么。生成文章、代码、对话,本质上都是这个简单任务的循环。听起来朴素得让人怀疑,但正是这个任务在大规模参数和数据的催化下,产生了意想不到的复杂能力。

但这里也埋着大模型“幻觉”的根源:它没有在跟外部世界互动,没有验证机制,它只是在尽量生成“像模像样”的内容。当概率分布最推崇的答案恰好是错误信息时,它照样自信满满地输出。你问它一个数学题,它可能会给出步骤漂亮但结论错误的答案,因为它的目标从来不是“算对”,而是“生成看起来对的文本”。理解这一点,你会更谨慎地对待大模型提供的输出,也会明白为什么工程上需要在外面套一层事实核查或引用检索模块。

5. 搞懂底层原理,对你的实际价值

5.1 建立判断力:趋势与营销的分界线

很多人问,我又不做算法研究,懂这些原理干什么?我的回答是:懂原理最大的好处,是你获得了一种分辨真伪的能力。市面上各种AI产品,宣传语一个比一个玄乎,但只要你脑子里有“数据—模型—目标函数”这个框架,你很快就能问出几个关键问题:它的训练数据是什么?模型的输入和输出形式是什么?它优化的是什么目标?有没有办法验证它是否真的有效?

我见过不少团队在选择技术方案时,因为不了解底层机制,把大模型硬套在只需要简单规则就能解决的场景上,结果成本飙升、延迟感人、效果还不可控。反过来说,也见过有人因为听过“深度学习需要大数据”,在只有几百条样本的项目里放弃使用深度学习,错失了一个本来用预训练模型微调就能很好解决的方案。这种判断力,只能来自对底层原理的理解。

5.2 入门需要多少数学和代码底子

如果目标是能看懂本文这种程度的原理、会使用现成框架做实验,数学门槛并不高。线性代数里的向量和矩阵乘法是必备的,因为神经网络本质上就是矩阵运算;微积分里的导数要懂到能理解“斜率”和“链式法则”的程度;概率论里掌握基本概念即可。这些不需要你变成数学系高手,很多抽象概念都可以边做实验边补。

代码方面,我建议选一个主流框架——PyTorch或者TensorFlow,先把最简单的线性回归写出来,把网络搭建、数据加载、训练循环、损失打印这四件套跑通。很多初学者一上来就啃复杂论文的实现代码,被各种细节打个半死,其实没必要。把最小闭环跑通一次,再逐步添加数据增强、模型结构调整、训练策略优化这些复杂操作,效率会高得多。

5.3 理解AI的正确姿势:多做小实验

我在教学和交流中反复强调一个观点:看十篇原理文章不如动手跑一个小实验。什么叫小实验?比如自己构造一个线性不可分的数据集,训练一个不带非线性的单层网络和一个带隐藏层的多层网络,观察两者分类能力的差别。再比如调整学习率从0.1到0.0001跑几次训练,画出损失曲线对比,你会在几分钟之内对“学习率”这个概念有远超读十页书的体感。

实验式学习还有一个好处,就是它会自然地引导你关注评估方法。很多人头一次做分类任务,只看准确率,而准确率在样本不平衡时能产生严重误导。比如99%负样本1%正样本,无脑预测负类就有99%准确率。只有你真的动手做了,踩过这种坑,才会真正理解交叉验证、混淆矩阵、精确率召回率这些东西存在的意义。这些经验,是任何原理文章都替代不了的。

6. 写在最后:一点个人体会

说了这么多,最后分享一点我自己的真实感受。做AI相关的学习和实践越久,我越觉得这门学科的魅力恰恰在于它身上那种“既硬核又直觉”的张力。硬核在于,它背靠数学、统计、优化这些看起来非常严谨的理论;直觉在于,它的核心思想一旦被理解,其实极其朴素——从数据找规律,用数学做调整,用大量计算逼近目标。理解发展历程,你会少一些对“AI无所不能”的虚妄焦虑;理解底层原理,你会少一些对“AI神奇魔法”的盲目崇拜。我不太喜欢“AI会取代谁”这类话题,更愿意把注意力放在自己能不能真正理解它、驾驭它。希望这篇文章,能成为你系统理解人工智能的第一块靠谱的垫脚石。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询