☰
AI入试备考笔记:从过拟合到Transformer的考点拆解与复盘
2026/10/20 7:09:08 网站建设 项目流程

先说明一下,这篇文章的定位是“第四次”AI入试练习的记录,所以我会把前三次积累的问题、第四次练习的新题目、复盘过程和一些实操建议串在一起。如果你是第一次看这个系列,也没关系,文中的关键概念都会尽量解释清楚,可以直接当作一份AI基础测评的准备笔记来读。

1. 为什么第四次练习要画一张“考点-失分”地图

1.1 前三次练习留下的教训

AI入试也好,平时做专项练习也好,最大的误区就是“刷题数量等于掌握程度”。前三次练习我踩过这个坑。当时拿了一套覆盖面很广的题集,每天几十道题地刷,正确率看起来不低,等碰到综合题就漏出问题了:很多概念我是“认得出,说不清,用不对”。

第一次练习时,我看到一道关于损失函数收敛的判断题,选项中提到了“损失曲线震荡不下降”的情况,我当时只想到了学习率太大,忽略了“数据分布不一致”这个常见来源,结果选错了。第二次练习我又在“正则化强度对偏差-方差的影响”上栽跟头,把L2正则化想成了“让模型变得更复杂”,完全弄反了。第三次练习更尴尬,一道手推梯度更新的简单计算题,我居然在链式法则上卡了三分钟。

所以到了第四次,我换了个思路:不再追求覆盖面,而是先画一张“考点-失分”地图。简单说,就是把前三次的错题全部拿出来,按考点归类,统计每类考点的失分频次和失分原因。做完这张表,哪里是薄弱项一目了然。

1.2 这次练习的目标范围

第四次练习前,我给自己定了三个具体目标:

  • 第一,优先处理“前三次反复出错”的核心考点,不碰新题怪题。
  • 第二,每道题不只写答案,还要求自己写出“为什么选这个选项”的完整推理链路。
  • 第三,做完整理笔记,把所有易混概念做成对照表,方便后续复习。

这看起来像老生常谈,但实际操作中你会发现,把“复习错题”做成“地图”而不是“清单”,效果很不一样。地图会告诉你哪些考点是枢纽,哪些考点只是孤立的记忆点。比如“过拟合的识别与应对”几乎连接着正则化、数据增强、模型容量、偏差方差权衡五六个考点,这个枢纽值得花时间重点突破,而不是均匀发力。

基于前三次的失分数据,我这次把练习范围锁定在六个方向:机器学习基础(重点是线性模型和树模型)、深度学习核心概念(重点是CNN结构、Transformer机制)、模型评估与调参、优化算法细节、数据预处理规范、误差分析与调试策略。下面分享的题目就是从这几个方向里选出来的。

2. 四道典型的AI入试题目拆解:从读题到落笔

2.1 题目一:线性回归与正则化的结合点

这道题是这样的:给定一个线性回归问题,特征维度为100,样本量为80,训练集上的R方接近1,但验证集上的表现很差。问题是,以下哪种处理方式最有可能改善泛化能力?

选项涉及增加样本量、使用L1正则化、使用L2正则化、减少特征数量、直接换成非线性模型。

先看“特征维度100、样本量80”这个信息,属于典型的样本量小于特征维数的高维设定。这种情况模型容量过大,很容易把训练集的噪声也学进去。R方接近1但验证集表现差,基本就是过拟合的教科书级信号。

处理过拟合,优先考虑两条路:一是限制模型复杂度(正则化或降维),二是增加数据量。题目里没有提到能获取更多样本,所以“增加样本量”虽然在逻辑上有效,但在题目设定下不是一个可操作的选项。换成非线性模型则会让模型容量进一步增大,不是改善泛化的合理方向。

在L1和L2之间选哪个?我当时的推理是:L1正则化会把一部分特征的系数压成0,相当于自动做特征选择,对高维稀疏场景效果更好。L2正则化会均匀缩小系数,它没有特征选择的能力,但处理特征间存在共线性时表现更稳。这道题没有说特征是否稀疏,不过在高维小样本场景下,选择L1更合适,因为它能直接降低模型的有效维度。这道题我答对了,但复盘时给自己补了一个关键追问:如果用L2,是不是就完全无效?不是,L2也能改善泛化,只是方向和机制不同。AI入试题目经常这样,所有选项单独看都有一定道理,你要选的是“最合适”的那一个,而不是“唯一正确”的那一个。

2.2 题目二:卷积神经网络中的感受野计算

第二道题是个填空题改编来的选择题:一个卷积层,卷积核大小为3×3,步长为1,不含填充;再接一个卷积核大小为5×5、步长为1、不含填充的卷积层。输入图像尺寸为32×32。请问第二个卷积层输出的特征图中,每个元素对应的输入图像上的感受野尺寸是多少?

我之前碰到这类题总想硬背公式,结果容易混。后来发现一个特别直观的方法:从输出往回推。第一层卷积没有填充,输出尺寸是30×30,第二层卷积没有填充,输出尺寸是26×26。但感受野不是输出尺寸,而是“输出特征图上的一个点,在原始输入上映射到的区域大小”。

计算感受野有个递推公式:设第n层的感受野为RFn,步长为s,卷积核大小为k,则RFn = RF(n-1) + (k - 1) × 步长累积(从后往前倒推)。更准确地说,感受野的计算要看一下从当前层到输入层之间所有步长的累积效应。简单手算的话,可以这样理解:第二个卷积层输出上相邻两个点,在第二个卷积层输入上隔了5×5这个核对应的范围,而第二个卷积层输入上的一个点又对应着第一个卷积层输出的3×3区域,第一个卷积层输出的一个点又对应原始输入的3×3区域。按照这个思路推下去,第二个卷积层输出特征图上的一个点,最终对应的原始输入区域是7×7。

我记得有一个更稳妥的公式化写法:从后往前逐层递推。当前层的感受野 = 上一层感受野 + (当前层卷积核大小 - 1)× 上方所有层步长的乘积(从当前层的上一层往上累乘)。按照这个公式,先算最靠近输入的第一层:RF1 = 1 + (3 - 1) × 1 = 3(步长为1,所以累积步长是1)。再算第二层:RF2 = RF1 + (5 - 1) × (1 × 1) = 3 + 4 = 7。结果就是7×7。

这里最关键的认知是:感受野计算和特征图尺寸计算是两套逻辑。特征图尺寸是从前向后算,感受野是从后向前推。很多AI入试题目考的就是这个“方向感”。

2.3 题目三:类别不平衡问题的处理策略

第三道题给了一个二分类场景:正样本占比只有5%,模型在测试集上准确率达到了92%,但召回率极低。要求选择最合适的改进方案。选项有:随机欠采样负样本、SMOTE过采样正样本、调整分类阈值、直接换用更复杂的模型、使用准确率以外的新评估指标。

这道题有意思的地方在于,它考的不只是方法,还有“问题识别”的能力。92%的准确率看起来很高,但在正样本只有5%的数据集里,模型只要把所有样本都预测成负类,准确率就有95%。也就是说,这个92%的准确率甚至比“无脑预测负类”还低,模型实际上没有学到正样本的模式。召回率极低进一步证明了这一点。

改进方向,一个是数据层面,一个是决策层面。SMOTE过采样正样本是常见的做法,通过插值合成新的正样本,能在不丢失负样本信息的前提下让类别更均衡。随机欠采样负样本虽然也能改善类别比例,但直接丢弃大量负样本会丢失信息,在数据量本来就不大的场景下要谨慎。调整分类阈值是另一条路,它不改变模型,而是改变决策边界:默认阈值是0.5,但正样本先验只有5%,这时候把阈值降低,比如设为0.2,就能让更多的“疑似正样本”被识别出来,通常会直接提升召回率。

那“使用新评估指标”呢?它本身不会改善模型,但它是发现问题的手段。正确的顺序应该是:先靠准确率陷阱识别出问题,再用“调整阈值+过采样”这类手段去改善模型,最后用PR曲线、F1分数这类指标去验证改善效果。所以这道题我选的是“调整分类阈值”作为最直接的改进方案,因为题目问的是“最有效”,而在类别极不平衡的模型已经训练完成的情况下,调阈值是成本最低、收益最明显的一步。SMOTE等措施属于训练阶段的方法,如果题目限定“模型已经训练完成,只能做后处理”,那就只能调阈值。题目没说得那么死,所以我把两个方向都列进了答案里,并向出题逻辑做了说明。

2.4 题目四:Transformer中的注意力计算

第四道题是理论题:给定一个序列长度L=6,每个token的嵌入维度d=8,多头注意力设置为4个头,请问每个头单独处理的维度是多少?自注意力机制中,Query、Key、Value分别由输入经过什么变换得到?

第一个问题很简单,d除以头数,也就是8除以4,每个头处理维度为2。这里要注意,在标准Transformer实现中,多头注意力一般会将Q、K、V线性投影到各自对应的低维空间,然后再拆分成多个头。如果你的嵌入维度8,头数4,那每个头的维度就是2。很多初学者会误以为“每个头还是处理完整的8维”,错了,那样的话参数和计算量会大很多,也不符合多头注意力的设计本意。

第二个问题更值得展开。Q、K、V不是直接从输入embedding拿来的,而是经过三次不同的线性变换得到的。也就是分别用三个权重矩阵与输入向量做矩阵乘法。注意力分数的计算是Q和K做点积,再除以根号下的维度值做缩放,防止点积结果过大导致softmax之后梯度消失,然后过softmax得到权重,最后用权重对V加权求和。

这道题我虽然答对了,但复盘时发现自己有个知识缺口:只知道“除以根号d”这个操作,却不太清楚为什么偏偏是“根号d”。后来补了一下概率论视角:如果Q和K是均值为0、方差为1的独立随机向量,那么它们的点积的均值是0,方差是d。如果不对点积做缩放,方差随d增大而增大,softmax的输入分布会变得很极端,梯度会变小。除以根号d之后,可以把点积的方差拉回1左右,让softmax的输入落在梯度比较友好的区间。这个解释比单纯背公式有用得多,碰到变体题(比如问“为什么用根号d而不是d”)也能应对。

3. 练习中的翻车现场与复盘链路

3.1 第一时间想错的“损失函数曲线”判断题

这次练习里有一道判断题,题干大意是:训练一个分类模型时,训练集损失持续下降,验证集损失先下降后持续上升,这通常说明模型出现了过拟合。我看到“验证集损失先下降后上升”,第一反应就选了“正确”。

但仔细看选项,它还有一个后半句:“此时应该增加模型的层数或每层神经元数量来解决问题”。问题问的是“下列说法正确的是”。训练损失下降、验证损失先降后升,确实是经典的过拟合表现。但“增加层数或神经元数量”是继续增大模型容量,会让过拟合更严重,不是正确做法。这里正确做法是正则化、早停、数据增强、降低复杂度等。我第一遍没看后半句就做完了,第二遍复查的时候才意识到前面有个大坑。

这个经历说明了AI入试的一个常见套路:前半段考察“现象识别”,后半段考察“解决方案是否匹配”。两个知识点拼在一起,如果只掌握其中一个,非常容易掉坑。复盘以后我给自己立了一个规矩:碰到选项里同时出现“现象描述+处理建议”的时候,必须把两部分拆开判断,不能因为前一半正确就默认后一半也正确。这个习惯在后面的练习里帮我避免了好几次错误。

3.2 数据预处理顺序带来的连环错

另一道让我印象深刻的题是数据预处理顺序。题目给了三个步骤:缺失值填充、标准化、划分训练/测试集,问哪个顺序最合理。我选了“先填充、再划分、后标准化”,理由是填充需要在整个数据集上进行,标准化也应该用到整个数据集的统计量。

实际上,正确的做法是:先划分训练集和测试集,再用训练集的统计量去做标准化,然后用同样的均值和标准差去处理测试集。也就是说,缺失值填充可以考虑在划分前后进行,但标准化必须在划分之后,并且只能基于训练集计算统计量。

我当时搞混了“填充”和“标准化”的顺序,因为很多比赛代码里习惯先填充再切分。但标准化的关键不是“在哪个阶段做”,而是“统计量来自哪里”。如果先对整个数据集做标准化,再划分训练和测试,测试集的信息就提前渗入了训练过程,这就是典型的数据泄露。测试集必须在模型训练全程里保持“完全不可见”的状态,它的均值、标准差、极值等统计量都不应该参与训练集的任何预处理步骤。

这道题的后续影响也很大,让我开始留意“数据泄露”在AI入试中的各种变体考法。比如特征选择时如果先在全量数据上筛特征,再切分训练测试集,同样会泄露信息;再比如用验证集反复调参并频繁反馈到模型训练里,验证集也会慢慢变成“半个训练集”。这类题考核的不是某个具体函数,而是一种工程思维。

3.3 复盘工具:错题记录模板

前三次练习我没有系统记录错题,导致同样的错法反复出现。第四次我换了一个简单的模板,每次复盘时花五到十分钟填写:

  • 问题复述:用自己的话把题目重写一遍,确保不是背答案。
  • 我的错误选择:写下我实际选的答案,以及当时的心路历程。
  • 错误类型:分为“概念混淆”“计算失误”“审题不细”“知识盲区”。
  • 正确推理链路:从已知条件出发,一步步写清楚为什么正确答案是这样。
  • 关联考点:列出和这个题目相关的其他核心概念。
  • 重做日期:隔三到五天重做一次,检验是否真的记住了思路。

用这个模板记录一段时间后,我发现自己反复出现的错误类型开始变得清晰。“计算失误”往往和草稿潦草有关,“概念混淆”集中在模型评估和优化算法上,“审题不细”则常常出现在长选项题目里。知道自己的错误集中在哪儿,后续复习就可以精准发力,而不是“从头到尾再看一遍”。

4. 高频考点的记忆锚点:这次练习后我留下的几组对照

4.1 梯度下降变体与适用场景

AI入试对优化算法的考察,很少会让你手推完整公式,但经常会考“不同梯度下降变体的特点”。我这次练习后就整理了一张对照表,把批量梯度下降、随机梯度下降、小批量梯度下降的关键维度列在一起。

批量梯度下降每次更新使用整个训练集,计算量大但方向稳定,适合小数据集。随机梯度下降每次只用一个样本,更新频繁、波动大,但有时能跳出局部极小,适合数据量非常大的流式场景。小批量梯度下降是两者的折中,每批用几十到几百个样本计算梯度,既稳定又高效,是实战中最常用的默认选择。

除了这三类,加上动量和自适应学习率方法会更好。动量方法让更新方向带有“惯性”,减少震荡;Adam结合了一阶动量和二阶动量,在很多任务上开箱即用。练习里考过一道“在稀疏梯度场景下,哪个优化器更适合”的题,我因为不知道Adam在稀疏梯度下的优势,选了别的选项。复盘后我的记忆锚点是:稀疏梯度意味着大部分参数的梯度为0,如果使用固定学习率,那些偶尔出现非零梯度的参数更新幅度可能不合适,自适应学习率可以为每个参数单独调整更新步长,所以Adam或Adagrad这类方法更合适。

4.2 过拟合识别与应对策略

过拟合几乎每次练习都会出现,它已经成了AI入试的“常驻嘉宾”。识别过拟合最直接的现象就是训练集表现好、验证集表现差,或者训练损失低、验证损失高。但需要注意,这只是一种现象,不能直接等同于“模型过于复杂”。有时候数据量太少,哪怕是一个简单的线性模型也会过拟合。

应对策略可以从四个层面拆解:

  • 数据层面:增加样本量、数据增强、欠采样/过采样。
  • 模型层面:降低模型容量、简化结构、减少层数或参数数量。
  • 训练层面:早停、正则化、Dropout、标签平滑。
  • 评估层面:交叉验证、更严格的验证集隔离。

我的记忆锚点是“先看数据量再谈模型复杂度”。如果数据量本身很小,优先考虑数据增强或获取更多数据;如果数据量大但模型过强,就降低模型容量和加正则化。这个顺序能帮你快速定位最合适的第一反应。

4.3 模型评估指标的选择逻辑

模型评估指标的考察频率一直很高,而且经常和“类别不平衡”“多分类问题”“回归问题”结合出题。我总结了三个问题来辅助选择:

  • 问题是什么类型?分类还是回归?
  • 类别是否平衡?如果不平衡,准确率可能是误导性指标。
  • 误分类的代价是否对称?比如医疗筛查中漏诊和误诊代价完全不同,需要重点看召回率或特异性。

对二分类问题,我通常同时看准确率、精确率、召回率、F1分数和AUC。精确率关心“预测为正的样本中有多少是对的”,召回率关心“真正的正样本被找出了多少”,F1是两者的调和平均,适合类别不平衡场景。AUC则是对模型排序能力的整体评估,不依赖具体阈值,适合比较不同模型的总体表现。

练习里专门有一道多选题,给定一个欺诈检测场景,正样本很少,问“应该重点关注哪些指标”。正确选项基本是召回率、精确率或F1、AUC,准确率因为会受类别不平衡影响产生误导,不应该作为核心指标。这类题的背后逻辑就是:选择评估指标前,先搞清楚业务最关心什么。

5. 给准备AI入试的后来者:时间安排、资料筛选与答题节奏

5.1 三周冲刺时间切片

如果你离AI入试还有三周左右的时间,可以参考我当时的时间切片方案。当然,每个人基础不同,这个方案比较适合已经有一定概念知识、但做题正确率不稳的人。

第一周的重心是“查漏”:把考纲或练习列表逐个过一遍,标出自己看一眼就知道大概意思的知识点,以及完全想不起来的知识点。最好做一套模拟题,直接暴露问题,不用在乎分数。

第二周的重心是“专项突破”:针对第一周标出的薄弱考点,每个考点找十到二十道相关题目集中做,不要东一榔头西一棒槌。这一周的关键是把每个薄弱考点的解题流程写下来,形成自己的固定步骤。

第三周的重心是“整套模拟”:每隔一天做一次完整限时练习,另一天用来复盘错题。模拟时尽量还原真实考试条件,限制时间、不看资料、不中途翻书。限时的重要性常常被低估,平时做题不限时,概念都会,一到限时环境下就容易因为分配时间不当而失误。

5.2 资料筛选的三条避坑经验

关于AI入试资料,我最想分享的三条经验,都是踩过坑之后才明白的。

第一,不要只看教材厚度。“入门到精通”类的大部头看起来厉害,但AI入试是分方向的,面面俱到的书远不如一份按考点分类的精简资料高效。很多大部头在深度学习部分只有寥寥几章,训练实践部分更是一笔带过。

第二,尽量找有“答案解析”的资料,而且解析越详细越好。很多题库直接给正确答案,却不说推理过程,这种资料练到最后容易变成“背答案”。如果解析里能解释每个选项为什么对、为什么错,价值会高出很多。

第三,优先看跨平台的错题讨论。同一道AI入试的准备题目,不同人的解法往往能提供多角度思路。不过要注意辨别讨论内容的准确性,有些说法是作者自己的理解,可能不完全严谨。我的习惯是:看到讨论后,先回到教材或官方文档里确认一次再采纳。

5.3 答题节奏与检查清单

答题节奏是AI入试里最容易出问题的一环。我考前给自己定的节奏策略是“前快后稳”:前面的单选题和判断题控制在总时间的一半以内完成,剩下的时间留给计算题和综合分析题。做选择时如果超过一分钟还没有清晰思路,先标记跳过,不要在单题上死磕。很多丢分不是“不会”,而是“会做但没时间做”。

每次练习的检查清单,我固定在交卷前用五到八分钟走一遍:

  • 有没有把选项看串行?特别是“下列说法不正确的是”这类否定式问法。
  • 计算题的单位、小数点、公式下标是否写对?
  • 选了好几个选项的多选题,是否每个选项都单独验证过?
  • 有没有在答案卡上填错位置(如果是机考就还好,但PDF练习题也要注意对应题号)。

这套检查清单帮我避免过很多低级失误。尤其是“否定式问法”,我在前三次练习里因为没看清“不正确”三个字,白白丢过好几分。从那以后,凡是否定式题目,我都会先把“不正确”“错误”“不属于”这类词圈出来,再逐项对比。

6. 关于AI入试练习这件事,我最想补充的一点备考心态

写了这么多,最后还想聊一个容易被忽略的方面:AI入试备考的心态调节。前三次练习结束后,我有一段时间特别焦虑,原因是题目的正确率波动很大,今天做一套能到86%,明天换一套就只有70%,感觉自己“什么都没学会”。

后来我换了角度:把每一次练习当成采样,目标是找到知识盲区,而不是证明自己已经掌握了全部。正确率从70%提到80%,看似是分数提升,更本质的变化是你填补了一批此前搞不清的知识点。而那些“没做对的题”,恰恰是最有价值的线索。带着这个心态去做第四次练习时,明显感觉状态更稳了。

另外一个调节心态的小工具是“进步记录”。我每周记录三件本周真正搞懂的问题,不管大小,比如“终于搞懂了感受野计算公式”“终于分清了精确率和召回率的适用场景”。这些问题倒回去看会显得很简单,但当时的自己确实不明白。记录下来,慢慢就会积累出一种“我确实在进步”的证据感,比每天暗示自己“不要焦虑”有用得多。

最后想再分享一个小技巧:AI入试题目最好从“做一遍”改成“做三遍”。第一遍按正常方式做题,第二遍不看参考答案、自己写解析,第三遍隔几天后再把错题重做,看能不能独立写出完整推理。三遍下来,一道题的价值能抵得上十道题的“过目即忘”。这个习惯不只在AI入试里有用,放到各种技术类学习和能力测评中都适用。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询