☰
模式识别三层决策逻辑:不确定性建模、判别结构与优化求解
2026/10/23 8:01:39 网站建设 项目流程

简介:本资源是西安电子科技大学(XDU)《模式识别》课程期末复习专用知识点串联笔记,面向人工智能、智能科学与技术等专业本科生,聚焦考前系统梳理与重点突破。内容覆盖贝叶斯决策理论、线性与非线性判别方法(Fisher判别、感知机、广义线性判别、KNN、决策树)、无监督学习核心算法(高斯混合模型、EM算法、K-means、FCM、层次聚类)及特征选择策略(Filter/Wrapper框架、可分性判据与搜索方法),并包含SVM与组合分类器等拓展考点,结构清晰、公式推导与例题结合紧密。资源为1个PDF文件,共1.4MB,排版紧凑、重点加粗、逻辑连贯,适合作为冲刺阶段的提纲式复习材料。目前已有713人学习下载,内容源自真实课堂笔记,涵盖西电该课程高频必考模块,助力考生高效串联碎片知识、把握命题脉络、提升应试能力。

1. 模式识别知识地图:不是公式堆砌,而是决策逻辑的三层嵌套

西电模式识别这门课,表面看是贝叶斯、SVM、K-means、EM 这些名词的罗列,但真正串起全书的,是一条贯穿始终的「决策逻辑链」:从“不确定”出发,用数学建模刻画不确定性,再通过优化目标把不确定性压缩成可执行的判别规则。它不考你背多少公式,而考你能否在给定数据分布、先验信息、代价约束下,快速定位该调用哪一层工具——是直接上贝叶斯做最小错误率决策?还是得先用 LDA 降维再分类?抑或连类别标签都没有,只能靠 EM 或 FCM 去反推隐变量结构?

这张地图分三层:

  • 底层:不确定性建模层(贝叶斯框架、高斯混合、熵、似然函数)——回答“这个世界可能长什么样”;
  • 中层:判别结构设计层(判别函数、决策面、核映射、隶属度、距离度量)——回答“我该用什么几何/代数结构去切分这个可能世界”;
  • 顶层:搜索与优化层(梯度下降、拉格朗日乘子、EM 迭代、特征子集搜索、集成策略)——回答“在千万种切法里,哪一种最稳、最快、最省资源”。

期末复习最常翻车的,不是算错一个拉格朗日乘子,而是拿到一道题,第一反应是“这题该用 KNN 还是 SVM”,却没意识到:如果题目给了类先验和损失矩阵,那它根本就不是 KNN 或 SVM 的适用场景,而是最小风险贝叶斯的直答题。这份 XDU 模式识别期末知识点串联,就是按这三层逻辑重梳全部内容,把零散的“算法模块”还原成有因果、有取舍、有边界的技术判断链。适合正在系统梳理知识脉络、或考前 72 小时查漏补缺的你——它不替代教材,但能让你合上书后,脑中自动浮现出一张可导航的知识拓扑图。


2. 不确定性建模层:贝叶斯、似然与熵——所有决策的起点

模式识别的本质,是对不完全信息下的最优响应。而“不完全”三个字,决定了所有方法都必须从建模不确定性开始。这一层不产出最终分类结果,但它定义了后续所有优化问题的目标函数和约束条件。忽略它,就像没校准罗盘就出海。

2.1 贝叶斯公式:不只是条件概率,而是先验-似然-后验的闭环

贝叶斯公式 $ P(\omega_i|\mathbf{x}) = \frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{p(\mathbf{x})} $ 是整门课的基石,但它的力量不在形式,而在其揭示的三元关系:

  • $ P(\omega_i) $:领域知识注入点。西电考题常以“已知某类样本占总体 30%”形式给出,这就是先验,不能假设为均匀分布;
  • $ p(\mathbf{x}|\omega_i) $:数据生成机制建模。若题目明确“各类服从正态分布”,这里就必须写成 $ \mathcal{N}(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i) $;若只说“连续型”,则保留为一般密度函数;
  • $ p(\mathbf{x}) = \sum_j p(\mathbf{x}|\omega_j)P(\omega_j) $:全概率归一化项。计算决策规则时它常被约掉,但若题目要求“计算后验概率具体值”,它就必须显式展开。

提示:考试中出现“等价形式”,通常指对数后验比 $ \ln\frac{P(\omega_1|\mathbf{x})}{P(\omega_2|\mathbf{x})} = \ln\frac{p(\mathbf{x}|\omega_1)}{p(\mathbf{x}|\omega_2)} + \ln\frac{P(\omega_1)}{P(\omega_2)} $。这个形式直接导出线性/二次判别函数,是连接贝叶斯与判别函数的关键桥梁。

2.2 最小错误率 vs 最小风险:代价敏感决策的分水岭

很多同学混淆二者,本质在于是否引入非对称代价:

  • 最小错误率贝叶斯决策:默认所有误判代价相等(即 0-1 损失),决策规则为
    $ \text{Choose } \omega_i \text{ if } P(\omega_i|\mathbf{x}) = \max_j P(\omega_j|\mathbf{x}) $。
    等价于比较 $ p(\mathbf{x}|\omega_i)P(\omega_i) $,因分母相同。

  • 最小风险贝叶斯决策:引入损失矩阵 $ \lambda_{ij} = \lambda(\alpha_i|\omega_j) $,表示将真实为 $ \omega_j $ 的样本判为 $ \alpha_i $ 的代价。此时需计算条件风险:
    $ R(\alpha_i|\mathbf{x}) = \sum_j \lambda_{ij} P(\omega_j|\mathbf{x}) $,
    再选择使 $ R(\alpha_i|\mathbf{x}) $ 最小的动作 $ \alpha_i $。

例题典型陷阱:题干给出“将正常人判为病人代价为 5,反之为 10”,这就是明确的非对称损失,必须用最小风险,而非直接比后验概率。此时决策边界会向高代价误判侧偏移——这是西电真题高频考点。

2.3 正态分布下的统计决策:协方差结构决定判别函数形态

当 $ p(\mathbf{x}|\omega_i) \sim \mathcal{N}(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i) $ 时,判别函数 $ g_i(\mathbf{x}) $ 的形式由协方差矩阵的假设决定,这是必考辨析点:

协方差假设判别函数形式决策面性质西电考题提示词
$ \boldsymbol{\Sigma}_i = \sigma^2 \mathbf{I} $(球形,同方差)$ g_i(\mathbf{x}) = -\frac{1}{2\sigma^2}|\mathbf{x}-\boldsymbol{\mu}_i|^2 + \ln P(\omega_i) $超平面(线性)“各类方差相等且各向同性”
$ \boldsymbol{\Sigma}_i = \boldsymbol{\Sigma} $(同协方差)$ g_i(\mathbf{x}) = \mathbf{w}i^T\mathbf{x} + w{i0} $,其中 $ \mathbf{w}_i = \boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i $超平面(线性)“各类协方差矩阵相同”
$ \boldsymbol{\Sigma}_i $ 各异(异协方差)$ g_i(\mathbf{x}) = -\frac{1}{2}\ln\boldsymbol{\Sigma}_i-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) + \ln P(\omega_i) $

注意:第二类(同协方差)正是 Fisher 线性判别(LDA)的理论前提——LDA 本质是寻找一个投影方向,使投影后的类间散度最大、类内散度最小,而该最优方向恰好等价于同协方差贝叶斯决策的线性判别权重 $ \boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2) $。

2.4 熵与似然:无监督与有监督的不确定性同源表达

  • 熵 $ H(X) = -\sum p(x)\log p(x) $:衡量随机变量 $ X $ 的不确定性。在特征选择中,“基于熵的判据”即选使类别条件熵 $ H(\omega|\mathbf{x}_S) $ 最小的特征子集 $ S $,因为条件熵越小,特征 $ \mathbf{x}_S $ 对类别 $ \omega $ 的预测能力越强;
  • 对数似然 $ \ln L(\boldsymbol{\theta}) = \sum \ln p(\mathbf{x}_n|\boldsymbol{\theta}) $:衡量参数 $ \boldsymbol{\theta} $ 解释观测数据的能力。EM 算法的 M 步最大化的就是期望对数似然 $ Q(\boldsymbol{\theta}|\boldsymbol{\theta}^{(t)}) $。

二者统一于“最大似然估计(MLE)”思想:有监督时,我们最大化 $ p(\text{label}|\text{data},\boldsymbol{\theta}) $;无监督时,因 label 隐含,转而最大化 $ p(\text{data}|\boldsymbol{\theta}) $。所以 K-means 可视为 GMM 在协方差趋近 0 时的硬聚类极限,而 FCM 是引入模糊隶属度的软化版本——它们共享同一不确定性源头。


3. 判别结构设计层:从线性到非线性,从硬划分到软隶属

建模完不确定性,下一步是设计一个“切割工具”。这个工具的形状(线性/非线性)、硬度(硬边界/软隶属)、维度(原始空间/映射空间)决定了它能处理的问题复杂度。本层核心是理解每种结构的适用前提、几何含义与代数表达,而非死记算法步骤。

3.1 判别函数与决策面:所有分类器的共同语言

判别函数 $ g_i(\mathbf{x}) $ 是一个标量函数,其值大小代表样本 $ \mathbf{x} $ 属于类别 $ \omega_i $ 的“置信度”。决策面则是不同判别函数值相等的点集,即 $ g_i(\mathbf{x}) = g_j(\mathbf{x}) $ 的解集。

  • 线性判别函数:$ g_i(\mathbf{x}) = \mathbf{w}i^T\mathbf{x} + w{i0} $,决策面为超平面 $ (\mathbf{w}i-\mathbf{w}j)^T\mathbf{x} + (w{i0}-w{j0}) = 0 $。Fisher LDA、感知机、同协方差贝叶斯均属此类;
  • 二次判别函数:$ g_i(\mathbf{x}) = -\frac{1}{2}\mathbf{x}^T\boldsymbol{\Sigma}_i^{-1}\mathbf{x} + \mathbf{x}^T\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i -\frac{1}{2}\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i -\frac{1}{2}\ln|\boldsymbol{\Sigma}_i| + \ln P(\omega_i) $,决策面为二次曲面。异协方差贝叶斯、某些核方法映射后即为此类;
  • 距离度量判别:如 KNN 中 $ g_i(\mathbf{x}) = -\min_{\mathbf{x}_k \in \omega_i} d(\mathbf{x},\mathbf{x}_k) $,决策面由 Voronoi 图决定,形状高度依赖训练样本分布。

提示:西电考题常要求“写出二类问题的决策面方程”。务必先确认题目给定的分布假设(正态?协方差是否相同?),再代入对应判别函数,令 $ g_1(\mathbf{x}) = g_2(\mathbf{x}) $ 整理即可。切忌直接写 $ \mathbf{w}^T\mathbf{x} + b = 0 $ 而不说明 $ \mathbf{w},b $ 的来源。

3.2 Fisher 线性判别(LDA):类内紧、类间开的几何实现

Fisher 准则 $ J(\mathbf{w}) = \frac{\mathbf{w}^T\mathbf{S}_B\mathbf{w}}{\mathbf{w}^T\mathbf{S}_W\mathbf{w}} $ 的物理意义清晰:分子 $ \mathbf{S}_B $(类间散布矩阵)衡量投影后类中心距离,分母 $ \mathbf{S}_W $(类内散布矩阵)衡量投影后类内离散程度。最大化 $ J $ 即寻求一个方向,让类中心尽可能远、类内点尽可能聚。

对于二类问题,最优投影向量为: $$ \mathbf{w}^* = \mathbf{S}_W^{-1}(\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2) $$ 这与同协方差贝叶斯的线性判别权重完全一致,印证了 LDA 是贝叶斯在特定假设下的几何实现。

实际计算中,$ \mathbf{S}_W $ 和 $ \mathbf{S}_B $ 的构造是易错点:

  • $ \mathbf{S}W = \sum{i=1}^c \sum_{\mathbf{x} \in \omega_i} (\mathbf{x} - \boldsymbol{\mu}_i)(\mathbf{x} - \boldsymbol{\mu}_i)^T $,即各类内离差阵之和;
  • $ \mathbf{S}B = \sum{i=1}^c N_i (\boldsymbol{\mu}_i - \boldsymbol{\mu})(\boldsymbol{\mu}_i - \boldsymbol{\mu})^T $,其中 $ \boldsymbol{\mu} $ 是总均值,$ N_i $ 是第 $ i $ 类样本数。

3.3 感知机与梯度下降:线性可分问题的迭代求解

感知机目标是找到权向量 $ \mathbf{a} = [\mathbf{w}^T, w_0]^T $,使对所有训练样本 $ \mathbf{y}_n $(已增广),有 $ \mathbf{a}^T\mathbf{y}_n > 0 $。其更新规则 $ \mathbf{a}^{(k+1)} = \mathbf{a}^{(k)} + \rho \mathbf{y}_n $(对误分样本)本质是沿负梯度方向修正。

三种梯度下降变体在西电考题中常对比考查:

方法更新粒度收敛性计算开销西电考点
BGD(批量)使用全部误分样本均值更新稳定收敛(若步长合适)每轮需遍历全集“证明 BGD 更新方向为负梯度”
SGD(随机)每次仅用一个误分样本更新收敛慢,路径震荡极低,适合大数据“SGD 的更新公式及为何能收敛”
MBGD(小批量)用 mini-batch 误分样本均值更新平衡 BGD 与 SGD中等“MBGD 相比 SGD 的优势”

关键提醒:感知机仅保证在线性可分时收敛。若题目给出“数据线性不可分”,则不能直接用感知机,需转向 SVM(引入松弛变量)或核方法。

3.4 核方法与 SVM:非线性问题的升维破局

SVM 的核心洞察是:许多在原始空间线性不可分的问题,在某个高维特征空间 $ \mathcal{F} $ 中可能是线性可分的。核技巧 $ k(\mathbf{x}_i,\mathbf{x}_j) = \phi(\mathbf{x}_i)^T\phi(\mathbf{x}_j) $ 允许我们在不显式计算 $ \phi(\cdot) $ 的情况下,完成高维空间的内积运算。

常用核函数及其适用场景:

# 线性核:适用于原始特征已具强判别力,或维度极高(如文本TF-IDF) def linear_kernel(x, y): return np.dot(x, y) # 多项式核:捕捉特征间的交互项(如 x1*x2),阶数 d 需调优 def poly_kernel(x, y, d=3, c=1): return (np.dot(x, y) + c) ** d # RBF(高斯)核:最常用,能逼近任意连续函数,γ 控制单个支持向量影响范围 def rbf_kernel(x, y, gamma=1.0): return np.exp(-gamma * np.linalg.norm(x - y) ** 2)

SVM 的决策函数为 $ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i k(\mathbf{x}_i, \mathbf{x}) + b $,其中 $ \alpha_i > 0 $ 的样本即为支持向量——它们是唯一决定决策面的点。考试中若问“为什么 SVM 具有稀疏性”,答案即在此:大部分 $ \alpha_i = 0 $,仅支持向量贡献。


4. 搜索与优化层:从参数估计到特征工程的系统性求解

即使有了完美的模型和结构,最终效果仍取决于如何高效、鲁棒地找到最优参数。本层覆盖从单点优化(梯度法)到全局搜索(遗传算法)、从参数学习(EM)到结构选择(特征子集)的完整工具箱。它是区分“会做题”和“真懂原理”的分水岭。

4.1 EM 算法:隐变量问题的迭代期望最大化

GMM 的参数 $ \boldsymbol{\theta} = {\pi_k, \boldsymbol{\mu}k, \boldsymbol{\Sigma}k}{k=1}^K $ 无法直接用 MLE 估计,因为隐变量 $ z{nk} $(第 $ n $ 个样本属于第 $ k $ 个分量的指示变量)未知。EM 通过交替执行 E 步(求期望)和 M 步(最大化)来解决:

  • E 步:计算后验概率(责任) $ \gamma(z_{nk}) = P(z_{nk}=1|\mathbf{x}_n,\boldsymbol{\theta}^{(t)}) = \frac{\pi_k^{(t)} \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k^{(t)},\boldsymbol{\Sigma}k^{(t)})}{\sum{j=1}^K \pi_j^{(t)} \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_j^{(t)},\boldsymbol{\Sigma}_j^{(t)})} $
  • M 步:用 $ \gamma(z_{nk}) $ 作为软标签,更新参数: $$ \pi_k^{\text{new}} = \frac{1}{N}\sum_{n=1}^N \gamma(z_{nk}), \quad \boldsymbol{\mu}k^{\text{new}} = \frac{\sum{n=1}^N \gamma(z_{nk}) \mathbf{x}n}{\sum{n=1}^N \gamma(z_{nk})}, \quad \boldsymbol{\Sigma}k^{\text{new}} = \frac{\sum{n=1}^N \gamma(z_{nk}) (\mathbf{x}_n - \boldsymbol{\mu}_k^{\text{new}})(\mathbf{x}n - \boldsymbol{\mu}k^{\text{new}})^T}{\sum{n=1}^N \gamma(z{nk})} $$

注意:EM 保证对数似然单调不减,但只能收敛到局部极大值。因此西电实验题常要求“多次随机初始化,取最佳结果”。初始化质量(如用 K-means 结果初始化 GMM)直接影响最终聚类效果。

4.2 K-means 与 FCM:硬聚类与软聚类的范式对比

K-means 是 EM 在 GMM 的协方差 $ \boldsymbol{\Sigma}k \to 0 $ 且各分量权重 $ \pi_k $ 相等时的特例,其目标函数为最小化簇内平方误差: $$ J = \sum{n=1}^N \sum_{k=1}^K r_{nk} |\mathbf{x}_n - \boldsymbol{\mu}k|^2 $$ 其中 $ r{nk} \in {0,1} $ 是硬分配指示符。

FCM 则引入模糊隶属度 $ u_{nk} \in [0,1] $,满足 $ \sum_{k=1}^K u_{nk} = 1 $,目标函数为: $$ J_m = \sum_{n=1}^N \sum_{k=1}^K u_{nk}^m |\mathbf{x}n - \boldsymbol{\mu}k|^2 $$ 其中 $ m > 1 $ 是模糊指数(通常取 2),控制模糊程度。更新公式为: $$ u{nk} = \frac{1}{\sum{j=1}^K \left( \frac{|\mathbf{x}_n - \boldsymbol{\mu}_k|}{|\mathbf{x}n - \boldsymbol{\mu}j|} \right)^{\frac{2}{m-1}}}, \quad \boldsymbol{\mu}k = \frac{\sum{n=1}^N u{nk}^m \mathbf{x}n}{\sum{n=1}^N u{nk}^m} $$

关键区别:K-means 的聚类中心受离群点剧烈影响(因平方误差放大远点),而 FCM 的隶属度随距离增大而平滑衰减,对噪声更鲁棒——这是西电“对比分析题”的标准答案模板。

4.3 特征选择:Filter 与 Wrapper 的战略取舍

特征选择不是“越多越好”,而是“在精度、成本、可解释性间找平衡”。Filter 与 Wrapper 代表两种哲学:

  • Filter 方法(如基于 Fisher 准则、互信息):独立于后续分类器,计算特征子集 $ S $ 的评价指标 $ J(S) $(如类间/类内散度比),选择使 $ J(S) $ 最大的 $ S $。优点是快、稳定;缺点是忽略特征间交互及分类器特性。
  • Wrapper 方法:将特征子集 $ S $ 视为黑盒,用交叉验证评估其在目标分类器(如 SVM)上的性能(如准确率),以该性能为 $ J(S) $。优点是精度高;缺点是计算昂贵,易过拟合。

西电考题常考搜索策略:

  • 顺序前进(Sequential Forward Selection, SFS):从空集开始,每次添加一个使 $ J(S) $ 提升最大的特征;
  • 顺序后退(Sequential Backward Elimination, SBE):从全集开始,每次删除一个使 $ J(S) $ 下降最小的特征;
  • 增 L 减 R:一步中同时加入 $ L $ 个、删除 $ R $ 个特征,平衡探索与开发。

易错点:学生常认为 SFS 一定优于 SBE。实际上,SFS 可能陷入局部最优(早期加入的特征限制了后期选择),而 SBE 在特征数不多时更可靠。西电真题曾要求“分析 SFS 在 10 维特征中选 5 维的计算复杂度”,答案需指出其为 $ O(10 \times 9 \times 8 \times 7 \times 6) = O(10^5) $,远高于穷举 $ C_{10}^5 = 252 $。

4.4 组合分类器:Bagging 与 AdaBoost 的偏差-方差权衡

单一分类器常面临高方差(如决策树过拟合)或高偏差(如线性模型欠拟合)。组合方法通过集成多个弱学习器降低整体泛化误差。

  • Bagging(Bootstrap Aggregating):对训练集进行有放回随机抽样(bootstrap),得到 $ B $ 个子集,分别训练基分类器 $ h_b $,最终投票(分类)或平均(回归)。其核心是降低方差,对高方差模型(如深决策树)效果显著。西电考题常问:“Bagging 中为何抽样比例约为 $ 1-1/e \approx 63.2% $?”——因 $ n $ 个样本中,某一样本未被抽中的概率为 $ (1-1/n)^n \to e^{-1} $,故平均约 36.8% 样本成为 out-of-bag (OOB) 数据,可用于无偏评估。

  • AdaBoost(Adaptive Boosting):初始化样本权重均匀,每轮训练一个基分类器 $ h_t $,根据其错误率 $ \epsilon_t $ 计算权重 $ \alpha_t = \frac{1}{2}\ln\frac{1-\epsilon_t}{\epsilon_t} $,再更新样本权重:正确分类的样本权重降低,错误分类的升高。最终强分类器为 $ H(\mathbf{x}) = \text{sign}(\sum_t \alpha_t h_t(\mathbf{x})) $。其核心是降低偏差,对高偏差模型有效。

二者本质是同一枚硬币的两面:Bagging 通过多样性(different datasets)减方差,AdaBoost 通过聚焦难点(re-weighting)减偏差。考试中若见“比较 Bagging 与 AdaBoost 对噪声的鲁棒性”,标准答案是:Bagging 更鲁棒(因噪声样本在多数 bootstrap 中被稀释),AdaBoost 易受噪声干扰(因错误样本权重被不断放大)。


5. 易错点与易忽略点:西电期末考卷上的隐形扣分项

模式识别考试不是拼谁记得多,而是拼谁避坑准。以下 5 条是历年真题和模拟卷中最高频的“玄学失分点”,每一条背后都有血泪经验——不是概念不懂,而是细节踩坑。

5.1 贝叶斯决策中,混淆“后验概率最大”与“似然最大”

  • 易漏点:看到 $ p(\mathbf{x}|\omega_i) $ 就直接比大小,忽略先验 $ P(\omega_i) $。
  • 为什么漏:教材例题常设 $ P(\omega_1)=P(\omega_2) $,导致思维惯性;考试题却偏爱给 $ P(\omega_1)=0.9, P(\omega_2)=0.1 $ 这种非均匀先验。
  • 怎么补:养成强制写全 $ p(\mathbf{x}|\omega_i)P(\omega_i) $ 的习惯。哪怕题目没给先验,也要写“若先验相等,则…”——这能拿步骤分,且暴露你的逻辑链。

5.2 Fisher LDA 的投影维度与类别数绑定

  • 易漏点:对 $ c $ 类问题,认为 LDA 最多投影到 $ c-1 $ 维,却在计算中仍用 $ c $ 维投影向量。
  • 为什么漏:公式推导中 $ \mathbf{S}_B $ 的秩最多为 $ c-1 $,故非零特征值最多 $ c-1 $ 个。若强行取 $ c $ 个,第 $ c $ 个特征向量对应零特征值,无判别信息。
  • 怎么补:牢记口诀“$ c $ 类 → $ \leq c-1 $ 维”。做题时先算 $ \mathbf{S}_B $ 的秩(或直接写 $ \min(c-1, d) $,$ d $ 为原始维数),再取对应数量的主成分。

5.3 KNN 中,k 值选择与样本量、维度的隐性冲突

  • 易漏点:只记“k 小则敏感噪声,k 大则模糊边界”,却忽略“k 必须小于训练样本数 $ N $”,且在高维空间中,k 需显著增大才能保证最近邻有意义(维数灾难)。
  • 为什么漏:教材强调 k 的奇偶性(防平票),但西电考题曾出:“100 个样本,k=50 是否合理?”——答案是否定的,因 k=50 时,决策几乎退化为先验概率估计,丧失局部性。
  • 怎么补:k 的经验上限为 $ \sqrt{N} $,下限为 1(奇数)。若题目给高维数据(如 50 维),应质疑 KNN 是否仍是首选,并考虑先降维(LDA/PCA)。

5.4 EM 算法中,混淆“E 步计算的是期望”与“M 步最大化的是似然”

  • 易漏点:在 M 步写 $ \max_{\boldsymbol{\theta}} \sum_n \ln p(\mathbf{x}n|\boldsymbol{\theta}) $,而正确目标是 $ \max{\boldsymbol{\theta}} Q(\boldsymbol{\theta}|\boldsymbol{\theta}^{(t)}) = \mathbb{E}_{Z|\mathbf{X},\boldsymbol{\theta}^{(t)}}[\ln p(\mathbf{X},Z|\boldsymbol{\theta})] $。
  • 为什么漏:Q 函数的定义抽象,学生易跳过推导直接记结论。但西电推导题必考“写出 GMM 的 Q 函数并求导”。
  • 怎么补:死记 Q 函数结构:$ Q = \sum_n \sum_k \gamma(z_{nk}) \ln [\pi_k \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)] $。求导时,对 $ \pi_k $ 求导需加约束 $ \sum_k \pi_k = 1 $,用拉格朗日乘子法。

5.5 SVM 中,误将“支持向量”等同于“离决策面最近的点”

  • 易漏点:认为所有离超平面距离 $ \frac{1}{|\mathbf{w}|} $ 的点都是支持向量。
  • 为什么漏:忽略了支持向量的定义是 $ \alpha_i > 0 $,而 $ \alpha_i > 0 $ 当且仅当样本满足 $ y_i(\mathbf{w}^T\mathbf{x}_i + b) = 1 $(即位于间隔边界上)。若数据有松弛变量 $ \xi_i > 0 $,则 $ \alpha_i = C $ 的点也是支持向量,但它们在间隔内甚至误分侧。
  • 怎么补:支持向量有三类:① $ 0 < \alpha_i < C $:严格在边界上;② $ \alpha_i = C $:在间隔内或误分;③ $ \alpha_i = 0 $:非支持向量。考试画图题,必须标出这三类点的位置。

6. 期末冲刺复习清单:72 小时精准查漏与实战推演

最后 72 小时,不是从头学,而是用一套结构化动作,把知识网络里的断点、模糊点、易错点全部激活。我给自己定的铁律是:每道题,必须走完“建模→结构→优化”三步闭环。下面这份清单,就是按此逻辑设计的实战推演表,覆盖西电模式识别所有核心题型。照着做,能帮你把“好像会”变成“肯定能”。

6.1 三步闭环自查表:针对每类题型的强制流程

对任何一道题,无论它看起来多简单,都必须机械执行以下三步,并在草稿纸上写下关键词。这是防止考场大脑空白的后悔药。

题型第一步:建模(不确定性)第二步:结构(判别形式)第三步:优化(求解方法)西电真题示例
贝叶斯决策写出 $ P(\omega_i) $、$ p(\mathbf{x}\omega_i) $ 形式(正态?参数?)确定用最小错误率还是最小风险;写出判别函数 $ g_i(\mathbf{x}) $若正态,直接代入公式;若需数值,计算后验比
LDA/Fisher确认类别数 $ c $,计算各类均值 $ \boldsymbol{\mu}_i $、总均值 $ \boldsymbol{\mu} $写出 $ \mathbf{S}_W $、$ \mathbf{S}_B $ 定义;确定投影维数 $ \leq c-1 $解广义特征值问题 $ \mathbf{S}_B \mathbf{w} = \lambda \mathbf{S}_W \mathbf{w} $;取最大 $ c-1 $ 个特征向量“三类数据,求 Fisher 投影方向”(答案必为两个正交向量)
感知机/SVM判断线性可分否;若不可分,SVM 需引入 $ \xi_i $写出判别函数 $ g(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b $;SVM 需写对偶问题感知机:梯度更新;SVM:解 $ \max_\alpha W(\boldsymbol{\alpha}) $,注意 KKT 条件 $ \alpha_i[y_i(\mathbf{w}^T\mathbf{x}_i+b)-1+\xi_i]=0 $“用感知机更新权向量,初始 $ \

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询