企业官网建设流程全解析

简介：一套北京大学研究生课程《文本挖掘》全套PPT课件（共134页），聚焦第五章文本自动聚类技术，同时覆盖特征提取、检索、分类、话题检测、过滤、关联分析、自动摘要、信息抽取、智能问答等完整教学模块。课程面向文本挖掘、数据挖掘方向的研究生及研究人员，适合系统学习无监督学习与文本聚类的理论基础和实战方法。资源包内含1个PPTX文件，压缩后约1.68MB，便于离线学习。已有745人学习下载。教程从聚类的基本概念与数学描述出发，讲解文档表示、降维、聚类算法流程，以及精度、召回率、F-Measure等评价指标，并结合市场销售、保险、城市规划、地震研究等应用案例，帮助读者掌握从文本表示到结果评估的完整聚类分析链路；全书章节还系统覆盖文本挖掘主要技术领域，适合作为研究生课程教学和科研入门的配套材料。

1. 文本聚类不是分类：看懂无监督分组的第一步

文本挖掘课程里最容易让人产生误解的，就是“分类”和“聚类”。文本自动分类有标签，是监督学习；文本自动聚类没有标签，只靠文档间相似度分组，是无监督学习。这套课件第五章《文本自动聚类技术》用134页的篇幅，把聚类从数学定义、典型应用到评价指标完整串了一遍，尤其适合正在做文本挖掘作业、要写课程报告，或者第一次碰无标注语料的工程师。它的价值不在给你现成算法代码，而在于把“聚类为什么能成立、相似度怎么定义、结果怎么评估”讲清楚。对新手来说，先在这里建立完整坐标系，再看调包文档会少很多迷惑。

2. 文档表示与降维：把自然语言变成能算距离的向量

2.1 文本聚类的第一步不是选算法，而是文档表示

课件里给了一个很直观的例子：用“aabbccefg”这类符号代表文档，经过映射变成等长向量，向量里的每个位置对应一个特征维度。这在文本挖掘里就是文档表示（Document Representation），也叫文本向量化。聚类算法处理的只能是数字向量，所以你必须先把文档分词、统计词频、构造成矩阵，后面的相似度才有计算基础。

这里要强调一个容易被忽略的点：文本聚类的文档表示，跟文本分类的表示在目标上有细微差别。分类时你往往知道类别，可以做有监督特征选择；聚类时没有任何先验知识，完全靠数据的内在分布，所以特征更容易被高频词干扰。课件在“文本聚类基本步骤”里列出的第2步“特征选取”，其实就是提醒你：无监督场景下，特征维度质量直接决定簇的边界。

2.2 词袋模型和稀疏矩阵：为什么维度上万是常态

最简单的文档表示是词袋模型（Bag of Words）：把语料里所有去重后的词作为特征，每篇文档表示成一个向量，每个维度填这个词在这篇文档中出现的次数。中文场景下，一个几千篇的语料，分词后去重词表往往有几万个。于是特征矩阵变成超高维且极其稀疏的矩阵——大部分格子是0。

稀疏本身不是坏事，但如果不加处理，会出现两个实际麻烦：

• 距离计算时非零维度较少，少量共现词就能主导相似度，导致结果不稳定。
• 存储和计算开销随着维度线性上升，跑一次层次聚类的代价难以接受。

所以课件里的“维度降低”是标准流程里的一步。常见降维思路有两条：一是特征选择，用词频、文档频率或卡方检验筛掉无区分力的词；二是特征抽取，用截断SVD（潜在语义分析）把原矩阵映射到低维稠密空间。文本聚类里我一般先做特征选择，不行再上SVD，因为SVD之后维度含义变模糊，需要靠聚类结果反推主题。

2.3 实操步骤：从原始文档到聚类矩阵，我固定走四步

假设你手里有一个txt文档集，想跑文本聚类。以下是我会做的四步，每步都可执行：

这四步做完，你会得到一个形状为“文档数×特征数”的矩阵。每一行代表一篇文档，每一列代表一个特征。矩阵可以直接喂给聚类算法。

关于TF-IDF多说一句：TF是词频，IDF是逆文档频率。一个词在某篇文档里出现多，同时在越少文档里出现，它的TF-IDF值就越高，说明这个词对这篇文档有区分度。反过来，像“我们”“进行”这种每篇都出现的词，IDF趋近于0，权重被压下去。这正好弥补了纯词频矩阵的缺陷。

2.4 容易踩的边界：min_df和max_df怎么调

这里给一些我调参的血泪经验。min_df设成1，等于保留只出现一次的词，噪声很大，聚类结果容易被长尾词带偏；设得太高，又可能把某些小主题的特征词全部滤掉，导致那个簇直接消失。一般来说，语料篇数在1000以内时，min_df=2或3比较稳。max_df设成0.8表示“在超过80%的文档里出现的词都去掉”，这个数可以按领域调整，如果领域文档用词高度一致，把它降到0.6会更明显。

判断调没调好的办法也很直接：跑完聚类后，打印每个簇的代表词。如果代表词里还有“可以”“这样”“问题”这类词，说明停用词和IDF环节还没到位。如果每个簇的代表词一眼就能看出主题，那这个参数基本是能用的。

2.5 三种表示方式的效果对比

为了更直接地说明选择，我把常见做法整理成一张对比表：

我的使用原则是：先用TF-IDF矩阵做一次聚类，看代表词；如果代表词可解释性足够，就不做SVD。只有出现“簇间打架”或聚类结果过于稀疏依赖单特征时，才用SVD。因为SVD会改变原始特征的稀疏结构，让你失去“哪些词对分簇贡献最大”的直接可见性。

3. 相似性度量与算法选型：余弦、K-Means和准则函数的真实取舍

3.1 相似性度量：为什么文本聚类默认用余弦相似度

课件在聚类数学描述中给出数据点间“相似程度”作为分组依据，但没有深挖相似度怎么定义。文本向量是高维稀疏的，常用的相似度度量有三种：欧氏距离、余弦相似度、杰卡德相似度。文本场景我几乎只用余弦。

原因是欧氏距离要求向量模长相近才有意义。两篇文档内容相同，一篇是完整版、一篇是摘要，词频向量模长差很多，欧氏距离会很大，但余弦相似度只看方向，计算出的相似度接近1。文本聚类本来就是按主题分组，不是按文档长度分组，所以余弦更合理。杰卡德相似度适合二元向量，只关心词是否存在，对词频不敏感，在文本聚类里不如余弦+TF-IDF效果好。

计算余弦时要注意向量是否为零向量。全零向量的模长为0，除零会出错，需要特殊处理——要么删除过短文档，要么给一个极小值兜底。

3.2 聚类算法选型：先跑K-Means，再按规模换算法

课件没有贴具体算法代码，但评价聚类方法时列了可伸缩性、能处理高维、对输入顺序不敏感等要求。K-Means满足其中一部分，但有很多细节约束：

• 可伸缩性好，几万篇文档也能在可接受时间内跑完。
• 高维文本向量用余弦相似度时，K-Means的质心更新需要小心。标准K-Means用平均值更新质心，但平均值会改变向量的稀疏性。通常做法是先对向量做L2归一化，更新质心后再归一化。
• 局限也很明显：需要预先指定k值，而且只能发现凸的、大小相近的簇。文本主题分布往往不是标准的球形，所以K-Means的结果需要靠后续评估判断是否可靠。

层次聚类不需要预设k，可以输出树状图，观察不同粒度下的分组。缺点是复杂度高（通常是O(n^2)），在几千篇文本上还能接受，再大就吃力。谱聚类理论上能处理任意形状，但要先构建相似度矩阵、做特征分解，当文档数上万时内存开销巨大。所以对大多数文本聚类任务，尤其是快速探索，K-Means仍是第一选择。

3.3 准则函数：误差平方和怎么用

课件给出了误差平方和准则，形式是 Je = 所有样本到所属簇质心距离平方之和。这里 mi 是簇Ci的质心，X是该簇内的样本点。K-Means的迭代优化目标就是让Je越来越小。实际使用中，Je有两个用途：

一是判断K-Means是否收敛。每次迭代后Je下降幅度小于阈值（比如0.1%）就可以停。 二是帮助选k。画Je随k变化的曲线，理论上会出现一个拐点，拐点附近的k就是推荐值。但文本数据往往没有明显拐点，曲线平滑下降，这时候要结合业务目标，看簇的可解释性。

注意：标准Je用的是欧氏距离，不是余弦。如果向量做了归一化，欧氏距离的平方与余弦差有数学关联，可以近似，但严格说准则函数还是面向欧氏空间的。

3.4 评价指标：Precision、Recall与F-Measure在聚类里怎么落地

课件给出了准确率P、召回率R、F-Measure公式。在聚类场景里，P和R不是自然定义的，因为聚类没有真实标签。要评价聚类质量，通常的做法是：先有一个参考分类人工标注，再把每个簇映射到参考类别上，然后计算。

映射逻辑：对每个簇，选取与该簇重叠度最高的参考类别作为“预测类别”，然后统计：

• TP：簇内该参考类别的文档数
• FP：簇内其他类别的文档数
• FN：参考类别里有但没分到这个簇的文档数

然后 P = TP/(TP+FP)，R = TP/(TP+FN)，F1 = 2PR/(P+R)。课件中的公式带一个alpha参数调节P和R的权重，默认情况就是标准F1。

整体评价有两种口径：宏平均和微平均。宏平均先对每个簇算F1再取平均，每个簇权重相同；微平均先把所有簇的TP、FP、FN汇总，再算总体F1，文档多的簇影响更大。报告建议两个都写，否则别人难以判断你的聚类质量。

4. 常见问题排查：五个看起来玄学但能定位的文本聚类坑

4.1 结果簇几乎一样：去掉高频词后仍然不分离

现象：聚类跑完，几个簇的代表词高度重叠，看不出主题差异。

原因：停用词表太通用，领域内的高频词（比如某行业报告里的“市场”“数据”）没被去掉；或者TF-IDF没做，词频主导了相似度。

解决：先按文档频率排序，把出现超过60%文档的词加入领域停用词表；再做TF-IDF并观察特征词排序；实在不行做降维后再跑。另外可以检查分词阶段的词性过滤，如果只保留名词和动词，能有效减少“进行”“可以”这类虚词残留。

4.2 相同文档被分进不同簇：随机种子导致结果不可复现

现象：每次运行K-Means，簇的划分都不一样，甚至有几篇文档来回换。

原因：K-Means初始质心是随机选的，不同的初始化会落到不同局部最优。文本向量高维且局部极多，这个问题更明显。

解决：固定随机种子，或用K-Means++初始化，也可以多次运行取误差平方和最小的一组结果。在报告里写明随机种子和初始化方式，否则别人复现不了你的实验。

4.3 k值怎么定都是玄学：拐点不明显

现象：误差平方和曲线没有明显拐点，k=5和k=8看起来都行。

原因：真实文本主题边界模糊，纯数学拐点根本不存在。尤其当文档主题粒度跨度大时，Je曲线几乎单调下降。

解决：结合业务目标判断。想按话题分就观察每个簇的代表词是否有区分度；也可以用轮廓系数辅助，但同样不能只看分数。我的习惯是跑3到5个k值，人工抽查每个簇的文档，选“可解释性最好的”那个。

4.4 相似度计算出现NaN或负值：全零向量在捣乱

现象：相似度矩阵里有NaN，或者聚类结果包含空簇。

原因：文档向量全零。常见于太短的文档，或特征选择把所有词都砍掉了。另外余弦公式要除以模长，模长为0就出问题。

解决：保留至少一个特征维度；给空文档加一个特殊标记维度；或者在预处理时把过短文档剔除。检查特征选择的min_df是否设得过高，导致某些短文档没有词留下来。

4.5 评价指标和别人对不上：宏平均和微平均算混了

现象：自己按公式算出的F值，跟工具包输出不一致。

原因：计算宏平均时把“按簇计算”和“按类别计算”混用，或者加权方式不对。有时候还会把“每一个簇”和“每一篇文档”的计数搞混。

解决：先明确参考类别与簇的映射关系，再按“每个簇算一次P和R”的方式计算宏平均；微平均则先汇总所有簇的TP、FP、FN再加总计算。两种口径都要标注清楚。

5. 进阶验证：把PPT公式变成可落地的聚类检查流程

看完这套第五章PPT后，最容易犯的错误是把概念停留在纸面。我建议你按下面这个流程把知识跑通一遍：

1. 取一个小数据集，比如几百篇新闻稿，人工标好5个主题。
2. 按第2章的步骤做分词、去停用词、TF-IDF、降维。
3. 用余弦相似度跟K-Means聚类，k设为5，固定随机种子。
4. 算宏平均F和微平均F，同时输出每个簇前5个代表词。

这个流程做完，你才能真正理解“无监督”的三个关键点：没有标签怎么验证、相似度怎么影响结果、评价指标在表达什么。PPT里那些公式只有在对比真实结果时才有意义。

我自己的血泪教训是：一开始只调包，不看簇内文档，结果是数字漂亮但业务上完全没法用。后来我强制自己每轮实验都做两件事——打印每个簇的5篇代表文档原文，以及把误分样本翻出来对比相似度矩阵。从那以后我做文本聚类，无论数据集大小，都会强制走一遍“先可视化簇内文档，再谈评价指标”的验证流程。这套课件虽然只是课堂PPT，但把聚类的理论边界讲得很清楚，读透第五章再去看工具库的参数说明，会发现那些参数突然都好理解了。希望帮到你。

本文还有配套的精品资源，点击获取