企业官网建设流程全解析

1. 从零理解监督机器学习：核心概念与整体设计思路

1.1 监督学习到底在解决什么问题

很多人第一次接触监督机器学习，脑子里冒出来的是一堆公式和矩阵运算，觉得门槛高得吓人。但如果你把视角拉回到它要解决的根本问题，其实非常朴素：给定一批带有正确答案的样本，让机器自己找出一套映射规则，使得面对新样本时也能给出靠谱的答案。

举个生活化的例子。你教一个小孩认猫，你不会给他讲“猫属于哺乳纲食肉目猫科”，而是指着一只猫说“这是猫”，再指着一只狗说“这是狗”。重复几十次之后，小孩看到一只没见过的猫也能认出来。监督学习干的就是这件事——用带标签的数据训练模型，让模型学会从输入到输出的映射关系。

形式化一点说，我们有一个训练集 $D = {(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)}$，其中 $x_i$ 是输入特征，$y_i$ 是对应的标签。监督学习的目标是找到一个函数 $f$，使得 $f(x_i) \approx y_i$，并且这个 $f$ 对训练集之外的新样本也有良好的预测能力。

这里有两个关键词需要特别注意：“近似”和“泛化”。近似意味着我们不追求在训练集上百分百正确（那叫死记硬背），泛化意味着我们真正关心的是模型在新数据上的表现。这两者之间的张力，贯穿了监督学习的整个方法论。

1.2 为什么选择神经网络作为核心工具

监督学习的工具箱里有不少经典算法：线性回归、逻辑回归、支持向量机（SVM）、决策树、随机森林等等。这些方法在特定场景下表现很好，比如SVM在中小规模高维数据上分类效果拔群，硬间隔SVM的梯度下降实现也有成熟的数学推导。但为什么近十年神经网络成了绝对主力？

核心原因在于特征表达的层次化能力。传统方法需要人工设计特征，你得告诉算法“看这个边缘”“看这个纹理”“看这个颜色分布”。而神经网络，尤其是深度神经网络，可以自动从原始数据中逐层提取从低级到高级的特征。卷积神经网络（CNN）在图像上能自动学到边缘→纹理→部件→物体的层次表达，循环神经网络（RNN）和LSTM在序列数据上能捕捉时间依赖关系，图神经网络（GNN）则把这种能力扩展到了图结构数据上。

另一个关键推动力是算力的爆发。反向传播算法早在1986年就被Rumelhart等人系统阐述，但直到GPU大规模普及、通用神经网络处理器（NPU）出现之后，深度网络才真正变得可训练。现在甚至出现了专门加速神经网络的硬件架构，比如Versal ACAP这类自适应计算平台，以及通用神经网络处理器下的多核调度问题研究，都是在解决“如何让神经网络跑得更快更省电”这个工程难题。

1.3 监督学习的完整流程拆解

一个完整的监督学习项目，从拿到数据到最终部署，大致可以拆成以下几个阶段：

• 数据收集与标注：获取原始数据，进行人工或半自动标注。这一步的质和量直接决定了模型的上限。
• 数据预处理：归一化、标准化、缺失值处理、类别编码、数据增强等。
• 模型选择与设计：根据任务类型（分类、回归、序列预测等）选择合适的网络结构。
• 损失函数定义：衡量模型输出与真实标签之间的差距，常见的有均方误差（MSE）、交叉熵（Cross-Entropy）等。
• 训练与优化：通过梯度下降及其变体（SGD、Adam、RMSProp等）迭代更新参数。
• 评估与调优：在验证集上评估性能，调整超参数，防止过拟合。
• 部署与监控：将模型上线，持续监控性能衰减。

这个流程看起来线性，但实际操作中经常需要反复回溯。比如训练发现过拟合严重，可能要回到数据增强阶段；梯度下降不收敛，可能要重新审视损失函数或初始化策略。

注意：很多初学者一上来就急着搭网络、调参，忽略了数据质量。我踩过的最大的坑就是在一个图像分类项目里花了三天调网络结构，最后发现是训练集里有5%的标签标错了。数据清洗的投入永远不亏。

2. 神经网络的核心构件与关键细节解析

2.1 前馈神经网络：最基础的骨架

前馈神经网络（Feedforward Neural Network）是理解一切复杂网络的起点。它的结构非常直白：数据从输入层进入，经过若干隐藏层，最终到达输出层，每一层的神经元与下一层的神经元全连接，信息单向流动，不存在回路。

每一层的计算可以写成：

$$z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}$$ $$a^{(l)} = \sigma(z^{(l)})$$

其中 $W^{(l)}$ 是第 $l$ 层的权重矩阵，$b^{(l)}$ 是偏置向量，$\sigma$ 是激活函数，$a^{(l-1)}$ 是上一层的输出（也是本层的输入），$a^{(l)}$ 是本层的输出。

这个公式看起来简单，但它是所有深度网络的基石。CNN无非是在全连接之前加了卷积和池化操作来提取局部特征，RNN无非是在层间引入了时间维度的循环连接，Transformer无非是用注意力机制替代了固定权重的连接方式。理解了前馈网络的前向传播，后面的一切都是在这个骨架上做加法。

2.2 激活函数：给网络注入非线性

如果神经网络只有线性变换，那不管叠多少层，最终等价于一个线性变换。激活函数的核心使命就是引入非线性，让网络有能力拟合任意复杂的函数。

ReLU（Rectified Linear Unit）是目前最常用的激活函数：$f(x) = \max(0, x)$。它的优势非常明显——计算简单（一次比较操作），梯度在正区间恒为1，有效缓解了梯度消失问题。但ReLU也有短板：负区间的梯度为0，某些神经元可能“死掉”，永远不再更新。

为了解决这个问题，后续出现了Leaky ReLU（负区间给一个小斜率）、ELU（负区间用指数函数）、GELU（高斯误差线性单元）和SiLU（Sigmoid线性单元，也叫Swish）。GELU和SiLU在Transformer架构中特别受欢迎，因为它们的曲线更平滑，在零点附近有更好的梯度特性。GELU的公式是 $f(x) = x \cdot \Phi(x)$，其中 $\Phi(x)$ 是标准正态分布的累积分布函数。SiLU则是 $f(x) = x \cdot \sigma(x)$。

选择激活函数时需要考虑几个因素：计算开销、梯度特性、是否会导致神经元死亡、以及具体任务的经验表现。我在实际项目中的经验是：CNN的隐藏层优先用ReLU或其变体，Transformer类模型优先用GELU或SiLU，输出层根据任务选Sigmoid（二分类）、Softmax（多分类）或线性（回归）。

2.3 损失函数：衡量好坏的标尺

损失函数定义了“模型输出和真实标签差多少”。不同的任务需要不同的损失函数，选错了损失函数，训练可能完全不收敛。

均方误差（MSE）适用于回归任务：$L = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$。它的梯度与误差成正比，误差越大梯度越大，收敛速度快。但对异常值敏感，一个极端离群点可能主导整个损失。

交叉熵损失（Cross-Entropy）适用于分类任务。二分类用二元交叉熵：$L = -[y\log(\hat{y}) + (1-y)\log(1-\hat{y})]$。多分类用Softmax交叉熵：$L = -\sum_{c=1}^{C} y_c \log(\hat{y}_c)$。交叉熵配合Softmax输出层有一个非常优雅的性质——梯度简化为 $\hat{y} - y$，计算极其方便，数值稳定性也好。

对比损失、三元组损失等则用于度量学习场景，比如人脸识别中需要让同类样本距离近、异类样本距离远。

实操心得：分类任务中，如果你手动实现了Softmax交叉熵的反向传播，一定要注意数值稳定性。直接计算 $\log(\sum e^{z_i})$ 在 $z_i$ 很大时会溢出。标准做法是先减去最大值：$\log(\sum e^{z_i - \max(z)}) + \max(z)$。这个技巧在几乎所有深度学习框架中都有内置，但自己写代码时特别容易忘。

2.4 反向传播：神经网络学习的引擎

反向传播（Backpropagation）是神经网络训练的核心算法，本质上是链式法则在计算图上的高效应用。它的核心思想是：从损失函数出发，逐层向前计算每个参数对损失的梯度，然后沿着梯度的反方向更新参数。

具体来说，对于第 $l$ 层的权重 $W^{(l)}$，我们需要计算 $\frac{\partial L}{\partial W^{(l)}}$。根据链式法则：

$$\frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial z^{(l)}} \cdot \frac{\partial z^{(l)}}{\partial W^{(l)}}$$

其中 $\frac{\partial L}{\partial z^{(l)}}$ 被称为第 $l$ 层的误差项，记为 $\delta^{(l)}$。反向传播的精髓在于，$\delta^{(l)}$ 可以从 $\delta^{(l+1)}$ 递推得到：

$$\delta^{(l)} = (W^{(l+1)})^T \delta^{(l+1)} \odot \sigma'(z^{(l)})$$

这里的 $\odot$ 是逐元素乘法。这个递推关系意味着我们只需要一次前向传播和一次反向传播，就能计算出所有参数的梯度，计算复杂度与前向传播同阶。这就是反向传播高效的原因——它避免了数值微分那种对每个参数单独扰动的低效做法。

残差计算是反向传播中最容易出错的地方。特别是当网络结构复杂时（比如有跳跃连接、多分支、共享权重等），手动推导梯度几乎不可能不出错。这也是为什么现代深度学习框架都采用自动微分——你只需要定义前向计算，框架自动构建计算图并完成反向传播。

3. 实操过程与核心环节实现

3.1 梯度下降及其变体的选择策略

梯度下降是优化神经网络参数的基本方法。最朴素的批量梯度下降（BGD）每次用全部训练样本计算梯度，方向准确但计算量大。随机梯度下降（SGD）每次只用一个样本，更新频繁但方向抖动大。小批量梯度下降（Mini-batch GD）取两者折中，每次用一小批样本（通常32到256个），是实际中最常用的方式。

但原始SGD有几个问题：学习率难选、容易陷入鞍点、在峡谷形损失面上震荡。于是有了各种改进版本：

• Momentum：引入动量项，累积历史梯度方向，加速收敛并减少震荡。
• RMSProp：对每个参数自适应调整学习率，除以梯度平方的指数移动平均的平方根。
• Adam：结合Momentum和RMSProp，同时估计梯度的一阶矩和二阶矩，并做偏差校正。Adam是目前最常用的默认优化器。

学习率的设置非常关键。太大导致震荡甚至发散，太小导致收敛极慢。实践中常用的策略是学习率预热+余弦退火：前几个epoch从很小的学习率线性增加到初始学习率，然后按余弦函数逐渐衰减。另外，梯度裁剪在RNN和Transformer训练中几乎是必备的，防止梯度爆炸。

3.2 一个完整的前馈网络训练实例

下面用一个具体例子串起整个流程。假设我们要做一个手写数字识别任务（类似MNIST），输入是28x28的灰度图像，输出是0-9共10个类别。

第一步：数据准备。将图像展平成784维向量，像素值归一化到[0,1]区间。标签做one-hot编码，比如数字3变成[0,0,0,1,0,0,0,0,0,0]。

第二步：网络设计。一个简单的三层前馈网络：输入层784个神经元，隐藏层1有256个神经元用ReLU激活，隐藏层2有128个神经元用ReLU激活，输出层10个神经元用Softmax激活。

第三步：损失函数。用Softmax交叉熵损失。

第四步：参数初始化。权重用He初始化（适用于ReLU）：$W \sim \mathcal{N}(0, \sqrt{2/n_{in}})$，偏置初始化为0。初始化很重要，全零初始化会导致所有神经元对称，无法学习；初始化太大导致梯度爆炸，太小导致信号逐层衰减。

第五步：训练循环。每个epoch做以下操作：

for batch_x, batch_y in dataloader: # 前向传播 h1 = relu(batch_x @ W1 + b1) h2 = relu(h1 @ W2 + b2) logits = h2 @ W3 + b3 probs = softmax(logits) # 计算损失 loss = -np.mean(np.sum(batch_y * np.log(probs + 1e-8), axis=1)) # 反向传播（手动推导） dlogits = (probs - batch_y) / batch_size dW3 = h2.T @ dlogits db3 = np.sum(dlogits, axis=0) dh2 = dlogits @ W3.T dh2[h2 <= 0] = 0 # ReLU导数 dW2 = h1.T @ dh2 db2 = np.sum(dh2, axis=0) dh1 = dh2 @ W2.T dh1[h1 <= 0] = 0 dW1 = batch_x.T @ dh1 db1 = np.sum(dh1, axis=0) # 参数更新 for param, grad in zip([W1,b1,W2,b2,W3,b3], [dW1,db1,dW2,db2,dW3,db3]): param -= learning_rate * grad

第六步：评估与调优。每个epoch结束后在验证集上计算准确率。如果训练准确率持续上升但验证准确率下降，说明过拟合，需要加Dropout或L2正则化。如果两者都不上升，可能是学习率太小或网络容量不足。

3.3 从全连接到卷积：CNN的关键改进

全连接网络处理图像有个致命问题：参数太多。一张224x224x3的彩色图像展平后是150528维，如果第一层隐藏层有1000个神经元，光这一层就有1.5亿个参数。这不仅计算量大，而且极易过拟合。

卷积神经网络（CNN）通过三个核心思想解决了这个问题：

• 局部连接：每个神经元只连接输入的一个局部区域（感受野），而不是全部输入。
• 权重共享：同一个卷积核在整张图像上滑动，检测相同的特征。
• 池化下采样：通过最大池化或平均池化降低特征图的空间尺寸，增加感受野，减少计算量。

一个典型的CNN结构是：卷积层→激活函数→池化层→卷积层→激活函数→池化层→...→全连接层→输出层。卷积层提取特征，池化层压缩信息，全连接层做最终分类。

实操心得：CNN的卷积核大小通常选3x3，堆叠两个3x3卷积的感受野等于一个5x5卷积，但参数更少、非线性更强。1x1卷积可以用来改变通道数，在Inception和ResNet中大量使用。池化层现在有被步长卷积替代的趋势，因为步长卷积可以学习下采样方式而不是固定取最大值。

3.4 循环神经网络与LSTM：处理序列数据

前馈网络和CNN都假设输入是独立的，但很多任务的数据有顺序关系——文本、语音、时间序列。循环神经网络（RNN）通过引入隐藏状态 $h_t$ 来捕捉这种依赖：

$$h_t = \sigma(W_{hh} h_{t-1} + W_{xh} x_t + b_h)$$

$$y_t = W_{hy} h_t + b_y$$

RNN的核心问题是梯度消失和梯度爆炸。当序列很长时，反向传播的梯度需要连乘很多个雅可比矩阵，如果这些矩阵的谱半径小于1，梯度指数衰减；大于1则指数增长。这就是为什么原始RNN很难学到长距离依赖。

LSTM（长短期记忆网络）通过门控机制解决了这个问题。它引入了三个门：遗忘门决定丢弃多少旧记忆，输入门决定写入多少新信息，输出门决定输出多少记忆。还有一个细胞状态 $C_t$ 作为信息高速公路，梯度可以沿着它几乎无衰减地传播。

LSTM的公式比较多，但核心思想就是“有选择地记住和忘记”。GRU是LSTM的简化版，把三个门合并成两个（更新门和重置门），参数更少，在很多任务上表现相当。

3.5 损失函数与反向传播的配合细节

不同的损失函数配合不同的输出层激活函数，反向传播的梯度形式差异很大。这里整理一个速查表：

这个表揭示了一个漂亮的规律：当输出层激活函数和损失函数正确配对时，输出层的梯度都简化为预测值减真实值。这不是巧合，而是指数族分布和最大似然估计的自然结果。理解这一点，手动推导反向传播时就能少犯很多错误。

注意：如果你在二分类任务中用了Softmax而不是Sigmoid，或者在多分类中用了MSE而不是交叉熵，梯度形式会变得复杂，收敛也会变慢。配对规则不是死记硬背，而是有数学依据的。

4. 常见问题与排查技巧实录

4.1 训练不收敛的排查清单

训练不收敛是新手最常遇到的问题。表现是损失函数不下降，或者下降后震荡发散。下面是我总结的排查顺序：

第一，检查数据。输入数据是否归一化？标签是否正确？有没有NaN或Inf？我遇到过一次损失一直是NaN，查了半天发现是数据里有几个无穷大的值，归一化之后变成了NaN，然后污染了整个网络。

第二，检查学习率。学习率太大是最常见的原因。把学习率降低10倍试试。如果降低后开始收敛但很慢，说明原来的学习率确实太大了。如果降低后完全不收敛，可能是别的问题。

第三，检查损失函数和输出层的配对。前面说过，配对错误会导致梯度形式异常。确认一下你的任务类型和使用的损失函数是否匹配。

第四，检查初始化。全零初始化、初始化方差过大或过小都会导致问题。用Xavier或He初始化通常比较安全。

第五，检查梯度。打印每一层的梯度范数。如果梯度全是0，可能是激活函数饱和了（比如Sigmoid在很大或很小时梯度接近0）。如果梯度是NaN，检查是否有除零或log(0)操作。

4.2 过拟合与欠拟合的判断和处理

过拟合的表现是训练集表现很好但验证集表现差。处理方法包括：

• 增加数据量或做数据增强
• 添加L2正则化（权重衰减）
• 使用Dropout
• 减小网络容量
• 早停（Early Stopping）

欠拟合的表现是训练集和验证集表现都不好。处理方法包括：

• 增加网络深度或宽度
• 训练更长时间
• 减小正则化强度
• 检查特征是否足够有区分度

实际中最常见的是过拟合，因为现在的网络通常容量很大。我的经验是：先确保模型能在训练集上过拟合（哪怕过拟合很严重），然后再用正则化手段把泛化能力拉上来。如果模型连训练集都拟合不了，说明容量不够或优化有问题，加正则化只会雪上加霜。

4.3 梯度消失与梯度爆炸的应对策略

梯度消失和梯度爆炸是深度网络训练的核心难题。判断方法很简单：打印每层的梯度范数，如果从后往前指数衰减就是消失，指数增长就是爆炸。

梯度爆炸相对好处理：梯度裁剪（Gradient Clipping）直接把梯度范数限制在一个阈值内。另外，降低学习率、使用权重归一化也有帮助。

梯度消失更棘手，因为它意味着前面的层几乎学不到东西。应对策略包括：

• 使用ReLU及其变体替代Sigmoid/Tanh
• 使用残差连接（ResNet的核心思想）
• 使用Batch Normalization
• 使用LSTM/GRU的门控机制
• 合理的权重初始化

残差连接是我认为最优雅的解决方案。它让梯度可以通过跳跃连接直接传回前面的层，相当于给梯度开了一条高速公路。ResNet之所以能训练到上百层甚至上千层，残差连接功不可没。

4.4 超参数调优的实用建议

超参数调优没有银弹，但有一些策略可以提高效率：

调优顺序建议：先调学习率（影响最大），再调批大小和网络结构，最后调正则化参数。随机搜索通常比网格搜索更高效，因为很多超参数之间没有强交互，随机搜索能用更少的试验覆盖更大的空间。

实操心得：学习率调度器的选择有时候比初始学习率更重要。我试过同样的初始学习率，用余弦退火比固定学习率最终准确率高2-3个百分点。另外，warmup在Transformer类模型中几乎是必须的，前几百步用很小的学习率让模型先稳定下来，再逐步增大。

5. 从基础到进阶：监督学习的扩展方向

5.1 从CNN到现代视觉架构

CNN是计算机视觉的基石，但近年来架构设计有了很多新思路。残差网络（ResNet）通过跳跃连接解决了深层网络的退化问题。DenseNet把每一层都连接到后面所有层，特征复用更充分。EfficientNet通过复合缩放统一调整深度、宽度和分辨率，在效率和精度之间取得了很好的平衡。

Vision Transformer（ViT）则完全抛弃了卷积，把图像切成patch序列，用Transformer的注意力机制处理。在足够大的数据集上预训练后，ViT的表现可以超过最好的CNN。但ViT对数据量的要求更高，小数据集上不如CNN。

5.2 序列建模的演进：从RNN到Transformer

RNN和LSTM在序列建模上统治了很多年，但它们的串行计算特性限制了并行化。Transformer通过自注意力机制让序列中每个位置都能直接关注到其他所有位置，计算可以完全并行。

Transformer的核心是缩放点积注意力：

$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

其中 $Q$、$K$、$V$ 分别是查询、键、值矩阵，$d_k$ 是键的维度。除以 $\sqrt{d_k}$ 是为了防止点积过大导致Softmax梯度消失。

Transformer在NLP领域已经全面取代了RNN，在视觉、语音、甚至科学计算领域也在快速扩展。但它的计算复杂度是序列长度的平方，处理超长序列时仍然有挑战。后续的稀疏注意力、线性注意力等变体都在试图解决这个问题。

5.3 图神经网络：处理非欧几里得数据

很多现实世界的数据是图结构：社交网络、分子结构、知识图谱、交通网络。图神经网络（GNN）通过消息传递机制让节点聚合邻居信息来更新自己的表示。

最基本的GNN层可以写成：

$$h_v^{(l+1)} = \sigma\left(W \cdot \text{AGG}\left({h_u^{(l)} : u \in \mathcal{N}(v)}\right)\right)$$

其中 $\mathcal{N}(v)$ 是节点 $v$ 的邻居集合，AGG是聚合函数（求和、平均、最大等）。GNN在药物发现、推荐系统、欺诈检测等领域有广泛应用。

5.4 神经ODE与连续深度模型

传统神经网络是离散的层堆叠，神经ODE（Neural ODE）把深度看作连续时间，用微分方程来参数化隐藏状态的演化：

$$\frac{dh(t)}{dt} = f(h(t), t, \theta)$$

前向传播相当于用ODE求解器从 $t=0$ 积分到 $t=T$，反向传播则通过伴随方法计算梯度。神经ODE的优势是内存效率高（不需要存储中间层激活）、可以处理不规则时间序列、理论上可以表示任意精度的连续变换。但它的训练速度通常比离散网络慢，因为ODE求解器需要多次函数评估。

这个方向目前还在研究阶段，但已经在时间序列建模、生成模型等领域展现出了潜力。

6. 工程落地中的经验与教训

6.1 数据管道的搭建要点

在实际项目中，数据管道的质量往往比模型结构更影响最终效果。我总结了几条经验：

数据版本控制是必须的。每次实验用的数据版本要记录清楚，否则复现结果时根本不知道用的是哪份数据。可以用DVC这类工具，也可以简单地用日期+哈希命名。

数据增强要合理。图像分类中翻转、裁剪、颜色抖动是标配，但要注意增强后的数据仍然符合真实分布。我见过有人在医学图像上做随机旋转增强，结果把正常的解剖结构转成了不可能的形态，模型学到的全是噪声。

训练/验证/测试集的划分要严格。验证集用于调参和早停，测试集只在最后评估一次。如果反复用测试集调参，测试集就变成了验证集，最终报告的性能会过于乐观。

6.2 模型部署的注意事项

训练好的模型要上线服务，有几个坑需要提前规避：

推理速度优化。训练时可以用大batch、大模型，但推理时延迟要求可能很严格。模型剪枝、量化、知识蒸馏都是常用的压缩手段。量化把FP32权重变成INT8，模型大小减少75%，推理速度提升2-4倍，精度损失通常很小。

输入预处理一致性。训练时的归一化参数（均值、标准差）必须原封不动地用在推理时。我遇到过训练时用了ImageNet的均值和标准差，部署时忘了带，导致预测结果完全乱套。

监控与回滚。上线后要持续监控输入分布和预测分布。如果输入分布发生漂移（比如用户行为变化），模型性能会下降。设置好告警和回滚机制，出问题时能快速切回旧版本。

6.3 一些反直觉的实践经验

最后分享几条我在实际项目中总结的、和教科书说法不太一样的经验：

更大的模型不一定更好。在小数据集上，一个精心调参的小模型往往比大模型表现更好，因为大模型更容易过拟合。先从小模型开始，确认数据管道和训练流程没问题，再逐步增大模型。

学习率衰减比想象中重要。很多人只关注初始学习率，忽略了衰减策略。实际上，一个好的衰减策略可以让最终性能提升好几个百分点。余弦退火、阶梯衰减、指数衰减都值得尝试。

Batch Normalization不是万能的。BN在CNN中效果很好，但在RNN和Transformer中可能有问题（序列长度不一致导致统计量不稳定）。Layer Normalization在这些场景下更合适。

早停比正则化更直接。如果验证集损失开始上升，直接停掉训练往往比加各种正则化更简单有效。当然，早停和正则化可以结合使用。

随机种子很重要。同样的代码，不同的随机种子可能得到差异很大的结果。做对比实验时，至少跑3-5个种子取平均，否则结论可能只是噪声。