企业官网建设流程全解析

回归树是决策树在回归任务中的直接应用，也是很多机器学习者容易跳过的一块内容。分类树解决的是“属于哪个类别”的问题，回归树解决的是“输出一个连续数值”的问题，比如房价、销量、温度。两者在树的生长机制上高度相似，但分裂时的损失函数、叶子节点输出和评估指标都不同。如果直接用分类树那套指标去评估回归结果，很难判断模型到底好不好。回归树还天然容易过拟合，默认参数下训练集表现可能接近完美，测试集却一落千丈。因此掌握回归树的超参数含义，并形成一套可复现的调参流程，比单纯记住 API 重要得多。下面从 CART 回归树的原理开始，用最小代码示例跑通建模，再把 max_depth、min_samples_split、min_samples_leaf、max_features 等参数逐个讲清楚，最后给出网格搜索、学习曲线诊断和排错清单。

1. 先搞清楚回归树是怎么把连续值“切成几段”的

1.1 决策树如何从分类任务延伸到回归任务

决策树内部是一连串“如果特征满足某个条件，就走左子树，否则走右子树”的判断规则。分类树在叶子节点里保存类别标签或类别概率，而回归树在叶子节点里保存一个数值。CART 这个名字本身是 Classification And Regression Tree，也就是分类回归树，所以回归树并不是一个独立的算法，而是同一套树结构在不同目标类型下的两种形态。

分类树常用基尼系数或信息增益来评估一次切分是否值得，回归树则不同。分类问题关心的是节点内样本类别是否“纯净”，回归问题关心的是节点内目标值的差异是否变小。这个差异在回归任务里通常用均方误差来度量。换句话说，回归树每一次分裂的目标，就是把当前的样本区域切成两个更小区域，并让两个区域内的目标值各自更加接近区域内均值。

初学者最容易忽略的一点是：回归树的输出不是一条连续的直线或曲线，而是一个分段常数函数。它会根据特征把特征空间划分成若干矩形区域，每个区域内部使用同一个预测值。所以树的深度越深，区域划分越细，预测值的变化越丰富，但也越容易把噪声一起学进去。

1.2 CART 回归树的切分逻辑：让均方误差下降得最明显

CART 回归树在每个节点上做的是贪心搜索。它会遍历所有特征，并对当前节点里每个特征的取值尝试不同切分阈值。对于某个阈值，计算切分后左右两个子节点的均方误差，再按样本量加权求和，然后选择总误差最小的那一组“特征 + 阈值”作为当前分裂点。

一个节点内的均方误差定义如下：

MSE_node = (1 / n) * sum((y_i - y_avg)^2)

其中 n 是节点内样本数，y_avg 是节点内目标值的平均值。切分后的总误差可以写成：

cost = (n_left / n) * MSE_left + (n_right / n) * MSE_right

每一次分裂都会遍历所有候选切分点，选出 cost 最小的方式。这个操作会一直重复，直到满足停止条件，比如达到最大深度，或者叶子节点的样本数小于设定值，或者节点内样本已经无法再切分。

举一个极简例子。假设有一个特征 x，目标 y 的取值如下：

如果尝试在 x = 3 处切分，左边是前三行，右边是后两行。左边均值为 4，MSE 约为 0.67；右边均值为 21，MSE 为 1。整体加权误差约等于 0.8。如果尝试在 x = 2 处切分，左边前两行均值 3.5，MSE 0.25，右边三行均值约 15.67，MSE 约 57.55，整体加权误差大得多。因此算法会倾向于选择 x = 3 作为分裂点。这种机制决定了回归树能自动发现特征和目标之间的分段关系，但也决定了它很容易在数据边缘处过度拟合。

1.3 为什么回归树的叶子节点会输出均值或中位数

当回归树停止生长后，每一个叶子节点都对应特征空间里的一个矩形区域。这个区域里一般会剩下一批训练样本，回归树对该区域的预测值，就是这些样本目标值的统计量。

如果 criterion 使用 squared_error，叶子节点输出的是区域内样本目标值的均值。均值能最小化该区域内的均方误差，这是数学上可以直接推导出来的结论。如果 criterion 使用 absolute_error，叶子节点输出的是区域内样本目标值的中位数。中位数能最小化平均绝对误差，并且对离群点更稳健。

这里有一个容易被误解的点：回归树的预测结果不是通过拟合公式得到的，而是通过“查表”得到的。输入样本进入树后，根据各节点判断一路走到某个叶子，输出该叶子保存的固定数值。因此特征空间被分成的区域越多，输出值的粒度越细，但树的泛化能力不一定随之提高。

1.4 回归树常见应用场景和主要局限

回归树适合用在目标变量是连续数值、并且你希望模型具备一定解释性的场景。比如电商销量预测、房租估价、温度预报、设备寿命预测，甚至用来构造更复杂模型的代理模型。特征重要性也是回归树常见产出，可以辅助判断哪些特征对数值目标影响更大。

但回归树有一个非常明显的局限：它对训练数据非常敏感，训练数据稍微变化，整棵树的结构可能发生很大变化。另一个问题是它的预测面是阶梯状的，不能表达平滑变化趋势。这些问题虽然不能完全消除，但可以通过控制树的大小、叶子节点最小样本数、剪枝参数等超参数来缓解。所以超参数调优对回归树来说不是锦上添花，而是必要步骤。

2. 环境准备与示例数据集

2.1 Python 环境与依赖版本

本文示例基于 Python 和 scikit-learn。日常学习可以直接在本地安装依赖，也可以放在 Jupyter Notebook 或 VS Code 中运行。

pip install numpy pandas matplotlib scikit-learn

如果后续需要把决策树导出成图片，还可以安装 graphviz，但文章里的可视化部分不会依赖它。

建议使用 Python 3.8 及以上版本，scikit-learn 版本建议在 1.0 以上。不同版本之间参数名有差异，比如老版本回归树 criterion 写作 mse，新版本已经统一为 squared_error，如果代码在升级后报错，需要先检查参数名是否匹配。

注意：scikit-learn 中回归树默认 criterion 是 squared_error，老版本中写作 mse，升级后不能继续使用旧参数名。

2.2 生成一个带噪声的回归数据集

为了把回归树过拟合和超参数调优的过程看得更清楚，这里使用 make_regression 构造一份仿真回归数据。这样不需要从网上下载额外数据集，代码在任何机器上都能稳定复现。

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeRegressor, plot_tree, export_text from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score X, y = make_regression( n_samples=1000, n_features=15, n_informative=8, noise=50.0, random_state=42 ) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) print(X.shape, y.shape) print(X_train.shape, X_test.shape)

make_regression 生成的数据包含 15 个特征，其中 8 个特征与目标值有真正关系，其余特征接近无关特征。noise=50.0 表示目标值带有明显噪声，噪声会让回归树更好展示过拟合：它很容易在训练集上把噪声也学进去，导致测试集效果变差。

random_state 必须固定。回归树本身是一个高方差模型，固定随机种子后才能让每次运行结果一致，也方便后续调参时比较不同参数组合的效果。

2.3 数据划分和评估指标选择

回归问题不能只用准确率评估，必须选择能衡量预测值与真实值偏差的指标。本文统一使用以下四个指标：

R2 越接近 1，说明模型解释能力越强，训练集和测试集之间 R2 差距越大，过拟合风险越高。后续所有代码都会同时输出这四个指标，方便在不同阶段做横向对比。

3. 用默认参数训练一棵回归树，先看它有多“野”

3.1 构建第一个回归树模型

在理解回归树原理后，先用 scikit-learn 训练一棵不加任何约束的默认回归树。

dt_default = DecisionTreeRegressor(random_state=42) dt_default.fit(X_train, y_train) from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score def evaluate(model, X_train, y_train, X_test, y_test): for label, X_, y_ in [ ("train", X_train, y_train), ("test", X_test, y_test), ]: pred = model.predict(X_) mse = mean_squared_error(y_, pred) rmse = mse ** 0.5 mae = mean_absolute_error(y_, pred) r2 = r2_score(y_, pred) print(f"{label:5s} MSE={mse:8.2f} RMSE={rmse:8.2f} MAE={mae:8.2f} R2={r2:.4f}") evaluate(dt_default, X_train, y_train, X_test, y_test)

默认参数下，树会一直生长到所有叶子都足够“纯”或样本无法继续切分为止。对于一份带噪声的回归数据，它在训练集上通常能做到接近零误差，但在测试集上误差明显变大。实际运行时会出现类似下面的结果：

train MSE= 0.00 RMSE= 0.00 MAE= 0.00 R2=1.0000 test MSE= 5215.32 RMSE= 72.22 MAE= 56.78 R2=0.6542

这个结果说明训练集已经被完全记住，模型在测试集上只能解释约 65% 的目标方差。这就是典型的过拟合，也是后续调参要解决的核心问题。

3.2 可视化回归树结构

为了让模型不再是一个黑盒，可以把树画出来看前几层形状。

plt.figure(figsize=(16, 8)) plot_tree(dt_default, filled=True, max_depth=3) plt.show()

如果不想画图，也可以使用 export_text 直接输出文本形式的树结构。

print(export_text(dt_default, max_depth=3))

输出里能看到每个节点的分裂特征、分裂阈值，以及节点内的样本量和预测值。对于回归树，预测值就是该节点内样本的目标均值。max_depth=3 只是控制展示层数，并不影响模型本身。

|--- feature_11 <= -0.25 | |--- feature_3 <= 0.28 | | |--- feature_9 <= 0.44

这种结构非常适合向业务方解释：某个客户被预测为高价值，原因是他满足一系列特征条件。树越深，解释成本越高，所以实际项目中单棵树通常不会设置特别大的深度。

3.3 默认参数下的训练集、测试集表现

从默认模型的评估结果看，训练集 R2 几乎等于 1，测试集 R2 明显低。这是许多初学者第一次训练回归树很容易怀疑人生的场景。问题不在数据集，而在回归树默认参数本身。

默认 max_depth=None，表示树可以无限长深；默认 min_samples_leaf=1，表示允许单个样本形成一个叶子。这两条合在一起，相当于允许模型为每一个训练样本单独开辟一个区域。数据量不大时，训练集当然可以做到完美预测，但测试集一点好处都没占到。

调参的核心思路不是追求训练集满分，而是让训练集和测试集之间的差距尽量缩小，同时保持测试集误差在一个可接受的范围内。接下来几个章节会逐个说明哪些超参数能控制树的生长。

3.4 特征重要性：回归树的额外产出

决策树训练完成后可以直接输出 feature_importances_，表示每个特征对降低节点不纯度的贡献程度。对回归树来说，不纯度通常指均方误差。

importance = pd.Series(dt_default.feature_importances_) importance.index = [f"X{i}" for i in range(X.shape[1])] print(importance.sort_values(ascending=False))

使用时要注意，特征重要性是训练过程中的副产品，不能完全等同于因果关系。树会在深度较浅时优先选择某个特征，如果两个特征高度相关，其中一个的重要性可能被抬高，另一个被压低。做特征筛选时可以把它作为参考，但不要只看一次结果就删掉大量特征。

4. 回归树核心超参数逐个拆解

4.1 max_depth：先限制树深，防止无脑分裂

max_depth 是控制回归树复杂度最直接的参数，表示树从根节点到最深叶子节点的最大层数。默认值是 None，也就是不限深度。实际项目中很少使用默认值，因为不限深度等于允许树无限细化。

max_depth 较小时，模型只能捕捉大范围趋势，容易出现欠拟合。max_depth 较大时，模型会把训练样本里的噪声也记下来，容易出现过拟合。常见做法是从 3 到 10 这一段尝试，再根据数据量和特征数量微调。

当 sklearn 的 max_depth 设置为一个固定整数时，树到达该深度后就会停止分裂。即使某个节点内部还有很大误差，也不会继续切分。这样可以人为限制最终叶子数量，从而降低方差。

4.2 min_samples_split 与 min_samples_leaf：从样本量层面加约束

min_samples_split 表示一个内部节点至少要有多少个样本才允许继续分裂。默认值是 2，意味着只要有 2 个样本就可以尝试再切一次，这会导致树生长得非常深。把它调大，比如 5、10、20，可以使分裂门槛变高，树更早停止。

min_samples_leaf 表示叶子节点至少需要保留多少个训练样本。默认值是 1，也就是可以生成只包含一个样本的叶子。把它调大后，每个区域都必须含有足够多的样本，预测值会更平滑，对噪声的抵抗力也会增强。

两个参数的区别在于作用位置。min_samples_split 控制的是节点是否需要继续往下切，min_samples_leaf 控制的是切完后的叶子能不能成立。实际调参时，先约束 min_samples_leaf 往往比单独调 min_samples_split 更有效，因为它直接规定最终预测区域的最小容量。

两者都支持浮点数。传入浮点数时，它会解释为样本数的比例，比如 min_samples_leaf=0.01 表示叶子节点至少包含 1% 的训练样本。数据量很大时，用比例更直观。

4.3 max_features：控制每次分裂候选特征

max_features 表示每次分裂时最多考虑多少个特征。默认值是 1.0，相当于考虑所有特征。对单棵回归树来说，使用全部特征能保证分裂质量最高，但也最容易陷入对特定特征的依赖。

如果希望树更“随机”，可以把 max_features 设置为 sqrt 或 log2。这样做会让每棵节点只从特征子集中选择最优分裂，单棵树的效果可能下降，但模型多样性会增加。单棵回归树使用该参数的收益不明显，但在随机森林和梯度提升树中非常重要。

对于回归树，max_features 可以取整数表示候选特征个数，也可以取浮点数表示比例，或者使用字符串 "sqrt"、"log2"。如果特征数只有 15 个，sqrt 和 log2 差别不大，实际效果需要交叉验证确认。

4.4 max_leaf_nodes 与 ccp_alpha：两种不同的剪枝路径

max_leaf_nodes 限制整棵树的叶子节点总数。默认 None 表示不限制。把它设为 20 或 50，可以有效防止叶子数量爆炸。它是一种“预剪枝”思路，在构建树的过程中直接限制结构。

ccp_alpha 是另一种思路，对应最小代价复杂度剪枝。scikit-learn 中的 DecisionTreeRegressor 会自动生成一段剪枝路径，通过调整 ccp_alpha 的值选择复杂度与误差之间最合适的子树。ccp_alpha 越大，剪枝越激进，树越简单。它比较适合在模型基本确定后，再做一步精细化剪枝。

实际调参时，通常先调 max_depth、min_samples_leaf 这类参数，如果测试集误差仍然偏高，再引入 ccp_alpha 做进一步简化。不建议一开始就同时调很多参数，否则很难分清到底是哪个参数带来了改善。

4.5 criterion：损失函数的选择会影响叶子输出和结果敏感性

回归树 criterion 控制损失函数。scikit-learn 1.x 中可选值包括 squared_error、friedman_mse、absolute_error 和 poisson。

squared_error 对应均方误差，叶子节点输出均值，是大多数场景下的默认选择。absolute_error 对应平均绝对误差，叶子节点输出中位数，对离群点更稳健，但算法收敛更慢，训练时间通常更长。friedman_mse 是一种改进的均方误差分裂规则，主要用于梯度提升树，单独使用决策树时差异不明显。poisson 适用于目标变量是非负整数的计数场景，比如订单量、事故数。

多数项目直接使用默认 squared_error 即可。只有数据离群点严重，或者你明确知道目标分布更适合某个损失函数时，才把 criterion 纳入调参范围。

4.6 参数速查表

注意：调参不是每个参数越大或越小就越好，而是要在训练集与测试集之间找到平衡。固定 random_state 后，用交叉验证评估每种参数组合，才不会让结果带有随机性。

5. 超参数调优实战：从手动探测到网格搜索

5.1 先看一条曲线：max_depth 对偏差方差的影响

调参可以先从单一参数开始。以 max_depth 为例，遍历不同深度，观察训练集和测试集 R2 的变化。

depths = range(1, 31) train_scores = [] test_scores = [] for depth in depths: model = DecisionTreeRegressor(max_depth=depth, random_state=42) model.fit(X_train, y_train) train_scores.append(r2_score(y_train, model.predict(X_train))) test_scores.append(r2_score(y_test, model.predict(X_test))) plt.figure(figsize=(10, 6)) plt.plot(depths, train_scores, label="train") plt.plot(depths, test_scores, label="test") plt.xlabel("max_depth") plt.ylabel("R2") plt.legend() plt.grid(True) plt.show()

这个代码会画出一条典型的曲线。在深度很小的时候，训练集和测试集 R2 都低，说明欠拟合。随着深度增加，训练集 R2 持续上升，测试集 R2 先上升后下降。测试集 R2 开始下降的位置，就是过拟合的临界点。

对这份仿真数据，深度在 4 到 6 附近通常已经能取得不错效果。曲线图的价值不是精确找到一个数字，而是快速判断当前参数区间在欠拟合还是过拟合一侧。如果测试集 R2 没有明显下降，说明数据需要的树深度可能比预期更大，或者数据本身噪声更小。

5.2 先用小范围手动组合估计合理区间

画完单参数曲线后，可以手动测试几个简单组合。例如固定 max_depth=5，再调整 min_samples_leaf 从 1 到 20，观察训练集和测试集差距。手动探测的优点是直观，缺点是效率低，所以只适合确定大致区间。

一个推荐的顺序是：先用曲线确定 max_depth 范围，再把 min_samples_split 和 min_samples_leaf 放到 2 到 10 之间逐个尝试，最后再考虑 max_features 和 ccp_alpha。每一步只改变一个变量，才能有效记录变化来源。

5.3 GridSearchCV 网格搜索完整流程

当需要同时搜索多个参数时，使用 GridSearchCV 效率更高。它会按参数组合做交叉验证，最后选出一组在验证折上平均误差最小的参数。

from sklearn.model_selection import GridSearchCV param_grid = { "max_depth": [3, 4, 5, 6, 8, 10], "min_samples_split": [2, 5, 10, 20], "min_samples_leaf": [1, 2, 5, 10], "max_features": [1.0, "sqrt", "log2"], } grid_search = GridSearchCV( estimator=DecisionTreeRegressor(random_state=42), param_grid=param_grid, scoring="neg_mean_squared_error", cv=5, n_jobs=-1, ) grid_search.fit(X_train, y_train) print("best params:", grid_search.best_params_) print("best CV MSE:", -grid_search.best_score_) best_dt = grid_search.best_estimator_

scoring 设置为 neg_mean_squared_error 时，sklearn 会计算负均方误差，数值越大表示误差越小，所以最终的 best_score_ 需要取负才能得到原始 MSE。cv=5 表示五折交叉验证，每一组参数会训练 5 次模型。

上面这个网格包含 6 * 4 * 4 * 3 = 288 组参数，再乘以 5 折，大约要训练 1440 次模型。因为训练集只有 800 条样本，速度还能接受。数据量更大时，可以先把参数范围缩小，或者改用 RandomForest 风格的随机搜索。

注意：GridSearchCV 的 scoring 是 neg_mean_squared_error，负值绝对值越小越好。选择 scorer 时先确认方向，否则容易把参数标准看反。

5.4 参数组合太多时改用 RandomizedSearchCV

当参数空间很大时，网格搜索会变得非常缓慢。RandomizedSearchCV 会在参数分布中随机抽取固定数量的组合，训练次数可控，适合作为第一轮粗搜。

from sklearn.model_selection import RandomizedSearchCV random_search = RandomizedSearchCV( estimator=DecisionTreeRegressor(random_state=42), param_distributions={ "max_depth": list(range(3, 31)), "min_samples_split": list(range(2, 30)), "min_samples_leaf": list(range(1, 20)), "max_features": [1.0, "sqrt", "log2"], "ccp_alpha": [0.0, 0.001, 0.005, 0.01, 0.02, 0.05], }, n_iter=60, scoring="neg_mean_squared_error", cv=5, n_jobs=-1, random_state=42, ) random_search.fit(X_train, y_train) print("best params:", random_search.best_params_)

随机搜索不会遍历全部组合，但它有较大概率找到接近最优的参数。实际项目中建议先用随机搜索找大致区域，再在最优参数附近用网格搜索做细调。这样能兼顾时间和精度。

6. 调参后如何验证和诊断

6.1 调参前后指标对比

用调参后的 best_dt 再次评估训练集和测试集，会看到训练集分数有所下降，但测试集分数明显提升，训练集和测试集之间的差距也缩小。

这里不要追求训练集 R2 无限接近 1。回归树一旦在训练集上表现完美，几乎可以断定它同时记住了噪声。调参后的训练集 R2 略低于默认值，反而是模型开始泛化到测试集的特征。

6.2 使用学习曲线定位偏差方差问题

学习曲线能判断当前模型是欠拟合还是过拟合。它展示训练样本量增加时，训练误差和交叉验证误差的变化。

from sklearn.model_selection import learning_curve train_sizes, train_scores, valid_scores = learning_curve( DecisionTreeRegressor(max_depth=best_dt.max_depth, random_state=42), X_train, y_train, train_sizes=[0.2, 0.4, 0.6, 0.8, 1.0], cv=5, scoring="neg_mean_squared_error", ) train_score_mean = -train_scores.mean(axis=1) valid_score_mean = -valid_scores.mean(axis=1) plt.figure(figsize=(10, 6)) plt.plot(train_sizes, train_score_mean, label="train") plt.plot(train_sizes, valid_score_mean, label="cv") plt.xlabel("train size") plt.ylabel("MSE") plt.legend() plt.grid(True) plt.show()

如果训练误差和交叉验证误差都高，说明模型过于简单，应该增加树深度或减少叶子约束。如果训练误差很低、交叉验证误差高，说明过拟合，应当继续简化模型或增加样本量。学习曲线能直观回答调参方向是否准确的问题。

6.3 最终测试集确认：调参不能只看验证集

调参过程中，验证集已经参与了参数选择，因此最终性能必须在从未参与训练的测试集上确认。

evaluate(best_dt, X_train, y_train, X_test, y_test)

最终测试集只能使用一次。不能根据最终测试集结果反复修改参数后，再在同一份测试集上重新评估。否则测试集信息会间接进入调参过程，导致结果偏高，造成上线后性能下滑。

7. 回归树超参数调优中的常见问题与排查

7.1 训练集效果很好，测试集一落千丈

这是回归树最常见的现象。训练集 R2 接近 1，测试集 R2 远低于训练集，典型原因是模型过深，把训练样本中的噪声也学进去了。

检查重点：查看 max_depth 是否为 None，min_samples_leaf 是否为 1。处理方式：减小 max_depth，增大 min_samples_leaf，或者使用 ccp_alpha 剪枝。推荐先画 max_depth 曲线，找到测试集 R2 下降前的临界深度。

7.2 模型输出总是一个近似常数

现象是无论输入是什么，预测结果都差别很小，甚至接近目标均值。常见原因是树太小，比如 max_depth=1 或 2，又或者 min_samples_leaf 设置过大，导致模型几乎没有做分裂。

检查方式：查看 export_text 输出的树结构，确认叶子数量是否过少；确认训练集和测试集 R2 是否都很低。处理方案：适当增加 max_depth，或降低 min_samples_leaf。

7.3 网格搜索跑得非常慢

网格搜索慢通常有两个原因。一是参数组合太多，二是训练数据量太大。回归树虽然训练速度快，但组合数量会成倍放大训练次数。

检查方式：打印 param_grid 的组合数量，再乘以 cv 折数。处理方式：先用 RandomizedSearchCV 做粗搜，或者缩小参数候选值。n_jobs=-1 可以并行加速，但在共享服务器上要留意 CPU 资源占用。

7.4 输入特征含有缺失值或类别文本

scikit-learn 的 DecisionTreeRegressor 不支持文本类别特征，也不允许特征中存在缺失值。很多初学者直接用原始 DataFrame 训练，报错后才发现问题。

检查方式：用 df.isnull().sum() 查看缺失值，用 df.dtypes 查看列类型。处理方式：对文本类别做 OneHotEncoder 或 OrdinalEncoder，对缺失值使用 SimpleImputer 填充均值、中位数或常量。回归树对特征尺度不敏感，但缺值和文本必须提前处理。

7.5 排错清单

8. 回归树调参的最佳实践与扩展方向

8.1 一套可复用的调参流程清单

回归树调参不需要从随意猜测开始，可以按下面顺序推进。这套流程也适用于随机森林和梯度提升树，只是参数名称略有差别。

1. 固定 random_state，先训练默认回归树，记录训练集和测试集指标，作为基线。
2. 画出 max_depth 的变化曲线，确定深度的大致范围。
3. 在范围内调节 min_samples_leaf，先让叶子输出足够稳定，再调 min_samples_split。
4. 使用 GridSearchCV 或 RandomizedSearchCV 同时搜索 max_depth、min_samples_leaf、min_samples_split、max_features。
5. 如果模型仍然复杂，可以加入 ccp_alpha 做最小代价复杂度剪枝。
6. 使用学习曲线判断最终模型的偏差还是方差问题更突出。
7. 在最终测试集上评估一次，确认模型泛化能力。
8. 保存模型，并记录训练数据范围、特征名称、参数配置，便于后续复现。

这套流程的价值不在于找到唯一的参数组合，而在于每一次调整都有依据，不会因为一次随机结果就反复改变方向。

8.2 生产环境使用回归树要注意什么

单棵回归树在生产环境的主要优势是解释性好、推理速度快。但上线前不能只保存一个模型，还需要考虑以下几点。

第一，特征处理要固化。训练时如果做过缺失值填充或类别编码，预测阶段必须使用相同逻辑，不能重复训练过程中已经拟合好的编码器等对象。

第二，模型版本要记录清楚。建议把模型文件、特征列名、参数配置一起打包保存，可以用 joblib 实现。

import joblib joblib.dump(best_dt, "best_regression_tree.joblib") loaded_tree = joblib.load("best_regression_tree.joblib")

第三，要监控输入特征分布和目标变量分布。如果生产数据与训练数据差异越来越大，即使模型内部没有变化，预测效果也会下跌。单棵回归树对特征尺度不敏感，但对分布漂移仍然敏感。

第四，考虑回归树的可控规模。生产环境不建议使用完全生长的回归树，因为叶子数量过多既影响解释性，也增加过拟合风险。通常限制 max_depth 或叶子数量，会让模型更安全。

8.3 从单棵决策树走向集成模型

回归树调参练熟后，真正追求精度时通常会转向上层集成算法。随机森林通过多棵树投票平均，降低单棵树的方差；梯度提升树通过串行拟合残差，在偏差和方差之间寻找平衡。

集成算法中很多超参数和回归树是相通的。比如随机森林的 max_depth、min_samples_leaf、max_features 沿用单棵树的含义；梯度提升树的 n_estimators、learning_rate 则是新引入的复杂度控制参数。先理解单棵回归树，再迁移到集成模型，会顺畅很多。

单棵回归树在业务中的价值，不在于刷新线上精度，而在于用一个可解释的模型帮助理解数据和业务。真正需要精度时，再把调参过程中积累的认知迁移到集成模型中。对新手来说，先把每一组参数的变化用曲线记录下来，形成自己的调参手感，比记住一个固定的最佳参数表更有用。