去年我做某个价格预测项目，一开始理所当然按老思路上了线性模型，结果验证集R²卡在0.4上下怎么调都上不去。后来把模型换成决策树回归，基于sklearn接口重写训练流程，代码改动不超过十行，效果立刻不一样了。这篇就是这个决策树系列的第二篇案例，重点讲清楚怎么把决策树从分类场景切到回归场景：分裂逻辑和分类有什么不同、参数怎么调、过拟合怎么治，以及什么时候它比线性回归和随机森林更值得优先试一把。适合已经知道决策树能做分类、但还没认真碰过回归场景的读者，也适合想快速建立回归树调参手感的人。

1. 决策树回归到底改了什么：分裂指标和输出方式都换了

1.1 从Gini到MSE：回归树用一个数值指标决定一切

在sklearn里，DecisionTreeClassifier和DecisionTreeRegressor的接口高度相似，看起来就是换了个类名，可实际上树在生长时的判断标准完全不同。分类树的目标是让每个子节点里的样本类别尽量纯，所以算Gini系数或者信息增益；回归树面对的是连续的目标值，没法要求“纯”，只能尽量让每个子节点里的y取值聚集在一起，方差越小越好。这里推荐一份我之前踩坑后整理的经验：如果你已经跑过分类案例，千万别默认回归树会沿用同样的分裂准则，它内部默认用squared_error。

在sklearn的DecisionTreeRegressor中，默认的criterion参数是squared_error，也就是均方误差MSE。分裂时算法会遍历每个特征的每个可能取值，计算把当前节点分成左右两边之后MSE之和能下降多少，下降最多的那个特征和阈值就会被选中。这里的MSE就是每个样本的真实值与节点内均值之差的平方再取平均。说得直白一点，树在搜索的时候像一个强迫症，每次都挑那个最能“让两边各自变得规矩”的切法。

纯粹从数学上看，这和K-Means更新聚类中心有类似的味道：节点里的均值是当前这一块的“代表值”，分割点则让代表值对数据点的解释力更强。理解了这一点，后面看特征重要性也就顺了，特征重要性本质上就是“如果拿这个特征来分割，MSE能降多少个单位”的累加。所以你问回归树到底改了什么，答案不是树形结构变了，而是它衡量“好坏”的那把尺子从离散纯度换成了连续误差。

1.2 叶子节点的预测值：不是函数公式，是样本平均值

回归树另一个让人容易误解的地方，是它的预测过程没有一条光滑的拟合曲线。一个叶子节点里训练样本的y平均值（或者中位数）就是该叶子给所有新样本的预测值，所以整棵回归树其实是一个分段常数函数。这是决策树回归和线性回归最直观的区别，也是它被很多人觉得“粗糙”的原因。

比如用年龄预测保费，如果树的某个叶子条件是“年龄小于25”，这个叶子里面训练样本的平均保费是3200元，那么所有年龄小于25的新样本进来，不管具体是18岁还是24岁，预测值都是3200元。这就是分段常数的含义：它不问“年龄每增加1岁保费涨多少”，而是直接问“你落在哪个区间，我就给你这个区间的平均答案”。

这个特点带来两个重要推论。第一，树模型的预测范围不可能超过训练数据里y的取值区间，你没法指望它做外推，线性回归却可以沿着斜率一直延伸出去，所以在增长率预测这类需要外推的任务里，树模型天然吃亏。第二，分段常数允许预测值出现剧烈的跳变，比如年龄从24跨到25，预测保费可能瞬间跳涨一大截，这正是它能够刻画非线性关系、门槛效应和复杂交互结构的原因。手上数据里“超过某个阈值行为就完全变了”这类规律越多，决策树就越有发挥空间。

1.3 分类与回归的接口差异：一个表看清关键参数变化

既然接口相似，很多人直接把分类案例的代码套回归，绝大多数情况下能跑通，但有几个细节不一样。我列一个表看得更清楚：

这个表看着简单，但实战中有个坑：分类树判断叶子是否“合格”看类别是否全一致，回归树看的是y的方差是不是足够小。如果你的目标y取值范围很大，比如房价从几十万到几千万，MSE会让树优先去拟合那些离群的大数值样本，因为把大数值的错误平方一下就非常大。这种时候把criterion换成absolute_error（回归树支持MAE作为分裂准则），树对离群值的敏感度会低很多，训练可能更稳。我在一组收入预测数据上验证过，换成MAE准则之后验证集的中位数误差确实下降，代价只是训练时间稍微长一点。

2. 案例数据设计：先造一组合适的“考题”再动手

2.1 为什么我不用现成的数据集

很多教程习惯直接加载某个知名数据集，拿来就跑。我之前也这么干，后来发现有两个问题：一是现成数据集已经被大家跑烂了，你很难看出模型差异到底是因为方法好还是因为数据集特殊；二是真实数据集的特征相关性、量纲、噪声分布全是未知数，读者没法在自己的电脑上复现同一种“手感”。

所以我在这篇案例里选择自己生成一份模拟数据。好处是总共有多少个样本、噪声多大、真实规律长什么样都完全可控。哪怕你和我用的随机种子不同，只要生成逻辑一样，结论的大方向也不会偏差。这样也更方便理解“为什么线性回归在这份数据上表现不好，而决策树可以”。很多读者第一次接触决策树回归时总觉得自己没理解透，其实缺的就是这种“已知答案再反推模型行为”的过程。

2.2 生成带非线性关系的数据：正弦曲线加交互项

我构造一份500条样本的二维回归数据。特征x1在0到10之间均匀分布，特征x2在0到10之间均匀分布，目标y由下面的公式产生：

y = sin(x1) + 0.5 * x2 + noise

这里的sin(x1)是强烈的非线性项，x2则提供一部分线性贡献，noise是均值为0、标准差为0.1的高斯噪声。用这段代码可以直接生成：

import numpy as np import pandas as pd rng = np.random.RandomState(42) X = rng.uniform(0, 10, size=(500, 2)) x1, x2 = X[:, 0], X[:, 1] y = np.sin(x1) + 0.5 * x2 + rng.normal(0, 0.1, size=500) df = pd.DataFrame(X, columns=["x1", "x2"]) df["y"] = y print(df.head())

这份数据有三个特点值得注意。第一，x1与y的关系是非线性的，线性回归如果只用x1，大概只能拟合一条直线，很难追上正弦曲线。第二，x2对y是线性的，这意味着数据里最朴素的规律也在，不会让人觉得这份数据是故意刁难线性模型。第三，噪声很小，只要模型架构合适，R²上限会很高，便于观察调参带来的变化。如果你希望更像真实业务数据，可以把噪声标准差从0.1加到0.5，模型之间的差距依然清晰，只是绝对数值会变差。

2.3 决策树回归在预处理上的便利：不用标准化也不用归一化

线性回归跑之前一般要检查特征的量纲差异，要么标准化要么归一化，否则某些特征会由于数值范围大而主导系数。决策树模型完全没有这个烦恼，因为它每一次分裂都是单独看一个特征上的阈值比较，特征取值范围是100还是0.01，最终结果完全等价。对数值型特征来说，树的切分只关心排序关系，不关心绝对尺度。这一点在项目里的实际收益很大：拿到乱七八糟的原始特征，我可以先直接喂给决策树跑基线，不用浪费时间做特征缩放。

不过要注意，sklearn的DecisionTreeRegressor目前不支持缺失值，喂进去的X里如果有NaN，fit会直接报错。所以缺失值必须预先处理，一般用均值、中位数或者插值补上。另外，树模型非常讨厌“高基数类别特征”直接做整数编码，因为模型会把3、7、15这些数值当成有大小关系的数去切分，真实类别关系可能完全不是这个意思。我的建议是类别特征要么转成one-hot，要么对这个任务有充分把握再直接保留。

3. sklearn接口跑通最小回归模型：核心参数逐个排雷

3.1 先跑一个最朴素的版本看看会发生什么

我直接使用默认参数的DecisionTreeRegressor拟合这份数据，代码非常短：

from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeRegressor from sklearn.metrics import mean_squared_error, r2_score X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42 ) reg = DecisionTreeRegressor(random_state=42) reg.fit(X_train, y_train) y_train_pred = reg.predict(X_train) y_test_pred = reg.predict(X_test) print("train MSE:", mean_squared_error(y_train, y_train_pred)) print("test MSE:", mean_squared_error(y_test, y_test_pred)) print("test R2 :", r2_score(y_test, y_test_pred))

在我这组数据上，输出大概是训练集MSE接近0.005甚至更低，测试集MSE变成0.3左右，R²掉到0.65附近。这就是教科书里说的“高方差”表现：模型太自由，在训练集上把噪声都背下来了，换一批新数据就露馅。如果你跑出来不一样，多半是数据规模或随机种子不同，但“训练远好于测试”这个现象基本是确定的。之所以要拿默认参数先跑一遍，就是要亲眼看到这个现象，后面调参才有对照。

3.2 五个最容易影响回归树性能的参数

DecisionTreeRegressor的参数不少，但真正决定模型行为的就是下面这几个：

• max_depth：树的最大深度。默认是None，也就是不限制，树可以一直往下长。深度越大，能捕获的特征交互越复杂，但也越容易过拟合。回归树我建议起步就在3到7之间试。
• min_samples_split：一个内部节点至少要有多少个样本才允许继续分裂。默认是2，意思是只要节点里还有两个样本，就可能继续分，这显然是过拟合的温床。调大这个值会让树更保守。
• min_samples_leaf：叶子节点至少要有多少个样本。这个参数比上一个更“狠”，因为它直接要求最终每个叶子都得凑够一批样本做预测。默认是1，对回归来说太不稳健，后面我会专门讲为什么。
• max_features：每次分裂考虑多少个特征。默认None也就是全部特征。当特征数很少时保持默认就行，特征特别多时设置成例如0.5或者sqrt才有效果。
• ccp_alpha：代价复杂度剪枝系数，这个放到后面单独说。

我在实际调参时，优先动的是min_samples_leaf和max_depth，这两个参数对模型复杂度的影响最直接。min_samples_leaf从1调到5再到10，很容易看到验证集误差先降后升，那个拐点就是合适的位置。网格搜索当然可以同时扫全部参数，但先把这两个参数手动扫一遍，你会对树模型的行为有更具体的感知。

3.3 参数背后的偏差方差权衡：多看形态，少背结论

在sklearn里调参数，最忌讳死记硬背“max_depth=5最好”这种结论。同样的深度，在样本量不同的数据上表现完全不同：样本充足时，深度大的树没那么容易过拟合；样本稀薄时，深度3的树可能都显得太复杂。所以调参的第一原则，是把样本量放进决策里。

一个常用的策略是控制变量。先把min_samples_leaf固定在一个贴合样本量的值，比如样本量几百时设成5到20，然后单独扫max_depth；扫完深度再回头扫min_samples_leaf。原因是max_depth限制的是树的层级结构，min_samples_leaf限制的是每片叶子的人口规模，两者有交互但侧重点不同，一起扫的话网格会非常大，分开扫更有效率。

我个人的经验是，回归树对min_samples_leaf更敏感。因为回归的预测值要依赖叶子内的平均值，叶子样本太少，平均值就受单个离群点影响很大。如果叶子样本有10个以上，哪怕其中混入一个极端值，对平均值的冲击也会小很多。后面网格搜索的例子里，你会看到最优参数通常落在min_samples_leaf=5到20之间，而不是默认的1。

4. 交叉验证与网格搜索：别让测试集陪着调参

4.1 为什么不能反复用同一份测试集试参数

初学者很容易犯一个错误：先用测试集跑出一个准确率，调一下参数再跑，看到测试集分数变好就高兴，多调几次之后测试集分数越来越好，但这个分数已经失真了。因为你在拿测试集当训练信号，测试集里的信息已经被模型间接学会了。最后真正上线时，模型面对新数据表现往往比测试分数差一截。

解决方法，是把数据划成训练集、测试集，再在训练集内部用交叉验证来挑参数。测试集只在最后一刻被用一次，分数才相对可信。有些项目还会把训练集再切出一个小验证集，但交叉验证一般已经够用，而且对几百条样本的数据来说更节省。

4.2 GridSearchCV与DecisionTreeRegressor的组合拳

sklearn里调参最方便的工具是GridSearchCV，我一般和决策树配对使用。比如下面这个网格，把max_depth、min_samples_split、min_samples_leaf都放进搜索空间：

from sklearn.model_selection import GridSearchCV param_grid = { "max_depth": [3, 5, 7, 10, None], "min_samples_split": [2, 5, 10], "min_samples_leaf": [1, 5, 10, 20], } grid_search = GridSearchCV( DecisionTreeRegressor(random_state=42), param_grid, cv=5, scoring="neg_mean_squared_error", n_jobs=-1, ) grid_search.fit(X_train, y_train) print("best params:", grid_search.best_params_) print("best cv score:", -grid_search.best_score_)

注意scoring要传neg_mean_squared_error，原因是sklearn内部约定分数越高越好，MSE本身是越小越好，所以要取负号。如果你用MAE，就传neg_mean_absolute_error。GridSearchCV会在训练集上做5折交叉验证，最后得到最合适的一组参数。跑完之后，最好用这组参数在测试集上验证一次，测试集分数通常比交叉验证平均分数略低一点点，这很正常，不用紧张。

我实际用下来的体会是：网格不必太密。max_depth从3到10按2递增，min_samples_leaf从5到20按5递增，往往已经足够了。太密的网格让计算量暴增，收益却微乎其微。交叉验证的折数，样本量小用5，样本量大可以用10，不一定要死磕某个数字。

4.3 回归评估指标怎么选：MSE、MAE与R²不是一回事

评估回归模型时容易犯的第二个错误，是指标混用。MSE对离群值非常敏感，因为它把每个误差都平方了。假如100个样本里99个误差是1，1个误差是10，MSE算出来是1.99，好像不错，但你自己复盘时会发现预测结果其实对那个离群点完全失控。MAE只要1.09，看起来好很多，但它不区分离群值和普通误差，优化时会显得过于迟钝。

R²表示模型解释了多少比例的目标方差，取值范围通常小于等于1。R²=0.7的意思不是预测准确率70%，而是说模型比“直接用平均值预测”强了70%。在刚才这份模拟数据里，线性回归R²大约0.3，决策树调到最好的时候能到0.85以上，对比价值非常大。

实际业务中我的选择逻辑是：如果错误成本随误差平方增长，比如库存过量会线性扩大损失，那用MSE调参；如果只想保证中位数预测别太离谱，用MAE更稳；如果想跟业务方说“这个模型大概抓到了数据八成的波动规律”，用R²讲故事最直观。指标选择不是一个“随便挑一个就行”的步骤，它会直接影响网格搜索最终选出的那组参数。

5. 过拟合的视觉证据与剪枝实操：从树结构图看哪里出了问题

5.1 画出一棵默认树，你会被它的复杂程度吓到

sklearn提供了plot_tree函数，可以直接把训练好的决策树画出来。默认参数的树在500个样本上会长得非常深，画出来很容易撑满整张画布，我只截取一部分：

import matplotlib.pyplot as plt from sklearn.tree import plot_tree plt.figure(figsize=(24, 12)) plot_tree(reg, feature_names=["x1", "x2"], filled=True, rounded=True, max_depth=4) plt.show()

画出来之后你会发现两个直观现象。第一，树的节点密密麻麻，很多叶子只有一两个样本。第二，分裂条件经常是x1=7.56这种非常精确的阈值，并且不同分支的阈值挨得很近。这些都是模型在记忆噪声而不是学习规律的表现。一棵真正泛化良好的回归树，结构应该很稀疏，一个节点下面往往有几十上百个样本。

这个可视化不是花架子，它是排查过拟合的第一手证据。如果画完发现某个叶子里的样本量只有1，那个叶子的预测值完全可能被一个异常点带偏。你都不用把min_samples_leaf调到20，先看看调到5的效果，树立马清爽很多。许多时候我判断一个树模型健不健壮，最直接的粗筛方式就是数叶子里的样本量，而不是看一堆指标数字。

5.2 预剪枝参数怎么组合：先压叶子规模，再压树身高度

预剪枝就是在树生长的过程中就限制它，常见手段就是max_depth、min_samples_split、min_samples_leaf。我通常的操作路径是：

1. 把min_samples_leaf先设成样本量的1%到3%。500个样本就设5到15，5000个样本就设50到150。
2. 用交叉验证扫max_depth，观察验证曲线。深度从3开始，每加1看一次，通常在5到7之间就会出现平台期。
3. 固定刚刚选出的max_depth，再回头微调min_samples_leaf，选择R²或MSE最优的点。

这套流程比直接穷举大网格快很多，而且每步之间的因果关系清楚。比如样本量很大时min_samples_leaf设大一点完全没问题，叶子多了预测均值越稳定，但也不能太大，否则连两个特征的交互都学不出来。有一个很简单的判断标准：如果训练集和测试集分数差距依然很大，就继续加压预剪枝；如果两个分数都差，说明模型欠拟合，反而该放松限制。

5.3 代价复杂度剪枝CCP：比手调深度更精细的后剪枝

如果觉得手动组合预剪枝参数不够精细，sklearn还提供了一个非常值得用的后剪枝手段：cost complexity pruning，代价复杂度剪枝。思路是先把树完整长出来，然后计算每个子树在“拟合误差”和“树复杂度”之间权衡的系数ccp_alpha，再挑一个合适的alpha重新训练并剪枝。

第一段代码是拿到alpha路径：

reg_default = DecisionTreeRegressor(random_state=42) reg_default.fit(X_train, y_train) path = reg_default.cost_complexity_pruning_path(X_train, y_train) ccp_alphas = path.ccp_alphas

然后对不同alpha分别训练，看验证集分数变化：

trees = [] for alpha in ccp_alphas: tree = DecisionTreeRegressor(random_state=42, ccp_alpha=alpha) tree.fit(X_train, y_train) trees.append(tree) # 根据alpha列表逐一计算验证集MSE，找谷底附近的alpha

CCP的好处是它把“树有多复杂”量化成一个连续的惩罚项，而不是像max_depth那样只能取整数。你会看到alpha从0开始增大时，验证误差先下降，因为树在去除噪声分支；到某个点后开始上升，因为把真实规律也剪掉了。取那个谷底附近的alpha，就是当前数据下树复杂度最合适的位置。需要提醒的是，ccp_alpha对数据量敏感，同一份数据换一个随机种子，最佳alpha可能会差一个量级，所以还是要用交叉验证去选，不要拍脑袋定。

补充一点，CCP和预剪枝参数并不矛盾。我一般先设一个合理的min_samples_leaf压住最离谱的叶子，再配合CCP剪掉后续长出的冗余分支，两者一起用往往比单用某一个更稳。

6. 和线性回归、随机森林同场对比：什么时候该让决策树出战

6.1 同一份模拟数据上的三模型实测结果

为了更直观地理解决策树回归的定位，我在同样这份sin加线性加噪声的数据上，又跑了线性回归和随机森林回归，代码如下：

from sklearn.linear_model import LinearRegression from sklearn.ensemble import RandomForestRegressor models = { "LinearRegression": LinearRegression(), "DecisionTreeRegressor": DecisionTreeRegressor(max_depth=5, min_samples_leaf=5), "RandomForestRegressor": RandomForestRegressor( n_estimators=200, max_depth=5, min_samples_leaf=5, random_state=42 ), } for name, model in models.items(): model.fit(X_train, y_train) y_hat = model.predict(X_test) mse = mean_squared_error(y_test, y_hat) r2 = r2_score(y_test, y_hat) print(f"{name}: MSE={mse:.4f}, R2={r2:.4f}")

我在这份数据上跑出来的结果大致是：线性回归MSE在0.35左右，R²不到0.5；修剪过的单棵决策树MSE在0.05到0.08之间，R²能到0.88；随机森林MSE还能再往下降一截，R²到0.92以上。这个对比清楚地说明，数据结构里一旦有门槛式的非线性关系，线性模型再怎么调都补不上，因为它的表达空间被直线形状限制死了。单棵决策树已经能逼近真实规律，只是方差比随机森林大一些，所以从单棵树换成200棵树的随机森林，效果还能继续涨。

6.2 特征重要性和可解释性：单棵树独有的价值

回归树训练完之后可以输出feature_importances_，表示每个特征对减少MSE的贡献占比。拿这份数据来说，x1通常贡献比x2大，因为sin项的波动强烈，而x2只是一个斜率为0.5的线性项。这个结果和真实生成公式是吻合的。

不过对特征重要性要留个心眼。sklearn里的feature_importance是基于训练时节点分裂带来的不纯度下降量累计出来的，它偏向数值型特征和高基数特征。如果两个特征高度相关，重要性会把功劳集中到其中一个上面，另一个看起来就没用，但它其实也是有用的。所以我的习惯是：特征重要性用来做方向性筛选，比如“前五个特征明显重要，后面十几个都接近0”，可以放心扔掉后面的；但不要在两个相关特征之间过度解读谁比谁重要。

单棵树的可解释性还体现在它可以完整画出分裂路径，业务人员可以直接看到“如果x1小于3.7，且x2大于5.2，那么预测值是某个数”。这种透明性是随机森林和深度学习无法提供的，也是决策树在很多需要审计的场景里依然没被淘汰的原因。

6.3 什么时候优先选它，什么时候该换集成模型

把这次案例的经验沉淀下来，我给自己定了几条选择标准：

• 数据量在几千条以内，特征关系存在明显的非线性和阈值效应，单棵决策树是性价比最高的起点。
• 业务或合规上要求能解释每个预测结果背后的规则，选浅层决策树，深度五层以内，配合可视化直接汇报。
• 数据量过万且特征很多时，单棵树容易不稳定，这个时候更推荐随机森林或梯度提升树，它们通过组合大量树来压方差。
• 目标值有明确的增长趋势，未来预测区间可能超出历史范围，比如做销量月度增长预测，树模型会因为无法外推而吃亏，应该考虑线性趋势模型或专门的外推方法。
• 只想快速拿到一个不丢人的基线分数，决策树回归配合参数网格，半小时内就能搭完，后面的集成模型可以在这个基线上评估提升量。

实际做项目时，我不会纠结“决策树和随机森林谁更好”这种问题。决策树回归是基础盘，先把树画出来，特征关系看明白，再去决定是直接上线还是升级成集成模型。哪怕最终上线的是随机森林，决策树给出的特征重要性、分裂阈值和叶节点均值，都是理解数据规律时最顺手的辅助工具。

最后再说一个我从跑这个案例开始就养成的习惯：无论任务看起来多简单，我都会把“最大深度为3的决策树”作为第一个模型先跑掉。为什么是深度3？因为这个深度的树画出来还能看得懂，每一条分裂规则都是完整的业务语句。这一步花费不超过两分钟，却能让你在调任何复杂模型之前，先把该有的特征关系、异常点和交互效应摸一遍。很多朋友一上来就堆集成模型，参数一调一大片，最后却说不出数据里到底发生了什么，我觉得那才是真正的得不偿失。