年初处理一个多输入回归预测任务时，我先用默认参数的LSBoost跑了一版，结果验证集误差明显偏大，手调了几个超参数也没见起色。后来把思路换成了用哈里斯鹰优化算法去自动搜索LSBoost的关键超参数，整体效果立竿见影。这个组合在很多中小规模的工程预测场景里确实很能打：多输入回归任务普遍存在非线性关系复杂、样本量不算大、特征冗余等特点，LSBoost这类提升树模型本身稳健，而哈里斯鹰算法又不依赖梯度信息，正好用来解决LSBoost超参数组合难找的痛点。这篇文章会把这套HHO-LSBoost思路完整拆开讲，从算法原理到Matlab实现的关键步骤都过一遍，适合正在做回归预测建模、需要写算法对比实验，或者不想再手撸网格搜索调参的开发者参考。

1. 项目核心思路拆解：为什么是“优化 + 提升”

1.1 多输入回归预测任务里的典型困境

多输入回归预测，说白了就是给定一组自变量 (X = [x_1, x_2, ..., x_n])，去预测一个连续型目标值 (y)。比如用工艺参数预测能耗指标，用环境因素预测负荷，用设备运行数据预测剩余寿命。这类任务在工程现场非常常见，但往往有几个共同特点：

• 特征之间关系非线性，简单线性模型拟合效果很差；
• 样本量通常在几百到几千的量级，不像深度学习的场景动辄几十万条数据；
• 特征维度可能不高，但可能存在冗余和噪声；
• 业务上要求模型能快速训练、快速更新，并且结果可解释性不能太差。

用传统回归模型（多元线性回归、多项式回归）容易欠拟合，用深度学习模型又有点“杀鸡用牛刀”，而且小样本下容易过拟合。这种情况下，基于树的集成模型往往是性价比最高的选择。尤其LSBoost（Least Squares Boosting，最小二乘提升）作为Boosting家族的一员，对中等规模数据、非线性特征交互的拟合能力很稳定，在Matlab里也有现成的接口可以调用。

但LSBoost有个绕不开的问题：它对超参数比较敏感。学习率、弱学习器个数、决策树深度、叶子节点最小样本数，每一个都会显著影响最终精度和过拟合程度。实际项目里很少能靠一次手调就找到好组合，通常会陷入“改一个参数、跑一遍、看误差、再改”的无底洞。

1.2 LSBoost的优势与调参麻烦

LSBoost本质上是带收缩（shrinkage）的残差拟合迭代法。初始模型一般取目标值的均值，每一轮计算当前模型的残差，训练一个回归树去拟合这个残差，然后以一定学习率加到总模型上。这个过程重复很多轮以后，模型不断逼近真实的目标函数。平方损失函数下的残差拟合是LSBoost最直观的形式，它的数学框架可以写成：

[ F_m(x) = F_{m-1}(x) + \eta \cdot h_m(x) ]

其中 (\eta) 是学习率（shrinkage参数），(h_m) 是第 (m) 轮拟合残差的弱学习器。

LSBoost实际用起来有几个明显的优点：

• 对异常值相对稳健（当然太离谱的离群点还是得提前清掉）；
• 不需要对特征做标准化，树的split对尺度天然不敏感；
• 能够捕捉特征之间的交互作用；
• 在Matlab里直接用fitrensemble或老版本的fitensemble就能训练，不需要自己手写Boosting循环。

但麻烦也同样明显。LSBoost的超参数空间并不是独立可调的：学习率设小了，就需要更多的弱学习器来补偿；学习率设大了，又会过拟合；树的深度影响单个学习器的复杂度，深度太小欠拟合，太大又容易把残差里的噪声也学进去。这些参数之间的耦合关系导致网格搜索非常低效。假设学习率、树数量、最大深度、最小叶节点样本数各取10个候选值，那就是 (10^4 = 10000) 次训练，在数据量稍大一些的时候根本跑不动。

1.3 为什么选择HHO作为优化器

既然网格搜索不行，自然会想到用智能优化算法来搜索超参数。常见的候选有遗传算法（GA）、粒子群算法（PSO）、灰狼优化（GWO）、鲸鱼优化（WOA）等。这些算法在超参数优化任务里都有应用，但各有各的脾气：

HHO（Harris Hawks Optimization，哈里斯鹰优化算法）最有特点的地方在于它用“逃逸能量”动态调节探索和开发的切换。迭代前期，鹰群处于全局探索阶段，广泛撒网寻找有希望的区域；随着逃逸能量下降，鹰群逐步转入局部开发，围绕有希望的候选解做精细搜索。这种机制让它既能避免过早陷入局部最优，又能在后期快速收敛到高精度解。而且HHO相比GA和PSO需要调整的参数非常少，核心其实只需要设置种群规模和最大迭代次数，对新手特别友好。

另外要注意一点：HHO是一个无梯度优化算法，它不要求目标函数可导、连续。而我们的适应度函数是“训练一组超参数对应的LSBoost模型然后计算交叉验证误差”，这个过程本身不可导，而且每次评估都有一定的随机性，非常适合用HHO这类元启发式算法来处理。

2. 核心原理详解：HHO与LSBoost如何耦合

2.1 用生活化类比理解LSBoost的迭代逻辑

先打一个比方。LSBoost很像一个团队接力修补一件作品：第一个人先按照平均水平画一个大致的轮廓，第二个人拿到“和真实目标的差距清单”（也就是残差），专门去修改这些差距最大的地方；第三个人再拿到更新后的差距清单，继续修改……每个人只在上一版基础上做小幅度修正，最后所有人的修改叠加起来，就逼近了真实目标。

正是这个“每一轮只学残差 + 小步更新”的机制，让LSBoost比单棵大决策树稳健得多。每棵树都很难，它只需要拟合当前剩余的部分，所以在实践中一般会把树深度限制在2到5之间，用小而弱的树作为基学习器。这也是为什么LSBoost训练速度和泛化性能都比较理想。

Matlab里用LSBoost的方式也很简单。老版本采用fitensemble，新版本推荐fitrensemble。核心调用逻辑大致是：

% 创建回归树模板，限制深度和最小叶节点样本数 t = templateTree('MaxNumSplits', 4, 'MinLeafSize', 5); % 训练LSBoost集成模型 mdl = fitrensemble(Xtrain, ytrain, ... 'Method', 'LSBoost', ... 'NumLearningCycles', 100, ... 'Learners', t, ... 'LearnRate', 0.1);

这里NumLearningCycles对应弱学习器个数，LearnRate对应学习率。如果使用的是老版本Matlab，可以用：

mdl = fitensemble(Xtrain, ytrain, 'LSBoost', 100, t, 'LearnRate', 0.1);

注意调整树模板里的MaxNumSplits和MinLeafSize，这是控制单棵树复杂度的两个关键参数。MaxNumSplits决定一棵树最多能分成多少个节点，MinLeafSize决定叶子节点最少要包含多少样本。这两个参数直接制约着base learner的“聪明程度”。

2.2 哈里斯鹰优化算法的捕猎策略

HHO模拟的是哈里斯鹰群体捕猎的场景。这种鹰有一个很聪明的行为：它们不会单枪匹马去抓猎物，而是多只鹰配合，从不同方向包围、驱赶、突袭兔子等猎物，直到猎物精疲力尽。算法把这个过程抽象成了四个阶段：

第一阶段：全局探索。鹰群随机分散在搜索空间里，通过两种策略随机更新位置：要么随机选择一只鹰作为参照点，要么在鹰群中心附近随机探索。这个阶段保证候选解在全局范围内铺开。

第二阶段：从探索过渡到开发。算法引入逃逸能量 (E)，定义为：

[ E = 2E_0 \left( 1 - \frac{t}{T} \right) ]

其中 (E_0) 是每次迭代开始时在[-1, 1]内随机生成的值，(t) 是当前迭代次数，(T) 是最大迭代次数。当 (|E| \geq 1) 时，鹰群认为猎物还有足够能量逃脱，继续全局探索；当 (|E| < 1) 时，猎物能量不足，鹰群转入局部开发。

第三阶段：软包围与硬包围。鹰群根据自身位置和猎物的累积能量差距决定用软包围还是硬包围。软包围是猎物还有一定体力、鹰群逐步收紧包围圈；硬包围则是猎物已经没力气了，鹰群直接快速靠近猎物位置。

第四阶段：渐进式快速俯冲。鹰群在逼近猎物时，会根据猎物之前的逃跑表现，决定是直接在当前位置附近做快速突袭，还是在途中做几次位置调整再突袭。这对应算法里的两个Levy飞行更新公式，用来在局部区域做精细搜索。

核心的四个位置更新公式在原始论文里都有，我在第3章会给Matlab实现的关键代码。这里不贴公式堆砌太多，关键是理解一件事情：HHO把一次迭代分成了若干种“策略模式”，每个鹰个体按当前逃逸能量和随机数来决定执行哪一种更新策略。这相当于在每一次迭代里同时做了探索和开发的动态权衡，而不是像PSO那样全靠两个固定系数控制。

2.3 HHO-LSBoost的优化闭环

现在把两个算法拼在一起看。LSBoost有4个关键超参数需要优化：

• 学习率 (lr)；
• 弱学习器个数 (N_{tree})；
• 决策树最大分裂数 (maxSplits)（或最大深度）；
• 叶子节点最小样本数 (minLeaf)。

在HHO-LSBoost框架里，每个鹰个体就是一组超参数向量：

[ position_i = [lr_i, N_{tree_i}, maxSplits_i, minLeaf_i] ]

每一轮迭代都做以下几件事：

1. 把种群中每个鹰的位置解码成超参数；
2. 用这些超参数训练一次LSBoost模型，在（交叉）验证集上计算预测误差；
3. 以误差的相反数作为适应度（误差越小越好），记录每个个体的适应度和全局最优；
4. 根据逃逸能量和随机数更新整个鹰群的位置；
5. 到达最大迭代次数后，输出全局最优位置，即最优超参数组合；
6. 用最优超参数在完整训练集上重新训练LSBoost，然后在测试集上评估。

这里面最关键的就是适应度函数的设计。不能简单用一个固定的验证集误差，否则容易过拟合验证集。我的经验是：在HHO迭代过程中用5折交叉验证误差作为适应度，得到最优超参数后，再重新用全量训练数据训练模型。这样优化过程消耗的时间可以控制住，最终模型的泛化性也更好。

3. 实操过程：Matlab实现HHO-LSBoost的完整流程

3.1 数据准备与预处理

我这里以某工艺参数预测项目作为示例来说明整个过程。数据一共有12个输入特征，1个输出目标，样本量在2000左右。特征间量纲差异较大，虽然树模型对特征尺度不敏感，但为了评估指标统一，我还是先对数据做了归一化处理。

Matlab里最方便的是mapminmax函数。需要特别提醒的是：归一化的参数必须只用训练集计算，然后用同一组参数对验证集和测试集做变换，避免信息泄漏。做法如下：

% 假设 Xall 是全部特征数据，yall 是目标数据 % 第一步：划分训练集和测试集 rng(42); idx = randperm(size(Xall, 1)); trainNum = floor(0.8 * length(idx)); trainIdx = idx(1:trainNum); testIdx = idx(trainNum+1:end); Xtrain0 = Xall(trainIdx, :); ytrain0 = yall(trainIdx, :); Xtest0 = Xall(testIdx, :); ytest0 = yall(testIdx, :); % 第二步：归一化训练集 [Xtrain, ps_x] = mapminmax(Xtrain0', 0, 1); Xtrain = Xtrain'; [ytrain, ps_y] = mapminmax(ytrain0', 0, 1); ytrain = ytrain'; % 第三步：应用同样的归一化参数到测试集 Xtest = mapminmax('apply', Xtest0', ps_x)'; ytest = mapminmax('apply', ytest0', ps_y)';

归一化后目标值 (y) 也会被映射到[0,1]区间。最终预测出来以后，还要用mapminmax('reverse', ...)还原成真实量纲，再计算RMSE、MAE等评估指标。

注意：如果后续想要做特征相关性分析或可视化，建议在归一化之前先保存一份原始数据副本，避免来回转换造成混乱。

3.2 编写LSBoost的适应度函数

适应度函数是整个HHO-LSBoost框架的核心。它接收一个超参数向量，返回一个标量误差值。我的实现思路是：输入向量里包含学习率、弱学习器数量、最大分裂数、最小叶样本数四个值，然后做5折交叉验证，返回验证集RMSE。

function fitness = lsboostFitness(params, X, y) lr = params(1); numTrees = round(params(2)); maxSplits = round(params(3)); minLeaf = round(params(4)); rng(42); % 固定随机种子，保证适应度可重复 cv = cvpartition(size(X,1), 'KFold', 5); rmseList = zeros(cv.NumTestSets, 1); for k = 1:cv.NumTestSets trIdx = cv.training(k); teIdx = cv.test(k); t = templateTree('MaxNumSplits', maxSplits, ... 'MinLeafSize', minLeaf); mdl = fitrensemble(X(trIdx,:), y(trIdx,:), ... 'Method', 'LSBoost', ... 'NumLearningCycles', numTrees, ... 'Learners', t, ... 'LearnRate', lr); ypred = predict(mdl, X(teIdx,:)); rmseList(k) = sqrt(mean((ypred - y(teIdx)).^2)); end fitness = mean(rmseList); end

有几个点值得展开说明：

第一，numTrees、maxSplits、minLeaf这三个参数必须取整数，所以在解码时用了round。如果不取整，Matlab会直接报错，因为树的个数不可能是小数。第二，固定随机种子非常关键。如果不固定，每次训练LSBoost都会因数据划分和树生成的随机性产生不同结果，导致同一个超参数在不同迭代轮次得到的适应度不一样，HHO很难判断哪个解真正好。第三，这里用5折而不是10折。HHO每轮都要评估整个种群几十次，折数越多计算量越大，5折在效率和稳定性之间比较均衡。

Matlab老版本没有fitrensemble的情况下，可以用下面这行替换：

mdl = fitensemble(X(trIdx,:), y(trIdx,:), 'LSBoost', numTrees, t, 'LearnRate', lr);

3.3 HHO主循环实现

HHO主程序的核心逻辑可以分为4步：初始化种群、初始化最优解、进入迭代更新、输出全局最优。下面给出关键代码结构。先初始化种群：

% HHO参数设置 N = 30; % 种群规模 T = 50; % 最大迭代次数 dim = 4; % 优化维度（lr, numTrees, maxSplits, minLeaf） % 搜索边界 lb = [0.001, 10, 1, 1]; % 下界 ub = [0.1, 300, 20, 30]; % 上界 % 初始化鹰群位置（随机均匀分布） positions = repmat(lb, N, 1) + rand(N, dim) .* repmat((ub - lb), N, 1); % 计算初始适应度 fitness = zeros(N, 1); for i = 1:N fitness(i) = lsboostFitness(positions(i,:), Xtrain, ytrain); end % 记录全局最优 [bestFitness, bestIdx] = min(fitness); bestPosition = positions(bestIdx, :);

然后进入主循环。HHO的位置更新策略分为探索和开发两大块，其中开发阶段又按逃逸能量 (E) 的绝对值和随机数 (r) 分成四种情况。逃逸能量计算公式为：

E0 = 2 * rand() - 1; % 猎物初始能量，[-1,1] E = 2 * E0 * (1 - t/T); % 逃逸能量随迭代衰减

当 (|E| \geq 1) 时执行全局探索，有两种等概率的策略：

if abs(E) >= 1 q = rand(); randIdx = randi(N); if q >= 0.5 % 策略1：随机选择一个鹰个体作为基准 newPos = positions(randIdx,:) - rand() * abs(positions(randIdx,:) - 2*rand()*positions(i,:)); else % 策略2：基于种群平均位置随机探索 meanPos = mean(positions); newPos = (positions(i,:) - meanPos) - rand() * (lb + rand()*(ub-lb)); end else % 开发阶段（略，下面展开） end

当 (|E| < 1) 时，根据随机数 (r) 判断猎物能否逃脱，再决定软包围或硬包围。我用的核心更新代码如下：

r = rand(); deltaPos = bestPosition - positions(i,:); % 全局最优与当前个体的差距 if r >= 0.5 && abs(E) >= 0.5 % 软包围：猎物有能量逃跑，鹰群逐步收紧 newPos = deltaPos - E * abs(deltaPos); % 简化示意，实际为 rand 扰动 % 还需要用Levy飞行判断是否快速俯冲 elseif r >= 0.5 && abs(E) < 0.5 % 硬包围：猎物能量耗尽，直接逼近最优 newPos = bestPosition - E * abs(deltaPos); elseif r < 0.5 && abs(E) >= 0.5 % 渐进式快速俯冲（软包围场景） newPos = bestPosition - E * abs(deltaPos); % 如果改进不明显，再执行Levy飞行位置修正 else % 渐进式快速俯冲（硬包围场景） newPos = bestPosition - E * abs(deltaPos); % 同理做Levy飞行修正 end

我在这里特意把公式简化了，实际跑通版本会比这更复杂一些，因为原始HHO论文在“渐进式快速俯冲”阶段还引入了Levy飞行函数来模拟鹰的随机俯冲路径。直接在博文里贴全套公式冗长且不好读，更重要的是新手照抄容易抄错括号。建议的做法是：先把基础的软包围/硬包围更新跑通，确认收敛曲线在下降，再逐步加入Levy飞行细节，这样排查问题会容易很多。

边界处理也值得说一句。HHO在更新位置后，很可能出现某个维度的值超出lb或ub。最常见的处理方式是直接裁剪：

newPos = max(newPos, lb); newPos = min(newPos, ub);

不过我后来试过一种反射式边界处理，效果比裁剪好一些。反射式处理是把超出边界的部分按“撞墙反弹”的方式折回搜索区间内部，好处是种群多样性更好，不容易所有个体都聚到边界上。代码实现很简单：

for d = 1:dim if newPos(d) < lb(d) newPos(d) = lb(d) + (lb(d) - newPos(d)); elseif newPos(d) > ub(d) newPos(d) = ub(d) - (newPos(d) - ub(d)); end end

迭代结束后，bestPosition就是找到的最优超参数组合。把它转成整数形式，重新在全部训练数据上训练模型：

bestLr = bestPosition(1); bestNumTrees = round(bestPosition(2)); bestMaxSplits = round(bestPosition(3)); bestMinLeaf = round(bestPosition(4)); t = templateTree('MaxNumSplits', bestMaxSplits, ... 'MinLeafSize', bestMinLeaf); finalMdl = fitrensemble(Xtrain, ytrain, ... 'Method', 'LSBoost', ... 'NumLearningCycles', bestNumTrees, ... 'Learners', t, ... 'LearnRate', bestLr);

到这里，整个优化闭环就跑通了。

3.4 评价指标与结果对比

模型训练完成之后，一般用RMSE、MAE、R²三个指标来评估。在Matlab里计算很直接：

ypredTest = predict(finalMdl, Xtest); ytestInv = mapminmax('reverse', ytest', ps_y)'; ypredInv = mapminmax('reverse', ypredTest', ps_y)'; RMSE = sqrt(mean((ypredInv - ytestInv).^2)); MAE = mean(abs(ypredInv - ytestInv)); R2 = 1 - sum((ypredInv - ytestInv).^2) / sum((ytestInv - mean(ytestInv)).^2);

我在那个工艺参数预测任务里，先用默认参数（(lr=0.1, numTrees=100, maxSplits=4, minLeaf=5)）训练LSBoost，测试集RMSE大概是2.87；用HHO优化后（最终收敛到 (lr≈0.037, numTrees≈186, maxSplits≈9, minLeaf≈3)）RMSE降到了1.96，大约下降了30%，R²也从0.81提升到0.91。当然具体数字因数据集而异，这里只是给一个直观感受。

收敛曲线也值得画出来：横轴是迭代次数，纵轴是每代最优适应度（交叉验证RMSE）。我在调试时发现，如果收敛曲线下降非常缓慢，或者前几代就停住不动了，多半是搜索范围设置不合理，或者种群初始化位置太差。这属于后面要讲的常见问题。

4. 常见问题与排查技巧实录

4.1 问题速查表

我整理了一个FAQ表格，把实操中大概率会遇到的问题列出来：

4.2 调参心得与避坑技巧

关于学习率与树数量的联动。这是LSBoost最容易被忽视的点。学习率从0.1降到0.01之后，需要更多树来补偿拟合能力。如果HHO只优化了树数量而把学习率设得很小，会导致模型欠拟合；反过来，学习率太大而树数量也多，就会过拟合。所以我在设置搜索边界时，经常把学习率上限定在0.1，树数量上限设置在300以内。这个组合在实践中比较安全，也更容易收敛。

关于适应度函数的时间开销。HHO每轮要评估30个个体，每个个体都要做5折交叉验证，等于每轮要训练150个LSBoost模型。如果数据量到了5000行以上，单次训练可能就要几秒，整个优化过程会变得很慢。一个有效的替代方案是：在HHO迭代过程中先只用训练集中的70%做3折交叉验证，找到最优参数后再在全量训练数据上重新训练模型。这样每一步的计算量会明显下降，最终精度的损失其实很小。

关于随机种子的使用策略。固定随机种子能保证可复现性，但也会带来“偶然性”——固定种子下的某一次交叉验证划分可能恰好偏向某个参数组合。更稳妥的做法是在适应度函数内多次重排交叉验证划分，取平均值。代码实现就是在cvpartition外层再加一个for rep = 1:3的重复循环，代价是计算量翻倍，但结果更可靠。对工程应用来说，如果训练数据规模不大，这点额外开销完全可以接受。

关于HHO的四种更新策略的理解。HHO里最容易写错的部分是“渐进式快速俯冲”。我的建议是初版代码不要一上来就做完整的Levy飞行，先把软包围、硬包围两种策略实现好，跑通收敛曲线，再逐步加入俯冲修正。因为从工程角度看，软硬包围已经覆盖了大部分搜索行为，俯冲修正更多是一个精调加速的过程。一次只增加一个变量，排查问题会容易很多。

5. 扩展思路与个人经验总结

这套HHO-LSBoost框架不仅在多输入回归预测上用，往两个方向扩展也非常自然。一个是面向分类任务，把LSBoost换成AdaBoostM2等分类集成，适应度从RMSE换成分类错误率或AUC，其他流程完全不需要改；另一个是把基础学习器换成其他模型，比如用HHO去优化SVM的核参数和正则化系数，或者优化BP神经网络的结构和训练参数。它的本质是一层“自动化调参壳”，壳里面跑什么模型，取决于具体任务需求。

我个人在实际操作中的一个体会是：元启发式优化调参看起来“黑箱”，但它的价值本质上是用可控的计算资源去换人工调参的时间。HHO这类的无梯度优化算法不依赖目标函数的梯度信息，所以只要能把“一组参数 → 一个评估分数”这个过程写清楚，就能套用到绝大多数建模任务上。而在Matlab环境中，LSBoost配合fitrensemble提供了非常便捷的训练接口，把HHO和LSBoost接在一起，就是一个能在真实工程里落地使用的组合。如果后续数据量变大，还可以考虑把适应度函数用并行循环parfor重写，进一步缩短优化时间。

最后再分享一个小技巧：HHO跑完以后，别急着把优化得到的参数当作铁律。用一个简单的敏感性实验——把最优参数的某一个维度上下扰动10%，看测试集误差变化多少。如果某个参数小幅扰动就让误差剧烈波动，说明模型对这个参数过于敏感，这时候可以考虑对最优解做一次局部精调，或者扩大扰动范围重新搜索。不管优化算法收敛得再漂亮，最终还是要回到验证集上反复确认，这行当里的“经验值”就是这么一点点攒出来的。