那段时间我一直卡在一个问题里：边缘设备上的目标检测既要跑得动，又要把小目标、遮挡目标捡回来。换大网络精度能上去，但帧率跟着崩；换轻量网络帧率上去了，小目标又丢得厉害。为此我做了一个改进实验，项目代号就叫YOLOv26，核心思路是用RepViT轻量级块替换主干里的重参数化结构，同时在Neck部分引入EMA注意力，把双阶段特征混合和多尺度注意力协同这条路彻底打通。折腾完一轮之后，我把自己踩过的坑和值得复现的点整理了出来，给同样在轻量化检测模型上做文章的朋友一个可参考的路线。
这篇文章不会去堆晦涩的公式，而是从“为什么要这么改”讲起，再拆解到模块怎么嵌入、训练怎么调、上线怎么排坑。无论你是做移动端部署、工业质检，还是安防场景的模型优化，只要你在和YOLO系检测器打交道，这些内容应该都能派上用场。
1. 整体设计拆解：为什么“轻量块+注意力”是破局点
先说结论：纯靠堆参数量去提精度是一条很省心但也很费钱的路。而RepViT轻量级块加EMA注意力的组合，走的是“结构重参数化减少推理开销+多尺度注意力提升特征利用率”的路线，两者恰好补上了对方的短板。
RepViT这类块设计里同时混合了CNN的空间归纳偏置和类似Transformer的全局建模能力，但它不像Vision Transformer那样直接依赖多头自 Attention，而是把token mixing和channel mixing拆开做，配合结构重参数化把训练时复杂的多分支在推理时折叠成单分支。对于部署场景来说，这一步等于把模型瘦身了，精度却没有同步掉下去，这正是YOLO系骨干最需要的特性。
EMA注意力则解决的是另一个问题。多尺度检测里，高层特征语义丰富但分辨率低，低层特征分辨率高但语义弱。普通注意力要么在单个尺度上计算权重，要么直接把多尺度特征拼起来，缺少一种“让不同感受野分支自适应协同”的机制。EMA会同时在两条卷积分支上提取注意力权重，再通过softmax做归一化权重融合，让网络自己学会该多信任哪个分支。这个机制嵌入到YOLOv26的双阶段特征混合流程里，刚好能压制特征融合时的噪声。
1.1 两种模块的核心机制与互补性
RepViT轻量级块的核心机制可以拆成三部分。第一部分是通道混合，就是逐点卷积去做跨通道信息交互；第二部分是空间混合，用深度卷积处理局部空间上下文；第三部分是残差连接和结构重参数化。训练时每个块可能有多个分支，包括不同类型的卷积核分支、恒等映射分支，推理前全部叠成一个大卷积核，这样计算图变得非常干净，移动端推理库也友好。
EMA的机制更适合用一句话概括：同一份特征，走两条不同感受野的分支，各自提取注意力描述子，再让它们互相加权。典型做法是对输入特征图做分组处理，一部分分支做全局平均池化得到跨空间维度的权重，另一部分分支保留原始空间细节做像素级权重，最后用sigmoid或softmax融合。这个操作不像SE模块那样只做通道重标定，也不像CBAM那样完全串行，它是在多分支之间做并行协同。
互补性怎么理解？RepViT把骨干做得足够轻，但它对特征增强没有太多帮助；EMA能增强特征表达，但如果骨干太重，多出来的注意力模块只会让延迟进一步恶化。所以这两个模块放在一起，RepViT负责“让模型跑得快”，EMA负责“让每个特征层都更会干活”，属于典型的1+1>2组合。
1.2 双阶段特征混合的引入动机
图像检测模型里，从高到低和从低到高的两条特征流动路径决定了多尺度信息的混合质量。经典的两条路径一般指“自上而下传递语义”和“自下而上回传细节”。双阶段特征混合的意思就是说，把这两条路径各作为独立阶段，每一阶段内部都带有轻量级的聚合操作，避免像早期FPN那样只做一次简单相加。
我在YOLOv26项目里做双阶段混合，第一个阶段会把Backbone输出的多个尺度特征经过1x1卷积统一通道数，再自顶向下逐层上采样融合。第二个阶段会从融合后的自顶向下结果出发，自底向上做下采样融合，同时把原始Backbone特征通过残差连接再引回来。这么做之后，浅层特征里能拿到高层语义的“指导”，深层特征也保留住了边缘纹理信息。
如果在这个流程里直接加入EMA注意力，往往会遇到“注意力不知道该作用在什么位置”的问题。我的做法是把EMA插在每一阶段融合完之后的特征上，让注意力模块对整个融合结果做重新标定，而不是在单个分支上各算各的。这样才能让双阶段混合和多尺度注意力真正协同起来，而不是变成两个互不相干的附件。
2. 模型结构改造：从Backbone到Neck的协同设计
改造YOLOv26的思路本质上是在“改骨干”和“改颈部”之间找一个平衡点。只改骨干不动Neck，轻量化收益明显，但多尺度融合还是老样子；只改Neck不动骨干，参数量下不去，部署还是吃力。所以我把两边串起来统一设计。
2.1 整体网络拓扑变化
未改动之前的网络可以理解成三段式：Backbone负责提取分层特征，Neck负责融合多尺度特征，检测头负责输出目标类别和框。改造后的拓扑在宏观上仍然是三段式，但Backbone的每一个Stage里，部分CSP类结构换成了RepViT轻量级块；Neck部分则在FPN和PAN两个子结构结束的位置加入了EMA注意力模块。
改动后的特征层数量保持不变，仍然是三层输出，分别服务大目标、中目标和小目标。其中浅层输出分辨率最高，用来检测小目标；深层输出分辨率最低，用来检测大目标。由于RepViT块改变了通道数和stride的分布，我在接入Neck之前专门加了一层1x1卷积做通道对齐。这一层在代码里虽然不起眼，但它决定了整个双阶段特征混合能不能顺利跑通。
检测头部分没有做大的改动。原因很简单，YOLOv26的检测头本身已经足够轻量，真正的瓶颈在特征提取和特征融合，改头收益不大，还容易引入额外的训练不稳定因素。如果你也想复现这个结构，建议先把注意力放在骨干和颈部，检测头保持原样来排除干扰变量。
2.2 Backbone端：RepViT轻量块替换主干的配置示例
在工程配置里，我习惯使用类似模块化配置的方式描述网络结构。这里给出一个简化过的结构描述，参考了YOLO系常见的配置写法，但根据自己的项目做了调整。你可以把下面的片段当作一个结构蓝本，而不是某个现成模型的完整配置文件。
# 简化配置示例，缩进格式仅用于结构说明 backbone: - [-1, 1, ConvBNSiLU, [32, 3, 2]] # 初始下采样 - [-1, 1, RepViTBlock, [64, 1, 2]] # Stage 1 - [-1, 2, RepViTBlock, [128, 2, 2]] # Stage 2，下采样 - [-1, 4, RepViTBlock, [256, 2, 2]] # Stage 3，下采样 - [-1, 6, RepViTBlock, [512, 2, 2]] # Stage 4，下采样 neck: - [-1, 1, ConvBNSiLU, [256, 1, 1]] # 通道对齐 - [-1, 1, Upsample, [2]] - [-1, 1, EMA, [256]] # 上采样后的多尺度注意力 - [-1, 1, Concat, [1]] # 后续为自底向上阶段这个配置的核心含义是：Backbone任意Stage的内部重复次数和输出通道都可以调整，而Neck用Upsample和Concat作为基本运输工具，EMA作为特征标定器。实际训练中，如果显存紧张，可以把Stage 4的重复次数从6降到4，但代价是深层语义信息的丰富度会降低，小目标召回率可能受影响。
RepViTBlock替换进来的时候，我特别注意了stride属性。原本主干中用步长为2的卷积做下采样，RepViT块内部也有自己的下采样路径。如果外部又加了一次步长为2的卷积，会重复下采样，导致特征图分辨率丢失过快，最后Neck里即使上采样也补不回来细节。所以要确保整个网络的stride序列是[2, 4, 8, 16, 32]，而不是出现[2, 4, 4, 8, 32]这种跳变。
2.3 Neck端：EMA与双阶段特征混合的融合策略
Neck端最大的设计难题是“EMA插在哪里”。我在实验里试过三种位置：一是插在Concat之后，让注意力对拼接后的特征做融合；二是插在各分支进入Concat之前，让每条分支先自我提纯；三是插在每个阶段最后，对整个融合结果做重标定。最终稳定下来的方案是第三种。前两种在训练初期容易出现梯度信号混乱，因为注意力会影响不同分支的学习速度，而第三种的梯度路径更清晰，也更方便做消融实验时单独验证模块效果。
双阶段特征混合的完整流程序列可以这样排：Backbone输出三层特征，分别记为C3、C4、C5。第一阶段从C5开始上采样，与C4拼接，经过EMA后得到M4；再上采样与C3拼接，经过EMA后得到M3。第二阶段从M3开始下采样，与经过通道对齐的M4拼接，再经过EMA后得到P4；继续下采样与M5拼接，得到P5。最终检测头消费的P3、P4、P5分别来自对应阶段的Alice通道输出。整个过程里，EMA一共出现四次，每一次都紧跟在一个拼接操作之后，负责把两组特征的冲突降到最低。
这里还要提一个容易忽略的点：EMA模块虽然轻量，但在Neck里放四个也会带来一定的显存开销。如果你的目标设备对延迟非常敏感，可以减少到两个，只放在自顶向下阶段结束后和自底向上阶段结束后。这样虽然注意力协同的粒度变粗了，但整体延迟表现会更好，是一个值得根据业务场景权衡的选项。
3. 核心模块实现与训练要点
网络结构只是图纸，真正让模型跑出效果还得看模块实现和训练配置。这一部分我会给出一个简化的EMA模块实现代码，再聊一聊我在训练过程中摸索出来的参数设置和消融实验设计方法。
3.1 EMA注意力模块的PyTorch实现
这里给出的实现不是EMA论文里的完整原版，而是按照EMA“多分支并行加权”思想做的一个可工程化简化变体。它保留了多尺度分支、分组归一化、softmax加权融合等关键机制，更容易集成进YOLOv26这类检测框架里，也不容易破坏原有训练节奏。
import torch import torch.nn as nn import torch.nn.functional as F class EMA(nn.Module): def __init__(self, channels, groups=8): super().__init__() assert channels % groups == 0, "channels必须能被groups整除" # 分支1：1x1卷积做通道混合 self.branch1 = nn.Sequential( nn.Conv2d(channels, channels, kernel_size=1, bias=False), nn.BatchNorm2d(channels), nn.SiLU(inplace=True) ) # 分支2：分组深度卷积保留空间细节 self.branch2 = nn.Sequential( nn.Conv2d(channels, channels, kernel_size=3, stride=1, padding=1, groups=channels, bias=False), nn.BatchNorm2d(channels), nn.SiLU(inplace=True) ) self.attn_conv = nn.Conv2d(channels * 2, channels, kernel_size=1, bias=False) self.attn_norm = nn.GroupNorm(groups, channels) self.softmax = nn.Softmax(dim=1) def forward(self, x): b1 = self.branch1(x) b2 = self.branch2(x) # 把两个分支拼接之后算一组注意力权重 attn_input = torch.cat([b1, b2], dim=1) attn = self.attn_conv(attn_input) attn = self.attn_norm(attn) attn = torch.sigmoid(attn) # 用注意力权重分别加权两个分支，再在通道维度上合并 g1 = b1 * attn g2 = b2 * attn out = g1 + g2 return out这段代码在实际工程里的作用是：两个分支分别从通道和空间两个维度提取信息，然后通过一个共同的注意力头对两个分支同时加权。你在集成时只需要把EMA放在特征拼接操作之后，输入输出通道数保持一致即可。如果你直接使用这段代码，遇到过拟合或者训练发散的情况，优先检查的是group数是否过大。group数越大，GroupNorm的统计粒度越细，如果batch size比较小，容易出现统计噪声，一般设4到16比较稳。
3.2 训练配置和调参建议
结构改完之后，训练配置不能直接用默认参数，尤其是学习率、增强策略和损失函数权重，都需要跟着结构调整。下面是我在这个项目中用得比较顺的一组起点配置。
| 配置项 | 推荐值 | 说明 |
|---|---|---|
| 输入分辨率 | 640 x 640 | 保持常规分辨率，方便迁移预训练权重 |
| Batch Size | 32，多卡可放大到64或128 | EMA里的GroupNorm对batch size有一定敏感度 |
| 优化器 | SGD，momentum=0.937，weight_decay=0.0005 | 比Adam更稳，尤其适合检测头 |
| 初始学习率 | 0.01，配合warmup | warmup 3个epoch，避免开局震荡 |
| 训练轮数 | 300 | 前150轮主要收敛，150轮后看涨点速度 |
| Mosaic增强 | 开，但概率降到0.5 | 轻量骨干对小目标更敏感，过度遮挡增强会掉召回 |
| 损失函数 | 原有的分类/框回归损失不变，可加大框回归权重10% | 注意力增强后，回归分支需要更多注意力信号 |
我个人的调参经验是：先不要改动损失函数权重，跑一个baseline。如果发现加了EMA之后训练曲线在中期出现抖动，就把学习率下降方式更换为余弦退火，并适当降低EMA模块内部的Branch2深度卷积的初始化权重。另一个经验是，RepViT块带来的收敛速度比原骨干略快，因为它的结构重参数化让梯度传递更顺畅，但这也意味着你需要更早关注过拟合问题。我在600轮长训练中观察到的现象是，前150轮精度快速上升，随后进入平台期。最终选择300轮只是为了平衡训练时间和指标提升空间。
3.3 消融实验设计：如何量化每项改进的价值
很多人习惯把新模块加到模型里，看整体精度涨没涨，涨了就完事。但这样其实说不清到底是哪一项改动带来的收益。我在项目里严格按照变量对照的思路做了一组消融实验，具体分组是这样：
- 基线模型：使用原版Backbone和原版Neck，不加入任何新模块。
- 基线 + RepViT：只替换Backbone里的CSP块，Neck保持不变，检验轻量骨干的贡献。
- 基线 + EMA：保持原版Backbone，只在Neck的融合位置加入EMA，检验注意力的贡献。
- RepViT + EMA：同时替换骨干和加入注意力，但双阶段特征混合维持原状。
- 完整方案：RepViT + 双阶段特征混合 + 多尺度EMA协同。
评估指标除了常规的平均精度均值，还要单独看小目标的召回率和大目标的精度。因为RepViT这类轻量骨干对小目标的特征保留往往不如重网络，所以观察小目标恢复情况特别重要。如果第4组相比第2组在小目标上有明显提升，说明EMA在发挥作用；如果第5组相比第4组也有提升，说明双阶段特征混合与多尺度注意力的协同也确实成立。
做消融实验时还建议固定随机种子，尽量让Mosaic、随机仿射等数据增强的随机性保持一致。否则两次训练之间的波动可能大于模块带来的真实差异，很容易得出错误结论。我的做法是把所有实验用同一个种子启动，并且每组都训练相同的epoch轮数，这样才能让结论可信。
4. 工程实战中的坑与排查技巧
结构设计和调参只是前期工作，真正痛苦的是在工程集成阶段排查各种shape问题、训练震荡和推理时精度掉点。这里整理了几个我实际遇到过的问题，并给出了排查思路。
4.1 特征shape不匹配：从CSP到RepViT的接头问题
替换Backbone块之后，最容易遇到的就是shape不匹配。RepViT块的输出通道和stride规则与原来的CSP块不完全一样，Neck里的Concat操作要求参与拼接的特征图大小一致、通道数一致。一旦某个Stage输出的stride不符合预期，Concat会直接报错，或者虽然能跑，但在某个分辨率上悄悄丢弃了信息。
排查方法是先写一个单步测试脚本，给Backbone随机生成一张输入，打印每个Stage的输出尺寸和通道数。我通常会核对输出尺寸相对于输入是不是严格遵循步长的等比缩放。如果发现某层多了一个下采样，优先检查这个层的stride参数是否与外部下采样卷积重复；如果发现通道数不对，就在该Stage输出后补一个1x1卷积做适配。这种问题在配置式网络里尤其常见，因为配置省去了手写代码的麻烦，但也藏住了很多结构细节。
4.2 注意力初始化导致训练震荡
我刚开始把EMA插入Neck时，训练loss在前50个epoch里出现了几次明显的尖峰。排查下来发现，EMA里的sigmoid输出初期不稳定，注意力权重可能会在某些batch上接近0或接近1，导致梯度骤变。这种震荡会让模型在提精度之前先浪费大量epoch去稳定注意力分支。
解决方法是给EMA内部的注意力卷积层增加一个合理的初始化，让初始注意力权重接近均匀分布，而不是随机。更简单粗暴的办法是给sigmoid之前的输出乘一个小的可学习缩放系数，初始值设为0.1，让注意力在一开始尽量温和。训练稳定后再让模型自己调整缩放系数。这个方法在多个注意力模块的集成里都适用。
4.3 重参数化推理掉点
RepViT块训练时代数带多个分支，推理时本应重参数化回单分支。但我在推理阶段踩过一个坑：只重参数化了卷积层，没有同步处理BatchNorm层。训练时BatchNorm统计的是每个分支的均值方差，重参数化时如果不把BatchNorm的缩放和偏移折进卷积权重，推理结果会明显掉点。
复现这个结构时，建议先写一个单元测试来验证重参数化前后输出是否一致。给定同一张输入图，分别跑训练模式的多分支模型和推理模式的单分支模型，输出的最大误差应该在一个很小的范围内。如果误差过大，就需要逐层检查重参数化代码。这个坑和普通模型剪枝非常像，细节决定成败。
4.4 多尺度检测精度失衡
加入双阶段特征混合和EMA之后，我还发现过一个有意思的现象：大目标精度涨了，小目标精度反而跌了。原因是EMA在多尺度协同过程中会倾向于把权重分配给语义更清晰的高层特征，而低层细节特征被弱化。
应对方法有两个。第一，在EMA模块里给浅层特征分支设置一个稍高的权重偏置，让它更倾向于保留空间细节。第二，调整检测头在不同尺度上的损失权重，对小目标的回归损失和多尺度特征层对应损失的权重稍微调大。经过这两步调整后，多尺度精度分布变得更均衡。不同数据集上的最优权重并不一致，需要花一点时间在验证集上做小范围搜索。
最后再分享一点个人体会
做完这个YOLOv26改进项目，我最大的感受是：模型结构改动说到底是系统工程，不是把论文里的模块搬进来就完事。RepViT轻量级块和EMA注意力各自都经过了大量验证，但它们能协同工作，靠的是在双阶段特征混合的流程里找到正确的插入位置、合理的初始化策略以及与之匹配的训练配置。单独改任何一个模块都容易，难的是让整条特征链路都为了同一个目标服务。
如果你也想在自己的检测模型里做类似的改进，我建议不要一上来就追求精度暴涨，而是先把结构改到能稳定跑通，再做一次完整的消融实验，弄清楚每一个模块的实际贡献。只要愿意多做几次对照实验，你很快就能找到那个既符合性能要求、又能顺利部署的平衡点。以后还有机会的话，我打算继续把EMA向其他检测框架里迁移，看看这个思路在不同任务上的泛化表现到底能走多远。
