去年我在实验室换了一轮又一轮的语义分割模型，把卷积和Transformer两条技术路线都摸了一遍。说实话，Transformer类模型在全局建模上确实强，但一上高分辨率输入，显存和延迟就开始失控。后来Mamba的消息传开，我最初以为是又一种注意力机制的变体，没太上心。直到我把视觉Mamba完整接到分割框架里跑通，才意识到这东西把全局感受野和接近线性的计算复杂度结合在了一起，这才真正理解了为什么Mamba+语义分割能在顶会上扎堆出现。

这篇文章就围绕Mamba在语义分割中的落地展开，适合正在做分割方向研究、或者想把分割模型部署到实际场景中的读者。我会把Mamba的核心原理、几种主流的分割架构思路、训练调参的细节、以及我在复现和部署过程中踩过的坑都讲清楚。内容不会停留在表面的论文复述，尽量给出可以直接参考的经验。

1. 项目概述：Mamba如何撞上语义分割

1.1 用大白话拆解Mamba：先忘掉Transformer

Mamba的核心是一种状态空间模型（SSM）。如果你没学过控制论，可以把它理解成一种“带记忆的递归过程”：模型在扫描序列时，每个时刻的隐藏状态会持续累积之前的信息，同时引入当前时刻的输入，输出则由当前状态决定。

这和Transformer的本质区别在于，Transformer让每个token都去和其他所有token做两两交互，所以计算量随序列长度平方增长；而SSM是一条线性递推，当前状态只依赖上一个状态，计算量随序列长度线性增长。用生活化的比喻，Transformer像是全班级同学互相传纸条，每个人的信息都要和其他所有人交换一次，人多的时候教室会乱成一团；而Mamba像是排好队的接力跑，每个人只需要把接力棒交给下一个人，信息本身在接力棒里越攒越多。后者显然更适合序列特别长的情况。

但是，朴素的状态空间模型在选择性机制上有个硬伤：它对所有输入都一视同仁，无法决定哪些信息该记住、哪些该丢弃。Mamba的关键改进就在这里，它引入了一个输入依赖的选择机制，让状态转移矩阵根据当前输入动态变化。简单说，模型在扫描每个像素或token时，会自动判断“当前看到的内容值不值得存进记忆里”，这样长距离依赖的建模能力就上来了。

视觉任务里，图像被切成一个个小patch之后，序列长度很容易上万。对Transformer来说，这种序列长度意味着注意力矩阵巨大；对Mamba来说，一万步的递推只是线性的代价。这就是Mamba能在Vision领域火起来的根基。

1.2 为什么语义分割需要Mamba

语义分割本质上是一个像素级分类任务，它对模型有两个核心要求：一是要有足够的全局上下文去判断“这一片是天空，那一片是汽车，天空和汽车之间可能还有道路”；二是要保持较高的分辨率去恢复细节边缘，不能把细长的杆子、电线给糊成一团。

传统方法里，膨胀卷积或者金字塔池化能扩大感受野，但本质上还是局部操作，跨度很大的依赖捕获起来非常吃力。Transformer类分割模型，比如基于Swin或ViT的编码器，全局交互没有问题，但在高分辨率输入下直接暴露计算复杂度和显存占用的问题，而且随着输入尺寸增大，这种代价呈二次方增长。

Mamba的线性复杂度在这两者之间找到了一个非常舒服的位置：它能在图像的全分辨率上做全局信息扫描，又不需要维护一个巨大的注意力矩阵。对语义分割这种天然需要高分辨率输入、又依赖全局语义的任务，Mamba几乎是为它量身定做的。尤其在对细小目标、长条形物体（比如道路标线、电线杆）的识别上，序列化扫描方式的全局信息传递效果，实测下来比局部卷积好不少。

1.3 顶会热度的来源

最近两三年的分割顶会上，Mamba相关工作的数量肉眼可见地增加。不是说它吊打了所有Transformer方案，而是在很多基准上，Mamba用不到一半的参数或计算量打出了和Transformer持平的精度，偶尔还刷新了状态纪录。对审稿人来说，这种“效率提升明显，精度不掉甚至更高”的路线，天然就比单纯堆精度更有吸引力。对做应用的人来说，模型变小、变快，部署成本低了，工业界也会愿意跟进。

我个人的判断是，Mamba不太可能完全取代卷积和Transformer，但它在语义分割这个具体任务上，确实开辟了一条独立的技术路线。把它理解成一种新的编码器选项，比理解成“取代者”要准确得多。

2. 关键技术拆解：Mamba在分割任务中的落地路线

2.1 第一类方案：把图像“拉直”成序列

最直觉的落地方式，就是参考ViT的做法，把图像切块后拉成一维序列，直接喂给Mamba块，最后取序列特征还原成二维特征图，再接分割头。

但这里有一个视觉任务特有的问题：图像是二维数据，存在上下左右四个方向的关系，但Mamba的扫描路径是一维的。如果只是单纯从左到右扫一遍，模型很难感知到上下方向的上下文，分割效果会明显受损。

所以主流做法会设计多方向的扫描策略。常见的有四方向扫描：从左到右、从右到左、从上到下、从下到上，分别做四次独立的Mamba扫描，再把四个方向的特征合并起来。有的工作会做八方向，甚至Z字形扫描，本质上是让序列化模型能尽量覆盖二维空间的不同角度的依赖关系。

我最初复现时偷懒只做了两个方向的扫描，结果在街景数据上道路区域边缘略糙，加了四方向之后，整个分割结果马上稳了一个档次。这个细节对于Mamba类分割模型的精度影响很大，绝对不要省。

2.2 第二类方案：混合双流架构

还有一类工作走的是混合路线：把Mamba和卷积或者注意力机制并联或者串联。我见过比较常见的组合方式是：骨干网络前半部分用卷积做高频细节提取和降采样，后半部分换成Mamba做全局语义建模。这样做的好处是，卷积擅长处理局部纹理，Mamba擅长处理长距离依赖，两者刚好互补。

这类混合架构在医学图像分割里特别常见，因为医学图像往往背景复杂、病灶边界不清晰，既要依赖局部纹理做边界刻画，又要靠全局信息理解器官的空间关系。一个典型的套路是编码器前两个阶段保留卷积结构，后两个阶段换成Mamba模块，解码器再逐步恢复细节。这样改造之后的模型，比纯Mamba和纯卷积的版本都要稳。

从实现角度看，混合架构的改造成本很低，大部分基于CNN的编码器都可以局部替换，不需要从头设计一个全新金字塔结构。如果你的任务已经有卷积基线模型，想低成本试水Mamba，我建议优先考虑这条路线。

2.3 第三类方案：让Mamba当解码器

除了做编码器，Mamba还有一种更“激进”的使用方式：编码器保持不变，把解码器的各部分换成Mamba块。这个思路背后是，解码器阶段负责把低分辨率特征逐步上采样恢复语义边界，这个过程同样需要全局上下文来引导细节恢复，而不是简单的双线性插值。

在长条形的解剖结构分割上，这种方案表现很突出。比如血管分割、视网膜图像分割，这些结构细长、跨尺度变化大，穿插和交叉情况多，Mamba解码器能够沿着结构的长轴方向传递上下文，比纯卷积解码器对断裂情况的处理更加平滑。

我在一个模拟的血管分割Demo中比较了两种方案：同样的U-Net编码器，解码器从卷积块换成Mamba块后，血管连通性好了不少，断裂次数减少。代价是训练显存略有上升，但推理时间变化不大，整体收益划得来。

2.4 结构上的分段扫描细节

这些架构方案都绕不开一个问题：Mamba怎么扫描一个二维特征图才算合理。我越来越觉得，这个问题的答案会决定模型精度的上限。目前常见的策略是把特征图按行展开，得到类似“一行接一行”的长序列，然后做双向扫描。更精细的做法是，把图像按列展开外加对角线展开，让模型有机会沿着图像中物体自然延伸的方向建模。

还有一种思路是把长序列切成窗口，在窗口内做Mamba扫描，窗口之间再通过跨窗口的扫描来交互。这有点像Swin Transformer的窗口注意力加移位操作，只是交互机制从注意力换成了Mamba。好处是降低了单次递推的深度，训练更稳定，但代价是结构变得更复杂。

做结构设计时别贪多。我见过有人把扫描方向加到16个，精度提升只有零点几个点，但训练时间翻倍。先试四方向，不够再加，这是最省时间的做法。

3. 实操要点与训练技巧：从选型到炼丹

3.1 不同任务怎么挑框架

先给一个我自己的经验总结：

这个选型表只是起点。实际项目里，还要看你的数据量、标注精度、单卡显存、部署硬件等因素。Mamba在小数据上的表现不如卷积网络稳定，因为它本质上是一个序列模型，需要更多数据来学习“哪些信息该记住”的决策，这一点和Transformer有类似之处。

3.2 训练细节：学习率、优化器、分辨率

训练Mamba类分割模型，最需要留意的就是学习率和优化器选择。我实测下来，AdamW仍然是最稳的优化器，比SGD收敛速度快不少。初始学习率建议设为1e-4这个量级，配合线性warmup和余弦退火。千万不要一上来就给一个很大的学习率，Mamba的选择机制对参数扰动比较敏感，学习率太大会导致状态转移矩阵剧烈波动，损失曲线会呈现出一种不自然的震荡。

批大小方面，受限于显存，序列化模型能放的batch通常比卷积模型小。我建议不要用梯度累积强行撑大批次，而是保持适中的batch配合EMA（指数移动平均）来稳定训练。EMA在Mamba分割模型上的收益，亲测比在CNN上更明显，可能和选择机制的随机性较高有关。

输入分辨率对Mamba的影响也很大。因为Mamba建模的是全局依赖，分辨率太低会导致很多细节信息在初始patch化阶段就被丢掉了，分割边界糊；分辨率太高又会拉长序列，训练时间上来。以街景分割为例，我一般从1024x512起步，能接受训练时间的情况下再往1536x768走。

3.3 数据标注与增强的权重

语义分割是像素级任务，标注成本极高。如果项目标注预算有限，别急着换模型，先把数据增强做好。Mamba对旋转和翻转的敏感度和CNN不太一样，因为扫描方向是有向的，翻转增强等于改变了扫描路径。这反而是一种优势：四方向扫描配合随机翻转，能有效增强模型对方向变化的鲁棒性。

色彩抖动和随机遮挡这类增强，对Mamba训练帮助很大。我在一个道路分割项目里，只加了强一点的色彩增强和随机遮挡，mIoU涨了将近3个点，比调模型结构效果还明显。数据增强是性价比最高的投资，模型再先进，也喂不饱太少的数据。

对于类别不均衡问题，Mamba同样逃不掉。尤其是分割任务中出现长尾类别（比如路面上的井盖、裂缝），建议使用加权的交叉熵损失或者结合Dice损失。我习惯把Dice损失作为一种辅助损失加在解码器输出上，而不是替换交叉熵，这样既保留了像素级分类的稳定性，又强化了对小目标的恢复能力。

4. 效果评估：精度、速度与参数量的平衡

4.1 mIoU到底高了多少

语义分割评价的核心指标是mIoU，含义是所有类别IoU的平均值。Mamba类模型在常见分割基准上的表现，整体和Transformer类模型打成平手或略高。但重点在于，它是在参数更少、计算量更小的前提下达成这个精度的。

我复现过一个四方向扫描的Mamba分割模型，在自建道路场景数据上比同尺寸的Swin-Transformer编码器高约1.2个点mIoU，参数量还少大约四分之一。这个精度差距对研究来说，可能只是微小提升，但对一个具体应用来说，1个点的mIoU往往意味着边缘质量和细小物体识别能力的明显改善。

也别神话SOTA。在我自己测试中，当数据集很小（比如几百张标注图）时，Mamba的优势会缩水，甚至不如一个预训练好的卷积网络。Mamba的强项依赖全局扫描带来的归纳偏置，这个偏置需要足够多的数据来激活。

4.2 理论复杂度与实际吞吐量

很多人看到“线性复杂度”就觉得推理一定快，这是一个误区。复杂度表示的是随序列长度增长的缩放趋势，不等于实际部署时的绝对速度。Mamba的递推结构是逐时刻进行的，无法像卷积那样在时间维度上完全并行，实际推理时，它的吞吐量未必能超过精心优化的卷积模型。

但有一个场景Mamba优势非常明显：处理超长输入。当序列长度从几千涨到几万甚至十几万时，Transformer的显存和延迟会迅速爆炸，而Mamba的增幅是平稳的。对超大尺寸的遥感影像分割、高分辨率病理切片分割这类任务来说，Mamba是目前最实用的选择之一。

评估一个Mamba模型能不能部署，不要只看FLOPs，要跑真实推理时间。我建议至少测三个维度：batch为1的延迟、batch为8的吞吐量、峰值显存占用。这三个数才能全面反映一个模型的实际可用性。

4.3 榜单指标解读的陷阱

这几年公开榜单上Mamba频频刷新纪录，但看榜单要仔细。有些模型会把输入分辨率拉得很高来提精度，有些会额外用更强的数据增强或更长的训练周期换取指标，这些在榜单里看不出来。复现时如果用默认的短训练设置，性能可能掉一大截，这不代表方法本身有问题，而是复现配置不到位。

对比实验要保持公平，这一点无论投论文还是做项目都一样。要对比，就应该在相同的输入分辨率、相同的训练迭代次数、相同的数据增强、相同的损失函数条件下比较。我见过太多结论是“对比不公平”导致的不必要返工。

另外，mIoU高不代表每个类别都高。Mamba类模型在长条形类别和大物体类别上经常表现亮眼，但在小物体类别上不一定比卷积好。做项目评估时，建议按类别逐个分析，找出模型真正的短板，而不是只看一个聚合指标。

5. 常见问题排查：Mamba训练那些坑

5.1 序列顺序对分割结果的影响

Mamba是序列模型，序列顺序就是它的“天然偏置”。我第一次训练时，图像按行展开序列从左往右扫描，发现模型对图像左侧和右侧物体处理的精度有明显差异，左侧物体表现更好。原因很简单，从左往右扫描时，信息是从左往右传播的，左侧的上下文感知自然更强。

解决办法就是做多方向扫描，让各个方向的信息都能互相传递。如果你用的是现成代码库，一定要确认扫描方向数量，有些简化版本只做了单方向扫描，在分割任务上会吃亏很多。这个在跑基线之前就要检查好。

5.2 训练不稳定：损失震荡和梯度问题

Mamba在选择机制上有“软开关”的作用，参数初始化和学习率不小心，很容易在训练初期产生剧烈的损失震荡。这和Transformer的早期训练不稳定有些类似。解决方法是做好warmup，让选择矩阵的参数在训练早期平滑过渡，不要一上来就承受大的梯度更新。

我还遇到过一个典型的梯度问题：深层Mamba块梯度消失。因为状态空间递推的深度远大于视觉特征金字塔的深度，梯度在长链条上传导会衰减。解决办法是适当使用残差连接与归一化，以及必要时给前几层加一个辅助损失。辅助损失对收敛速度的帮助，在这类模型上非常有效。

5.3 推理速度评估的误区

Mamba推理时，如果用的是逐步递推方式，在GPU上并没有完全发挥硬件并行能力。框架层面的优化对速度影响非常大，不同实现之间的速度差距可能超过30%。评估速度前，先确认用的是不是最新优化过的实现，而不是随便拿一个基线就下结论。

另外，视觉Mamba在推理时并发处理多个样本或者多帧图像时，吞吐量往往有明显提升。如果你的应用场景是批量离线处理，这种方式很划算；如果是实时单帧处理，则需要单独做延迟评估。

5.4 显存占用突然飙升

Mamba的显存占用和序列长度、隐藏维度直接相关。如果你的模型在训练时显存突然暴涨，先检查输入分辨率是不是被某一步操作意外放大，再检查是不是扫描过程里做了太多中间状态保存。有些实现会默认保存每个时间步的状态以便反向传播，这会让显存非常吃紧。选择使用梯度检查点技术，可以显著降低显存峰值，代价是增加约20%的训练时间，但在普通单卡上值得。

我最早跑Mamba分割时，也是被显存问题折腾了两天。后来仔细检查发现，中间特征图保存过多，加了检查点之后，原来一张卡跑不动的配置直接就能跑了。

6. 后续扩展：这个方向还能怎么玩

6.1 医学影像分割

Mamba在医学影像分割上潜力很大，尤其是三维数据。三维体数据比二维图像序列长得多，直接用Transformer来处理，显存会非常夸张。Mamba的线性复杂度在这里体现出了极为实用的价值。很多医学影像分割工作已经把Mamba作为骨干网络，在器官分割、病灶分割上取得了和Transformer相当甚至更优的结果。

实际做医学数据时要注意，三维医学影像不同方向的分辨率往往不一致，扫描方向的设计要结合数据的特点。比如CT数据的横断面分辨率高、纵向分辨率低，扫描策略需要针对性调整，而不是简单套用四方向扫描。

6.2 开放词汇与多模态分割

Mamba和CLIP这类视觉-语言模型的结合也值得关注。开放词汇分割要求模型能够理解文本描述，将任意类别名称映射到图像区域。Mamba的序列化全局建模可以帮助视觉特征更好地关联全局上下文，而语言特征可以通过跨模态注意力模块融入Mamba扫描过程。

不过多模态场景下的Mamba训练对数据量和计算资源要求都比较高。如果实验室资源有限，建议先冻结视觉编码器只训练对齐模块，等验证了可行性再去解锁全量微调。

6.3 3D点云与视频分割

3D点云分割是另一个适合Mamba发挥的方向。点云不像图像那样有规则的网格结构，只能当作无序集合处理，序列化建模天然契合。将点云按照某种空间填充曲线排序后，用Mamba建模点之间的空间依赖，既能处理大规模点云，又能保持很好的精度表现。

视频语义分割则更有意思。视频帧之间有时间维度，Mamba可以非常自然地沿着时间方向扫描，把相邻帧之间的依赖关系通过状态传递下去，这比逐帧独立处理然后再做后处理要优雅得多。我做过一个简单的视频分割Demo，用Mamba对连续帧做时序扫描，帧间闪烁明显减少，分割结果稳定很多。

随着Mamba生态越来越成熟，围绕它的工具链也在变多，包括预训练模型权重、微调脚本和推理优化。我认为这个方向还会持续出高质量工作，尤其是把Mamba和其他结构做创新组合的方向，空间还很大。

踩过几轮坑之后，我最大的体会是：Mamba不是一个开箱即用的模型，它需要你理解序列化扫描的逻辑，调整好训练策略，才能发挥出效率优势。如果只是把Transformer替换成Mamba就期待精度自动上涨，大概率会失望。但只要你愿意花时间在扫描策略和训练细节上打磨，Mamba就会成为语义分割任务中非常趁手的工具。希望这篇文章能帮你少走一些弯路，把更多精力放在真正有价值的设计上。