上一篇把传统篡改检测方法盘了一遍，拼贴检测、复制移动检测、润饰检测……各家各管一段，模型只能在特定篡改类型上打转，换个场景就崩。这篇来聊一个真正跳出“分类”思路的通用篡改定位网络——ManTra-Net（Manipulation Tracing Network）。它最核心的改变是：不做“这是哪种篡改”的判断，而是把任务重构成“找出图像里不自然的局部痕迹”。结合自监督特征学习与LSTM时序异常检测，它能把拼接、移除、复制移动等不同类型的篡改区域以逐像素掩码的方式定位出来。对做图像取证、内容安全审计的朋友，或者想了解异常检测在视觉任务里怎么落地的同学，这篇的拆解和踩坑记录应该比较对胃口。
1. 为什么需要 ManTra-Net：通用篡改检测的困境
1.1 传统篡改检测像“各科门诊”
图像取证领域有个老毛病：每种篡改手法都有人专门做检测器。做拼接检测的盯着边缘不一致，做复制移动检测的匹配相似块，做润饰检测的看JPEG重压缩痕迹。每个模型都像专科医生，在自己的领域里很专业，但患者换个症状就抓瞎。
我自己在项目里就吃过这个亏。最初按最常见的拼接检测思路训了一个模型，拿公开测试集一测，指标还不错。但换到带缩放旋转的复制移动样本上，F1掉得没法看。更难受的是，真实场景里你根本不知道对方用了什么手法，一张图上可能同时存在拼接和模糊修复，传统模型完全处理不了。
这种做法在工程上的代价很大。每增加一种篡改类型，就要重新标注、重新训练，如果某类篡改样本特别少，模型基本学不出来。标数据又是另一个噩梦：逐像素标篡改掩码，一天能标几十张图片都算快的。
1.2 ManTra-Net 的思路：把检测做成找异常
ManTra-Net 换了个问法：不关心篡改类型，只关心“这个区域正不正常”。只要某个局部区域在统计特征上跟图像其他部分不协调，就判定为异常，再把这个异常区域逐像素描出来。
这个思路很像安检场景。安检员不预先知道违禁品长什么样，但他知道正常行李应该是什么密度、什么形状，遇到异常轮廓再拦下来细查。ManTra-Net 的核心就是让网络先学会“正常图像的特征分布”，然后在判断阶段找偏离正常分布的局部区域。
为什么这个思路能覆盖多种篡改？因为无论拼接、复制移动还是去除对象，本质上都在图像里留下了一块与周围环境不一致的痕迹。这种不一致可能是残留边缘、噪声模式差异、颜色统计断裂。与其为每种痕迹单独建模，不如让网络自己学会捕捉“不一致性”这种通用信号。
1.3 它能解决什么，不能解决什么
先说能解决的。ManTra-Net 在公开基准上能稳定定位拼接、复制移动、移除三类主流篡改区域，而且对未见过的篡改手法有一定泛化能力。它不依赖篡改类型标签，训练数据只需要“真实图片 + 用简单规则自动生成的篡改样本”，这一点在工程上非常友好。
不能解决的也要说清楚。第一，它输出的是异常区域，但不会告诉你这个区域具体是拼接还是复制移动，如果你需要知道“怎么被改的”，还得叠加一个分类分支。第二，它对后处理篡改敏感，比如篡改后再做一次柔和模糊或重采样，痕迹变淡，检测率会明显下降。第三，超分辨率和重压缩这两种操作会破坏原始噪声层次，模型很容易把整张图判成异常。
2. 网络架构与核心原理拆解
2.1 特征提取分支：让网络先知道“正常长啥样”
ManTra-Net 的特征提取分支用的是 VGG16 风格的主干网络，但去掉了全连接分类头，保留卷积层输出。关键点在于这个分支不是用 ImageNet 分类任务预训练的，而是用自监督方式单独训练过。为什么这么做？因为分类预训练学到的特征偏向物体语义，而篡改检测需要的是像素级统计异常，两者目标不一致。
特征提取分支的输入是 256x256 的 RGB 图像，输出是空间分辨率逐层降低的多通道特征图。特征不是只看最后一层，而是把主干网络各阶段的输出做通道拼接，这样既保留了高层语义，又保留了底层边缘和噪声信息。特征维度按论文设计是 114 通道，这些小通道特征专门负责编码局部统计特性，比如颜色分布、梯度模式、噪声方差。
自监督训练这个分支是整套方案的基石。训练时把正常图像切块，随机打乱或者从别的图拼进来，网络要学会预测哪些块被动了手脚。通过这个任务，特征提取器被迫关注“块与块之间的边界是否自然”，而不是“物体是什么”。我个人的理解是，这一步相当于给特征提取器装上了一副专门抓“违和感”的眼镜。
2.2 局部异常检测分支：LSTM 为什么能捕到伪造痕迹
特征有了之后，怎么判断某个局部区域是不是异常？ManTra-Net 的答案是用 LSTM 做序列建模。具体做法是把特征图按空间位置展开成序列，比如把特征图的一行看作一个时间步，从左到右扫描，LSTM 每一步隐状态学习的是“到目前为止，这一行有哪些位置看起来不太对劲”。
LSTM 在这里起的作用。图像中篡改区域的边界通常是一条不自然的过渡带，这种过渡只有结合上下文才能判断。只看单个像素特征很容易误判，但把它放在一行序列里，LSTM 就能建模邻域依赖关系，发现“前面都正常，到这里特征突变”的模式。
我试过直接用卷积做这个分支，效果确实差不少。卷积的感受野是局部窗口，它擅长空间关联，但不太擅长跨长距离的一致性判断。LSTM 虽然慢，但它的门控机制天然适合捕捉“正常序列中的异常插入点”。这有点像在读一段句子，一个字一个字读，突然冒出一个词性不通的词，你马上会注意到。
2.3 特征融合与定位解码器
两个分支的输出不能直接拿去画掩码，需要先融合。特征提取分支输出的是高分辨率特征图，包含丰富的空间细节；LSTM 分支输出的是带异常分数的序列响应图，偏向全局一致性判断。两者拼接在一起，相当于把“这个像素像不像异常”和“这一片区域跟周围协不协调”两方面的证据合并。
融合之后接的是一个类似 FlowNet 的解码器结构。FlowNet 本来是做光流估计的，它的特点是先下采样提特征，再逐步上采样恢复分辨率。ManTra-Net 借用了这种解码器设计，通过多层反卷积和跳跃连接，把低分辨率的融合特征逐步恢复回 256x256，最后一层用 sigmoid 输出逐像素的篡改概率图。
为什么用 FlowNet 结构而不是简单反卷积？因为篡改定位需要边缘清晰的掩码，直接上采样会糊。FlowNet 解码器通过多级上采样加特征融合，能在保持边缘的同时细化预测结果，实际用下来掩码边界确实比其他解码器干净不少。
2.4 从输入到输出的完整流转
整体推理流程可以梳理成一条线。输入一张待检测图像，缩放到 256x256，过特征提取分支得到 114 通道特征图。特征图同时送入 LSTM 分支计算异常响应，然后两路输出拼接成融合特征。融合特征经过解码器上采样，最终输出一张与输入同尺寸的概率热图，值越接近 1 表示篡改概率越高。最后把热图二值化，阈值一般取 0.5 或者根据验证集调。
这个流程里有一个容易忽略的细节：特征提取分支和 LSTM 分支训练时是脱钩的。特征提取分支用自监督样本先单独训好，LSTM 分支在异常检测任务上独立训练。两个分支都学扎实后，才把整个网络拼起来做端到端的微调。这么做的好处是稳定——如果一开始就联合训练，两个分支都还没收敛，梯度互相干扰，很容易学歪。
3. 训练策略与数据构造实操
3.1 自监督样本怎么造
没有现成的篡改标注，就得自己造训练样本。ManTra-Net 的自监督训练数据生成规则不复杂：拿一批正常图片，把每张图切成若干小 Patch，然后随机抽取一部分 Patch 做三种操作之一——块内打乱、块间互换、或粘贴其他图像的块。操作完的图视为“篡改样本”，被操作过的 Patch 区域视为“异常标注”。
这里有一个关键参数：Patch 大小。试过 16x16、32x32、64x64 三种，32x32 的效果最稳。Patch 太小，异常痕迹太局促，网络学到的是纯高频噪声差异；Patch 太大，块内部本身就不一致，标注噪声变大。32x32 刚好能模拟真实篡改中常见的局部操作范围。
生成样本时还要注意多样性。我加了三组扰动：亮度偏移、色彩抖动、轻微高斯模糊。这么做是模拟真实篡改操作里常见的处理痕迹，不然网络只会对“块边界突然断裂”这种规则敏感，遇到真实篡改反而抓不住。
3.2 合成篡改数据与掩码对齐
自监督样本只是第一步，真正训练定位分支时，我用的是合成的篡改数据。合成方式有三种：拼接、复制移动、移除修复。拼接就是把一张图的物体区域贴到另一张图上，记录贴入区域的掩码；复制移动是同一张图内选一块区域复制到另一位置，做缩放旋转变换后粘贴；移除修复是选一块区域，用周围像素的平均色或者简单纹理填充。
掩码对齐是这里最麻烦的点。合成时 save 下来的掩码必须和输出热图严格对应，但中间有缩放、归一化、随机裁剪这些操作，一步没算好，掩码就对不上了。我的建议是：所有几何变换统一在脚本里封装，掩码跟图像走同一套变换管线，不要分开处理。曾经图省事，图像和掩码用了不同缩放规则，训练到一半发现损失降不下去，排查了半天才发现错位。
合成样本的强度也要控制。拼接区域的边缘不能做得太完美，也不能太粗糙。太完美，网络学到了“边缘清晰的就是篡改”；太粗糙，噪声差异掩盖了真实特征。我用了一个简单策略：20% 的样本在篡改边界上加 1-2 像素的羽化过渡，其余保持直贴。
3.3 两阶段训练与损失函数搭配
训练流程分成两步走。第一步，冻结特征提取分支，单独训练 LSTM 分支，损失函数用加权交叉熵，正负样本不均衡在这个阶段就出现了，因为大多数 Patch 是正常的，异常 Patch 占比不到 10%。我给异常 Patch 加了 5 倍权重，效果立竿见影。
第二步，解冻特征提取分支，端到端微调整个网络。这一步的损失函数是二值交叉熵加 Dice 损失的加权组合。交叉熵负责逐像素分类精度，Dice 负责缓解前景背景不平衡。两个损失按 1:1 加权，在我测过的数据集上比单用交叉熵的 F1 高约 3 个点。
微调阶段的学习率要压低，我设置为初始学习率的十分之一。因为特征提取分支已经通过自监督学得不错，过大的更新步长会把之前学到的统计特征破坏掉。
3.4 超参设置与资源估算
给出我验证过的一组参数配置，供复现参考。输入 256x256，batch size 16（8 张显存不够就减半），初始学习率 1e-4，Adam 优化器，权重衰减 1e-5。训练轮数上，自监督阶段约 15 轮，LSTM 分支约 10 轮，端到端微调约 8 轮。
资源方面，单张 12GB 显存的卡可以跑起来，但 batch size 要降到 8。我之前用一张主流消费级显卡，整条流程跑完大概 28 小时。显存不够时优先剪 LSTM 隐藏单元数，而不是减输入分辨率。减分辨率会直接损害定位精度，这一点很关键。
数据量上，自监督阶段准备了 10 万张正常图片，合成篡改阶段生成了 5 万对“图像+掩码”。这个量级在当时足够支撑模型收敛，如果手头数据少，数据增强要多加几路，特别是随机裁剪和颜色抖动。
4. 复现中的关键细节与常见坑
4.1 预处理与掩码对齐的坑
第一个坑出现在归一化。图像和掩码的归一化方式要区分开：图像用 ImageNet 统计均值方差归一化，掩码只能做 0/255 到 0/1 的线性缩放，不能减均值。我有次为了省事，把掩码也过了 ImageNet 归一化，结果掩码变成负值，损失直接变成 NaN。
第二个坑是数据增强同步问题。随机翻转、旋转、裁剪这类空间变换，图像和掩码必须用同一组随机种子。很多框架的数据流水线默认对输入做增强，但对额外输入（掩码）不做同一变换，最后训练出来的掩码边缘全是锯齿，定位性能下降明显。解决办法是自己写一个增强函数，固定随机种子，同时传给图像和掩码。
第三个坑是边界伪影。训练时如果直接 256x256 裁剪，篡改区域可能刚好在裁剪边界被切断，网络学到的是“图像边界天然不连续”，推理时边框区域误报率很高。我在训练数据的 Mask 外围做了 8 像素的腐蚀处理，相当于把边缘标注放宽一圈，这个问题基本消失。
4.2 训练不收敛怎么排查
训练过程中最常遇到的情况是损失震荡不下降。先别急着调网络结构，按顺序排查三件事。
第一，检查掩码对齐。这是最高频的原因。随机抽几对“图像+掩码”可视化，重叠显示一下，看篡改区域是否精确落在标注区域内。我排查过数次，最后都是这里出了问题。
第二，检查正负样本比例。如果异常区域占比太低，跨界熵损失会被“全都预测为正常”这种偷懒解主导。看训练集统计，正常像素和篡改像素比例在 8:1 以内还算可控，超过 15:1 就必须加权重或改用 Dice 变种损失。
第三，检查 LSTM 梯度流。LSTM 分支梯度容易消失，尤其序列较长时。可以在第一个时间步后面加一个梯度裁剪，数值设 5.0。加了之后训练曲线明显平滑，虽然不会提高最终精度，但能节省大量调试时间。
4.3 定位掩码太粗的优化技巧
如果模型能检测出篡改区域，但掩码边缘毛糙，或者区域整体膨胀，可以用三个手段逐步调优。
先调损失权重。Dice 损失对边缘敏感，适当提高 Dice 权重能让模型更关注区域形状约束，从 1:1 改到 2:1，我这边边缘 F1 提升约 2 个点。
再调融合特征的分辨率。默认特征图下采样到 16x16 或 32x32，上采样回 256x256 时边缘信息几乎丢光。我额外引入了一个低层特征跳跃连接，让解码器在最后两级上采样时直接拼接主干网络 conv2 层的输出。这一处改动对边缘细节提升最明显。
最后加一个轻量后处理。测试时对预测热图做一次条件随机场平滑，能修正边界抖动。不过要注意，条件随机场的运行时间不短，批量测试时会拖慢整体速度，建议只在精度优先场景开启。
4.4 大图推理的滑动窗口实践
实际应用里输入往往不是 256x256，而是一两千像素的大图。直接用缩放会把篡改痕迹也缩放掉，尤其是小区域复制移动，缩放后细节全丢。我的做法是滑动窗口：将大图切成 256x256 的窗口，窗口之间重叠 64 像素，逐窗口过网络，最后把热图拼回原尺寸。
重叠区域怎么拼接？直接取平均会导致重叠区边缘发亮，看起来像一圈伪影。我使用了距离权重融合：窗口中心区域权重为 1，越靠近边缘权重越低，最终重叠区按权重求和归一化。实测这样拼接后热图过渡自然，没有明显接缝。
滑动窗口的步长与窗口大小比例也要调。50% 重叠时精度最高但速度慢，25% 重叠时速度快但个别小篡改区域可能落在单个窗口边缘被漏掉。我通常在离线分析场景用 64 像素重叠，实时预览场景用 128 像素重叠，效果和速度折中比较实际。
5. 评估体系与实测表现
5.1 评估指标：像素级 F1 与 IOU
篡改定位评估不能只盯准确率，因为正常像素占绝对多数，就算把整张图都预测为正常，准确率也能超过 90%。靠谱的指标有两个：像素级 F1 和 IoU。
像素级 F1 能反映查全率与查准率的平衡。计算公式是 2 倍精确率乘召回率除以两者之和，逐像素统计 TP、FP、FN。篡改检测里，精确率低了说明误报多，把正常区域圈红了；召回率低了说明漏报，篡改区域没标全。两边的实际代价都很高，所以不能只看单边。
IoU 更严格，计算的是预测掩码与真实掩码交叠面积除以并集面积。IoU 对形状偏差比 F1 更敏感，预测区域稍微偏一点，IoU 掉得比 F1 快。在做篡改定位任务时，我习惯同时报这两个数，F1 用来衡量检测能力，IoU 用来衡量定位精度。
阈值的选择影响指标。我统计验证集在不同阈值下的 F1 曲线，取峰值对应的阈值作为最终部署阈值。有些项目朋友喜欢固定 0.5，但不同数据集的模型输出分布差异大，固定阈值经常吃亏。
5.2 跨数据集泛化实测
ManTra-Net 最大的亮点是跨数据集泛化。我拿多种公开测试集做过交叉验证——包含以拼接为主的、以复制移动为主的、以及混合篡改场景的。只在其中一个数据集上训练，然后去测另一个，像素级 F1 依然能保持在较高水平，这比传统方法动辄掉一半的情况好很多。
但泛化也不是无条件的。如果测试集里的篡改操作带有明显的 AI 生成痕迹，比如生成式修补，ManTra-Net 的检测效果会打折。原因是自监督样本和合成篡改样本都没有覆盖生成式操作的图像统计特征。
另一个规律是篡改区域大小对泛化影响大。小区域篡改（面积小于全图 2%）在窗口滑动测试下容易被当成噪声滤掉。遇到这种样本，建议把输入尺寸从 256x256 提到 384x384，小区域对应的像素数多了，检测率会上升，但代价是显存占用增加。
5.3 方法局限与适用边界
经过多轮测试，我总结出 ManTra-Net 的适用边界：适合检测传统编辑软件操作出来的篡改，拼接、复制移动、简单修复这些场景都很稳；不适合检测纯生成式重绘、深度伪造换脸这类生成模型痕迹，那些要在频域或噪声层面做专门的检测分支。
还有一类情况会比较尴尬——篡改后再压缩的质量因数很低时，整张图的压缩伪影掩盖了篡改边界，模型会输出大块误报。我在处理这类样本时，会先做一次轻度去压缩伪影的预处理，再进模型，误报会缓解但仍有残留。
理解边界比盲目套模型更重要。ManTra-Net 给出的答案是“哪里不符合正常统计规律”，但这个假设在强压缩和生成内容面前会被打破。如果你在实际业务里接到的图片质量参差不齐，建议前置一个质量评估模块，对低质量图片单独走轻量检测或者人工复核流程。
6. 后续扩展与个人心得
6.1 从 ManTra-Net 延伸出的技术方向
ManTra-Net 启发了后续不少工作，它把“自监督特征学习”和“异常定位”解耦的思路，后来在很多领域都能看到影子。
一个自然的扩展方向是特征提取分支升级。VGG16 主干换成更现代的残差结构或者 Transformer，在保持自监督训练思路的前提下，特征表示能力会更强。我小范围试过把主干替换掉，定位精度有提升，但训练时间和对数据量的需求也上去了。
另一个方向是引入篡改类型分类头。在 ManTra-Net 的融合特征后面并联一个分支，输出“拼接、复制移动、移除、未知”四类概率，这样既能定位又能分类。代价是分类分支需要带类型标注的数据，标注成本上升。但如果业务确实需要知道篡改方式，这个扩展性价比最高。
还有一个方向是轻量化部署。LSTM 分支是推理瓶颈，可以考虑用一维卷积或门控卷积替代 LSTM，保留序列建模能力的同时压缩参数量。我做过对比，一维卷积替代后模型体积减小 40%，推理速度提升近一倍，F1 只下降约 1.5 个点，对实时场景很有价值。
6.2 复现过程中最值得记住的几条经验
第一条，自监督特征学习是整个模型的灵魂，不要为了省事直接跳过或者用分类预训练替代。我试验过只换掉自监督预训练，直接加载分类预训练权重，端到端微调后 F1 明显下降，尤其对复制移动这类低纹理差异的篡改，几乎失效。
第二条，合成篡改数据的质量比数量重要。我一开始追求生成 10 万对样本，但规则太简单，网络学到的全是“边界有彩色条纹就是篡改”。后来把样本量降到一半，但增加了缩放、旋转、透明度混合等复杂度，效果反而更好。
第三条，先解决掩码对齐再谈调参。几乎每一次训练性能不佳，根源都能追溯到图像和掩码没对齐。建议每轮训练前抽 20 对样本可视化确认，这个习惯帮我省了至少一整天的排查时间。
最后再说一个实战小技巧
推理阶段别急着把热图直接二值化。先看热图的统计分布，如果绝大多数像素的概率集中在 0.1 以下，少数点接近 1.0，说明模型置信度很高，阈值可以调高到 0.7 左右减少误报；如果热图整体在 0.3-0.7 之间浮动，说明图像压缩痕迹较重，阈值应调低到 0.4 左右，宁可误报多圈一些，也比漏掉篡改区域强。这个阈值自适应策略不增加任何计算成本，却能在不同质量图片上稳定提升 F1，是我实际项目里用得最多的一个技巧。
