一个标题让我在原地琢磨了很久ICLR 2026 Oral 把“让大模型学会像法医般思考”和“可解释、可泛化的深度伪造检测”放在了一起。如果你长期关注伪造检测这个方向应该一眼就能看出这背后的野心过去我们做检测主要回答“这张图是真是假”换到这套思路上模型要回答的不再只是一个标签而是“哪里假、为什么假、大概率是什么造假流程”并且这套推理能力还得迁移到训练时没见过的伪造方法上。整个问题从“二分类任务”变成了“开放式证据链推理”这已经不是单纯叠网络深度能搞定的事了。这条路线对我这种常年折腾检测系统的人来说吸引力非常大。最近三四年生成模型的迭代速度远远快过检测模型的更新速度今天还在用某个噪声统计特征去抓旧版本生成器明天新架构一上来那套特征基本就废了。传统模型能告诉你“这张脸不对劲”但说不清哪里不对劲、为什么不对劲。而在真实的辟谣、鉴证、取证场景里你恰恰需要一套可以被复核、被推敲的解释。也就是说检测结果必须像一份法医鉴定报告而不是一个信任度裸奔的绿灯。这篇博文不是论文复现。我会从项目标题拆解出核心方案思路结合自己踩过的坑把“法医式思考”从概念拆成可操作的流程、模块、提示词设计和评估方法顺便把落地时最容易翻车的地方都摆出来。1. 问题瓶颈为什么“准”和“懂”在深度伪造检测里必须同时出现1.1 传统检测模型的不可解释困境先聊一个最基础的问题为什么不能继续用二分类网络你训练一个二分类器输入一张人脸图片输出真或假准确率做到98%。这个模型确实很“准”但它内部是一个高维非线性函数没有人类能读懂的语义结构。一旦它在某张图上给出“假”的结论你能做的只是相信它。这在模型评测上没问题在现实场景里就是灾难因为你无法判断模型是抓到了有意义的伪造痕迹还是靠某个偶然的颜色分布做判断。我做过一个实验某个在主流数据集上表现很好的检测模型在换了一个拍摄光线环境后准确率直接掉了二十个百分点。后来排查发现模型学到的居然是人脸区域的色温偏差而这个偏差来自合成数据的后期处理流程并不是真的抓住脏点或者边缘异常。你能说它错吗从数据集上看它是对的但它完全没有理解伪造。这不是个别现象是黑盒模型在泛化问题上的必然命运。法医式思考解决的就是这个痛点。它要求检测模型在给出结论之前先构建一条“痕迹—推断—验证”的推理链。模型输出的不是0到1之间的相似度而是一组可以被复查的自然语言论证这里看到不自然的眨眼频率那里存在边缘伪影再结合人物背景光照的不一致判断这是由某类生成器合成。这种输出可以直接交给专家复核哪怕专家不懂深度学习也能听懂逻辑。1.2 可泛化的真正含义从“看过”到“能推断”泛化问题比可解释性更致命。深度伪造技术本来就在快速迭代新生成器层出不穷。你不可能保证训练集覆盖未来所有生成方案。传统检测模型的工作方式类似于“押题”训练时见过某种痕迹检测时就把这种痕迹当作特征未见过新的痕迹就得靠瞎猜。法医式思考的泛化路径完全不同。它不依赖某个单一伪造痕迹的存在与否而是试图建立通用推理链路。就好比法医无法预知凶手会用哪种凶器但他知道人体对任何创伤都会产生相应反应。检测模型要做的是先列出所有可观察的线索再逐一判断这些线索是否能由“真实拍摄”的过程解释不能解释的线索就形成了伪造证据。这个过程不需要见过某类伪造方法只需要足够的常识理解和对图像生成原理的通用认识。所以项目标题在开篇就点了两条路线一条是让输出可解释一条是让判断标准可泛化。这两件事在传统检测框架内往往互相矛盾因为越精确的特征越脆弱。大模型的多模态理解能力恰好给了这个组合一个机会跳出来。2. 整体设计思路把检测流程改造成一支配得上的刑侦团队2.1 “法医”隐喻的具体化观察—假设—验证链条很多人一听“像法医般思考”觉得这只是一种修辞包装。但如果细看这个隐喻内涵会发现它是非常严谨的方法论映射。法医不是全知全能的他不需要认识凶手也不会提前知道犯罪手法。他能做的只有三件事观察现场、提取痕迹、推理嫌疑。对应到伪造检测里就是三大模块证据提取在图像/视频/音频的不同尺度、不同局部区域找到不符合物理或生理常识的痕迹假设生成根据提取到的证据组合生成几个可能的伪造方案假设包括生成的模型类型、合成管线、拼接逻辑假设验证回到原始图像里寻找验证或推翻这些假设的额外证据最终保留最合理的解释作为输出这个链条最大的好处是任何一个环节出错都可以被单独发现。模型如果说“嘴唇边缘有闪烁伪影”但又给不出具体位置复核阶段可以立刻抓到它。反过来传统黑盒模型一旦出错你根本无从下手纠偏。2.2 大模型扮演什么角色不只是判断器还是推理器和调度器大模型在这个框架里不只是一个嘴替它同时承担三个角色。第一它是多模态证据的融合器。图像中的像素异常、帧间的时序异常、音频频谱的细微不连续、文本模态里文字内容与人物口型的错位这些证据分散在多个模态里。传统做法是把不同特征拼在一起再进分类器特征之间缺乏相关性约束。大模型可以在一个推理上下文里同时感知并关联这些证据建立跨模态的因果关系。第二它是知识驱动的假设生成器。生成模型的时间线、主流架构对图像的影响、人脸解剖结构的基本常识这些都是大模型预训练阶段已经吸收的知识。当模型在图像中看到某种风格的伪影时它能自动联想“这个伪影常常出现在较早的生成器版本中”从而给出有知识支撑的推断而不是单纯统计上的概率判断。第三它是主动观察的调度器。模型在推理过程中可以提出“我需要查看耳朵附近的细节”这样的自我指令。这种主动注意力机制比传统的注意力热力图更抽象也更接近真实侦探的行为发现异常后主动拉近镜头搜证。这一点对伪造检测很关键很多伪造痕迹只存在于一个非常小的局部区域经典的全局特征提取方式很容易把它们稀释掉。2.3 为什么选择生成式的方法来反生成式伪造这里有个容易被误解的点用大模型这种生成式方法去做检测听起来像“用魔法打败魔法”但其实意义非同小可。生成式模型天然理解什么是“一个合理的人脸”。DALL·E、Stable Diffusion、各类GAN模型在训练时学习了海量真实人脸的高维分布。它们知道一张真正的人脸应该有什么特征也知道自己生成的图像在哪些细节上会“暴露马脚”。如果直接用一个生成模型作为检测器它在判别时本质上是在比较“输入图像是否符合我学会的世界模型”。这个思路比传统判别器更有优势的地方在于它不是拿着标尺量哪里多了或少了而是拿一张“世界如何运转”的完整认知图谱去对照输入。真实的物理约束如光线反射方向、角膜成像、耳朵纹理、眨眼时的肌肉运动在真实人脸里都有内在一致性。而合成图像往往在整体风格上很逼真但会在某个被生成器忽略的物理约束上露出矛盾。只有真正理解图像生成全过程的大模型才有能力发现这种深层的矛盾。3. 核心细节拆解证据链推理模块与实操要点3.1 证据收集模块必须要处理好的三个层次证据收集是整个推理链的地基。这一步做不好后面所有分析都是在沙地上盖高楼。实操中我把证据收集拆成三个层次来设计第一层是全局一致性检查。看整张图的物理合理性光照方向是否统一阴影形状是否符合场景几何透视比例是否自然。伪造图像经常在全局层面上犯低级错误比如人物的鼻子高光和背景里的太阳来自完全相反的方向或者地面倒影里的人物位置和实际站位对不上。这类错误虽然低级但非常致命因为人眼的视觉系统对于光照不一致极其敏感。模型需要先把这种全局信号纳入证据集合。第二层是局部细节检查。这层主要盯住几个在生成模型中反复出问题的敏感区域眼睛、牙齿、耳朵、发际线、手指。这些部位细节密度高、纹理复杂早期生成器经常在那里渲染出一团模糊或奇怪的重复纹理。大模型需要具备高分辨率的感知能力把单张图切块或者进行裁剪放大后逐块检查。我平时会把图像先切成等尺寸的子块让模型对每个子块单独生成描述再去比对子块之间的风格和纹理一致性这种做法的效果远好于让模型一次性看完整张图。第三层是频率与噪声分析。许多伪造痕迹在肉眼看来天衣无缝但在频域里会留下特殊指纹。上一代GAN生成的图像往往在高频分量上有规律性的重复峰值扩散模型的输出则常常带有过度平滑的低频特征。这部分证据不是靠视觉观察就能得到的需要对图像做傅里叶变换或者小波变换把频域特征转成可描述的形式之后再送给推理模块。很多团队在这里偷懒结果模型的泛化能力大打折扣。3.2 推理链路设计每一步都必须可回溯证据收集完之后进入推理模块。这一步最忌讳的是把所有证据一股脑交给大模型让它直接输出结果。没有结构约束的自由推理在复杂案例上很容易出现幻觉。我把推理链路固定成五步流程证据列清单将收集到的原始证据按照全局、局部、频域、时序四个类别整理出来每一条都要附带位置信息、描述以及可信度解释生成针对每一条证据让模型给出多种可能的自然原因解释。例如“耳朵边缘的锯齿状纹理”可能的解释包括低分辨率视频压缩、生成模型的边缘渲染缺陷、用户上传时过度压缩。不能一上来就锁定“伪造”证据一致性交叉验证多个证据之间是否存在互相支持或互相矛盾的关系。如果图片中同时存在“光照方向颠倒”和“背景压缩痕迹”后者可能是上传过程中产生的前者却很难由压缩造成那么前者的证据权重应增加假设排序列出所有能解释全部关键证据的假设并按照解释力排序输出论证把最可能的假设作为结论伴随完整的证据链输出每一步都必须保留原始证据的引用。比如输出“耳廓区域的纹理存在规则性重复疑似超分模型修复痕迹”这句话不是凭空生成的而是基于第3层裁剪出的局部图像块和对应的频域特征。复核人员点击这条结论时必须能看到原始证据图和自己对应的分析过程。如果做不到这一步那所谓的可解释性就是停留在口头上的面子工程。3.3 提示词设计一个可以直接改用的思考框架我整理了一套通用的检测提示词模板项目初期可以直接在这个框架上修改。它的核心思路是把法医推理流程浓缩成结构化指令system_prompt 你是一名资深数字图像鉴定专家。你的任务是分析给定的图像/视频 判断是否存在AI生成或篡改痕迹。请严格按下列步骤进行推理 第一步图像观察 - 描述图像的全局场景、人物姿态、光照条件 - 描述画面中所有可能存在异常的区域 - 对异常区域补充局部坐标说明 第二步证据提取 - 列出至少5条与真实拍摄图像不一致的异常痕迹 - 每条痕迹必须说明异常类型几何畸变/生理异常/纹理异常/压缩痕迹 - 每条痕迹必须标注置信度确定/较高/不确定 第三步成因推理 - 分别考虑经典GAN、扩散模型、图像编辑等可能的生成方式 - 判断当前证据更符合哪种生成方式或后期篡改方式 - 说明判断依据不要猜测没有证据支撑的内容 第四步综合结论 - 给出最终结论真实拍摄/AI生成/人工篡改/无法判断 - 如果结论为AI生成请详细描述生成证据链 - 如果无法判断请列出缺失的关键证据和下一步建议 要求所有结论必须建立在可观测证据之上。禁止使用“看起来”“感觉”这类主观表述。 这套提示词看起来简单但有几个细节特别重要。第一强制模型列证据的时候给出“坐标说明”这是为了让观察结果可以和图像建立一一对应关系防止模型泛泛而谈。第二要求对每条异常标注置信度这样做可以让后续推理模块知道哪些证据可靠、哪些证据可能误判。第三最后一条“禁止主观表述”非常有威慑力它会逼迫模型把模糊描述转化成具体可检查的观察。3.4 主动证据补采让模型学会说“我要再看一眼”法医面对复杂案件不会只看第一轮采集到的痕迹他们会回到现场补采。这套系统也应该支持“推理中来一轮新观察”。我在实现时加了一层循环控制当推理模块在第三步“成因推理”中发现证据不足以支撑某个假设时可以指定一个新的观察指令比如“放大左眼虹膜区域查看反射纹理”或“分析手指边缘的过渡带宽度”。系统接到这个指令后会把对应的局部区域重新裁剪、做分辨率和频域增强再把新的证据送回推理模块继续上面的五步流程。这个循环设计直接提升了模型在复杂伪造案例上的表现。很多伪造技术在缩略图尺度上看起来完美无瑕但只要拉近到一个特定尺度不自然的高频细节马上现形。主动补采机制让模型具备了“变焦能力”而不是被动地基于固定分辨率做判断。代价是推理次数增加了几倍所以我在设计里加了一个迭代上限默认最多补采三轮防止无脑循环。4. 实际应用流程从一个模拟人脸伪造检测案例说起4.1 输入准备与预处理链路为了验证这套思路我自己搭了一个检测Demo输入是一段包含人物说话的短视频。整个预处理流程是这样的先把视频按帧抽取每秒钟抽5帧确保不会错过精细的时序痕迹。抽出的帧经过人脸检测和对齐进入质量筛选把严重失焦、遮挡、截断的帧去掉。保留下来的帧开始做多尺度变换原始分辨率、裁剪放大的局部区域、下采样后的小尺寸缩略图。每一套尺寸都单独送入图像编码器得到若干个不同层级的多模态表示。与此同时把视频的音轨单独抽出做一次说话人特征和口型图像的时间对齐这一步会生成一个“口型同步得分序列”它本身也是一个关键证据。预处理的最后一个环节是频域变换。把抽取出的关键帧逐张做二维离散傅里叶变换将频谱高亮部分的分布模式提取成一组结构描述保存下来。这个描述不需要经过人类阅读直接作为证据向量进入推理模块。整套预处理的耗时大概每30秒视频在7秒左右推理阶段的耗时在30秒到两分钟不等取决于补采的轮数。4.2 单帧证据链的实际输出样例我拿一个由扩散模型生成的仿真人脸照片走了一遍完整流程下面是第11轮推理输出的几条核心证据链。为方便阅读我把原始输出做了精简证据A全局/光照人物脸颊右侧的高光方向与背景树叶投影方向呈约15度偏差。真实拍摄环境下此角度偏差可以发生但概率较低。置信度较高。提示可能原因独立光源、HDR合成或生成模型随机采样误差。证据B局部/眼睛左眼瞳孔区存在微弱的圆形高光重复双眼高光形状不对称。真实人眼中眼角膜高光由环境光源反射产生双眼应呈现相似的反射图案除非环境中存在不对称的点光源。置信度确定。证据C频域在图像的高频分量中出现周期性规则峰值峰值间隔约为8像素。这一模式与扩散模型的潜空间解码痕迹接近但在JPEG压缩中也可能产生类似模式。置信度不确定。证据D生理纹理耳朵轮廓区域的皮肤纹理出现局部模糊且模糊边界形成一条接近半圆弧的曲线疑似生成模型对耳廓的建模不完整。置信度较高。模型随后对这几条证据完成了交叉验证。其中证据B和证据D互相支持共同指向生成模型在人脸细节建模上的不完整。证据C则因为压缩可能性被降权处理。推理模块最终输出的结论指向“AI生成疑似扩散模型管线”并附带了两条待验证信息“建议查看原始视频流是否有压缩痕迹”、“建议放大右耳区域确认纹理连续性”。这个输出结构可以在实际系统里直接用作记录每一行证据都对应原始文件的定位信息审核人员能够在界面上快速打开检测区域进行人工确认。4.3 模型选型与资源取舍的实践心得整个检测流程跑得起来单靠一个多模态大模型是不够的。我实际使用的是一套组合架构特征提取和部分证据分类选择了中等规模的开源视觉模型全局语义理解和推理部分使用了参数量较大的多模态模型频域分析则是一个单独的轻量级信号处理模块。这里有一个很现实的心得不要把所有任务都丢给一个大模型。大模型做跨模态综合推理确实强但在局部细节的精确识别上反而不如专门针对某一痕迹做训练的轻量模型。我之前尝试过完全依靠大模型一个端到端跑所有流程结果是速度变得很慢并且局部细节证据经常被幻觉掉。最后调整为“轻量模型负责提证据大模型负责组逻辑”整个系统的准确度反而提升了。从资源角度看强烈建议给推理模块做一个缓存层。同一类伪造管道生成的图像哪怕内容不同其痕迹模式往往高度相似。如果系统能缓存“眼镜高光不对称耳朵模糊频域周期峰值”这组证据组合的推理结果下一次遇到类似组合时就可以直接复用结论节省大量多模态模型调用。这方面和工程上做请求缓存是一样的道理。5. 常见失败模式与排查经验5.1 推理幻觉模型编造了不存在的“证据”最大的坑就是大模型在推理过程中编造证据。这个问题的严重性我在做Demo时体会尤其深。让模型直接观察一张真实照片它给出结论“这是AI生成”并说“耳朵部位出现三根排列整齐的头发丝疑似扩散模型细节涂抹痕迹”。但我把那块区域放大后仔细看发现头发丝确实长得很整齐——真实的人也会有一排整齐的发丝。这就是典型的过度解读。要控制幻觉我在设计里做了三道防线。第一道防线是交叉验证任何关键证据必须至少被两个不同尺度的分析模块观察到。如果全局观察说“耳朵模糊”但局部放大检查并没有看到同样的模糊现象这条证据就会被标记为存疑。第二道防线是定量阈值频域特征、边缘锐度、局部一致性这类能数值化的证据必须超过一个预设的阈值才能进入推理流程数值不足的一律忽略。第三道防线是反向追问模型给出每个结论之前必须回答“如果图像是真实的这个现象还能否存在”如果存在可能性很大证据权重就要降低。5.2 过拟合已知生成器风格在未知伪造方法上翻车另一个常见问题是陷入“见过的特征”陷阱。模型在一个训练集上见过某种生成器的输出之后无论面对什么输入都倾向于把输入判断成那种生成器的产品。比如数据集里主要包含扩散模型的样本模型遇到所有疑似伪造的图像都预测为扩散模型。这确实影响到了类别归因还会让系统在面对一个完全新型的生成器时给出错误的已知类别结论。破局的办法是引入自质疑机制。在最终结论输出前强制追问一句“如果这个结论错了最有可能的替代解释是什么”让模型主动生成一个反方观点。例如模型说“这是扩散模型合成”自质疑模块会尝试找“为什么这张图也可能是GAN合成”或者“为什么也可能是真实拍摄”。经过这一轮比较如果反方观点中至少有两条明确的证据支持说明主结论的证据链并不充分系统会把结论改为“无法判断”或者将置信度下调。这个机制在工程实现上没什么难度就是一次额外的推理调用但效果非常明显。它能显著降低高置信度但错误结论的比例。5.3 输入被压缩或转码后证据变得模糊实际部署中更大比例的坑来自图片的压缩、转码、缩放。很多用户在社交平台上发布的图片经过了缩小、水印添加、二次编码等处理。这个流程会破坏原始图像里的高频细节产生压缩块效应。这种块效应在频域上看起来和某些生成痕迹非常相似系统容易把它们误判为合成证据。我处理这个问题的经验是在做证据提取之前先对图像做一次「完整性预检」评估图像的压缩程度和转码次数。如果某个区域出现了大范围均匀的压缩块效应那系统在提取证据时要自动把“频域异常”这一类证据的全局权重调低。同时系统要多依赖全局生理约束而不是高频细节因为生理约束像光照方向、瞳孔反射、肌肉动力学这些不会被压缩破坏掉的特征在压缩图像上反而更可靠。6. 从研究Prototype到落地系统的工程化补充6.1 评估指标的选择准确率之外必须跟进的纬度做研究时可能只看检测准确率但落地时这套法医式检测必须配套一套更细的评估体系。我在自己的项目里使用了以下四类指标指标类别具体内容说明检测正确性总体准确率、精确率、召回率基础的判别能力证据支持度有证据支撑的结论占比结论必须能被证据链解释防止瞎猜推理一致性相同案情的纹路是否输出相同结论排除随机性带来的不可复现泛化稳健性在多个类型伪造数据上的差异不能只在某一代生成器上表现优秀前两个指标好理解第三个“推理一致性”容易被忽视。大模型推理本身有一定随机性同样的图片在不同次推理中可能会抽取到不同的证据。如果结论本身是稳定但给出的证据描述每次都不一样那系统在取证场景里依然不可用。我会使用固定随机种子和低温度系数进行推理同时叠加多次推理做证据链的交集。如果多次推理得到的证据链交集低于60%系统会标记为“低置信度结论”。6.2 安全与合规注意事项深度伪造检测是一个敏感度极高的方向。它应用在个人照片真伪鉴别、媒体内容审核、司法辅助取证等场景中。在落地时我建议团队特别注意以下几点第一检测结果只能作为辅助参考不应该作为最终判定依据。法医式推理提供的证据链虽然是可解释的但依然是概率性的其中包含误差。在正式需要做决策的场合必须有人工复核环节任何模型输出都不能直接自动执行下架、封禁等操作。第二对于个人隐私数据要有严格的脱敏处理。人脸图像属于生物识别信息在存储和传输过程中必须进行加密。模型在处理用户上传内容时应在内存中完成全部推理并在流程结束后立即释放缓存。第三模型训练和评估中使用的数据来源要清晰合规。伪造样本的收集要避免涉及真实个人肖像的滥用尽量使用数据生成的仿真人物数据集。我在项目里建立了一条“三不”原则不收集真实个人的未经授权肖像、不传播未经脱敏的伪造样本、不提供模型能力给不可验证身份的第三方调用者。6.3 面向真实场景的进一步扩展思路法医式思考这套范式并不会局限于二维图像检测。我已经在计划里把思路往两个方向上扩张。第一个方向是视频时序链。单帧证据在视频里能够扩展成时间维度上的动态证据。比如一个视频里人物眨眼频率是否异常嘴唇动作和音频的错位是否持续存在头部姿态在连续帧之间是否违反了真实物理运动规律。这些时序证据比单帧证据更难伪造也具有更强的判定力。第二个方向是跨模态完整现场重建。真实伪造视频往往同时包含图像、音频、文字描述等多个模态。法医式思考的终极版本应该是把一段视频中的每一位像素、每一个音轨片段、每一行字幕都看作现场痕迹用一个大模型去整体重建“这个视频是怎么被制造出来的”完整脚本。实现这个目标还需要多模态推理研究多走几步但至少方向已经清晰了。7. 一点私人的体会把“法医式思考”这个理念落到自己的检测Demo里之后我回头看传统检测方法总觉得它们像是一群只会背诵答案的学生碰到题库里的题能拿满分换一道变式题就不知道怎么回事。而这种新范式更像一个真正理解了知识的人它不需要见过所有题目只需要掌握背后原理就能在新场景里给出解释并且允许别人来质疑自己。当然这条路远没有到成熟期。推理延迟高、算力成本贵、幻觉概率仍需压制这些都是摆在面前的现实障碍。甚至可以说目前这套方法在基准数据集的裸准确率上未必打得过精心调优的传统检测模型。但它吸引了大量研究者去重新思考“检测到底意味着什么”你可不可以给得出证据能不能在新的造假方式面前依然保持判断力。对我来说这个问题的分量远高于在旧测试集上再涨一个千分点的准确率。如果你正在做类似的方向我的建议是先把一个小规模的Demo跑起来哪怕只处理十几张图。你会很快感受到这套思路和传统方法的区别第一次看到模型输出整条证据链并且你能顺着链条去复核结果的时候那种踏实感是任何单一准确率数字都给不了的。这就是我认为法医式思考值得投入的根本原因。