论文题目：TM-BSN: Triangular-Masked Blind-Spot Network for Real-World Self-Supervised Image Denoising（TM-BSN：用于真实世界自监督图像去噪的三角掩码盲点网络）
会议：CVPR 2026，pp. 29877–29886
源码：GitHub - TM-BSN
摘要：盲点网络（BSN）通过阻止网络访问目标像素，实现无需干净图像真实监督的自监督去噪。但这类方法假设噪声在像素级相互独立，而真实 sRGB 图像中的噪声会受到相机图像信号处理（ISP）流水线影响，呈现空间相关性。一些方法采用下采样来降低噪声相关性，但这会改变噪声统计特性，并限制网络利用完整上下文信息的能力。本文提出三角掩码盲点网络（TM-BSN），用于建模真实 sRGB 噪声的空间相关性。该相关性源于去马赛克过程：每个像素由周围样本按照随空间距离衰减的权重重建，因而形成菱形分布。为使感受野与其对齐，作者提出三角掩码卷积，将卷积核限制在上三角区域，从而在原始分辨率下形成菱形盲点。该设计排除相关像素并利用不相关上下文，无需下采样或后处理。作者还使用知识蒸馏，将多个盲点预测中的互补知识迁移到轻量级 U-Net，以提升准确率和效率。大量真实世界基准实验表明，该方法取得了当前先进性能，并显著优于现有自监督去噪方法。源码已公开。
一、研究背景：盲点网络为什么会失效？
真实场景中很难获得同一张图像对应的干净标签，因此自监督去噪很有价值。盲点网络（BSN）预测某个像素时会屏蔽目标像素，只根据周围上下文估计干净信号。在噪声零均值、像素间相互独立等假设成立时，这能避免网络直接复制输入。
但相机需要通过颜色滤波阵列（CFA）采样，再经过去马赛克（demosaicing）等 ISP 处理重建 sRGB 图像。重建过程会让邻近样本共同影响输出像素，导致噪声出现空间相关性。如果网络虽然排除了目标像素，却仍能看到与它噪声相关的邻域，就可能把相关噪声一起重建出来。
论文 Figure 2：去马赛克滤波权重与真实噪声的空间相关性
Figure 2 展示了邻近样本在去马赛克中的权重，以及 SIDD 数据集上测得的菱形噪声相关图。作者由此提出：盲区形状不仅要避开目标像素，还应尽量避开与其噪声相关的区域，同时保留不相关上下文。
论文 Figure 1：不同盲点网络的有效感受野（ERF）对比
Figure 1 对比 AP-BSN、LG-BPN、AT-BSN 和 TM-BSN。作者指出，AP-BSN 的有效上下文受限，LG-BPN 的盲区不严格局限于目标区域，AT-BSN 的矩形盲区也没有完全匹配真实噪声的菱形相关结构。TM-BSN 希望以更合适的几何形状排除相关噪声，同时尽量保留有效信息。
二、方法整体框架：从三角感受野到菱形盲区
TM-BSN 以 AT-BSN 为基础，采用 Variational Deep Image Restoration（VDIR）中的复原网络骨干，以避免 U-Net 池化和上采样可能引入的像素错位，并将骨干中的 3 × 3 卷积替换为三角掩码卷积（TMC）。
论文 Figure 4：TM-BSN 整体网络架构
Figure 4 的数据流可以概括为：输入图像分别旋转 0°、90°、180° 和 270°，经 TM-BSN 提取特征；再通过偏移量为 s 的特征移位形成不同盲区；随后将分支旋转回原方向、沿通道拼接，最后使用 1 × 1 卷积得到输出。不同偏移量的预测共享特征提取过程，因此生成多种盲区预测只比单次前向传播增加约 15% 的计算开销，也为知识蒸馏提供了条件。
三、核心模块一：三角掩码卷积（TMC）
3.1 用掩码控制信息从哪里进入
普通卷积使用卷积核的全部权重。TMC 则通过二值掩码只保留卷积核的上三角区域。多层 TMC 堆叠后，有效感受野逐渐扩展，为构造菱形盲区打下基础。
论文 Figure 3：三角掩码卷积的感受野扩展与盲区形成
Figure 3 展示了三角感受野逐层扩展，再通过特征移位形成中心盲区的过程。TMC 决定哪些空间位置可以传递信息，移位操作则进一步切断目标位置与特定区域的连接。
TMC 的计算形式为：
其中，和
是输入、输出特征图，(W) 是可学习的 3 × 3 卷积核，(M) 是二值掩码，(b) 为偏置；(
) 表示逐元素相乘，(*) 表示卷积。满足 (
) 的上三角位置被保留，其余位置的权重被置零。
作者还将特征分别向上、向右移位，再拼接为 ()。偏移量 s 控制盲区大小。作者没有采用对角线移位，以避免步幅加倍造成空间覆盖不连续；结合四个旋转方向，最终形成与真实噪声相关结构更匹配的菱形盲区。
四、核心模块二：多盲区预测与知识蒸馏
4.1 为什么需要蒸馏？
不同偏移量会形成不同大小的盲区，因此教师网络能从不同上下文范围得到互补的去噪预测。为降低推理成本，作者将这些信息蒸馏到轻量级 U-Net 学生网络中，采用 APR-RD 提出的 Recharged Distillation（RD）框架。
RD 会随机选取部分像素，把原始噪声输入中的对应像素重新注入教师预测，形成学生需要拟合的目标。损失函数为：
这里，(y) 是噪声输入，() 是学生预测，(
) 是偏移量为 (
) 的教师输出，(
) 是随机二值掩码：掩码为 1 的位置使用原始噪声像素，为 0 的位置使用教师预测；(
) 表示停止梯度，避免蒸馏损失更新教师网络。
训练时，教师使用偏移量 s = 5、自监督 L1 损失，训练 500k 次迭代，批量大小为 4，输入补丁为 128 × 128；学习率前 200k 次迭代为 1 × 10⁻⁴，之后余弦衰减至 1 × 10⁻⁶。学生 U-Net 约有 1.02M 参数，训练 200k 次迭代，批量大小为 8；学习率前 100k 次迭代为 1 × 10⁻⁴，之后余弦衰减至 1 × 10⁻⁶。最终蒸馏偏移量集合为 S = {2, 3, 4, 5, 6}。
五、实验结果与消融分析
5.1 数据集与评价方式
论文使用 SIDD 和 DND 两个真实世界去噪数据集。SIDD Medium 包含 320 张噪声图像，SIDD 验证集和基准集各包含 1,280 个 256 × 256 补丁。DND 有 50 个真实场景、共 1,000 个 512 × 512 测试补丁。DND 包含两种评估设置：在 SIDD 上训练后测试 DND，以及直接在 DND 上进行完全自监督训练与评估。主要指标是 PSNR 和 SSIM。
5.2 主实验：性能提升是否成立？
论文 Table 1：SIDD 验证集、SIDD 基准与 DND 基准上的定量比较
Table 1 同时比较非学习、监督、非配对和自监督方法。需要注意，TM-BSN（D）的主要优势是相较已有自监督方法取得更好的结果，并不代表它超过了所有监督方法。
在 SIDD 验证集上，TM-BSN（D）达到 38.08 dB PSNR、0.952 SSIM；在 SIDD 基准上达到 38.31 dB、0.900 SSIM，略高于 APR（RD）的 38.26 dB、0.895。在 DND 上，先用 SIDD 训练时达到 38.96 dB；在 DND 上完全自监督训练与评估时达到 39.41 dB、0.949 SSIM，比 TBSN 的 39.08 dB 高 0.33 dB。
论文还说明：由于 SIDD 官方评测服务器当时不可用，比较使用各方法公开的模型权重；SIDD 基准 SSIM 按 Kaggle 评测中的 RGB 三通道均值计算，因此绝对值可能略低于官方服务器报告。
论文 Figure 5：SIDD 验证集上的去噪可视化
Figure 5 展示木质表面。作者指出，TM-BSN（D）去除噪声的同时较好地保留了木纹和细微结构；部分对比方法存在过度平滑、细节丢失的问题。
论文 Figure 6：DND 基准上的去噪可视化
Figure 6 展示花瓣和网格状织物纹理。TM-BSN（D）在强噪声下仍能保留细小网格结构。Figure 5 和 Figure 6 补充说明，去噪不只是让图像变平滑，还需要尽量保留真实纹理。
5.3 复杂度：蒸馏带来了什么？
论文 Table 2：不同方法的参数量、FLOPs、运行时间与 PSNR
Table 2 在 NVIDIA GeForce RTX 3090 上使用 256 × 256 补丁测试。原始 TM-BSN 有 1.35M 参数、633.69 G FLOPs，运行时间为 61.40 ms，PSNR 为 37.31 dB；蒸馏后的 TM-BSN（D）为 1.02M 参数、26.74 G FLOPs、3.21 ms，PSNR 为 38.08 dB。也就是说，运行时间从 61.40 ms 降至 3.21 ms，PSNR 还提高了 0.77 dB。在表中列出的方法里，TM-BSN（D）的参数量、FLOPs 和运行时间最低，PSNR 最高。运行时间仍受硬件、输入尺寸和测试设置影响。
5.4 偏移量消融：为什么不是越大越好？
论文 Figure 7：不同训练偏移量下，PSNR 随推理偏移量变化的曲线
Figure 7 分别训练 s = 4、5、6、7 的模型，再改变推理偏移量进行评估。作者发现，s = 4 的盲区过小，难以排除相关噪声，模型容易近似复制噪声输入；s = 6 或 7 虽然可以避开相关噪声，但也会失去有价值的近邻信息。s = 5 在抑制相关噪声与利用局部上下文之间取得更好平衡，因此被用于教师训练。
论文 Table 3：知识蒸馏中不同偏移量集合的消融结果
Table 3 中，S = {2, 3, 4, 5, 6} 取得最佳结果：38.08 dB PSNR、0.952 SSIM。扩展为 {2, 3, 4, 5, 6, 7} 后，结果降至 37.91 dB、0.950；包含过小偏移量的其他集合也没有超过最佳配置。作者认为，偏移量过小会产生不稳定监督，过大则难以利用最有价值的近邻像素。
论文 Figure 8：不同偏移量与蒸馏后模型的定性比较
Figure 8 以文本纹理区域展示不同偏移量及蒸馏结果，补充验证偏移量选择会影响噪声抑制和细节保留。结合 Figure 7 与 Table 3，作者最终选择 S = {2, 3, 4, 5, 6}，以获得多样但可靠的教师监督。
六、总结与思考
TM-BSN 的关键思路是根据真实噪声的空间相关结构设计盲区，而不是单纯扩大感受野或依赖下采样。三角掩码卷积逐层扩展有效感受野，再结合特征移位与四方向旋转形成菱形盲区；随后通过多偏移量教师预测和 RD 蒸馏，将互补信息迁移到轻量级 U-Net。
SIDD 和 DND 实验显示，TM-BSN（D）在多项自监督去噪比较中取得更好结果，并在木纹、织物等细节上表现出较好的保真度；蒸馏也显著降低计算量和运行时间。不过，论文中的监督方法在部分指标上仍然更高，因此不能将结果概括为“超过所有去噪方法”。
适用边界：本文验证的是真实世界 sRGB 图像去噪，设计依据是去马赛克造成的菱形噪声相关性。三角掩码卷积或许能启发其他视觉任务，但超分辨率、图像增强、目标检测和图像分割并未在本文中得到验证，迁移后仍需针对任务设计训练目标并开展实验。
如果只记住一句话：先根据噪声相关结构设计盲区，再利用多种盲区预测进行蒸馏，让自监督去噪兼顾纹理保留与推理效率。
