REMOTE SENSING

遥感SISR十年全景综述

<GRSM 2026 · L8S2PS-SR 真实场景基准>

Deep Learning for Remote Sensing Image Superresolution

导读

遥感图像超分辨率的研究已经走过了四十余年的历程。随着深度学习的不断推进，CNN、Transformer、GAN、Diffusion、Mamba等路线层出不穷，但是有一个现实的问题一直存在：合成退化上得到很高的分数，是否可以真实的反映出卫星影像中重建的能力呢？

已经被IEEE Geoscience and Remote Sensing Magazine（GRSM）接受的内容已经完成了一次方法回顾。作者对近年来深度学习遥感单幅图像超分辨率(SISR)的研究进行了系统的梳理，并构建了一个真实的环境基准数据集L8S2PS-SR，再用15 种代表性的方法对公开的数据集和真实的场景数据进行统一评价，在同一篇文章中把“综述-数据-实验-未来方向”放在一起。

PART. 01

核心信息：综述、基准与测评一次到位

论文标题：Deep Learning for Remote Sensing Image Superresolution: A Comprehensive Review and a New Real-World Benchmark

作者：Fanen Meng, Sensen Wu, Yi Xiao, Qiangqiang Yuan, Zhiguo Jiang, Fengying Xie, Zhenhong Du, Haopeng Zhang*

单位：天目山实验室、浙江大学、郑州大学、武汉大学、北京航空航天大学

论文链接：

https://doi.org/10.1109/MGRS.2026.3706999

代码链接：

https://github.com/Meng-333/L8S2PS-SR

Demo：

https://pan.baidu.com/s/1AmqSB3HznH_mDTxuBy3OVQ?pwd=demo

完整数据：

https://pan.baidu.com/s/1MrYTAOhbUgrZsBCLAptbKQ

Kaggle：

https://www.kaggle.com/mengfanen/datasets

一句话概括：本文把近十年方法谱系、真实世界数据集和统一测评放到了一套完整框架里。

论文的封面上有作者的信息

论文把工作总结为三方面：全面综述、建立真实的环境作为标准、以及系统的评价和未来的方向分析。

01｜全面综述

对最近十年来以深度学习为基础的单幅遥感图像超分辨率的研究文献进行回顾，包括相关的算法、系统的比较、数据集和评价指标等。论文在贡献总结部分把现有的方法归结为七种类型：CNN、Transformer、GAN、Diffusion、Mamba、Foundation Model、Hybrid；Fig. 2/ Fig. 3 主要网络结构图和数量统计集中在CNN、Transformer、GAN、Diffusion以及Mamba这五种上。

02、建立真实的环境作为标准

L8S2PS-SR 最后剩下195个场景/ROI，可以适用于各种不同的季节以及地理位置；数据集正文部分包含了空间配准后的Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope影像，Landsat 8-Sentinel-2、Sentinel-2-PlanetScope 构成了不同尺度的真实世界 SR 配对。

03｜系统测评

对15种代表性的方法进行合成数据集和真实场景数据上的评价，并就遥感图像超分辨率所面临的问题以及未来的研究方向进行讨论。

Fig. 1：论文的整体结构框架，包括架构、公开的数据、评价指标、L8S2PS-SR、实验、挑战和未来方向

PART. 02

背景：空间分辨率为什么是遥感低层视觉的硬需求

遥感对地观测属于现代技术体系的重要部分，可以给环境监测、城市规划、精准农业、军事侦察和灾害管理等各个领域提供重要的数据支持。在光学遥感中，空间分辨率越高，所得到的影像中地物的细节就越清晰这对图像分类、目标识别、语义分割等精细的应用来说意义重大。

目前提高遥感图像的空间分辨率主要途径有二种：硬件改进与软件改进。升级硬件的成本很高，工艺水平也很高，研发周期很长，而且遥感传感器的载荷和信噪比提高已经到了物理极限。软件途径就是在现有的硬件条件下，利用设计好的算法来提高遥感图像的空间分辨率。

超分辨率(Super-Resolution, SR)重建是利用一幅或多幅低分辨率(LR)图像来重建出高分辨率(HR)图像，在一定程度上可以恢复出图像中丢失的一些细节信息。从而提升图像的质量。对于单幅超分辨率问题，本文首先从图像退化的角度来给出定义：

其中 f 表示退化函数，ILR与 IHR分别表示退化后低分辨率图像和原高分辨率图像，s 为下采样倍率。论文还提到，常用的Bicubic合成退化不能完全模拟真实的退化过程，因此提出了一个包含模糊核、下采样和噪声等更复杂的退化模型。

遥感图像SISR的研究已经有四十多年的历史了。早期的传统SR方法可以归结为以下三种类型：基于插值法、基于重建法和基于学习法。近几年来，在深度学习技术不断进步的过程中，各种SR方法也相继出现，并且使得性能不断提高。

但是作者认为，在遥感领域中对深度学习SISR进行全面综述仍然不足：早期综述覆盖不全，部分综述没有包括从2022年至2025年期间出现的新方法。但是最新的综述一般只会做方法上的回顾，缺少统一的性能对比以及真实的世界上超分辨率的数据集。

PART. 03

十年方法谱系：从CNN、Transformer到Diffusion和Mamba

论文汇集了过去十年间共253篇有关的研究成果；在方法综述的主要网络范式统计中，又以2026年5月作为检索截止日期，统计了从2015年开始至今的110篇相关的研究，并将它们的主要结构归结为五种类型：CNN、Transformer、GAN、Diffusion和Mamba。

根据论文中给出的统计数据图可以知道，在 2020 年之后，各种方法的发表数量明显增多。从 2022 年之前来看，CNN 仍然处于主导地位；之后 GAN、扩散模型和 Transformer 等的数量也迅速增多，Mamba 也开始参与到遥感超分辨率的研究当中来。

两种组织口径的存在使得论文中的贡献总结中还把基础模型和混合架构单独列出一个类别，所以完整的综述口径是七个类别；Fig. 2/ Fig. 3 主要架构示意图和数量统计集中于五种网络范式。两种口径服务的是不同的层次的综述组织，二者并不矛盾。

Fig. 2：CNN、Transformer、GAN、Diffusion 以及 Mamba 五种SR网络结构示意图

Fig. 3：2020-2026年5月不同深度学习网络在遥感SR中的论文数量

Fig. 4：遥感图像超分辨率研究关键词词云

Table 1：代表性的遥感单幅超分辨率方法概览

PART. 04

L8S2PS-SR：把超分辨率 benchmark 搬到真实的卫星场景

为进一步缩小合成数据和现实世界之间差距的研究中，使用了Google Earth Engine、Google Drive以及Planet卫星影像数据云平台，建立了一个可以模拟真实的环境，并且能够进行空间配准的多个来源超分辨率数据集。数据来源于Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope等卫星，包含了各个季节和地点的数据，总的存储量为217.3GB。

Landsat 8 影像的空间分辨率是30 米Sentinel-1和Sentinel-2都是10 米PlanetScope 为3.7 米。经过数据筛选和人工审核之后最后被保留195 个场景/ROI。Sentinel-2和PlanetScope数据之间的时间间隔小于等于7天，Sentinel-2和Landsat8数据之间的时间间隔小于等于30天。

该套数据的关键不只在于“分辨率不一样”，而且要尽量保证空间配准、时间接近和无云遮挡。作者使用随机ROI采样、影像拼接、两轮人工检查以及PlanetScope数据筛选等方法，最后得到了不同季节、不同地理区域的真实场景样本。

真实的 world benchmark 有什么用而在于它把算法从理想的合成中拉回到真实的传感器、真实的时延和真实的地理分布。

Table 3：遥感SR常用的公开数据集对比，L8S2PS-SR面向全球尺度的真实世界的SR

Fig. 7/8：数据对提取流程和规则矩形区域选择

Fig. 9：最终ROI结构，包括四季、城市和乡村场景

Fig. 10：全球随机ROI分布和真实的遥感图像示例

PART. 05

15 种方法实测：CNN、扩散模型、Transformer 各有千秋

本文在公开的NWPU-RESISC45数据集以及所提的L8S2PS-SR数据集中进行实验，并得到结果。对基线方法Bicubic以及15种代表性SR模型进行定量和定性实验，包括DRCAN、DSSR、AMSSRN、EGASR、ESRGAN等。SRAGAN、NDSRGAN、SRADSGAN、SwinIR、TransENet、HAT、TTST、EDiffSR、FastDiffSR、CNN-DiffSR。

根据论文在NWPU-RESISC45上的一致性对比以及实际场景下的实验结果可以得出：CNN 方法在像素级别的PSNR、SSIM等指标上都具有明显的优势，而CNN和GAN类方法的复杂程度总体上低于扩散模型；扩散模型在FID、LPIPS以及视觉效果上都具有很强的竞争优势；而在像素保持一致性的前提下，Transformer可以达到感知质量以及复杂度之间的平衡。

Table 4：NWPU-RESISC45上15种方法的×4超分辨率定量结果

论文中对于PSNR的定义是：

MAX(IHR)表示HR图像的最大像素值，MSE(ISR,IHR))表示SR重建结果和HR真值之间的均方误差。论文里，PSNR 越大就说明像素级别的重建质量越好；FID用来评价SR图象和真值图象之间的分布差异，LPIPS用来评价感知相似性，两者都要求越小越好。因此，在不同的方法分别在PSNR/SSIM和FID/LPIPS上占优的时候，并没有矛盾之处，而是在于说明**“数值保真”与“视觉感知”之间还存在着选择的问题**。

Fig. 14：Landsat 8/Sentinel-2建筑场景上3×超分辨率的结果

Fig. 15：Sentinel-2/PlanetScope储罐场景上3×超分辨率的结果

PART. 06

挑战和展望：接下来的研究会往哪个方向发展

本文对目前遥感SISR领域所遇到的问题以及今后的研究方向进行了总结。

论文正文把归纳为四种类型：真实的LR-HR配对数据稀缺、大倍率SR、跨模态SR处理以及实时/在线SR。其中，目前大部分现有的模型仍然针对某一特定模态进行设计跨模态和零样本迁移的能力不够；大多数深度学习SR模型都存在这个问题计算复杂度高、模型规模大但是也受到了资源限制以及实时应用的影响。

方向｜轻量高效SR

使模型在参数量、计算量以及恢复能力上达到一个更加现实的平衡点。

方向|和下游遥感视觉任务相结合

除了要使图像看起来更加清楚之外，还要去验证该算法对于分类、检测、分割等任务是否有实际的帮助。

方向：适合遥感特点的新颖评价标准

论文认为目前使用的PSNR、SSIM等全参考指标都存在评价维度少、不能反映人的视觉感受以及和后续的任务不相关等问题；未来的遥感指标应该更加符合遥感的特点，并且能够体现出分类、检测等一系列后端功能的表现，另外还要探索出适合遥感领域的无参照评价指标。

论文正文部分一共提到了七种以后的研究方向。除了上述三种情况之外，还明确指出：真实的现实、真实的地理所对应的人力资源-地理位置（HR-LR））训练数据连续尺度SR、多模态遥感SR框架、遥感SR大模型等。遥感超分辨率要想真正地走向真实的这个世界，还需要真实的地理对应的训练数据、连续尺度和多模态处理能力、下游任务验证、轻量化部署，以及更加贴近遥感应用的新颖评价指标。

PART. 07

往期推荐

END