一、概述

只有一个有标签的源场景时，主动生成具有空间、光谱变化的增强样本；让这些样本在输入空间中具有差异，但在分类特征空间中保持相同的类别语义，从而提高模型对未知场景的适应能力。本文有三个部分：域感知空间—光谱掩码 DSSM、对抗域增强 ADA、双层对比约束 TCC。

二、模型结构

图1.DADnet模型架构

如上图所示，模型整体架构分为两个部分：对抗增强网络；识别任务网络。对于对抗增强网络，可以描述为公式：，其中是源域高光谱样本，为生成器。进而得到增强域，其中为对抗判别器。对于识别任务网络，将源域和增强域一起送入模型，可以得到：或，其中是特征提取器，是分类器。

2.1DSSM域感知掩码器

图2.DSSM模型结构

DSSM的主要作用是找出最容易暴露样本特征的空间位置和光谱波段，DSSM识别这些信息并通过掩码和重建生成，减少模型对源域特征场景的依赖。对于一个高光谱输入块，DSSM同时进行空间处理和光谱处理，分别描述为公式：

模型会根据对源域的贡献程度，对位置和波段进行打分，评分规则如下：

，

接下来DSSM会根据评分构建掩码，利用掩码率生成空间掩码和光谱掩码，再构造总体掩码（是析取符号，只要两边至少有一个为真，整体就为真）。编码器接收三个掩码的视图拼接如下：。

PS.为了避免中心像素语义被破坏，中间像素的掩码始终为1。

完成了掩码构建后，DSSM会对样本进行编解码，生成增强样本，结构如图1所示。编码器包含四层Conv2d和全连接层，解码器包含全连接层和三层ConvTrans2d。是一个标准的U-Net结构。DSSM的完整链路可以描述为：

2.2ADA对抗生成器

2.2.1标签数据获取

在不能访问目标域的情况下，本文利用域感知来获取标签。域感知主要利用源域与当前生成域之间的差异，获取目标标签信息。

2.2.2ADA训练模式

本文中，生成器和判别器交替进行优化。

判别器D：区分真实源样本与增强样本，可以以记作公式：

，判别器的期望为源域样本为1，生成样本为0。

生成器G：生成能够欺骗判别器的样本，可以记作公式：

，其中

上述公式中的两个部分分别代表重建损失约束和对抗生成损失约束，这些多方向共同约束使得样本既需要变化，又不能完全变成失去语义的噪声。所以单纯使用GAN和重建损失不足以推动域的扩展，本文高度依赖后续的双层约束TTC来鼓励样本变化。

2.3TTC双层约束项

TTC的核心作用是：输入空间拉开，特征空间保持同一类一致。为了实现这一点，作者提出了两级对比约束和，两者采用类别标签构造同类样本集合，但计算空间和优化方向不同。

2.3.1样本级比较

该方法作用于原始高光谱块，其会讲原始高光谱块（）展平，直接计算输入之间的点积相似度，可描述为式：，其中为与相同类别的输入样本，为点积，。由于式前的负号，最小目标优化时会让增大，故可以鼓励样本在输入空间引入变化。

2.3.2特征级对比

该方法作用于学习到的表征。设样本特征为，特征级损失函数可以描述为：

，不同于上面的式子，该损失的优化目标为正目标，可以让同类源样本与增强样本保持一致，不同类别的特征保持可分性。

由于fc和sc所处的作用空间不同，虽然两者的优化目标相反，但实际上并不会产生冲突。可以描述为下面关系。

2.4总体增强目标

三、训练流程

图3. 训练流程图

如上图所示，上一个时段的增强样本会作为输入进入下一个时段的增强流程。如第一次从源域生成的增强样本可标记为，下一轮次生成内容则为：新的增强样本。