1 js距离衡量两个概率分布相似度的一种方法。它基于 KL 散度Kullback–Leibler divergence但做了对称化与平滑处理把两个分布先取平均得到中间分布再分别计算两边到中间分布的 KL最后取平均。JS 比 KL 更稳定当某个分布在某些位置为零时不会发散而且是对称的。数学定义给定离散分布 P和 Q先定义中间分布则 Jensen–Shannon 散度定义为其中通常对数可选底为自然对数单位 nats或以 2 为底单位 bits。若以 2 为底则 JS 的取值范围为 [0,1]。如何理解这两个单位1 bit区分两种等概率事件所需的信息量。 举例抛一次公平硬币正/反各 0.5得到的结果含有 1 bit 的信息量。1 nat若用自然对数定义熵抛硬币得到的结果约含 ln2≈0.693\ln 2 \approx 0.693ln2≈0.693 nat 的信息量。2 wasser distance : 推土机距离在生成模型中衡量真实分布与生成分布之间差异是核心问题。传统的 GAN 使用Jensen–ShannonJS散度来度量两者的差异但它存在训练不稳定、梯度消失等问题。为此研究者引入了Wasserstein 距离显著改善了 GAN 的训练稳定性。2.1直观理解推土机距离的物理含义想象有两堆土堆概率分布——一堆代表真实数据分布 Pr另一堆代表生成数据分布 Pg。Wasserstein 距离表示把一堆土移动成另一堆所需的最小“功”即土的质量 × 移动距离的最小总和。因此它又被称为Earth Mover’s Distance (EMD)。2.2 数学定义设 Π(Pr,Pg)表示所有可能的联合分布其边缘分布分别为 P_r和 P_g。那么一阶 Wasserstein 距离定义为其中γ(x,y) 表示将真实样本 x与生成样本 y进行“匹配”的运输方案inf取所有方案中最小期望搬运代价。2.3 与 JS 散度的比较对比维度JS 散度Wasserstein 距离可导性容易出现梯度消失始终具有有意义的梯度收敛性模型可能震荡或停滞平滑、单调收敛可解释性无法直接反映“分布间距离”具有真实的几何意义运输代价训练效果不稳定易模式坍塌稳定可持续改进换句话说JS 只关心两堆土是否重叠而 Wasserstein 关心“搬运多远才能重叠”。因此在训练过程中Wasserstein 距离可以连续地反映生成器的改进程度即便生成分布和真实分布没有重叠也能提供有意义的梯度。2.4 WGAN基于 Wasserstein 距离的 GANWGANWasserstein GAN将原始 GAN 的目标函数中的 JS 散度替换为 Wasserstein 距离。在传统 GAN 中若生成样本与真实样本分布几乎不重叠JS 散度的梯度会变成零即“菜鸡互啄”生成器和判别器谁也提升不了。而 WGAN 的 Wasserstein 距离在这种情况下仍能给出有意义的梯度因此生成器在训练过程中可以持续地看到自己的进步。这一性质让训练过程更加平滑损失函数更具可解释性。在文本、音乐、语音等序列生成任务中WGAN 也被广泛应用。如何评价生成器的好坏早期方法主要依赖人工主观评价如人眼判断生成图片是否逼真。在图像任务中通常将生成的图片送入预训练的分类器通过分类准确率或特征分布相似度如 Inception Score、FID来衡量。更现代的方式 使用 Wasserstein 距离或 FIDFréchet Inception Distance作为客观指标定量评估生成模型质量。早年只能通过主观评价质量高低多样性不要重复生成不需要memoryGan。用已有分类器进行识别。3 FID3.1 FID 的核心思想FIDFréchet Inception Distance是一种用于衡量生成图像与真实图像分布差异的指标是目前评价生成模型如 GAN、Diffusion性能的主流方法之一。它的核心思路是不直接比较像素而是在高维特征空间中比较真实样本分布与生成样本分布的差异。3.2 基本原理1特征提取使用一个在 ImageNet 上预训练的Inception-v3 网络取其倒数第二层pool3 层输出的特征向量作为图像的高层语义表示。对真实图像集合 → 提取特征 → 得到特征分布对生成图像集合 → 提取特征 → 得到特征分布2假设分布为高斯分布由于高层特征服从近似正态分布假设这两个分布分别为如上。3计算 Fréchet 距离即两高斯分布间的 2-Wasserstein 距离其中μr,μg两组样本特征均值Σr,Σg协方差矩阵Tr(⋅)矩阵的迹trace。3.3 FID 的作用与优势特点说明作用衡量生成样本与真实样本在语义特征空间中的差异数值解释数值越小 → 两个分布越接近 → 生成质量越高优点对图像模糊、模式坍塌等现象敏感与人类主观感受一致性高缺点依赖特定网络Inception-v3不完全适用于非自然图像领域FID 衡量的是“生成图像的语义分布”与“真实图像语义分布”的距离数值越小表示生成器越逼真、分布越合理。其他gan条件gan:文生图图生图如何train?有监督的方法会模糊soung-to-image无监督条件gan:cycleGan,starGan文字风格转换 JS 距离,Wasserstein 距离： GAN 训练目标的数学度量方式,生成器图像质量评价指标FID
1 js距离衡量两个概率分布相似度的一种方法。它基于 KL 散度Kullback–Leibler divergence但做了对称化与平滑处理把两个分布先取平均得到中间分布再分别计算两边到中间分布的 KL最后取平均。JS 比 KL 更稳定当某个分布在某些位置为零时不会发散而且是对称的。数学定义给定离散分布 P和 Q先定义中间分布则 Jensen–Shannon 散度定义为其中通常对数可选底为自然对数单位 nats或以 2 为底单位 bits。若以 2 为底则 JS 的取值范围为 [0,1]。如何理解这两个单位1 bit区分两种等概率事件所需的信息量。 举例抛一次公平硬币正/反各 0.5得到的结果含有 1 bit 的信息量。1 nat若用自然对数定义熵抛硬币得到的结果约含 ln2≈0.693\ln 2 \approx 0.693ln2≈0.693 nat 的信息量。2 wasser distance : 推土机距离在生成模型中衡量真实分布与生成分布之间差异是核心问题。传统的 GAN 使用Jensen–ShannonJS散度来度量两者的差异但它存在训练不稳定、梯度消失等问题。为此研究者引入了Wasserstein 距离显著改善了 GAN 的训练稳定性。2.1直观理解推土机距离的物理含义想象有两堆土堆概率分布——一堆代表真实数据分布 Pr另一堆代表生成数据分布 Pg。Wasserstein 距离表示把一堆土移动成另一堆所需的最小“功”即土的质量 × 移动距离的最小总和。因此它又被称为Earth Mover’s Distance (EMD)。2.2 数学定义设 Π(Pr,Pg)表示所有可能的联合分布其边缘分布分别为 P_r和 P_g。那么一阶 Wasserstein 距离定义为其中γ(x,y) 表示将真实样本 x与生成样本 y进行“匹配”的运输方案inf取所有方案中最小期望搬运代价。2.3 与 JS 散度的比较对比维度JS 散度Wasserstein 距离可导性容易出现梯度消失始终具有有意义的梯度收敛性模型可能震荡或停滞平滑、单调收敛可解释性无法直接反映“分布间距离”具有真实的几何意义运输代价训练效果不稳定易模式坍塌稳定可持续改进换句话说JS 只关心两堆土是否重叠而 Wasserstein 关心“搬运多远才能重叠”。因此在训练过程中Wasserstein 距离可以连续地反映生成器的改进程度即便生成分布和真实分布没有重叠也能提供有意义的梯度。2.4 WGAN基于 Wasserstein 距离的 GANWGANWasserstein GAN将原始 GAN 的目标函数中的 JS 散度替换为 Wasserstein 距离。在传统 GAN 中若生成样本与真实样本分布几乎不重叠JS 散度的梯度会变成零即“菜鸡互啄”生成器和判别器谁也提升不了。而 WGAN 的 Wasserstein 距离在这种情况下仍能给出有意义的梯度因此生成器在训练过程中可以持续地看到自己的进步。这一性质让训练过程更加平滑损失函数更具可解释性。在文本、音乐、语音等序列生成任务中WGAN 也被广泛应用。如何评价生成器的好坏早期方法主要依赖人工主观评价如人眼判断生成图片是否逼真。在图像任务中通常将生成的图片送入预训练的分类器通过分类准确率或特征分布相似度如 Inception Score、FID来衡量。更现代的方式 使用 Wasserstein 距离或 FIDFréchet Inception Distance作为客观指标定量评估生成模型质量。早年只能通过主观评价质量高低多样性不要重复生成不需要memoryGan。用已有分类器进行识别。3 FID3.1 FID 的核心思想FIDFréchet Inception Distance是一种用于衡量生成图像与真实图像分布差异的指标是目前评价生成模型如 GAN、Diffusion性能的主流方法之一。它的核心思路是不直接比较像素而是在高维特征空间中比较真实样本分布与生成样本分布的差异。3.2 基本原理1特征提取使用一个在 ImageNet 上预训练的Inception-v3 网络取其倒数第二层pool3 层输出的特征向量作为图像的高层语义表示。对真实图像集合 → 提取特征 → 得到特征分布对生成图像集合 → 提取特征 → 得到特征分布2假设分布为高斯分布由于高层特征服从近似正态分布假设这两个分布分别为如上。3计算 Fréchet 距离即两高斯分布间的 2-Wasserstein 距离其中μr,μg两组样本特征均值Σr,Σg协方差矩阵Tr(⋅)矩阵的迹trace。3.3 FID 的作用与优势特点说明作用衡量生成样本与真实样本在语义特征空间中的差异数值解释数值越小 → 两个分布越接近 → 生成质量越高优点对图像模糊、模式坍塌等现象敏感与人类主观感受一致性高缺点依赖特定网络Inception-v3不完全适用于非自然图像领域FID 衡量的是“生成图像的语义分布”与“真实图像语义分布”的距离数值越小表示生成器越逼真、分布越合理。其他gan条件gan:文生图图生图如何train?有监督的方法会模糊soung-to-image无监督条件gan:cycleGan,starGan文字风格转换 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
