做图像信号处理仿真的人，早晚会撞上一个看着简单、实际极容易翻车的问题：你手里的数字图像，到底是从哪儿来的，又要显示到哪儿去？很多同学的日常工作流是 imread 读图、滤波、imshow 看一眼结果、收工，整套流程走下来，"获取"和"显示"这两个环节被当成黑盒子跳过了。可一旦开始做相机成像链路仿真、ISP 算法调试，或者要对接真实的显示设备，你就会发现，数字图像的获取与显示不是书上的过场章节——它决定了你处理的信号长什么样，也决定了你精心设计的算法在真机上到底还能不能 work。

这篇是"信号处理仿真：图像信号处理"系列的第二篇，沿着"光线→镜头→传感器→ADC→数字图像→色彩处理→显示器→人眼"这条链路往下讲。我会把每个环节背后的物理原理、仿真建模方法，以及我在实际调仿真时踩过的坑都摊开讲。适合正在做图像处理仿真、ISP 算法、嵌入式视觉的同学，也适合刚接触图像处理、想搞清楚"图像是怎么变成数组、又是怎么从数组变回画面的"的新手。

1. 从连续场景到离散像素：获取链路的建模

1.1 一张数字图像是怎么诞生的

数字图像的获取，本质上是一次"连续世界的离散化"。场景中物体反射或发出的光，先经过镜头聚焦到传感器表面，传感器上每个感光单元（像素）把落在它上面的光子转换成电荷，电荷量正比于曝光时间内累积的光能量，最后 ADC 把电压转换成数字码值。这个过程可以表达成这样一个简化模型：

g[m, n] = Q{ ∫∫ h(x−mΔ, y−nΔ) · f(x, y) dxdy }

其中 f(x, y) 是场景的理想光强分布，h 是光学系统的点扩散函数 PSF，Δ 是像素间距，Q 是量化器。这个式子看起来抽象，但信息量很大：传感器上每个像素看到的，不是场景里某个点的值，而是以该点为中心的一个邻域、经过光学模糊后的加权积分。

我在仿真里经常看到的错误，是拿一张已经渲染好的"干净"高分辨率图直接降采样，跳过 PSF 建模。这样做的后果是混叠被严重低估，仿真里算法效果看起来很好，真机上却重影、摩尔纹一堆。真实的镜头有衍射极限、有像差，传感器像素也有一定的感光面积，这些天然的"低通效应"会在采样前滤掉一部分高频，帮你抑制混叠，建模时必须放进去。

1.2 二维采样与混叠：高频条纹为什么会变成低频

接下来是采样定理。二维图像采样同样满足 Nyquist 条件：要无失真重建，场景的最高空间频率必须低于采样频率的一半。如果场景里有超过这个频率的图案——典型的例子是西装面料上的细密网格、远处的百叶窗——采样后这些高频成分会折叠到低频区，形成摩尔纹。你没看错，摩尔纹不是光源问题，是采样混叠，数学上就是频谱周期延拓之后发生重叠。

想亲眼验证并不难，生成一个径向频率逐渐增高的 chirp 图，直接按较低分辨率重采样就能看到：中心附近频率超过 fs/2 的区域，原本应该越来越密的条纹，突然开始向反方向散开，变成大片错误的低频纹理。这个现象在真实拍摄里表现为"远处的密集条纹变成了缓慢滚动的波纹"。解决办法只有两条路：提高采样率，或者在采样前做严格的光学低通滤波。

import numpy as np import matplotlib.pyplot as plt N = 1024 y, x = np.mgrid[-1:1:1j*N, -1:1:1j*N] r = np.sqrt(x**2 + y**2) chirp = np.sin(2 * np.pi * (120 * r**2 + 30 * r)) # 频率随半径递增 down = chirp[::4, ::4] # 等效1/4采样率 fig, axes = plt.subplots(1, 2, figsize=(10, 5)) axes[0].imshow(chirp, cmap='gray') axes[1].imshow(down, cmap='gray')

第一张图中心区域原本是最密的条纹，第二张图里中心却出现一圈圈"倒流"的摩尔纹，这就是混叠。把这句话记在笔记里：看到仿真图出现非预期的低频波纹，先别怀疑算法，检查一下你的采样率是不是不够。很多同学第一次遇到这种情况会花大量时间调试插值函数，其实根子在采样定理。

2. 量化：比特数、灰阶级与伪轮廓的二三事

2.1 ADC 量化与 SQNR 的对应关系

传感器输出的模拟电压进入 ADC 后被映射成离散码值。8bit 对应 256 级、10bit 对应 1024 级、12bit 对应 4096 级。每增加 1bit，灰度级翻一倍，量化误差带来的噪声能量降到原来的四分之一。量化信噪比有一个工程上常用的估算公式：SQNR ≈ 6.02N + 1.76 dB。所以 12bit 数据相对 8bit，量化噪声大约低 24dB，换算成视觉感受，就是暗部渐变明显更干净。

很多同学不理解为什么 ISP 内部动辄 10bit、12bit，最终照片却只输出 8bit JPEG。原因很简单：中间处理（去马赛克、降噪、色彩校正、伽马）每一步都会引入噪声和舍入误差，高比特流水线就是为了给这些中间计算留出精度余量。输出端再通过抖动、色彩映射把信息"压"回 8bit。理解了这条链，你就不会把 ISP 参数里"12bit raw"理解成"照片一定 12bit 清晰度"。

2.2 伪轮廓：灰阶不够用时的视觉灾难

当灰度级不足时，最典型的视觉病灶是伪轮廓。在平滑渐变区域，如果相邻两个灰阶的亮度差超过了人眼可分辨的阈值，大脑就会把本该是连续过渡的区域看成一圈一圈的等高线。8bit 图上如果做过色彩拉伸（比如把暗部提亮），本来就稀疏的灰阶被进一步拉开，伪轮廓会非常明显。

仿真验证伪轮廓非常简单，对一条线性渐变做不同比特数的量化对比即可：

grad = np.tile(np.linspace(0, 1, 512, dtype=np.float32), (512, 1)) img8 = (grad * 255).astype(np.uint8) # 8bit img6 = np.round(grad * 255 / 4) * 4 # 等效6bit img4 = np.round(grad * 255 / 16) * 16 # 等效4bit

把三张图并排放大到全屏，能看到 4bit 那条渐变完全变成了一道道台阶，6bit 在暗部区域也开始出现带状痕迹。这就解释了为什么很多修图软件在导出 16bit PNG 时明显比 8bit 平滑——不是玄学，是灰阶级数量在起作用。做医学影像或卫星图像的同学更应该重视这一点，这些领域的显示器往往要求 10bit 起步，就是为了避免诊断级图像的暗部出现假轮廓。

2.3 对抗量化损伤：抖动与噪声整形

实际 ISP 和编码器里不会对量化结果简单地四舍五入，常用手段是加抖动。做法是在量化前叠加一个幅度大约 1~2 个 LSB 的随机噪声，然后量化。数学上，这相当于把固定形态的量化误差改造成随机噪声，虽然单点误差变大了，但视觉上不再出现规则的伪轮廓，过渡显得更自然。更高级的做法是误差扩散抖动，把量化误差按权重扩散到邻近像素，对印刷和显示场景尤其有效。

仿真时我习惯在量化前加标准差 1 个 LSB 的高斯噪声，效果稳定、实现简单。注意抖动噪声幅度不能太大，否则会引入可见的颗粒感；也不能太小，太小等于没加。行业经验是 0.5~1.5 LSB 之间比较安全。还有一个细节：抖动只对"仍然要量化回低比特"的场景有意义，如果你的流程会保留高比特数据，这一步可以省略。

3. 颜色从哪儿来：CFA、去马赛克与白平衡

3.1 传感器天生只测亮度，颜色靠滤镜"猜"

绝大多数单芯片相机传感器，每个像素位置上只能测一个光强度值，并没有直接的彩色信息。为了输出彩色图像，厂商在像素表面覆盖一层色彩滤波阵列（CFA），最经典的是拜耳阵列（BGGR、RGGB 等变体），用 2×2 的基本单元包含 1 个红、2 个绿、1 个蓝滤色片。绿色占一半不是偶然，人眼对绿色亮度信息最敏感，绿色通道的采样率天然高，对整体分辨率贡献最大。

读到这里你应该意识到：一张拜耳 raw 图像每个像素只有一个通道值，你平时看到的 RGB 图像，是经过"去马赛克"插值之后的产物。这个环节在 ISP 里是重头戏，它直接决定边缘锐度和色彩质量。仿真前不妨先想清楚一个问题：你去马赛克的目标是什么？是重建出与真实场景尽可能接近的线性 RGB，还是输出一张"看起来舒服"的图？两个目标对应的算法取舍差别很大。

3.2 去马赛克的三档思路

去马赛克就是从拜耳排列中重建出每个像素的 RGB 三通道。最简单的最近邻插值，直接复制相邻同色像素，速度快但边缘锯齿严重，还会在高频区域产生明显的假彩色斑块。双线性插值稍微好一点，但在边缘附近出现"拉链"状伪影。方向自适应方法是当前主流思路，先估计边缘方向，沿边缘方向插值而不是横跨边缘插值，能显著减少伪彩和锯齿。

仿真复现并不难：把一张标准 RGB 测试图按拜耳位置抽取成单通道，模拟 raw 数据，再用不同插值算法重建，计算重建结果与原图的 PSNR。同样是双线性，边缘区域的 PSNR 比平滑区域低好几分，放大了看全是彩色的锯齿。这也是为什么 ISP 里去马赛克往往要配合边缘检测，而不是简单插值。做仿真的话，建议把测试图分成"平坦区、纹理区、强边缘区"三类分别统计误差，不然容易被整体均值掩盖局部劣化。

3.3 白平衡与色彩校正：让中性的灰真正变成灰

去马赛克只是把缺失通道补回来，颜色想"准"还得靠后面两步。首先是白平衡：不同光源色温不同，荧光灯偏绿、白炽灯偏黄，同样的灰卡在不同光源下 RGB 三个通道的响应不一样。白平衡就是估计光源色温，给三个通道乘以不同的增益，让图像里的中性灰区域恢复为 R=G=B。仿真里最简单的做法是灰世界假设：统计全图三通道均值，算比例直接归一化。实际 ISP 会用灰卡、色温计或更聪明的自动白平衡算法。

白平衡之后通常接一个色彩校正矩阵（CCM），把传感器光谱响应与标准观察者色度之间的偏差纠正到 sRGB 色域。CCM 本质上是一个 3×3 矩阵乘，参数由标定得到。这里要提醒想仿真的同学：CCM 的系数对光源敏感，用 D65 光源下标定的矩阵去处理灯光场景，颜色会偏得离谱。做仿真时，至少要在你的测试集里包含不同色温的图像，别让算法对单一光源过拟合。

4. 显示链路：从数字码值重新变回光

4.1 显示设备的非线性特性

数字图像最终要落到显示设备上。LCD/OLED 每个像素由 R、G、B 三个子像素组成，驱动电路把码值转换成子像素亮度。一个反直觉的事实是：显示器输出的亮度与输入码值不是线性比例，而是近似幂函数关系，L = (d/D_max) 的 γ 次方，γ 大约 2.2~2.5。CRT 时代这个特性来自物理机理，现代 LCD 则是厂商主动按 γ=2.2 校准，模拟 CRT 的响应曲线。

这意味着什么？如果你把线性亮度图像直接送给显示器，码值 128 对应的亮度并不是最大亮度的 50%，而是大约 22%。全图看起来暗部极黑、整体"硬邦邦"，暗部的层次全部挤在一个很窄的亮度区间里，视觉上就是俗称的"死黑"。几乎所有刚接触伽马概念的人都会在这一步想不通：为什么明明码值翻倍，亮度却没有翻倍？就是因为显示器的指数响应。

4.2 伽马编码与解码：一对"互相抵消"的变换

为了对抗显示端的幂函数，图像格式在编码端做了预失真：先把线性亮度做 1/γ 次幂变换，送到显示器后再做 γ 次幂，两者相乘正好抵消，人眼看到的整体响应恢复线性。这个 1/γ 变换就是伽马编码，sRGB 标准里用的就是分段定义的曲线，近似指数 1/2.2，同时在暗部有一段线性区避免纯幂函数在零点斜率无穷大。sRGB 曲线的分段设计不是拍脑袋，是考虑了暗部噪声和量化精度后的工程折中。

我强烈建议你在仿真里亲手跑一遍这个链路：

import numpy as np def srgb_encode(img): """sRGB 编码：线性光 -> 非线性码值，输入输出均在 [0,1]""" a = 0.055 return np.where(img <= 0.0031308, 12.92 * img, (1 + a) * np.power(np.maximum(img, 1e-8), 1 / 2.4) - a) def srgb_decode(img): """sRGB 解码：非线性码值 -> 线性光，输入输出均在 [0,1]""" a = 0.055 return np.where(img <= 0.04045, img / 12.92, np.power((img + a) / (1 + a), 2.4))

让一个线性渐变图分别走"不编码直接显示"和"编码再解码显示"两条路径，检查暗部 0~0.1 这一段。不编码时，码值 128 以下的区域全部被压缩到整个亮度范围的前 22%，量化台阶特别粗；编码后，同样的码值范围给暗部分配了更多采样点，暗部细节明显更丰富。这就是为什么一切标准图像格式都要做传输函数编码——不是多余，是在保护暗部。

4.3 色域与色深：sRGB、广色域与显示器的色阶断层

显示环节还有两个容易踩的坑，一个是色域，一个是色深。sRGB/Rec.709 定义的色域只覆盖人眼可感知颜色的一部分；广色域显示器覆盖范围更大，但如果你把按 sRGB 编码的图直接放到广色域屏上不加色彩管理，看起来就会过度饱和、颜色发艳。仿真阶段至少要知道：图像里的数字码值没有绝对颜色，颜色含义必须依赖色彩空间标签，脱离色彩空间谈颜色没有意义。

色深方面，8bit 面板做平滑渐变时经常出现肉眼可见的色阶断层，10bit 面板的阶梯间距缩小到原来的四分之一就基本看不出来。模拟方法与 2.2 节完全一致，在 R/G/B 三个通道上分别量化对比即可。做 UI 或 Web 前端显示的同学尤其要注意，浏览器默认按 sRGB 处理 8bit 图像，暗色背景上的渐变很容易出现色带，解决方案包括在生成渐变时加入抖动噪声。另一个容易被忽略的点：显示器的"8bit + FRC"（帧率控制抖动）本质上是时间维度的抖动，和空间抖动的原理一脉相承，都是为了用有限灰阶模拟更平滑的过渡。

5. 仿真调参时我踩过、也见人反复踩的几个坑

5.1 显示工具不等于真实显示链路

做显示链路仿真时，工具本身的显示逻辑会埋雷。OpenCV 的 imshow 默认按 BGR 顺序解释数据，如果你直接拿 RGB 图去显示，红蓝会互换；matplotlib 的 imshow 对 float 类型数据会做 min-max 归一化，图像明明整体偏暗，显示出来却亮得发白。我的建议是：仿真里统一约定数据类型和通道顺序，float 域一律归一化到 [0,1]，显示前显式 clip，不要依赖工具的默认行为。

5.2 忘了建模 PSF，混叠被严重低估

这是我在 1.1 节就提过的坑，值得再敲一次黑板。直接用高分辨率图做降采样来模拟"传感器输出"，等于假设光学系统是完美的，这在真实系统里不存在。我在调一套成像仿真时曾把镜头模糊从流程里临时去掉以提速，结果算法指标涨了一截，接入真实镜头后立刻打回原形。仿真必须包含光学模糊环节，哪怕先用高斯模糊近似，也比不做强。

提示：高斯模糊的 sigma 怎么定？一个可用的起点是取像素间距的 0.8~1.2 倍，然后再根据成像系统的 MTF 实测数据去校。别在这一步过度追求精确，先让混叠行为合理，再逐步加细节。

5.3 uint8 中间量直接运算，溢出后满屏诡异

很多初学者喜欢把图像保持在 uint8 类型里一路算到底。相减得到负值会被截成 0，相加超过 255 会被截成 255，中间结果一错，后面全是错的。我见过最典型的现象是两帧做差想提取运动目标，结果全屏是黑色里带一圈圈异常亮斑——不是算法问题，是溢出。正确处理是在读入后立刻转 float32 或 int16 计算，输出前再 clip 回 uint8。

5.4 伽马变换前忘归一化，图像直接废掉

做伽马编码仿真最常见的错误，是在 0~255 范围直接对像素值做 1/2.2 次幂。大于 1 的数越开根号越大，图变得整体发白；不小心输入了负值还会产生 NaN，后续所有统计直接崩掉。正确流程是：uint8 转 float32 → 除以 255 归一化到 [0,1] → 做伽马变换 → 乘 255 并 clip → 转回 uint8。顺序不能乱，取值范围不能省。

5.5 给"获取与显示"仿真留一条可追溯的链路

我的习惯是，每次完成获取或显示链路的仿真，都会保存一张"链路图"式的对比图：原图、理想采样结果、含 PSF 采样结果、量化后、显示解码后，几排图排在一起。这样一是方便检查哪一步引入的损伤最大，二是给后续算法调优留下对照基线。有一次我调去马赛克算法，PSNR 涨了 0.3dB 但主观效果变差了，靠的就是这张链路图定位到问题是白平衡参数偏移，而非去马赛克本身。做这套流程确实比直接 imread 多花几分钟，但当你需要向别人解释"为什么结果长这样"的时候，它会帮你省下几小时。

最后再分享一个小经验：如果你做的项目最终要上真机，建议在仿真环境里把"获取端和显示端"的边界条件都设成和硬件一致的极值——比如真实传感器只给 10bit raw、真实屏幕只支持 8bit 输出。过早地在仿真里用"理想显示"评估算法，很多在高比特下看起来很美的结果，一到真机就露馅。把这两个环节当成算法的一部分去建模，而不是当成可有可无的开关，你的仿真离工程落地就近了一大半。