视差计算这件事，说穿了就是把左右两张图里同一个物体“对不上”的那段水平位移量给量化出来。我最早接触这块是在一个双目测距的小项目上，当时用块匹配跑出来的视差图边缘糊成一团，后来换成NCC（Normalized Cross Correlation，归一化互相关）才把匹配质量拉上来。这篇就围绕NCC算法做视差计算这条线，把我踩过的坑、调过的参数、以及为什么这么选的理由，从头到尾捋一遍。不管你是刚接触双目视觉的学生，还是想把手头匹配模块从SAD/SSD升级到抗光照干扰方案的工程师，下面这些内容应该都能直接拿去用。

1. 视差计算的整体设计与NCC的选型逻辑

1.1 视差到底在算什么

双目相机左右两个镜头水平摆放，中间隔一个基线距离。同一个空间点在左右图像上的成像位置会有一个水平方向的偏移，这个偏移就是视差。视差越大说明物体越近，视差越小说明越远，公式上就是Z = f * B / d，其中 f 是焦距、B 是基线、d 是视差。听起来简单，但真正难的是“怎么知道左图某个像素对应右图哪个像素”——这就是立体匹配要解决的问题。

匹配的本质是相似度度量。给定左图一个像素（或者一个窗口），在右图同一行上滑动一个搜索范围，逐个位置算相似度，取相似度最高的位置作为匹配点，两者的横坐标差就是视差。所以整个视差计算的核心就两件事：相似度度量函数和搜索策略。NCC属于前者，而且是在光照变化场景下比较稳的一种度量方式。

1.2 为什么不用SAD/SSD而选NCC

SAD（绝对差之和）和SSD（平方差之和）是最直观的度量，实现简单、速度快，但它们有个致命弱点：对光照变化和增益差异极其敏感。左右两个镜头由于制造工艺、曝光控制、镜头镀膜差异，成像亮度往往不完全一致，SAD在这种情况下的匹配结果会系统性偏移。

NCC的思路是把窗口内的像素先做去均值归一化，再算相关系数。数学上它等价于计算两个窗口的皮尔逊相关系数，取值范围在[-1, 1]，1表示完全正相关。因为减掉了均值、除以了标准差，所以它对整体的亮度偏移和对比度缩放具有不变性。我用一个生活化的类比：SAD是直接比两个人身高差多少，NCC是先把两个人各自的身高减去平均值再比，这样即使一个人站在台阶上（整体亮度偏移），比较结果也不受影响。

代价是什么？计算量。NCC每个候选位置都要算窗口均值、标准差、协方差，浮点运算量比SAD大好几倍。所以在实时性要求极高的场景下，要么用积分图加速，要么降窗口尺寸，要么上硬件。这个取舍后面会细说。

1.3 整体流程拆解

一个完整的NCC视差计算流程大致是这样：

1. 双目图像采集与极线校正（保证同名点在同一水平线上，把二维搜索降为一维）
2. 灰度化（NCC在灰度上算就够，彩色三通道分别算再融合收益不大）
3. 对左图每个像素，在右图同一行上按视差范围滑动窗口
4. 每个候选位置计算NCC值
5. 取NCC最大的位置作为匹配，记录视差
6. 后处理：左右一致性检验、亚像素插值、空洞填充、中值滤波

这里面第3步的搜索范围（视差搜索范围）和第4步的窗口大小是两个最关键的参数，直接决定效果和速度。极线校正这步不能省，如果左右图没有严格行对齐，你在同一行上搜永远搜不到正确匹配，NCC值再高也是错的。

2. NCC核心原理与关键参数细节

2.1 NCC公式拆解与计算过程

NCC的公式长这样：

NCC(p, d) = Σ[(I_L(p) - mean_L) * (I_R(p-d) - mean_R)] / sqrt(Σ(I_L(p) - mean_L)^2 * Σ(I_R(p-d) - mean_R)^2)

其中 p 是左图窗口中心像素，d 是候选视差，I_L 和 I_R 分别是左右图窗口内的像素值，mean_L 和 mean_R 是两个窗口各自的均值。分母是两个窗口标准差的乘积乘以窗口像素数，本质上是把协方差归一化。

实际写代码的时候，我会把窗口内的像素拉成一个向量来理解：NCC就是两个向量的余弦相似度，只不过先各自减了均值。这样理解之后，很多优化思路就自然出来了——比如预计算左图每个窗口的均值和方差（用积分图），右图窗口的统计量在滑动时用增量更新，避免重复计算。

2.2 窗口大小怎么定

窗口大小是NCC最需要调的参数，没有之一。窗口太小，窗口内纹理信息不足，匹配歧义大，视差图会出现大量噪点；窗口太大，视差图边缘会被“抹平”，物体边界处的视差会往背景或前景渗透，产生所谓的“前景膨胀”现象。

我的经验值是这样的：对于640×480级别的图像，窗口取7×7到11×11比较常见；对于1280×720，可以取11×11到15×15。但这只是起点，真正要看你场景的纹理密度。纹理丰富的场景（比如室内桌面、建筑立面）窗口可以小一点，5×5都能出不错的结果；弱纹理场景（白墙、天空、纯色物体表面）窗口必须加大，否则NCC值在多个候选位置上都很接近，匹配直接失效。

这里有个实操技巧：不要用固定窗口跑全图。可以先做一个简单的纹理能量图（比如窗口内梯度幅值之和），纹理弱的区域用大窗口，纹理强的区域用小窗口。这个自适应策略实现起来不复杂，但效果提升明显。

2.3 视差搜索范围与代价

视差搜索范围决定了你在右图同一行上往左搜多少个像素。这个范围由场景的最近距离决定：d_max = f * B / Z_min。比如焦距500像素、基线0.12米、最近物体1米，那最大视差就是60像素。搜索范围设小了，近处物体匹配不到；设大了，计算量线性增长，而且误匹配概率也上升。

我一般会在标定阶段就把这个范围算出来，然后在代码里留一点余量（比如加10%）。另外要注意，搜索范围必须是整数，但真实视差是连续的，所以后面要做亚像素插值，这个在第3节会讲。

2.4 归一化的数值稳定性问题

NCC分母里有开方和除法，当窗口内像素几乎完全一致（比如纯色区域）时，标准差接近0，分母趋近于0，NCC值会爆炸或者变成NaN。这是实际代码里必须处理的边界情况。我的做法是设一个阈值，当分母小于某个极小值（比如1e-6）时，直接把这个候选位置的NCC置为0或者跳过。别小看这个处理，不加的话跑真实图像很容易在天空、白墙区域出现一堆异常值。

注意：NCC对窗口内像素的线性变换不变，但对非线性变换（比如伽马校正差异、镜头渐晕）没有免疫力。如果左右镜头渐晕差异明显，建议先做平场校正再算NCC。

3. 实操过程：从图像到视差图的完整实现

3.1 环境与数据准备

我用Python + OpenCV + NumPy来演示，这套组合上手快、调试方便。核心依赖就三个：opencv-python、numpy、matplotlib（可视化用）。数据方面，用OpenCV自带的双目数据集或者自己拍一组校正好的左右图都行，关键是左右图必须已经极线校正过，同一行对应同一水平扫描线。

如果你手头没有校正好的数据，OpenCV的stereoRectify配合initUndistortRectifyMap可以做校正，但这属于另一个话题，这里假设输入已经是行对齐的。

3.2 核心NCC匹配代码

先上核心匹配函数，我把它写成对左图逐像素、在右图同一行滑动窗口的形式，逻辑最直白，方便理解：

import cv2 import numpy as np def ncc_disparity(left, right, win_size=9, max_disp=64): h, w = left.shape r = win_size // 2 disp = np.zeros((h, w), dtype=np.float32) # 预计算左图积分图，用于快速求窗口均值与平方和 left_f = left.astype(np.float32) right_f = right.astype(np.float32) integral = cv2.integral(left_f) integral_sq = cv2.integral(left_f * left_f) for y in range(r, h - r): for x in range(r, w - r): # 左窗口统计量 x1, y1, x2, y2 = x - r, y - r, x + r + 1, y + r + 1 area = win_size * win_size sum_l = integral[y2, x2] - integral[y1, x2] - integral[y2, x1] + integral[y1, x1] sum_sq_l = integral_sq[y2, x2] - integral_sq[y1, x2] - integral_sq[y2, x1] + integral_sq[y1, x1] mean_l = sum_l / area var_l = sum_sq_l / area - mean_l * mean_l if var_l < 1e-6: continue left_patch = left_f[y1:y2, x1:x2] best_ncc = -2.0 best_d = 0 for d in range(0, min(max_disp, x - r) + 1): xr = x - d xr1, xr2 = xr - r, xr + r + 1 if xr1 < 0: continue right_patch = right_f[y1:y2, xr1:xr2] mean_r = right_patch.mean() var_r = right_patch.var() if var_r < 1e-6: continue cov = ((left_patch - mean_l) * (right_patch - mean_r)).mean() ncc = cov / np.sqrt(var_l * var_r) if ncc > best_ncc: best_ncc = ncc best_d = d disp[y, x] = best_d return disp

这段代码是“能跑通”的版本，不是“能上生产”的版本。它把左图窗口统计量用积分图预计算了，但右图窗口还是每个候选位置重新算均值和方差，速度一般。真要提速，右图统计量也可以用积分图，或者用滑动窗口的增量更新。不过作为理解NCC计算过程的起点，这个版本最清晰。

3.3 亚像素插值

整数视差在近距离测距时误差很大。假设焦距500、基线0.12米，视差60对应距离1米，视差61对应距离约0.98米，一个像素的视差跳变就是2厘米的距离误差。所以亚像素插值不是可选项，是必选项。

最常用的是抛物线拟合：在最佳视差d处，取NCC(d-1)、NCC(d)、NCC(d+1)三个值，用二次函数拟合顶点，顶点偏移量就是亚像素修正：

delta = 0.5 * (NCC(d-1) - NCC(d+1)) / (NCC(d-1) - 2*NCC(d) + NCC(d+1)) d_sub = d + delta

这个公式的前提是NCC在峰值附近近似抛物线，实际中大部分情况成立，但在纹理极弱或者遮挡边界处会失效，delta可能超出[-0.5, 0.5]范围，这时候要截断。我在代码里会加一个判断，如果分母接近0或者delta绝对值超过0.5，就退回整数视差。

3.4 后处理：一致性检验与空洞填充

原始NCC视差图一定会有错误匹配，尤其是遮挡区域（左图能看到但右图被挡住的地方）和弱纹理区域。左右一致性检验是最有效的过滤手段：把右图当参考图再算一遍视差（右到左），然后检查|d_L(x) - d_R(x - d_L(x))| < 1，不满足的标记为无效。这一步能干掉大部分遮挡导致的误匹配。

无效像素会形成空洞，填充方法有几种：简单的用邻域有效视差的中值填充，复杂一点的用左右最近有效值插值。我一般先用3×3中值滤波压一遍噪声，再做空洞填充，最后再中值滤波一次。顺序很重要，先滤波再填充容易把空洞边缘的噪声扩散进去。

3.5 参数配置速查

把关键参数整理成表，方便你直接对照调：

4. 常见问题与排查实录

4.1 视差图整体偏移或系统性错误

这是最让人抓狂的问题：视差图看起来结构对，但整体往一个方向偏了几个像素。八成是极线校正没做好，左右图存在残余的垂直视差或者旋转。排查方法很简单：找几个明显的角点，手动检查它们在左右图的y坐标是否一致，差超过1个像素就说明校正有问题。另一个可能是搜索方向搞反了，左图点对应右图应该是往左搜（x - d），如果写成x + d，结果会整体反向。

4.2 弱纹理区域大片无效

白墙、天空、纯色桌面这些区域，NCC在多个候选位置的得分都很接近，峰值不明显。除了加大窗口，还可以引入置信度判断：如果最佳NCC值和次佳NCC值差距太小（比如小于0.05），就认为匹配不可靠，标记为无效。这个“峰值比”判据比单纯看NCC绝对值更靠谱，因为NCC绝对值受窗口大小和纹理强度影响很大。

4.3 边缘前景膨胀

物体边界处，大窗口会把背景像素混进前景窗口，导致前景边缘往外扩。解决办法有两个：一是用自适应窗口（基于交叉验证的窗口选择），二是做加权NCC，窗口内像素按与中心像素的相似度加权。后者实现简单些，权重可以用颜色差的高斯核。我实测下来，加权NCC对边缘的改善比单纯缩小窗口更明显，因为缩小窗口会牺牲弱纹理区域的稳定性。

4.4 速度太慢跑不动

纯Python循环跑640×480、视差范围64、窗口9×9，一帧要好几秒，完全没法用。提速路径按性价比排序：第一，把内层循环用NumPy向量化，右图所有候选位置的窗口一次性算，能快一个数量级；第二，右图统计量用积分图预计算；第三，用OpenCV的StereoBM或StereoSGBM做baseline，NCC只用在需要精修的局部区域；第四，上C++或者CUDA。我一般先用向量化版本验证效果，效果满意再考虑移植。

4.5 常见问题速查表

实操心得：调试NCC的时候，先把窗口调到很大（比如21×21）跑一版，确认整体视差结构正确，再逐步缩小窗口看噪点从哪里冒出来。这个“从粗到细”的调试顺序能帮你快速定位是参数问题还是数据问题。

5. 影响范围与延伸思考

NCC视差计算这套东西，往小了说是一个匹配模块，往大了说是整个双目感知链路的地基。视差图的质量直接决定后续点云的质量，点云质量又决定测距、避障、三维重建的上限。我在项目里见过太多情况是上层算法调了半天没效果，回头一看是视差图本身边缘就糊了、空洞就一大片，上层再怎么优化也是白搭。

从技术演进角度看，NCC这类局部匹配方法现在更多作为baseline和精修手段存在，全局方法（如图割）和半全局方法（SGM）在精度上更有优势，深度学习方法在弱纹理和遮挡区域的表现更是碾压传统方法。但NCC的价值在于它足够简单、足够可解释、足够容易嵌入到任何流水线里做局部验证。很多时候我需要快速确认“这个区域的视差到底该是多少”，NCC跑一下比等深度学习模型推理还快。

如果你要在这条线上继续深入，我建议的路径是：先把NCC吃透，理解窗口、搜索范围、归一化这几个核心概念；然后上SGM，理解代价聚合和半全局优化的思路；最后再看深度学习方法（比如基于代价体的端到端网络）。每一步都别跳过，因为后一步的很多设计动机，都是从前一步的缺陷里长出来的。我自己就是从NCC的坑里爬出来，才真正理解为什么SGM要做多方向代价聚合——单方向的NCC在弱纹理区域就是没辙，这是局部方法的先天局限，不是调参能解决的。