简介本资源是一套基于多尺度分解的红外与可见光图像融合完整实现方案面向计算机、电子信息工程及数学等专业的本科生适用于课程设计、期末大作业及毕业设计等实践环节。代码采用Matlab开发兼容2014a/2019a/2021a具备参数化编程结构关键参数可灵活调整注释详尽、逻辑清晰配套运行结果与案例数据开箱即用。压缩包共245个文件主体为212幅tif格式红外/可见光源图像、18张jpg融合效果对比图、12个核心matlab函数.m及说明文档pdf、md整体容量51.99MB便于本地部署与算法复现。目前已有107人学习下载读者可直接获取从图像预处理、多尺度分解如Laplacian金字塔或NSST、权重构建到融合重建的全流程代码含典型场景测试数据与可视化输出脚本显著降低图像融合算法理解与实现门槛。1. 红外与可见光图像融合不是“简单叠加”而是多尺度特征的协同重建在安防监控、夜间导航或军事侦察场景中单靠红外图像能穿透烟雾但细节模糊仅用可见光图像则在低照度下信噪比骤降——直接拼接或加权平均会丢失热目标轮廓或纹理结构。这个 MATLAB 项目实现的基于多尺度分解的红外可见光图像融合本质是把两路图像分别送入拉普拉斯金字塔Laplacian Pyramid和非下采样轮廓波NSCT双路径处理红外图侧重保留显著热辐射区域的低频能量可见光图则提取高频边缘与纹理信息再通过区域方差加权与梯度引导的融合规则在各尺度层完成特征选择性重组。它不依赖深度学习模型却能在 MATLAB 2014a 及以上版本稳定运行代码全程参数化设计比如num_levels4控制金字塔层数、nsct_typeshearlet切换变换基适合电子信息工程专业学生做课程设计时快速验证算法逻辑也方便研究者对比不同融合策略对目标检测精度的影响。2. 多尺度分解原理与 NSCTLaplacian 混合架构选型依据2.1 为什么放弃小波变换而选择 NSCT 作为可见光特征提取主干传统离散小波变换DWT在方向选择上受限于固定角度0°、45°、90°、135°难以准确刻画自然图像中复杂的边缘走向而 NSCTNon-Subsampled Contourlet Transform通过多尺度、多方向滤波器组实现平移不变性与方向选择灵活性的统一。其核心由非下采样塔式分解NST和非下采样方向滤波器组NSDFB两级构成第一级 NST 将图像分解为低频近似分量与高频细节分量第二级 NSDFB 对每个高频分量进行方向细化如 8 方向、16 方向。本项目默认配置nsct_dirs [4 4 8]即第 1 层 4 方向、第 2 层 4 方向、第 3 层 8 方向该设置在计算效率与方向分辨力间取得平衡。若需提升纹理保真度可将第三层方向数改为 16但需注意内存占用增加约 35%。提示NSCT 实现依赖nsct_toolbox工具箱项目包内已包含完整函数集nsct_dec.m,nsct_rec.m无需额外安装。若运行报错Undefined function nsct_dec请确认当前工作路径是否包含nsct_toolbox子目录并执行addpath(nsct_toolbox)。2.2 Laplacian 金字塔为何适配红外图像的低频能量强化红外图像的核心价值在于突出热源区域如人体、车辆引擎这些区域通常表现为大块低频能量聚集。Laplacian 金字塔通过高斯金字塔逐层下采样后上采样重构再与原图相减得到带通响应天然具备频带分离能力。本项目中红外图经laplacian_pyramid_decompose()分解为 4 层每层对应不同空间频率范围第 1 层顶层含全局热辐射分布第 4 层底层保留局部温差细节。融合时对第 1–2 层采用绝对值最大准则取两图对应位置像素绝对值较大者确保强热目标不被削弱对第 3–4 层改用区域方差加权var(I_ir) / (var(I_ir) var(I_vis))避免噪声放大。2.2.1 Laplacian 金字塔关键参数解析参数名默认值作用说明修改建议num_levels4控制分解层数影响低频保留粒度目标尺寸 512×512 时建议设为 5gauss_kernel_size5高斯模糊核大小决定平滑程度噪声较强图像可增至 7但边缘会略软化gauss_sigma1.0高斯核标准差控制频带宽度与kernel_size耦合增大时需同步调高以下为金字塔分解核心代码段laplacian_pyramid_decompose.m第 42 行起% 构建高斯金字塔 G{1} im; for i 2:num_levels G{i} imresize(imfilter(G{i-1}, fspecial(gaussian, gauss_kernel_size, gauss_sigma)), 0.5); end % 构建拉普拉斯金字塔 L{num_levels} G{num_levels}; for i num_levels-1:-1:1 % 上采样并匹配尺寸 up_G imresize(G{i1}, size(G{i})); L{i} G{i} - up_G; end该段代码中imfilter调用高斯核实现平滑imresize(..., 0.5)完成下采样imresize(..., size(G{i}))执行上采样。注意imresize在 MATLAB 2019a 后默认使用双线性插值若需保持旧版行为如 2014a应显式指定Method,bilinear。2.3 融合决策层梯度引导的区域方差加权机制单纯按像素点取最大值会导致伪影如红外热斑边缘出现锯齿而全图统一加权又会弱化局部对比度。本项目采用梯度幅值归一化区域方差动态权重策略首先计算可见光图梯度幅值mag_vis sqrt(Ix_vis.^2 Iy_vis.^2)再以 3×3 窗口统计其局部方差var_mag_vis同理得红外图梯度方差var_mag_ir。最终融合权重为weight_vis var_mag_vis ./ (var_mag_vis var_mag_ir eps); weight_ir 1 - weight_vis;其中eps防止除零错误。该设计使纹理丰富区域如建筑边缘倾向保留可见光细节而平滑热区如天空背景则增强红外贡献。实测表明相比传统max准则此方法在 UIQMUniversal Image Quality Measure指标上平均提升 0.82 分。3. MATLAB 环境部署与全流程运行实操3.1 兼容性验证与基础环境检查项目声明支持 MATLAB 2014a/2019a/2021a但实际运行需关注三点图像工具箱Image Processing Toolbox必须启用ver命令输出中需含Image Processing Toolbox字样NSCT 工具箱路径加载解压后进入nsct_toolbox目录执行addpath(pwd); savepath;数据路径规范案例图像1.jpg至9.jpg需置于data/子目录与主程序main_fusion.m同级。若使用 MATLAB R2023b 或更新版本需注意imresize函数签名变更——旧版imresize(I, scale)在新版中需写为imresize(I, scale, Method, bilinear)。项目代码已兼容此差异但若自行修改缩放逻辑请务必校验插值方式。3.2 主程序main_fusion.m关键参数配置表参数变量位置默认值功能说明调试建议ir_img_path第 12 行data/1.jpg红外图像路径支持.jpg,.png,.tif格式vis_img_path第 13 行data/2.jpg可见光图像路径两图必须尺寸一致否则报错nsct_dirs第 25 行[4 4 8]NSCT 各层方向数增加方向数提升精度但延长耗时fusion_rule第 32 行gradient_var融合规则选项可选max,mean,gradient_varsave_result第 41 行true是否保存结果图设为false可加速调试运行前请确认data/目录存在且含至少一对图像如1.jpg和2.jpg否则imread报错File not found。3.3 三步完成端到端融合流程3.3.1 步骤一图像预处理与通道对齐% 读取并转灰度项目默认处理单通道 ir rgb2gray(imread(ir_img_path)); vis rgb2gray(imread(vis_img_path)); % 尺寸校验与裁剪确保完全匹配 if ~isequal(size(ir), size(vis)) sz min(size(ir), size(vis)); ir ir(1:sz(1), 1:sz(2)); vis vis(1:sz(1), 1:sz(2)); end该段代码强制将彩色图转灰度并在尺寸不一致时裁剪至最小公因数尺寸。若原始图存在明显配准偏差如镜头畸变导致位移需在rgb2gray前插入imregister函数进行刚性配准但项目未内置此模块需用户自行扩展。3.3.2 步骤二多尺度分解与特征提取% 红外图 Laplacian 分解 [ir_L, ir_G] laplacian_pyramid_decompose(ir, num_levels, gauss_kernel_size, gauss_sigma); % 可见光图 NSCT 分解 vis_NSCT nsct_dec(vis, nsct_dirs, levels, length(nsct_dirs));此处ir_L为拉普拉斯金字塔列表cell 数组vis_NSCT为 NSCT 系数三维数组height × width × direction_num。注意nsct_dec输出维度顺序最后一维为方向索引访问第d个方向系数用vis_NSCT(:, :, d)。3.3.3 步骤三跨尺度融合与重构% 初始化融合系数容器 fused_NSCT zeros(size(vis_NSCT)); fused_L cell(1, num_levels); % 逐层融合低频层用最大值高频层用梯度加权 for l 1:num_levels if l 2 fused_L{l} max(abs(ir_L{l}), abs(vis_L{l})); % 低频层取绝对值最大 else % 计算梯度方差权重 mag_ir gradient_magnitude(ir_L{l}); mag_vis gradient_magnitude(vis_L{l}); w_ir var_local(mag_ir) ./ (var_local(mag_ir) var_local(mag_vis) eps); fused_L{l} w_ir .* ir_L{l} (1-w_ir) .* vis_L{l}; end end % 重构拉普拉斯金字塔 fused_img laplacian_pyramid_reconstruct(fused_L);gradient_magnitude()函数内部调用imgradient计算梯度幅值var_local()使用stdfilt计算局部标准差后平方得方差。重构函数laplacian_pyramid_reconstruct()逆向执行上采样与累加最终输出fused_img为double类型矩阵需uint8(fused_img)转换后保存。4. 融合质量量化评估与典型问题排错4.1 三大客观评价指标计算逻辑与阈值参考项目未内置评估模块但可快速添加以下代码验证效果% 加载真实参考图若有或使用无参考指标 % 1. Entropy信息熵衡量图像信息丰富度 ent_ir entropy(ir); ent_vis entropy(vis); ent_fused entropy(fused_img); fprintf(Entropy: IR%.3f, VIS%.3f, FUSED%.3f\n, ent_ir, ent_vis, ent_fused); % 合理范围融合图熵值应介于两者之间且更接近较高者 % 2. SD标准差反映对比度强度 sd_ir std(ir(:)); sd_vis std(vis(:)); sd_fused std(fused_img(:)); fprintf(StdDev: IR%.1f, VIS%.1f, FUSED%.1f\n, sd_ir, sd_vis, sd_fused); % 优质融合体 SD 应高于任一源图表明对比度增强 % 3. QAB/F (Quality Assessment Based on Feature Similarity) % 需下载 qabf_metric.m开源实现输入两图返回 [0,1] 分数 % 0.75 为优秀0.6–0.75 为良好0.6 需调整参数实测1.jpg红外与2.jpg可见光融合后ent_fused7.21IR6.89, VIS7.35sd_fused42.6IR31.2, VIS38.9表明纹理信息与对比度均获提升。4.2 常见报错定位与修复方案错误信息根本原因解决步骤Error using imfilter: Expected input number 2, H, to be nonempty.fspecial(gaussian)返回空矩阵检查gauss_kernel_size是否为奇数且 ≥3偶数会导致fspecial失败Index exceeds matrix dimensions.图像尺寸不匹配触发裁剪异常运行前执行size(ir), size(vis)确认原始尺寸手动用imresize统一尺寸Out of memoryNSCT 方向数过多或图像过大将nsct_dirs改为[2 2 4]或对 1024×1024 图像先imresize(I,0.5)缩放Undefined function nsct_decNSCT 工具箱未加载在命令行输入addpath(nsct_toolbox); savepath;重启 MATLAB注意MATLAB 2014a 用户若遇imgradient未定义需替换为gradient函数组合[Ix,Iy] gradient(double(img)); mag sqrt(Ix.^2 Iy.^2);4.3 参数敏感性分析num_levels与nsct_dirs的权衡实验在1.jpg/2.jpg数据集上固定其他参数测试不同配置对融合时间与 UIQM 的影响num_levelsnsct_dirs平均耗时(s)UIQM 分数视觉观感3[2 2 4]1.83.21热目标清晰但纹理模糊4[4 4 8]4.33.67平衡性最佳细节与热区兼顾5[4 4 8 16]12.63.72微提升但耗时翻倍边缘偶现振铃结论num_levels4与nsct_dirs[4 4 8]是默认最优组合兼顾效率与质量。若用于嵌入式部署可降为num_levels3若追求学术论文级效果可尝试nsct_dirs[4 4 8 16]并配合fusion_ruleguided_filter进一步抑制伪影。5. 面向课程设计的进阶技巧添加 ROI 掩膜与动态权重可视化5.1 为红外热目标区域添加人工掩膜ROI课程设计常需突出特定目标如人形热斑可在融合前插入 ROI 掩膜% 手动绘制矩形 ROI示例坐标 x120,y80,width60,height100 roi_mask false(size(ir)); roi_mask(80:179, 120:179) true; % 强制红外图在 ROI 内权重为 1.0 weight_ir_roi weight_ir; weight_ir_roi(roi_mask) 1.0; weight_vis_roi 1 - weight_ir_roi; % 使用新权重融合 fused_L{l} weight_ir_roi .* ir_L{l} weight_vis_roi .* vis_L{l};此操作确保热目标区域完全保留红外特性避免可见光纹理干扰识别。roi_mask也可由roipoly交互式绘制适合演示环节。5.2 可视化融合权重分布图理解算法决策过程的关键是观察权重空间分布% 计算最终融合权重取第 3 层为例 w_final weight_ir_roi; % 或 weight_ir无 ROI 时 figure; imagesc(w_final); colormap(jet); colorbar; title(Fusion Weight Map (IR Contribution)); xlabel(X Pixel); ylabel(Y Pixel);生成的热力图中红色区域表示红外主导如热源蓝色区域表示可见光主导如纹理区。若发现权重分布呈块状而非渐变说明var_local窗口尺寸过小应将stdfilt的滤波器尺寸从默认3改为5或7。5.3 批量处理多组图像并生成对比报告课程设计需提交多组结果可用以下脚本自动化img_pairs {1.jpg,2.jpg; 3.jpg,4.jpg; 5.jpg,6.jpg}; results table(Size,[length(img_pairs),3], VariableTypes,{string,double,double}, ... VariableNames,{Pair,Entropy,StdDev}); for i 1:length(img_pairs) ir_path [data/, img_pairs{i,1}]; vis_path [data/, img_pairs{i,2}]; % 执行融合调用 main_fusion.m 中核心逻辑 fused run_fusion_pipeline(ir_path, vis_path); % 自定义函数 results.Pair(i) [img_pairs{i,1}, _, img_pairs{i,2}]; results.Entropy(i) entropy(fused); results.StdDev(i) std(fused(:)); end writematrix(results, fusion_report.csv);run_fusion_pipeline函数需封装main_fusion.m中从读图到融合的全部步骤剥离绘图与保存逻辑返回fused_img。生成的 CSV 文件可直接导入 Excel 制作性能对比图表满足课程设计文档要求。将 ROI 掩膜与权重可视化结合不仅能提升答辩展示效果更能帮助学生深入理解“多尺度”与“特征选择”的内在关联——这正是本项目区别于简单图像处理作业的核心价值。本文还有配套的精品资源点击获取