简介基于OpenCV传统图像处理实现的美颜算法相机工程源码面向计算机视觉方向的在校学生、开发者适用于课程大作业、毕设或直播美颜项目二次开发。压缩包共27个文件包含C、纯C及JNI接口源码以及sln/vcxproj工程配置、说明文档、测试YUV素材与效果图整体大小8.19MB。算法完整实现积分图计算、局部均方差滤波、肤色检测与mask融合的美白磨皮流程支持美白、磨皮、简化模式三个参数代码基于YUV原地操作无RGB转换与内存拷贝性能较高另附NEON优化版本有bug需慎用。已有212人学习资源可直接运行验证方便作为课程设计、毕设或初版算法演示也适合在此基础上进行性能优化与功能扩展。1. 从 YUV420 直播帧讲起为什么这个美颜算法不转 RGB真实直播项目中美颜模块通常夹在采集和编码之间输入输出都是 YUV420。很多 OpenCV 教程会把帧先转成 RGB做完双边滤波再转回去可 1080p 下每帧多两次色彩转换相当于额外搬运约 6MB 像素在 RGB 空间做美白还容易把色度带偏肤色会发灰。这份基于 OpenCV 传统图像处理实现的 C 源码直接把 YUV420 当输入输出美白和磨皮都压在 Y 分量上完成核心是积分图加局部均方差滤波。它没有模型加载开销纯 CPU 版也能跑实时NEON 版面向 ARM 直播设备。工程同时提供 C、纯 C、JNI 三套接口附带 sln、测试程序和多个 YUV 样本。对于要做课程设计、毕设或想在直播管线里加快美颜模块的人这份资源适合先读 CPU 版理解算法再对照 NEON 版理解 SIMD 优化。2. 积分图加局部均方差滤波美白磨皮的核心算法拆解2.1 为什么选择在 YUV 的 Y 平面上做滤波YUV420 里Y 平面保留完整亮度U、V 平面只有一半宽高人眼对亮度变化比色度变化敏感得多。磨皮的本质是让皮肤区域的高频细节变平缓这主要体现在 Y 分量上美白则是把皮肤区域的 Y 值整体抬高。两个操作都可以不碰 UV省掉 RGB 与 YUV 的相互转换这是这个工程能做到高性能的直接原因。代码中face_beauty_cpu.cpp没有出现imread、cvtColor这类重量级调用而是直接用指针读 Y 平面。常见做法是uint8_t* y yuv420;UV 指针从yuv420 w * h开始。只要 Y 平面算得快整帧速度就有了保障这也是这套算法适合嵌入到采集和编码之间的关键。2.2 积分图的建立把均值查询变成 O(1)局部均方差滤波需要一个邻域内的均值mean和方差variance。如果每个像素都重新累加一遍邻域9x9 核的复杂度是 O(wh81)。先算积分图每个像素只需四次内存访问就能得到任意矩形和。工程里自己实现了整数积分图而不是直接调cv::integral原因在于它希望完全控制数据类型和内存布局方便后续做 NEON 移植。一个常见实现// Y 平面单通道w、h 为宽高 // sum 为亮度积分图sqsum 为亮度平方积分图 void buildIntegral(const uint8_t* src, int w, int h, int64_t* sum, int64_t* sqsum) { for (int i 0; i h; i) { int64_t rowSum 0, rowSqSum 0; for (int j 0; j w; j) { int v src[i * w j]; rowSum v; rowSqSum v * v; int64_t topSum (i 0) ? sum[(i - 1) * w j] : 0; int64_t topSqSum (i 0) ? sqsum[(i - 1) * w j] : 0; sum[i * w j] rowSum topSum; sqsum[i * w j] rowSqSum topSqSum; } } }这段代码先累加当前行的前缀和再加上上一行同列积分图是标准递推。使用int64_t而不是int是为了防止溢出1080p 下面积接近 200 万像素值最大 255亮度积分图最大约为 5.29 亿32 位有符号整数还放得下但平方积分图是v * v上限高达 1347 亿必须用 64 位整数。如果工程里为了省内存把平方积分图设成int高分辨率下就会得到错误的平滑结果现象是“磨皮出现大片斑点”。拿到积分图后任意矩形区域的像素和可以用四次查表得到// 矩形左上角 (x1,y1)右下角 (x2,y2)x2x1, y2y1 int64_t a sum[y1 * w x1]; int64_t b sum[y1 * w x2]; int64_t c sum[y2 * w x1]; int64_t d sum[y2 * w x2]; int64_t blockSum d - b - c a;注意坐标边界x2、y2 建议在原图范围基础上做钳制否则会越界读内存。这个四则运算后续会被每个像素执行几次所以它也是 NEON 优化可以切入的位置但积分图构建本身是串行前缀和很难向量化。2.3 局部均方差滤波均值做平滑方差保边缘局部均方差滤波的逻辑比双边滤波更直接。假设邻域均值为mu方差为var滤波结果可以写成dst mu (1 - k * var) * (src - mu)当邻域很平坦比如皮肤区域var很小(1 - k * var)接近 1输出几乎完全被mu替代相当于平滑当邻域处于物体边缘var很大系数逼近 0输出回到原像素边缘被保留。k控制保留程度它就是“磨皮强度”的底层实现。相比 OpenCV 的高斯双边滤波这种方法没有浮点权重表也没有多次遍历计算量稳定。以下是遍历 Y 平面的核心循环for (int y 0; y h; y) { for (int x 0; x w; x) { int x1 max(0, x - radius), x2 min(w - 1, x radius); int y1 max(0, y - radius), y2 min(h - 1, y radius); int area (x2 - x1 1) * (y2 - y1 1); double mu rectSum(sum, x1, y1, x2, y2) / area; double sq rectSum(sqsum, x1, y1, x2, y2) / area; double var max(0.0, sq - mu * mu); double weight 1.0 - k * var; dst[y * w x] saturate_cast_u8(mu weight * (src[y * w x] - mu)); } }saturate_cast_u8很重要否则mu weight * (src - mu)可能低于 0 或高于 255输出 Y 平面会出现“曝白”或黑点。k过大时皮肤区域会完全失去纹理看起来像塑料k过小时磨皮无效。实际项目中常见做法是把k映射到 0~100 的档位具体映射需要看测试程序如何传参。2.4 皮肤检测与 mask 的 box 滤波如果对整帧都做均方差滤波头发、眉毛、眼睛也会被磨平画面会发虚。所以算法先用皮肤检测生成 mask只让滤波作用在皮肤区域。YUV 空间比 RGB 更容易做这个判断皮肤在 YUV 下的亮度范围大致在 80~220色度集中在特定区域。工程中的判断条件通常写成bool isSkin(uint8_t y, uint8_t u, uint8_t v) { return y 80 y 220 u 77 u 127 v 133 v 173; }由于 UV 平面分辨率是 Y 的一半判断时按 UV 像素坐标读取再映射回 Y 坐标。为了不让 mask 边缘产生硬边源码会继续对二值 mask 做 box 滤波得到 0~1 的连续权重。这里 box 滤波最方便的实现方式就是复用前面那张积分图或者在缩小的 mask 上再做一次小积分图。最后的融合公式是output src * (1 - maskSmooth) filtered * maskSmooth在平坦皮肤区域 mask 接近 1输出以磨皮结果为主在眼睛、眉毛附近 mask 接近 0输出保持原始细节。美白实际上是在融合之后对 Y 平面做一次增益dst clamp(dst beauty_gain * maskSmooth)增益只叠加在皮肤区域不会把边缘照亮。这套流程和说明.md 里写的“积分图 - 局部均方差滤波 美白 皮肤检测 - 锐化 - 皮肤 mask 的 box 滤波 - 融合”完全对得上。简化模式会跳过锐化在低端设备上能省一些时间但边缘会偏软。3. 工程结构与接口C、纯 C、JNI 怎么组织3.1 从 sln 解读源码布局解压后能看到一个facebeauty_test.sln和.vcxproj说明这是一个 Visual Studio 解决方案。核心源码分成三份实现face_beauty_cpu.cpp/.h纯 CPU 版基于积分图的参考实现。face_beauty_c.cpp/.h纯 C 封装只暴露 C 接口方便被 C 项目或 JNI 层调用。face_beauty_neon.cpp/.hNEON 版用 ARM 向量指令优化。face_beauty_jni.cpp和com_cv_FaceBeauty.hJNI 桥接层给 Android 的 Java/Kotlin 调用。NEON_2_SSE.h在 x86 平台用 SSE 模拟 NEON intrinsics 的头文件。源码布局大概是这样facebeauty_test.sln facebeauty_test.vcxproj facebeauty_test.vcxproj.filters face_beauty_cpu.cpp face_beauty_cpu.h face_beauty_c.cpp face_beauty_c.h face_beauty_neon.cpp face_beauty_neon.h com_cv_FaceBeauty.h face_beauty_jni.cpp NEON_2_SSE.h face_beauty_test.cpp 说明.md data/这个结构值得借鉴算法核心和接口层分离。face_beauty_cpu.cpp里不写日志、不做文件读写只处理“输入 YUV 指针 参数 输出 YUV 指针”这样接入采集端或编码器都很容易。测试程序face_beauty_test.cpp负责读文件、调接口、写结果。3.2 统一接口设计打开face_beauty_c.h可以预期这样一组函数typedef struct FaceBeautyParam { int beauty_level; // 美白强度 int smooth_level; // 磨皮强度 int simple_mode; // 简化模式开关 } FaceBeautyParam; int face_beauty_process(const uint8_t* yuv420, int width, int height, const FaceBeautyParam* param, uint8_t* out_yuv420);face_beauty_cpu.cpp内部实现同一个逻辑face_beauty_c.cpp只是把 C 函数包成 C 接口避免 C 项目里链接 C 运行时出问题。NEON 版的函数命名类似只是实现不同。JNI 层face_beauty_jni.cpp会从 Java 对象里读取三个参数再调用 CPU 版。设计上并没有让 JNI 直接调 NEON大概是为了规避 NEON 的稳定性风险。参数语义上beauty_level控制美白强度值越大Y 平面在皮肤区域的抬升越明显smooth_level控制磨皮强度对应局部均方差滤波里的保留系数simple_mode非 0 时跳过锐化用一个更简单的滤波路径换速度。具体取值范围可能定义在说明.md 或测试程序里我常用的做法是三个参数都映射到 0~1000 表示不处理100 表示最大效果。接入时建议先固定beauty_level 0只调smooth_level。三套接口的定位可以这样看接口语言典型调用方特点face_beauty_cpuC本地测试、PC 端可读性好便于调参face_beauty_cCC 项目、JNI 封装无 C 依赖face_beauty_neonC/NEONARM 直播端快但作者注明有 bugface_beauty_jniC/JNIAndroid Java基本封装建议调用 CPU 版3.3 一个最小调用示例测试程序的使用方式基本是读入一帧 YUV420 文件调用处理函数写出一帧结果。按这个思路最小调用代码可以写成#include cstdio #include cstdint #include vector #include face_beauty_c.h int main(int argc, char** argv) { if (argc 8) return -1; const char* inFile argv[1]; int w atoi(argv[2]); int h atoi(argv[3]); const char* outFile argv[4]; size_t frameSize (size_t)w * h * 3 / 2; std::vectoruint8_t src(frameSize), dst(frameSize); FILE* fin fopen(inFile, rb); if (!fin) return -1; fread(src.data(), 1, frameSize, fin); fclose(fin); FaceBeautyParam param; param.beauty_level atoi(argv[5]); param.smooth_level atoi(argv[6]); param.simple_mode atoi(argv[7]); face_beauty_process(src.data(), w, h, param, dst.data()); FILE* fout fopen(outFile, wb); fwrite(dst.data(), 1, frameSize, fout); fclose(fout); return 0; }重点在于 YUV420 帧大小是w * h * 3 / 2不是w * h。如果输入的b-1920x1080.yuv大小不是 3110400 字节说明文件可能包含多帧或不是 planar YUV420后续代码要用文件大小判断。frameSize用size_t强转避免 int 溢出1080p 没问题但 4K 分辨率下w * h * 3 / 2会超过 32 位有符号 int 的范围。3.4 OpenCV 在这个项目里到底做了什么这个工程标着“基于 OpenCV”但核心算法没有大量依赖 OpenCV 的滤波函数。更合理的解释是工程用 OpenCV 做数据容器、图像读写和调试可视化真正耗时的均方差滤波、积分图、皮肤检测都是手写 C/C 循环。这样在 Android 端不需要把整个 OpenCV 库打包进去JNI 接口可以直接用uint8_t*指针。对照常见的 OpenCV 美颜教程这种“只借工具不借算法”的做法更适合嵌入式直播端。4. CPU 版与 NEON 版性能优化路径和那个“慎用”的坑4.1 NEON 加速的本质与适用性NEON 是 ARM Cortex-A 系列处理器的 SIMD 指令集128 位寄存器可以同时处理 16 个 uint8 或 8 个 uint16 数据。美颜算法里最耗时的两个循环一个是局部均方差滤波的滑动窗口一个是 mask 的 box 滤波都是对连续内存做重复的“读像素、算均值、写回”操作数据依赖弱天然适合向量化。相比之下积分图构建是逐行前缀和串行依赖强NEON 很难直接加速所以 NEON 版的收益主要来自滤波阶段。工程里用NEON_2_SSE.h头文件说明作者想在 x86 PC 上模拟 ARM NEON intrinsics。这样face_beauty_neon.cpp里的vaddq_u8、vld1q_u8可以直接在 Visual Studio 里编译不需要 ARM 板子就能调试。但这个头文件只是把 NEON 指令翻译成 SSE 指令翻译层本身有开销所以 PC 上跑 NEON 版不一定比 CPU 版快它的真正价值是验证逻辑正确性到 ARM 真机上 NEON 指令才是原生执行。4.2 CPU 版与 NEON 版对比对比项face_beauty_cpuface_beauty_neon数据宽度逐像素 uint8/int64128 位向量可移植性x86/ARM/任意平台ARMv7/ARMv8代码可读性高适合学习低包含大量 intrinsics稳定性测试程序默认源码注释提示有 bug适用场景PC 直播、调试ARM 嵌入式直播从源码注释看NEON 版有 bug 且被标注“慎用”。这不代表方案不可取而是需要自己修。建议把 NEON 当作优化练习先在 CPU 版上把算法吃透再逐函数对比 NEON 输出。项目里同时给出两个版本本身就是为了让你能“抄作业”又“有东西可研究”。4.3 NEON 容易踩的三个坑第一尾数处理。图像宽度不一定是 16 的倍数如果循环计数器按w / 16计算剩余像素会被漏处理画面出现竖条纹。常见做法是主循环处理 16 字节向量剩余像素用标量循环补齐。第二有符号溢出。像素差值src - mu可能是负数加载为uint8x8后直接做减法会绕回 255导致输出出现随机亮斑。需要先用vsubl_u8扩展成 int16 再计算最后用vqmovn_u16饱和回写。第三UV 平面访问。YUV420 的 UV 平面宽高都是 Y 的一半有些代码对 mask 做向量化时误用了 Y 平面的 stride导致 UV 行越界内存踩踏在 Debug 版表现为随机崩溃在 Release 版表现为肤色区域出现彩色噪点。遇到这类问题建议先屏蔽 NEON改用 CPU 版跑一遍确认原始输入输出没问题再逐步替换滤波函数。4.4 定位 NEON bug 的比对方法常见做法是让 CPU 版和 NEON 版处理同一帧然后逐字节对比 Y 平面。可以用一个很小的脚本dd ifbeauty-dst-cpu.yuv ofy-cpu.yuv bs1 count$((1920*1080)) 2/dev/null dd ifbeauty-dst-neon.yuv ofy-neon.yuv bs1 count$((1920*1080)) 2/dev/null cmp y-cpu.yuv y-neon.yuv如果cmp报错再用 Python 找到第一个不同位置通常差距集中在图像边界处就能推断是取模还是边界问题。注意这里比较的是两个版本的处理结果不是原图两个版本即便算法相同浮点运算顺序不同也可能有 1 的偏差所以更稳妥的做法是设置一个容差阈值而不是要求逐字节相等。5. 跑通测试工程用自带 sln 和 YUV 样本做验证5.1 用 Visual Studio 打开并配置 OpenCV解压后直接双击facebeauty_test.sln在 Visual Studio 2019 或 2022 里打开。项目默认是 Windows 控制台程序需要先配置 OpenCV 头文件和库路径。在项目属性 - VC 目录 - 包含目录里填入 OpenCV 的include路径在库目录里填入opencv_world4xx.lib所在目录链接器输入里加上opencv_world4xx.lib。如果你只是为了读算法不跑 GUI也可以不链接 OpenCV 的 imgproc但测试程序里可能用到cv::Mat做调试输出所以建议完整配置。配置完成后把data目录下的b-1920x1080.yuv拷贝到x64/Debug输出目录因为测试程序通常相对于工作目录读文件。项目里提供的facebeauty_test.vcxproj.user可能保存过启动参数如果没有就看face_beauty_test.cpp里的main函数确认参数顺序。5.2 命令行运行与参数解释假设测试程序支持“输入文件 宽 高 输出文件 美白 磨皮 简化模式”这种顺序一条典型的命令是FaceBeautyTest.exe b-1920x1080.yuv 1920 1080 beauty-dst.yuv 50 30 0参数含义如下表参数示例作用输入 YUVb-1920x1080.yuv待处理 I420 帧宽 高1920 1080决定帧大小输出 YUVbeauty-dst.yuv处理结果美白强度500 关闭越高越白磨皮强度300 关闭越高越平滑简化模式00 走完整流程1 跳过锐化如果程序只接受一个文件名那可能是写死了某个样本这个时候打开face_beauty_test.cpp看它从 argv 还是从固定路径读数据改一下重编即可。启动后如果程序闪退第一件事检查工作目录下有没有输入 YUV。文件不存在时fopen返回 NULL许多工程代码没有做判空直接fread就会崩溃。5.3 验证输出 YUV 是否正常处理完成后beauty-dst.yuv的大小应该是原图大小即1920 * 1080 * 3 / 2 3110400字节。用 Python 快速检查import os w, h 1920, 1080 frame_size w * h * 3 // 2 src_size os.path.getsize(b-1920x1080.yuv) dst_size os.path.getsize(beauty-dst.yuv) print(hex(src_size), hex(dst_size)) assert dst_size frame_size, fsize mismatch: {dst_size}偶数宽度和高度是 YUV420 的基本前提。素材里的c-640x360.yuv和a-480x640.yuv都是常见分辨率适合做不同尺寸下的回归。只看文件大小还不够最好把 Y 平面提出来用 OpenCV 显示import cv2 import numpy as np w, h 1920, 1080 raw np.fromfile(b-1920x1080.yuv, dtypenp.uint8).reshape(h * 3 // 2, w) y raw[:h, :] cv2.imwrite(before.png, y) raw2 np.fromfile(beauty-dst.yuv, dtypenp.uint8).reshape(h * 3 // 2, w) y2 raw2[:h, :] cv2.imwrite(after.png, y2)这里把 Y 平面当灰度图保存。比对 before.png 和 after.png重点看皮肤区域是否更平滑、边缘是否保留。如果整张图都变糊说明皮肤 mask 没有限制住检查isSkin阈值如果脸部出现分界线说明 mask 的 box 滤波半径太小或者 mask 与 Y 分辨率映射有误。5.4 常见问题排查现象可能原因检查点输出全是绿屏输入不是 I420而是 NV12确认 UV 平面的存储顺序画面右边缘有条纹积分图或滤波边界越界检查 x2、y2 是否钳制在 w-1、h-1人脸区域有彩色噪点UV 指针访问越界检查 UV 平面 stride 是否除以 2Debug 正常 Release 崩未初始化变量或整型溢出开启 /W4 编译警告速度只有十几帧窗口半径过大或 Debug 模式用 Release /O2出现绿屏时可以用十六进制工具看前几个字节I420 前w * h字节是 Y紧跟 UNV12 前w * h字节也是 Y但后面是交错的 UV。如果肉眼无法判断就把第w * h字节开始的一段打印出来I420 的 U 数据会相对平坦NV12 则会出现亮度跳变。6. 调参顺序与 mask 可视化把美颜参数调到“自然”6.1 先关掉美白单独调磨皮磨皮强度直接影响纹理保留程度它对应局部均方差滤波中的保留系数。建议先把beauty_level设为 0simple_mode设为 0只调smooth_level。观察额头、脸颊这些大面积皮肤区域如果出现蜡感说明保留系数太小或滤波半径过大如果毛孔依然清晰说明强度不够。调到一个看起来还像真实皮肤的档位再固定它然后去动美白参数。这样可以避免美白增益放大磨皮不均带来的瑕疵。6.2 把 skin mask 可视化最有效的调参技巧是临时把 mask 输出成灰度图。在 CPU 版的融合代码前加一行FILE* f fopen(mask.yuv, wb); fwrite(mask, 1, w * h, f); // mask 是 uint8 或 float视实现而定 fclose(f);如果 mask 是 float需要先转成 uint8。转出来后用裸格式看图工具打开mask.yuv白色区域代表算法认为的皮肤黑色是非皮肤。理想情况是额头、脸颊、下巴是白的眼睛、嘴唇和头发是黑的。如果嘴巴也被磨平说明 UV 阈值把嘴唇误判为皮肤如果脸颊出现黑斑说明 Y 阈值过高把阴影当作非皮肤。这个检查比直接看最终效果更直观也能快速定位是滤波问题还是皮肤检测问题。6.3 固定分辨率的直播参数经验直播场景分辨率固定后滤波半径不要按比例缩放。1080p 用 15x15 或 21x21 邻域720p 可以缩到 9x9但 480p 再缩到 9x9 会丢失很多脸部细节。均方差滤波半径不是越大越好过大时肤色过渡显得像磨皮滤镜五官边缘也可能被平滑干扰。对中低端 Android 设备打开simple_mode跳过锐化可以省下约 20%~30% 的耗时代价是脸部轮廓会偏柔可接受。本文还有配套的精品资源点击获取