一、问题背景:踩过的坑
去年我们想把晶圆缺陷分类模型从云端搬到产线边缘盒子,省掉把图片传回中心的开销。模型是ResNet-50改的,分类精度98.6%,但FP32权重文件312MB,边缘盒子只有4GB内存、算力2TOPS,直接塞进去推理一张图要1.8秒,产线节拍根本等不起。我第一反应是换小模型,结果MobileNet精度掉到94%被品质部打回,理由是缺陷里几种微小划痕小模型分不清。后来才走“压缩原模型”的路线——量化+剪枝,把体积压到1/4、速度提3倍还不掉精度。这篇文章把从踩坑到上产的完整流程讲透,尤其说清为什么不能无脑压。我踩过最深的坑是:第一次剪枝直接砍了50%,精度瞬间掉到91%,上线当天就漏检了两片晶圆,被产线主管追着骂。后来才学会“边压边测、留安全余量”的铁律。这些血泪教训,比任何论文都值钱,我全写进来了。
二、技术原理:为什么这么选
为什么选“量化+结构化剪枝”而非蒸馏或换小网络?蒸馏要训教师-学生两套、周期长、还要调温度参数,对已经98.6%的模型提升有限;换小网络精度损失大(我们实测MobileNet掉4个点),品质部不答应。量化(INT8)是把FP32权重/激活映射到8位整数,推理用整数指令,体积和延迟几乎同比例降;结