1. 异音检测到底在检什么：从人耳判断到模型决策的迁移
异音检测这件事，表面上看是"听声音找毛病"，但真正落到产线或设备端，它其实是一个典型的**异常检测（Anomaly Detection）**问题。正常样本永远占绝大多数，异常样本稀少、形态多变、难以穷举，这跟图像分类里"猫狗大战"那种均衡数据集完全是两码事。我在实际项目里踩过最大的坑，就是一开始把它当成普通分类任务来做，标注了一堆"异音类型"，结果上线后发现新出现的异音根本不在训练集里，模型直接懵掉。
所以理解异音检测，第一步要转变思路：我们不是在识别"这是什么异音"，而是在判断"这个声音跟正常状态偏离了多少"。这个思路的转变，直接决定了后面模型选型的逻辑。
异音检测的典型场景包括：电机运转异响、轴承故障、压缩机异常、家电运行噪音、汽车NVH检测、工业设备预测性维护等。这些场景的共同特点是：正常声音稳定且样本充足，异常声音偶发且难以复现。数据形态上，通常是一维时序音频信号，经过采样、分帧、加窗后转成频谱图或梅尔频谱图，再喂给模型。
从信号处理链路来看，一个完整的异音检测流程大致是这样的：
- 采集：麦克风或加速度计采集原始波形，采样率常见16kHz到48kHz
- 预处理：去直流、预加重、分帧（帧长25ms、帧移10ms是常见配置）、加汉明窗
- 特征提取：短时傅里叶变换得到频谱图，或转梅尔刻度得到梅尔频谱图，也有用MFCC的
- 建模：CNN、Transformer、AutoEncoder等模型对特征进行建模
- 决策：输出异常分数，与阈值比较，判定正常或异常
这里有个容易被忽略的点：异音检测的评估指标跟分类任务完全不同。分类看准确率，异音检测看的是AUC、F1、召回率在低误报率下的表现。因为产线上误报一次可能就要停线检查，代价极高。我一般会优先看"在误报率低于1%时，召回率能到多少"，这个指标比整体准确率有意义得多。
理解了这些背景，才能明白为什么模型选型不是"哪个模型最先进就用哪个"，而是要看数据量、异常形态、算力预算、部署环境这几个约束条件。下面我分别拆解CNN、Transformer、AutoEncoder三类模型在异音检测里的真实表现和适用边界。
2. CNN在异音检测里的真实定位：局部纹理捕手
2.1 为什么频谱图上的CNN依然能打
CNN在异音检测里最常见的用法，是把梅尔频谱图当成一张"图像"来处理，用二维卷积去捕捉时频域上的局部模式。这个思路之所以有效，是因为异音在频谱图上往往表现为某些特定频段的能量突变或纹理异常，而卷积核天生就是干这个的。
我做过一个电机异音项目，正常运转时频谱图上是几条稳定的谐波线，一旦出现轴承磨损，会在高频段出现周期性的冲击成分，在频谱图上表现为规律出现的"亮点"。这种局部、重复的纹理特征，用3到5层的CNN就能很好地捕捉到。实测下来，一个参数量不到50万的轻量CNN，在AUC上能到0.95以上，推理延迟在树莓派4B上单帧不到10ms。
CNN的核心优势在于局部感受野和权值共享。音频的时频结构具有很强的局部相关性，相邻频点、相邻帧之间的关联远大于远距离关联，这正好匹配卷积的归纳偏置。而且权值共享让参数量大幅降低，训练数据需求也相对小。
2.2 一维CNN还是二维CNN：一个实际选型问题
很多人纠结用一维卷积直接处理原始波形，还是二维卷积处理频谱图。我的经验是：
| 方案 | 输入 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|---|
| 1D-CNN | 原始波形 | 端到端，无需手工特征 | 需要更多数据，对采样率敏感 | 数据量大、端侧算力充足 |
| 2D-CNN | 梅尔频谱图 | 特征稳定，迁移性好 | 依赖特征提取参数 | 数据中等、快速落地 |
我一般推荐先用2D-CNN跑基线，因为梅尔频谱图这个中间表示已经把很多无用的相位信息去掉了，模型学起来更聚焦。等基线跑通、数据积累够了，再考虑端到端的一维方案。
2.3 CNN的边界：它看不见"全局异常"
CNN的短板也很明显。它的感受野是局部的，要靠堆叠层数才能扩大。但异音有时候是全局性的，比如整个设备的运行节奏变了、整体音调偏移了，这种异常不是某个局部纹理的问题，而是整段频谱的分布漂移。CNN对这类异常不敏感。
另外，CNN对时序上的长距离依赖建模能力弱。比如一个异音是"每隔2秒出现一次轻微咔哒声"，这种周期性需要模型有较长的时间记忆，普通CNN做不到，得靠膨胀卷积或者配合RNN。这也是为什么后来Transformer在音频领域崛起的原因。
还有一个实操坑：CNN对频谱图的归一化非常敏感。不同设备、不同麦克风采集的频谱能量分布差异很大，如果直接混在一起训练，模型会学偏。我的做法是按设备分别做均值方差归一化，或者用BatchNorm在输入端做适配。这个细节看起来小，但对最终效果影响能到5个点以上。
3. Transformer的诱惑与代价：全局建模能力的双刃剑
3.1 自注意力机制为什么适合异音检测
Transformer的核心是自注意力（Self-Attention），它能让序列中任意两个位置直接建立关联，不受距离限制。放到异音检测里，这意味着模型可以同时关注"当前帧"和"2秒前那一帧"，捕捉长距离的周期性异常。
我印象很深的一个案例是空调外机的异音检测。正常运行时声音平稳，但偶尔会出现一种"间歇性共振"，每隔几秒出现一次，持续不到0.5秒。CNN因为感受野有限，很难把这种跨时间的关联学出来，而Transformer的注意力机制天然就能把这两个时间点关联起来。换成Transformer后，这类异常的召回率从0.72提升到了0.91。
Transformer的另一个优势是可解释性。通过可视化注意力权重，你能看到模型在判断异常时"关注"了哪些时间帧和频段。这在工业场景里特别有价值，因为客户会问"你为什么说这是异音"，你能拿出注意力热力图来解释。
3.2 数据量、算力、过拟合：Transformer的三道坎
但Transformer不是银弹。它的第一个问题是数据饥渴。自注意力没有卷积那种局部归纳偏置，需要大量数据才能学到有效的模式。异音检测恰恰是异常样本稀缺的场景，如果正常样本也只有几百条，Transformer很容易过拟合。
第二个问题是算力开销。标准Transformer的注意力复杂度是序列长度的平方。一段10秒的音频，按10ms帧移分帧就是1000帧，注意力矩阵是1000×1000，显存和计算量都不小。虽然可以用稀疏注意力、局部注意力来优化，但实现复杂度上去了。
第三个问题是部署难度。Transformer模型参数量通常比轻量CNN大一个数量级，在边缘设备上部署需要量化、剪枝等操作。我试过把一个12层的音频Transformer量化到INT8，精度掉了3个点，需要做量化感知训练才能补回来。
3.3 实操建议：什么时候值得上Transformer
我的判断标准是这样的：
- 数据量：正常样本至少上千条，且覆盖多种工况
- 异常类型：存在明显的长距离时序依赖或全局分布漂移
- 算力：训练端有GPU，推理端至少能跑得动量化后的模型
- 可解释性需求：客户或业务方需要知道模型"看哪里"
如果这四条满足三条以上，Transformer值得一试。否则，先用CNN或AutoEncoder把基线做扎实。
另外，现在有很多轻量Transformer变体，比如把注意力限制在局部窗口内，或者用卷积来替代部分注意力层。这类混合架构在音频任务上表现不错，参数量能压到几百万，是工业落地的折中方案。
4. AutoEncoder的独特价值：只学正常，异常自然暴露
4.1 重构误差作为异常分数：一个优雅的思路
AutoEncoder（自编码器）在异音检测里的逻辑跟前两者完全不同。它不学"什么是异常"，只学"什么是正常"。训练时只用正常样本，让编码器把输入压缩成低维表示，解码器再重构回来。测试时，如果输入是正常声音，重构误差小；如果是异常声音，因为模型没见过，重构误差就大。重构误差本身就是异常分数。
这个思路特别适合异音检测，因为异常样本本来就少，你根本不需要标注异常。我做过一个压缩机项目，正常样本有几千条，异常样本只有十几条，用CNN做分类根本训不起来，但AutoEncoder只用正常样本就达到了0.93的AUC。
AutoEncoder的另一个好处是对未知异常类型天然鲁棒。CNN和Transformer都是判别式模型，只能识别训练时见过的异常模式。而AutoEncoder是生成式思路，任何偏离正常分布的声音都会被判定为异常，不管它是什么类型。这在工业场景里非常重要，因为新异音总是会出现的。
4.2 从AE到VAE：什么时候需要概率建模
基础AutoEncoder有个问题：它的潜在空间没有明确的概率结构，重构误差的分布不好解释。变分自编码器（VAE）通过引入概率分布，让潜在空间更规整，重构误差也更有统计意义。
我一般这样选：
- 数据量少、异常类型单一：基础AE够用，训练快，调参简单
- 数据量中等、需要异常分数可解释：用VAE，可以算重构概率
- 需要生成新样本做数据增强：VAE更合适
但VAE训练比AE麻烦，容易出现后验坍塌（posterior collapse），需要调KL散度的权重。我踩过的坑是KL权重设太大，模型直接忽略了潜在变量，退化成普通AE；设太小，又起不到正则作用。一般从0.001开始调，配合warm-up策略逐步增加。
4.3 AutoEncoder的软肋：重构能力太强反而坏事
AutoEncoder最大的坑是重构能力过强。如果模型容量太大，它可能连异常样本也能重构得很好，导致异常分数区分度下降。这在实践中很常见，尤其是异常和正常差异不大的时候。
解决办法有几个：
- 限制瓶颈层维度：让潜在表示足够小，强迫模型只保留正常模式的关键信息
- 加噪声：训练时给输入加噪声，让模型学去噪，这叫Denoising AutoEncoder
- 用记忆模块：MemAE（Memory Augmented AutoEncoder）用一个记忆库来约束重构，异常样本无法从记忆库中找到匹配，重构误差自然大
我实测下来，MemAE在异音检测上比普通AE的AUC能高3到5个点，代价是训练稍慢、需要调记忆库大小。
5. 三类模型的横向对比与选型决策树
5.1 一张表看清核心差异
| 维度 | CNN | Transformer | AutoEncoder |
|---|---|---|---|
| 学习范式 | 判别式 | 判别式 | 生成式/重构式 |
| 数据需求 | 中等 | 高 | 低（只需正常样本） |
| 异常样本依赖 | 需要标注 | 需要标注 | 不需要 |
| 长距离建模 | 弱 | 强 | 中等 |
| 未知异常鲁棒性 | 差 | 差 | 好 |
| 可解释性 | 中等（可视化卷积核） | 强（注意力权重） | 中等（重构误差分布） |
| 参数量 | 小到中 | 中到大 | 中 |
| 边缘部署 | 容易 | 较难 | 容易 |
| 训练难度 | 低 | 高 | 中 |
5.2 选型决策的四个关键问题
我在实际项目里，会先问四个问题：
第一，异常样本有多少？如果异常样本少于50条，直接排除CNN和Transformer的判别式方案，上AutoEncoder。如果异常样本充足（几百条以上），可以考虑判别式模型。
第二，异常是否具有长距离时序依赖？如果异音是间歇性的、周期性的，或者需要结合较长上下文才能判断，Transformer有优势。如果是局部突变型异音，CNN足够。
第三，部署环境是什么？边缘设备、低功耗芯片，优先CNN或轻量AE。服务器端、有GPU，可以考虑Transformer。
第四，业务方是否需要解释？需要注意力可视化解释的，Transformer。需要"偏离正常程度"这种直观解释的，AutoEncoder。
5.3 混合方案：工业落地里的务实选择
纯用某一种模型的情况其实不多，工业落地更常见的是混合方案。我分享几个实际用过的组合：
- CNN + AutoEncoder：用CNN做特征提取，AutoEncoder做重构。这样既有卷积的局部建模能力，又有重构式方法的未知异常鲁棒性。我在轴承异音项目里用这个组合，AUC到了0.97。
- Transformer + 对比学习：用对比学习拉大正常和异常的表示距离，Transformer做编码器。适合异常样本少但需要强判别力的场景。
- 多尺度CNN + 注意力池化：用不同尺度的卷积核捕捉不同时间跨度的模式，再用注意力做池化。这个方案参数量小，适合边缘部署。
选型没有绝对的对错，关键是匹配你的数据、算力和业务约束。我见过太多团队一上来就上最复杂的模型，结果数据不够、调参调不动、部署上不去，最后还不如一个简单的CNN基线。
6. 从实验到产线：那些文档里不会写的坑
6.1 数据层面的坑：正常样本的"正常"定义
异音检测里最容易被低估的问题是：什么叫正常？设备在不同负载、不同转速、不同温度下，声音是不一样的。如果你只采集了空载状态下的正常样本，那负载状态下的正常声音也会被判定为异常。
我的做法是按工况分层采集，把转速、负载、温度等工况参数作为元信息，训练时要么分工况建模，要么把工况作为条件输入。这一步做不好，后面模型再强也没用。
另一个坑是背景噪声。产线环境噪声复杂，如果训练时的背景噪声和测试时不一致，模型会学偏。我一般会在训练数据里加入多种背景噪声做增强，或者用谱减法先做降噪。
6.2 阈值设定的坑：固定阈值为什么不可靠
模型输出异常分数后，需要一个阈值来判定正常还是异常。很多人直接设0.5，这是大忌。异常分数的分布会随设备老化、环境变化而漂移，固定阈值很快就会失效。
我推荐的做法是基于正常样本分布动态设定阈值。具体来说，用一批正常样本算出异常分数的均值和标准差，阈值设为均值加3倍标准差。上线后定期用新的正常样本更新这个阈值。这样能自适应设备状态的变化。
如果业务对误报率有明确要求，可以用百分位数法：取正常样本异常分数的99%分位数作为阈值，保证误报率在1%左右。
6.3 模型更新的坑：概念漂移与增量学习
设备会老化，声音会变化，模型上线后性能会慢慢下降，这叫概念漂移。我见过一个项目，模型上线三个月后召回率从0.9掉到了0.6，就是因为设备磨损导致正常声音变了。
解决办法是持续收集正常样本，定期更新模型。但全量重训成本高，可以用增量学习或者在线学习。我的经验是，如果变化是渐进的，用滑动窗口重训就够了；如果变化剧烈，可能需要重新设计特征或模型。
还有一个实操细节：更新模型前一定要做A/B测试。新模型在离线数据上表现好，不代表在线就好。我一般会先让新模型影子运行一段时间，对比新旧模型的判定结果，确认没问题再切换。
6.4 评估的坑：离线指标好看不等于线上好用
最后说一个评估的坑。离线评估用的是历史数据，但线上数据分布可能不同。我踩过的坑是离线AUC 0.98，上线后误报率却很高。后来发现是离线数据里正常样本太"干净"，没有覆盖线上的各种边界情况。
所以评估时一定要留出真实的线上数据做验证，而且要按时间划分训练集和测试集，不能用随机划分。因为随机划分会导致同一时段的样本同时出现在训练和测试里，造成数据泄漏，指标虚高。
另外，评估指标要跟业务对齐。业务关心的是"漏报多少、误报多少"，那就直接看召回率和误报率，别只看AUC。AUC高不代表在业务关心的阈值区间表现好。
7. 我个人的选型心得与几个实用建议
做了这么多异音检测项目，我最大的体会是：模型选型不是选最先进的，而是选最匹配约束的。AutoEncoder适合冷启动和异常样本稀缺的场景，CNN适合快速落地和边缘部署，Transformer适合数据充足且需要长距离建模的场景。三者不是替代关系，而是互补关系。
如果你刚开始做异音检测，我的建议是：先用AutoEncoder跑一个基线，因为它不需要异常样本，能快速验证数据质量和流程可行性。等基线跑通、数据积累起来，再根据异常类型和业务需求，考虑引入CNN或Transformer做增强。
几个实操建议：
- 特征工程别偷懒：梅尔频谱图的参数（梅尔滤波器数量、帧长、帧移）对效果影响很大，值得花时间调
- 数据增强很关键：加噪声、时间拉伸、频率掩蔽这些手段能显著提升鲁棒性
- 集成多个模型：不同模型的异常分数做加权平均，往往比单模型稳定
- 保留人工复核通道：再好的模型也会有边界情况，产线上留一个人工确认的环节，能避免很多麻烦
最后分享一个小技巧：用正常样本的聚类结果来辅助阈值设定。把正常样本的异常分数做聚类，如果聚成多簇，说明正常状态本身就有多种模式，阈值应该分模式设定，而不是一刀切。这个细节能帮你避开很多误报。
函数的强大排序技术实例探索)
