1. 模型蒸馏在解决什么问题，为什么你值得花十分钟搞懂它

先问你一个很现实的问题：你辛苦训练了一个堪称完美的深度学习模型，准确率很高，业务指标也很漂亮，结果到了要上线部署的时候，你发现它跑不动。

模型太大，推理太慢，内存占用率太高，GPU成本吃不消，手机端更是想都别想。我在实际项目里见过太多次这种尴尬——训练好的模型像个巨人，风度翩翩但行动迟缓，而生产环境需要的是一个身轻如燕的特工。

这时候你面前有几条路：量化、剪枝、蒸馏。

量化是把浮点数换成低精度数，简单粗暴但有时精度损失明显；剪枝是砍掉网络里不重要的连接和通道，收益也很好；但如果你既想要保持精度，又想要大幅缩小模型体积，模型蒸馏往往是综合体验最好的一条路。

"模型蒸馏超简单"这个标题不是我开的玩笑。确实，模型蒸馏的核心思想就一句话：让一个小模型去模仿一个大模型的行为。你不需要发明什么新理论，不需要重新设计网络结构，只需要把训练方式改一下就行。

我来用一个生活化的类比解释：想象你要教一个聪明的初中生（学生模型）解决高考数学题。正常思路是直接让他刷高考真题（用硬标签训练），但你会发现在短时间内他很难学到精髓。如果换一种思路，让一位经验丰富的高中名师（教师模型，即大模型）做一遍题，同时把每一步的思考过程、可能的解答路径、甚至每道题的难度感受都写下来，初中生照着这份详细的笔记去学，那效率会完全不同。这里"思考过程"和"解题路径"就是软标签，"正确答案"就是硬标签。

模型蒸馏就是"思维笔记"这套逻辑在深度学习里的完整落地。它能让你的小型学生模型不仅学到硬标签上的正确答案，还能学会教师模型对数据的"判断方式"。正因为学到了判断方式，小模型遇到相似但未曾见过的场景时，泛化能力通常远好于直接用小模型硬训的效果。

这篇文章我会从原理到代码、从参数调整到踩坑实录，完整走一遍模型蒸馏的实操流程。刚开始接触的新手看完可以直接上手，已经在尝试蒸馏但效果不理想的人，也能从后面"常见问题与排查技巧"里找到方向。

2. 模型蒸馏的整体设计与核心机制拆解

2.1 教师模型、学生模型、温度参数：三位一体的核心框架

模型蒸馏的框架里永远有三个角色，理解这三个角色就能理解整个技术方案。

第一个是教师模型。它是你已经训练好的、性能很强的大模型，或者你从某个开源社区下载回来的预训练大模型。教师模型负责提供"知识"。注意，这里说的"知识"不是只有最终的预测结果，更重要的是每一个类别上的概率分布。一个训练良好的教师模型面对一张猫的照片，它可能输出90%的概率是猫，7%的概率是狗，3%的概率是狐狸。如果只用硬标签，90%以上的信息都等于没说，因为标签只告诉你是猫；但模型在训练过程中学到的"猫有点像狗""猫和狐狸有相似之处"这类知识，全藏在那个概率分布里。

第二个是学生模型。它是你想要部署的小模型。学生模型可以跟教师模型是同一个网络家族，也可以完全不同——教师用的是Transformer，学生完全可以用轻量级CNN，甚至可以用一个简单的多层感知机。蒸馏方法本身不会严格要求结构的相似性，它只关心输出层面的对齐。

第三个是温度参数T。这是蒸馏里的灵魂参数，也是让整个过程区别于普通监督学习的关键。在标准Softmax里，公式是输出的logit直接经过指数函数和归一化处理；加入温度之后，每个logit要先除以T再进Softmax。T=1时就是标准Softmax，T升高时概率分布会变得平滑，T降低时分布会变得尖锐。

为什么需要温度？因为教师模型的输出通常太"自信"了——如果它对某个样本预测猫的概率是99.9%，其他类别的概率小到小数点后很多位，学生模型几乎看不到分布信息，蒸馏就退化成普通的硬标签训练了。升高温度能把概率分布"摊开"，让那些极小概率的类目也获得足够的梯度信号。

实际操作中，温度T通常取3到8之间，但这不是死规定，需要根据教师模型的置信度和数据集的类别数量去调整。类别越多，往往需要越高的温度才能摊开分布。

2.2 软标签与硬标签、KL散度损失：学生模型到底在学什么

学生模型的训练依赖于两种监督信号：软标签和硬标签。

软标签来自教师模型，带着温度T的Softmax输出，它描述了教师对数据的所有判断；硬标签来自真实标注，是标准的One-Hot标签。

学生模型的训练目标是把这两个损失按权重结合。主损失是学生模型的软输出（同样加温度T）与教师模型软标签之间的KL散度，衡量两个概率分布的距离；辅损失是学生模型不加温度的原始输出与硬标签的交叉熵。通常总损失写成：

Loss = α * KL_div(student_logits / T, teacher_logits / T) * T² + (1 - α) * CE(student_logits, hard_label)

这里有两个关键细节：

第一，为什么要乘以T²？因为求梯度时，学生模型软输出的梯度天然带有温度系数，如果不乘回来，梯度尺度会跟T的变换挂钩，导致温度影响学习率，这显然不合理。乘上T²之后，梯度幅度就不会随温度变化了，可以安心调温度。

第二，α表示软标签损失的权重，常用的取值是0.9左右——让软标签主导学习，硬标签作为辅助防止跑偏。实际项目中我也见过有些蒸馏实现完全只保留软标签损失，完全去掉硬标签项，只要教师模型质量过硬，效果也是可以接受的。

我之前有个朋友做过一个极端测试：教师模型输出本身很强（测试准确率99%），学生模型蒸馏时完全去掉硬标签，只跟着教师概率分布学，效果跟教师拉平了98%左右。这说明高质量软标签里蕴含的信息量其实已经远超硬标签，但一般情况下为了稳定，还是建议保留一部分硬标签监督。

2.3 为什么蒸馏省钱又省力，它相比量化剪枝的绝对优势在哪

很多人会问：既然量化剪枝也能压缩模型，凭什么优先考虑蒸馏？

我的观点是：量化和剪枝是针对"你已经训练的模型的形态"做手术，它们不会给模型带来新的知识。无论你怎么量化、怎么剪，模型的信息量上限在训练结束那一刻就锁死了。

蒸馏不一样，它引入了一个质量远高于原始硬标签的监督信号——教师模型的概率分布。这意味着学生模型的训练过程是从零开始，一直接收高质量的"教学信号"，它学到的东西甚至可能超出教师模型在训练时靠硬标签学到的东西。在不少公开的中型任务上，蒸馏出来的学生模型精度反而超过教师模型的情况也时有发生，这一点在语音识别、文本分类这类任务上体现得特别清楚。

用一句话总结我选型的判断依据：

• 如果你需要把模型体积缩小但精度尽量持平，优先选量化；
• 如果你需要把模型往极小的内存里塞，同时允许牺牲一点精度，选剪枝；
• 如果你想在压缩体积的同时逼出小模型的全部潜力，蒸馏是上限最高的方案。

2.4 常见开源蒸馏框架与项目现状

在实际动手之前，需要先了解当前生态里有什么可以借力。

主流深度学习框架如PyTorch和TensorFlow都自带完整的自动微分工具，核心蒸馏逻辑二三十行代码就能写完，不需要什么重型框架。如果想快速跑通实验，我可以推荐几个常用的方向：

• 某些知名开源仓库提供蒸馏实现示例，直接基于基础模型做教师/学生组合，适合当参考模板；
• 分布式训练框架里通常自带蒸馏模式，开了就能用；
• 研究社区有很多基于注意力机制的蒸馏变种，例如让学生的注意力分布逼近教师的注意力分布。

我的个人建议是：第一次跑蒸馏不要去碰论文级别的复杂实现，先从最基本的"Softmax输出对齐"开始。等你理解了K-L散度、温度参数这些基础之后再考虑什么注意力对齐、中间层特征对齐也不迟。

3. 核心细节解析与实操要点

3.1 蒸馏的数据准备与教师模型输出缓存

任何蒸馏项目开始前，都绕不开一个决策：数据从哪里来，教师模型的输出怎么管理。

如果你在做一个有标注的数据集，那么对每条样本你手上都有两个信息：真实标签和教师模型的软标签。如果你在做一个纯无标注的数据集，那也可以直接用教师模型的预测概率作为伪标签，配合阈值过滤或者置信度策略来蒸馏，这种方式在半监督场景下已经大量被验证了。

数据准备阶段有一个非常容易被新手忽视的细节：教师模型输出的软标签，一定要在蒸馏训练开始前提前全部产出并缓存到本地。不要一边训练学生模型一边让教师模型做前向推理，那样你会在GPU资源调度上把自己搞疯。教师模型动辄几个GB甚至十几个GB，每次前向推理都有成本。

我常用的做法是：

1. 用教师模型对全部训练数据（或者蒸馏用数据子集）做一次批量前向推理；
2. 把每个样本的logits（注意，不是Softmax后的概率，而是最终分类层输出的原始logits）整体保存下来；
3. 学生模型训练时直接读取缓存的logits，实时计算带温度参数的软标签。

这样做还有一个额外的好处：训练学生模型的过程中，你随时可以实验不同的温度系数。如果温度换一个值，不需要重新跑教师模型，只需要对缓存的logits重新做一次带温度的Softmax，几秒钟就能完成。如果不缓存logits而是直接缓存概率分布，温度一变就得重新推理教师模型，那就太被动了。

3.2 温度参数T的选择逻辑与梯度温度补偿

温度T的调整是整个蒸馏训练中最需要手感的参数之一。我遇到过一种常见误区，就是有人把在文本分类任务上能用的T=4搬到图像分类任务上，结果损失曲线一直往下掉不了。原因就在于两个任务的分类置信度分布完全不同。

我来分享一个我总结的经验曲线：

• 当教师模型的输出概率分布已经很平滑（比如多标签任务、细粒度分类）时，T取2到4就够了；
• 当教师模型输出置信度极高（比如单标签分类、类别数少）时，T可以取5到8，甚至更高；
• 当教师模型跟学生模型结构差距很大（比如大Transformer教小CNN），T适合取高一点，让结构差异带来的信息缺失得到补偿；
• 训练过程中T固定不变通常是最稳的，不要尝试在训练中退火调整温度，人为增加复杂度的效果很不稳定。

梯度温度补偿这个问题我再展开讲一下。如果你用的是交叉熵或者KL散度形式的软标签损失，在实现中一定要记得给损失补一个T²因子。以PyTorch为例，很多人会在损失函数计算完之后简单加个系数，但正确的写法如下：

import torch import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, hard_labels, T, alpha): # 带温度的学生与教师软输出 student_soft = F.log_softmax(student_logits / T, dim=1) teacher_soft = F.softmax(teacher_logits / T, dim=1) # KL散度损失，注意PyTorch里KL散度学生参数在前 soft_loss = F.kl_div(student_soft, teacher_soft, reduction='batchmean') * T * T # 硬标签交叉熵 hard_loss = F.cross_entropy(student_logits, hard_labels) return alpha * soft_loss + (1 - alpha) * hard_loss

这段代码看起来简单，但里面有三处细节：

第一，F.kl_div的第一个参数要传log概率，第二个参数传普通概率。很多新手在这两个参数的顺序上踩坑，传反之后KL散度直接变成负数或者出现NaN。

第二，reduction='batchmean'比单独求平均再手动处理更规范，它在数值上等价于按batch size平均后再累加。

第三，hard_loss里student_logits必须是不带温度的原始输出，这一点最容易遗漏。

3.3 学生模型结构选择与收敛策略

不是任何小模型都能靠蒸馏达到理想效果的。学生模型的选择要考虑两个约束：任务本身的复杂度和你希望压缩到什么程度。

我的经验判断方法是先看教师模型的体量：如果教师模型很大，学生模型的参数量可以压缩到教师的1/10到1/50；如果教师模型本身就不算大，学生模型的压缩幅度建议控制在1/3以内，压缩过头精度会断崖式下降。

学生模型的结构最好跟任务性质匹配。图像分类任务里，轻量级CNN仍然是性价比最高的选择；文本任务里，蒸馏一般优先选同类的轻量Transformer结构，因为注意力机制的结构性知识对Transformer家族本身迁移效果最好。如果用不同结构的模型做蒸馏，大概率能做到80%以上的知识保留度，但要做到逐token的对齐就会很吃力。

收敛策略方面，蒸馏训练通常比普通训练收敛得快，但也要留意过拟合。我的建议是：

• 学习率设置跟普通训练一致，不要因为觉得是"蒸馏"就放松监控指标；
• 软标签损失主导阶段，Early Stopping的标准取验证集准确率，不要看训练损失；
• 如果发现学生模型在训练集上表现很好但验证集波动大，软的软标签不够"软"——调大温度或者提高α值。

3.4 蒸馏的评估体系：光看精度你只能看到一半

蒸馏效果好不好，绝对不能只盯着模型在测试集上的准确率。我见过太多人做完蒸馏，看测试集指标掉了一个点，直接判定蒸馏失败。

实质上，蒸馏还有几个值得关注的隐性收益：

第一，不确定性估计。学生模型通过蒸馏继承了教师模型的概率分布特性，很多场景下你会看到蒸馏后的小模型对OOD（分布外）样本的预测置信度，比直接用硬标签训练的小模型更合理。

第二，知识迁移的鲁棒性。可以直接做对抗样本测试或者输入扰动测试，看蒸馏后的学生模型是否比硬训练模型更平滑。

第三，小样本助力。如果你后续要转到一个新业务场景，数据量有限而教师模型很强，用教师模型蒸馏这个小模型往往是效果远好于直接用少量数据硬训的方案。

我在做某个图片分类项目的时候，硬训练的小模型在A领域的测试准确率是88%，蒸馏后是89.5%，表面看只提升了1.5个点。但随后我把两个模型同时迁移到只有500张样本的B领域做微调，硬训练的小模型准确率勉强到了83%，而蒸馏模型直接到了87.5%。原因就在于蒸馏模型在初始特征上已经继承了教师模型良好的特征表达，迁移时的起点更高。这个优势是单纯看基准测试集准确率完全看不出来的。

4. 实操过程与核心环节实现

4.1 基础环境与数据组织

我拿一个典型的图像分类任务来演示完整流程，因为图像分类在蒸馏入门里是最直观的，逻辑也最好验证。

你需要准备：

• 训练数据集：这里我用一个模拟的分类任务，类别数设成100类，训练样本两万张，验证集两千张；
• 教师模型：这里用预训练好的大模型，具体结构不重要，关键是它的分类头输出100类logits；
• 学生模型：设计一个很轻量的卷积网络，参数量控制在教师模型的10%左右；
• 运行环境：两个GPU并列的资源最优配置。如果你的环境只有单卡，也完全能跑通，但缓存教师logits的过程会慢一些。

先把教师模型的所有输出logits缓存下来。这里我贴一段参考代码，核心点是如何用数据加载器配合教师模型做无梯度推理：

import torch from torch.utils.data import DataLoader teacher_model.eval() teacher_logits_dict = {} with torch.no_grad(): for batch_inputs, batch_labels, sample_indices in loader: batch_logits = teacher_model(batch_inputs) for idx, logits in zip(sample_indices, batch_logits): teacher_logits_dict[idx] = logits.cpu().float()

缓存完teacher_logits之后，你的训练循环里面不再需要加载teacher_model了。这非常重要——训练时整个显存都留给学生模型，学生模型可以开更大的batch size，训练效率大幅提升。

4.2 完整训练循环：从头到尾的代码级实现

配置好数据之后，核心训练循环如下。这个循环包含了蒸馏损失计算、温度参数控制、梯度更新等所有关键流程。

import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 模拟数据组织：假设 dataset 返回 (batch_images, batch_labels, batch_indices) # teacher_logits_dict 是我们之前缓存好的 student_model = YourLightCNN(num_classes=100) optimizer = optim.Adam(student_model.parameters(), lr=1e-4) T = 4.0 alpha = 0.9 for epoch in range(30): student_model.train() total_loss = 0.0 for batch_images, batch_labels, batch_indices in train_loader: batch_images = batch_images.to(device) batch_labels = batch_labels.to(device) student_logits = student_model(batch_images) # 收集教师logits teacher_logits = torch.stack( [teacher_logits_dict[idx.item()] for idx in batch_indices] ).to(device) loss = distillation_loss( student_logits, teacher_logits, batch_labels, T, alpha ) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() # 每个epoch结束后在验证集上评估 student_model.eval() correct = 0 total = 0 with torch.no_grad(): for batch_images, batch_labels, _ in val_loader: batch_images = batch_images.to(device) outputs = student_model(batch_images) _, predicted = torch.max(outputs, 1) total += batch_labels.size(0) correct += (predicted == batch_labels.to(device)).sum().item() print(f"Epoch {epoch+1}, Loss: {total_loss/len(train_loader):.4f}, " f"Val Acc: {100*correct/total:.2f}%")

有两点我在实际跑的过程中确认过：

第一，这个训练循环里不需要给学生模型单独设置一个"蒸馏专用学习率调度"策略。我试过cosine退火、阶梯式下降，对比下来最终验证准确率的差异很小，基本在0.2个百分点以内——当然，最稳妥的还是选择跟教师模型训练时一样的调度策略。

第二，训练过程中顺手记录一下学生模型的软标签分布。如果训练到一半发现软标签分布方差特别小，大概率是学习率太高或者温度太高导致输出均匀化，这时候调低学习率往往比调温度更有效。

4.3 从入门到进阶：特征蒸馏损失怎么加

如果你已经用纯输出层面的蒸馏跑通了一个项目，还想再往深做一点，可以从"特征对齐"这个方向切入。特征蒸馏的核心思想是：不仅让学生模型的最终输出跟教师模型对齐，也让学生模型的中间层特征去逼近教师模型的对应层特征。

这种损失一般需要你在两个网络上找到层和层之间的对应关系，然后计算特征之间距离。举个例子，假设教师模型的倒数第二层输出维度是512，学生模型倒数第二层输出维度是128，要做特征蒸馏，你一般会在学生模型的特征后面加一个1x1卷积或者线性层，把128维映射回512维，然后再跟教师特征做均方误差损失。

def feature_distillation_loss(student_feat, teacher_feat, projector): # projector: 把学生特征映射到教师特征维度 student_feat_proj = projector(student_feat) return F.mse_loss(student_feat_proj, teacher_feat.detach())

要特别提醒一个常见的坑：特征蒸馏里教师特征最好做detach，也就是固定住，不让梯度回流到教师模型。否则教师模型会被学生模型的优化过程反向污染，导致教师模型的特征空间越来越偏，最终两个模型都训不好。

特征对齐的收益在Transformer学生模型上尤其大。我观察到，当学生模型也是Transformer家族时，特征对齐能让学到的注意力模式更逼近教师模型，最终在长文本任务上表现特别好。但如果你是做图像任务加CNN学生模型，特征对齐的提升相比于输出蒸馏可能没那么明显，这时候不妨先不加，等拿到基准结果再决定要不要锦上添花。

4.4 温度T和α的网格搜索实操流程

虽然文章标题叫"模型蒸馏超简单"，但参数调优这件事，该做还是得做。我建议你把温度T和软标签权重α当成两个待优化的超参数，做一次轻量网格搜索。

我一般把搜索范围定成这样：

回到我那个实际的图像分类项目上，当时搜索的结果是：T=4时验证准确率是89.3%，T=6时是88.9%，T=7时掉到87.5%。而α从0.8升到0.9提升了0.4个百分点，从0.9升到1.0反而下降了0.2个百分点。所以最优组合是T=4，α=0.9。

每次组合训练时间大概是半小时左右，搜索十组就是五个小时。时间看起来不短，但蒸馏训练本身很快，五个小时换学生模型两三个百分点的提升，这在真实项目里绝对值得。

4.5 部署验证：蒸馏产出要过这一关才算落地

蒸馏训练结束之后，还有两个步骤是我无论如何都不会跳过的。

第一步是模型导出。照我的习惯，学生模型的推理代码会从训练代码里独立出来，单独写一个裁剪后的模型类，只保留实际部署需要的层结构。这样做有两个好处：一是不用把优化器状态、训练辅助结构一起导出，减小权重文件体积；二是能顺便检查模型结构里有没有死代码。

第二步是真实环境推理测试。我会拿一张实际业务场景里的图片，分别跑一轮教师模型和学生模型，对比两者的耗时与输出分布。在某个CPU部署场景下，教师模型单张推理耗时是240毫秒，蒸馏后的学生模型只要32毫秒，而两者输出置信度的Pearson相关系数达到了0.93。这才能说明蒸馏转化的消息真正传递到了学生模型上。

5. 常见问题与排查技巧实录

5.1 学生模型训练不收敛，损失一直降不下去

这张图我太熟了：蒸馏训练刚开始，损失值就不太对劲，要么不降，要么降到某一步直接卡死。遇到这类情况，我排查的顺序是固定的。

先检查KL散度方向。在PyTorch里，F.kl_div的输入顺序是log_probs和probs，如果传反了，损失可能是负数或者NaN，别看PyTorch不报错，你往下训就是浪费时间。

再检查温度参数是否过高。T=10以上的时候，学生模型会接收到非常平滑的分布，梯度信号极弱，损失下降自然就慢了。这时候把T降到3到5看看。

最后检查是不是alpha设置太极端。比如alpha=1.0时没有硬标签约束，如果教师模型在某些类别上本身置信度分布就有误，学生模型会被带偏。我见过一个实验，alpha从0.9改到1.0，验证准确率掉了超过两个点。

5.2 蒸馏精度掉了不少，问题可能出在教师模型本身

有一种情况特别容易被忽略：你的教师模型本身就不够强。我见过有人随便拿一个基线模型当教师，然后开始蒸馏，最后学生模型的精度还不如硬训练的小模型——这时候抱怨蒸馏没用其实是不公平的，因为你压根没提供足够好的"知识源"。

这里的判断标准很简单：先看教师模型在你目标验证集上达到的指标。如果教师模型相对学生模型只有两三个点的优势，那蒸馏的意义有限；如果教师模型是学生模型近乎两倍的指标或能力水平，蒸馏才有真正的知识空间可以挖掘。

此外还要检查教师模型是否已经过拟合了训练集。如果你把教师模型在训练集上的表现拉到接近100%，它对训练集的分布会非常尖锐，软标签几乎变成硬标签，蒸馏的信息量大大减少。更合理的做法是用一个泛化表现更好的模型作为教师，即使它在训练集上的指标不是最高。

5.3 学生模型在验证集上指标高，迁移到新数据时却崩了

遇到这种情况，大概率是你蒸馏时的软标签约束太强了，学生模型对教师模型的局部模式记忆过度。常见的触发点是T太小、alpha太高、或者教师模型的输出分布本身偏窄。

我的处理方案是：适度调高热度和加深软标签的平滑度。具体来说就是增大T，比如从4调到6，同时把alpha从0.9降到0.8。这样做会削弱软标签的约束强度，但会让学生模型学到更泛化的概率分布，迁移表现会好不少。

另外值得提醒的是，如果你做的是跨域迁移，建议在蒸馏数据里混入一部分目标域的无标注数据，让教师模型在目标域上的软标签也参与训练。我在实际项目里试过这种做法，学生模型在目标域上的冷启动性能完胜单纯从源域蒸馏的效果。

5.4 训练速度太慢，怎么优化蒸馏的算力占用

很多人以为蒸馏一定比直接训练更慢，这是天大的误会。纯输出蒸馏由于学生模型通常很小，训练速度反而快。真正拖慢训练的是两种场景：教师模型实时前向推理，和特征蒸馏里的多层特征提取。

解决教师模型实时前向推理问题的唯一可靠方案，就是我前面强调的缓存教师logits。把教师模型的前向推理从训练循环里彻底剥离出去。

解决特征蒸馏拖慢训练的方法有两种：一是减少特征对齐的层数，只对齐最后一层或者最后两层，不要在每一个阶段都做特征映射；二是对特征做降维匹配，先对教师特征做一次全局平均池化或者随机投影，再计算距离，减少距离计算的时间开销。

我之前做过一个实验，在GPU资源不变的前提下，缓存教师logits让训练速度直接提升了三倍。如果你正在被蒸馏训练时间长折磨，强烈建议先检查教师模型是不是被加进了每个batch的训练循环里。

5.5 蒸馏模型在极端类别上的表现不均匀

类别分布不平衡的数据集里经常看到这个问题。教师模型对样本量大的类别有很高的置信度，对样本量小的类别可能输出接近均匀分布，但硬标签的约束又把学生模型推向极端。最终学生模型对常见类别表现正常，遇到稀有类别就输出软绵绵的概率。

针对这个问题，一个比较有效的做法是：对稀有类别的logits做针对性增强。可以按类别样本量给软标签损失分配权重，对稀有类别调高权重，让学生模型更重视学习这些稀有类别的分布细节。另一个做法是在蒸馏数据里做类别重采样，让稀有类别的出现频率变得更高，这个方法操作起来更直接，效果也稳定。

我在一次多标签文本分类的任务里尝试了这些处理方式，稀有类别的F1分数从0.63提升到了0.76，这对于蒸馏项目来说属于非常显著的改善了。

6. 结尾：模型蒸馏的扩展思路与我的实践体会

模型蒸馏这个东西，入门只需要一个下午，但做精了确实有一大堆可以钻研的空间。我做了几年模型压缩相关工作，最大的心得是：不要把它当成一个孤立的压缩工具，而要当成一个"知识传递机制"来理解。

一旦你理解了知识传递机制，后面很多玩法都会自然涌现出来。比如你可以在多模态场景里让图像模型去教文本模型对齐特征空间；你可以在跨语言场景里让高资源语言的模型去蒸馏低资源语言的学生模型；甚至可以把模型蒸馏跟数据增强结合起来，在教师模型的软标签上叠加随机扰动，让学生模型不仅仅学会教师模型的答案，还学会教师模型的鲁棒性。

我自己在实际项目里最常用到的一个小技巧是：把蒸馏和微调并行做。先让教师模型在目标数据上微调一个epoch，再把这个微调后的模型当成新教师，去蒸馏旧学生模型。这样做的效果是哪怕目标数据很少，蒸馏出来的模型也比直接在上一个版本教师上蒸馏的模型性能好很多。这个方法我反复用过多次，每次都能看到稳定提升。

最后分享一句话给准备开始做蒸馏的朋友：模型蒸馏不是什么神秘的黑科技，它本质上就是一场高质量的教学。你需要的不是更复杂的网络，而是更高质量的"教师输出"和更合理的"学习方式"。这个逻辑想通了，蒸馏模型就真的能像标题说的那样——超简单。

希望这篇从原理到实操、从调参到踩坑的完整记录能帮你少走弯路。如果你在蒸馏过程中遇到什么神奇的现象或者独特的问题，欢迎带着你的项目情况继续讨论，踩过坑的经验永远是最值钱的知识。