“AI蒸馏”这个词，我这两年在技术群里几乎每天都能看到。它做的事情其实一句话就能讲明白：把一个大而强的模型学会的知识，迁移到一个小而快的模型里，让小模型在体积、运行速度和算力开销上都大幅降低的同时，尽量保住大模型的精度表现。说白了，就是让大模型当老师，给小模型开小灶。

这个技术之所以火，是因为大家发现模型越做越大，但真正放到线上服务、手机端、边缘设备里跑的时候，大模型根本跑不动。推理一次要几十毫秒甚至几百毫秒，显存吃紧，延迟超标。所以很多团队开始研究怎么在模型规模不变、结构不变的前提下，把“脑子”变小但“智商”不变。AI蒸馏就是目前实操下来最有效的一条路。

这篇文章想写给三类人看：第一类是算法工程师，正准备把手头的大模型压缩上线；第二类是刚入门深度学习、想理解模型加速原理的学生；第三类是被领导要求“把模型搞小一点但别掉点”的倒霉蛋。我会把原理、参数、代码、坑一次讲透，大家可以直接照着落地。

1. 蒸馏是什么，先搞懂它解决什么问题

1.1 一个比喻：老师带学生

把蒸馏理解成“老师带学生”是最快的路径。假设你有一个参数量极大的教师模型，它在一堆数据上训练了很久，已经达到了很好的精度。现在你要训练一个参数量可能只有它百分之一的学生模型，如果只拿真实标签去教学生，学生学到的是“这张图是猫、这张图是狗”这种生硬结论。

但教师模型其实掌握着更细腻的信息。比如它看到一张疑似猫的图，输出概率可能是猫0.7、狗0.2、狐狸0.1，这三个数字本身就说明了“猫和狗在某些特征上很像，狐狸也有点像”。这种概率分布里藏着类与类之间的相似度，是真实标签完全给不了的信息。AI蒸馏的核心，就是让学生去模仿教师模型输出的这种“软概率分布”，而不是只对着硬标签学习。

这个过程很像老师给学生讲题：老师不是直接把答案报给学生，而是把自己推理时的犹豫、权衡、侧重点都讲出来。学生理解了背后的思路，才能在考试里遇到没见过的题也答得出来。

1.2 为什么这两年非做蒸馏不可

模型越来越大是直接原因。两年前很多团队还在用几亿参数的模型，现在动不动就是几百亿上千亿参数。参数越大，单次推理成本越高，在GPU上部署都吃力，更别说跑到手机、摄像头、车载设备上。

与此同时，业务方对效果的要求一点没降。“可以小，但不能笨”是常态。于是大家把希望寄托在三个方向上：量化、剪枝、蒸馏。量化是把浮点权重换成低精度，省内存但偶尔掉点；剪枝是把不重要的连接砍掉，掉点幅度难控制；蒸馏则是在训练阶段把大模型的“内力”传给小模型，能相对稳定地把效果保住。它不是靠运气，而是靠知识迁移的机制，所以这两年越来越多人把它当主力手段。

我见过一个很典型的场景：某公司做端侧人脸识别，原模型一个包200多MB，手机端实在装不下。团队把模型换成了只有原来十分之一体积的轻量结构，直接用真实标签训练，精度掉了将近6个点；后来加了蒸馏，把大模型的输出概率当辅助监督，掉点被控制到了1.5个点以内。这个例子我用了很多次来告诉别人：蒸馏不是锦上添花，在很多场景它是刚需。

2. 蒸馏原理拆到骨头里

2.1 学生学的不是答案，是思路

理解蒸馏原理，先抓住一个关键概念：软标签。教师模型在做分类时，最后一层出来的并不是0和1，而是经过softmax之后的概率分布。比如一个三分类任务，真实标签是“猫”，但教师模型会输出猫0.6、狗0.3、狐狸0.1。这个分布里包含了教师模型对“猫”和“狗”相似性的判断。

如果只教学生“答案是猫”，学生根本不知道“狗是第二候选”，也不知道“狐狸稍微有点像”。而如果教学生“猫0.6、狗0.3、狐狸0.1”，学生就能学到类与类之间的关联。这种关联信息量远大于单独的硬标签。所以在蒸馏训练里，损失函数通常是两项之和：一项用来对齐学生模型和真实标签的硬损失，另一项用来对齐学生模型和教师模型输出的软损失。

除了输出层的软概率，还可以更激进一点，让学生去模仿教师模型中间层的特征图。比如让教师中间某一层输出的特征和学生对应层的特征做相似度对齐，这就是特征蒸馏的思路。特征层面的信息往往比输出层的概率更丰富，因为它没有经过后面几层的信息压缩。不过特征蒸馏实现起来稍复杂，要处理层数不对齐、通道数不一致的问题，所以新人一般先从软标签入手。

2.2 温度系数T，其实是软化“观点”

蒸馏损失里有个特别重要的参数，温度T。教师模型的输出经过softmax后，如果温度很高，概率分布会变得更平缓，类与类之间差异变小；如果温度很低，分布会变得尖锐，甚至接近one-hot。为什么要调温度？因为原始的softmax输出往往过于自信，比如猫0.95、狗0.04、狐狸0.01，这种分布里“狗比狐狸更像猫”的信息依然存在，但很弱，学生难以感知。

把温度调到2、3甚至更高以后，概率分布被慢慢拉开，猫0.5、狗0.3、狐狸0.2，学生就容易看清楚教师模型内部的“观点倾向”。训练学生模型时，同一个温度T被同时用在教师输出和学生输出的软化上，让两者处于同一对比尺度；但在计算硬损失的时候，学生模型用T=1的标准softmax去生成预测。

温度怎么选，直接影响学习效果。T太低，软标签接近硬标签，蒸馏没有意义；T太高，分布太平滑，类间差异被抹平，学生学不到有效细节。我见过一个经验法则：先在T=3附近做一组实验，再对比T=1、T=5，用验证集精度来挑。多数分类任务在2到5之间表现稳定，检测、分割这类任务对温度的敏感度会更高，需要单独试。

2.3 离线、在线、自蒸馏怎么选

蒸馏的实操范式大致分三类。离线蒸馏是最常见的：先用大数据集把教师模型训练好并且固定住，再在训练学生模型时让教师模型产出一批软标签，全程教师不参与梯度更新。这个做法优点在于稳定，教师模型只做推理，不会出现训练过程里教师和学生互相干扰的问题，缺点在于你得先有一个足够好的教师模型，而且教师推理那一步也要花时间和算力。

在线蒸馏则是在训练学生模型的同时，教师模型也在同步更新。这种方式适合那种没有现成大模型、想从零同时训练两个模型的场景。由于教师模型的质量是动态变化的，软标签的信号会比较“不稳定”，所以通常需要额外的损失项或者辅助调度，否则学生很容易被带偏。

自蒸馏是近几年比较受欢迎的思路，它不需要一个外部的教师模型，而是拿同一个模型的深分支去指导浅分支。例如在一个模型内部，高层的输出当作教师信号，去约束浅层输出的特征。这样省去了单独训练大模型的成本，但上限通常不如有一个真正强大的教师模型来得高。实际做项目时，我一般这样选：已有训练好的大模型，直接离线蒸馏；没有就老老实实先训练一个教师，再离线蒸馏，别为了省事直接上在线蒸馏，调试成本高很多。

3. 实操过程：从零跑通一次蒸馏

3.1 选型：任务、教师和学生

我先用一个具体的例子说明整个链路，后面大家可以直接套到自己的任务里。假设任务是图像分类，数据集是某个常见的小规模公开图像数据集，一共10个类别、5万张训练图。教师模型我选了一个比较大的网络结构，参数量大约8000万，单独训练后验证集精度94.2%。学生模型我换成一个轻量结构，参数量大约400万，也就是教师模型的二十分之一。

这个选型思路是：教师要够强，但不一定越大越好。如果教师模型本身精度就很一般，它输出的软标签信息质量自然不高，学生学了半天也只能学到错误倾向。学生模型也不能过于“小到离谱”，参数量差距几百倍的话，学生模型的容量根本装不下教师的知识，硬塞只会两败俱伤。常见的压缩比在5到20倍之间比较合适，极端情况下可以到30倍，但要做好掉点准备。

任务方面，分类任务是最容易上手的蒸馏场景，因为模型输出的就是概率分布，软标签天然可用。如果换成目标检测或者语义分割，蒸馏就不只是对输出概率做对齐了，往往还要针对边界框回归、特征图对齐做额外的损失项，复杂度明显上升。第一次学蒸馏，我非常建议先在分类任务上跑通全流程。

3.2 核心训练代码与参数

整个训练流程可以分成三个步骤：先用教师模型在数据集上推理，把每条样本的软标签都存下来；然后定义学生模型和损失函数；最后用“硬标签损失加软标签损失”的组合去训练学生模型。这里贴一段我常用的核心训练代码，框架用的是PyTorch，大家应该都能直接看懂。

import torch import torch.nn as nn import torch.optim as optim # 已加载的教师模型，固定参数，只在forward时使用 teacher_model.eval() # 已定义的学生模型 student_model = nn.Sequential( # 这里替换成你自己的轻量结构 ) # 蒸馏的关键参数 T = 3.0 # 温度系数，软化概率分布 alpha = 0.7 # 软标签损失的权重 ce_loss = nn.CrossEntropyLoss() kl_loss = nn.KLDivLoss(reduction='batchmean') optimizer = optim.Adam(student_model.parameters(), lr=1e-3) for batch in train_loader: images, hard_labels = batch optimizer.zero_grad() # 教师模型输出软标签（关闭梯度） with torch.no_grad(): teacher_logits = teacher_model(images) # 学生模型输出 student_logits = student_model(images) # 硬损失：学生输出与真实标签 loss_hard = ce_loss(student_logits, hard_labels) # 软损失：两者都除以T做softmax，再计算KL散度 loss_soft = kl_loss( torch.log_softmax(student_logits / T, dim=-1), torch.softmax(teacher_logits / T, dim=-1) ) # 最终损失是两者的加权和 loss = (1 - alpha) * loss_hard + alpha * T * T * loss_soft loss.backward() optimizer.step()

这里有几个细节值得强调。第一，软损失的计算必须先把logits除以温度T，再做softmax，然后学生这边还要取log，因为KL散度需要分布p和q的对数形式。第二，loss_soft前面乘了T的平方。这是蒸馏论文里的标准做法，目的是让梯度的量级不随温度变化而剧烈改变。如果漏掉这个缩放，温度调高以后软损失的梯度会被压得太小，导致训练变慢。

第三，教师模型在推理阶段一定要加torch.no_grad()，否则会额外占用大量显存，而且完全没有必要。我们在实际项目里还做过一个优化：先离线把整个训练集的软标签一次性跑出来，存成npy或者h5文件，训练时直接读取，这样教师模型连forward都不用再做了，省下的时间非常可观。

3.3 调参阶段最容易踩的坑

重点看两个参数：alpha和T。alpha控制软标签和硬标签的配比。alpha太小，学生基本在学硬标签，蒸馏的优势体现不出来；alpha太大，学生可能过于相信教师的判断，遇到教师犯错的时候也会跟着错。我的习惯是从alpha=0.7起步，验证集稳定后如果发现学生精度一直上不去，再往0.5或0.3方向调。

温度T我建议分两步调。先用T=3跑10个epoch，观察损失下降是否平稳；如果模型的预测分布太“平”，也就是所有类别的概率都差不多，说明温度太高了，往下降到2甚至1.5。如果发现训练过程中学生输出过于自信，验证集上同类样本的预测几乎都是同一个答案，那可能是温度太低，软标签提供的区分度不够。这个手感要靠多跑几组对比实验才能建立，没有捷径。

还有一个小坑，是数据增强的不一致。有些人在训练教师模型时用了大量数据增强，但在蒸馏阶段给学生的数据增强却降了强度，结果学生学到的软标签和它自己看到的数据分布对不上，表现自然差。我踩过这个坑之后，现在一律让教师和学生使用完全相同的预处理逻辑，包括裁剪、翻转、色彩抖动这些细节，稳定很多。

4. 收益量化与适用边界

4.1 实测数据：一个具体例子

理论说了半天，最终还是要看数字。拿刚刚提到的分类任务来举例，我用同一个轻量学生结构做了三组对比实验：第一组直接用硬标签训练，第二组加上输出层软标签蒸馏，第三组在软标签蒸馏基础上增加了中间特征对齐。固定训练轮数和优化器设置，结果如下：

从这个表能清楚看到三件事。第一，参数量差了20倍，显存占用少了将近4倍，推理耗时从8.7ms降到了1.2ms，速度提升非常明显。第二，直接用硬标签训练会掉5.8个点，而加上蒸馏之后掉点被控制在了1.4个点，效果差距巨大。第三，特征对齐还能再补一点精度，但收益已经逐渐变小，而实现复杂度却上升不少，所以实际项目里我一般先做输出层蒸馏，效果不达标再加特征级别的对齐。

还有一个硬币的另一面值得注意。蒸馏后学生模型的训练时间并不短，因为要额外计算教师模型的输出和KL散度，而且如果特征对齐，还会多一两个损失项。我的实测是，输出层蒸馏方案比普通硬标签训练多了约一倍的训练时间，但换来的是推理阶段20倍以上的压缩收益。训练成本是一次性的，推理成本是长期的，这笔账基本怎么算都划算。

4.2 什么时候别碰蒸馏

蒸馏不是万能药，有几种情况我会明确建议别用。第一种是任务本身很简单，学生模型直接训练就已经接近教师水平。比如一个只有三五个类别的简单分类任务，哪怕模型很小，硬训练效果也已经很好，蒸馏多出来的训练复杂度完全没有必要。

第二种是教师模型本身不够强。如果教师模型的验证精度只比学生模型高那么一两个点，甚至在某些类别上还不如学生，那软标签里的信息就不具备“权威性”。学生学一个水平一般的老师，上限自然不会高。这种情况下应该先想办法把教师模型训得更强，而不是急着蒸馏。

第三种是场景对单次推理的延迟极度敏感，而且小模型速度本来就已经达标。蒸馏并不会改变模型的结构和速度，它提升的是“同结构下的精度上限”，不是推理速度本身。如果产品卡的是延迟，直接换轻量结构甚至用量化方案更直接。判断标准很简单：看瓶颈是精度还是速度。精度不够，蒸馏值得试；速度不够，先优化结构。

第四种是教师模型和学生模型的结构差异过大。比如教师是Transformer结构，学生改成卷积结构，这种跨结构的蒸馏也能做，但软标签的解释性会弱很多，信息迁移效率低。实践中往往需要在学生模型内部设计额外的适配层，项目周期会明显拉长。如果时间紧张，我更建议在同类结构里挑一个轻量变体当作学生模型，蒸馏成功率会高很多。

5. 常见问题排查与避坑实录

5.1 学生模型训练半天不收敛

这类问题我遇到的第一反应是检查损失数值。如果loss在几个epoch内几乎没有明显下降，先排除最简单的原因：学习率太大或者太小导致震荡。蒸馏任务的损失函数比普通训练复杂，多了一项软标签的KL散度，学习率往往需要比常规训练更保守一点。我在实践中常用1e-4到3e-4的Adam，而不是默认的1e-3。

如果学习率没问题，接着看T。我发现很多新人在蒸馏里直接设成10以上，觉得温度越高信息越丰富，结果软标签接近均匀分布，每个类别概率都差不多，学生模型接收不到任何有效监督信号，自然学不动。这时候把T降回到3左右，往往马上就能看到loss开始下降。

还有一个容易被忽略的原因是软标签缓存错了。有些项目先把教师模型的软标签存成了文件，但存的时候没固定随机种子，数据增强的随机变换不一样，导致软标签和训练图片实际内容根本对不上。这类问题不会让loss完全不降，但会让精度涨得非常慢且波动大。我的习惯是缓存阶段关闭所有数据增强，或者与训练阶段保持完全一致，并固定随机种子，能省掉很多排查时间。

5.2 蒸馏后精度反而崩了

最典型的场景是：学生模型单独用硬标签训练还能有90%，蒸馏之后反而掉到85%。遇到这种情况，我第一个怀疑alpha配比。软损失权重太高，学生几乎只模仿教师，一旦教师在某些样本上判断失误，学生会无条件跟着犯错，硬标签的纠错作用被压制。把alpha从0.9降到0.6或者更低，通常能缓解。

第二个怀疑点是教师模型和学生模型的输入预处理不一致。前面也提过，教师训练时用了某种归一化方式，学生训练时却换了均值方差，这会导致教师吐出的软标签在尺度上和学生模型的输入空间错位。检查两边的数据管线，让它们完全共用同一套预处理函数即可。

第三种可能性比较隐蔽：教师模型本身存在“过度自信”。如果教师已经严重过拟合，它对训练集的软标签分布会非常尖锐，几乎和one-hot没差别，这时候蒸馏约等于硬标签训练，学生模型还白挨一个KL损失的计算开销。解决办法是拿教师模型在验证集或者独立测试集上去生成软标签，而不是全部用训练集，这样能保留一定泛化信息。

5.3 学生模型在新数据上过拟合

蒸馏后的学生模型参数量小，按理说过拟合风险应该更低，但我在实际操作中确实遇到过新数据集上表现很差的情况。后来定位到原因，其实是软标签使用过量。如果训练集很小，而教师模型已经把训练集样本的特征学得非常彻底，软标签会把这种“记忆”也传给学生，学生模型跟着记住了训练集的噪声，导致泛化能力差。

针对这种情况，有两个有效手段。第一是增大硬标签损失在最终损失里的占比，让真实标签对学生进行约束，减弱教师模型过拟合信号的传递；第二是加强正则化手段，比如在学生模型里加Dropout或者权重衰减，比普通训练时给得稍微重一点。

还有一个思路是Mixup或者CutMix这类数据增强。这些方法能迫使模型学习更平滑的决策边界，正好可以对抗软标签带来的“过度平滑倾向”反向问题。组合使用时注意调解增强强度，别让学生在数据增强变化太大的环境里刚刚恢复稳定性又被打乱。

5.4 评估线上表现与离线指标对不上

这个问题其实不只是蒸馏独有的，但蒸馏场景更容易踩。原因在于蒸馏算法往往让学生模型与教师模型的行为高度一致，但如果你在离线评估时用的还是纯粹的硬标签准确率，而线上业务还包含拒识、兜底规则、置信度阈值这些逻辑，两者天然会有偏差。

我见过一个实际案例：模型离线精度涨了1个点，上线后却发现高置信度区间里多了不少误判。后来排查发现，蒸馏把学生模型的置信度整体拉高了，模型对很多样本给出了接近满分的置信度，而线上阈值是固定值，导致大量边界样本被保留下来。解决方式是在蒸馏结束后，对模型做一次置信度校准，比如通过温度缩放或者保序回归，把置信度分布拉回合理的范围。

如果你把蒸馏模型当作大模型的替代品去做线上实验，也建议先做一份A/B测试，对比的指标既要看最终的准确率，也要看延迟、内存、置信度分布这三个维度。很多时候精度差不多，但置信度分布完全不同，这才是决定线上体验差异的关键。

6. 一点个人经验：怎么把这套方法用到你自己的任务里

说实话，蒸馏这件事真正难的不是原理，而是要在自己的任务边界里，找到温度、权重、模型结构、数据管线这些变量之间的平衡点。没有哪个参数是万能的，我今天给的初始值也只是帮你少走几步弯路。

我个人现在的习惯是，新建一个蒸馏项目时会先建一张实验记录表，把教师模型精度、学生模型结构、T、alpha、数据增强策略、验证集精度这六项全部列出来。每一次跑完实验就填一行，过两周回头一看，很多规律自然就浮现出来了。这比反复翻聊天记录和日志高效得多。

如果你刚接触蒸馏，不要怕多跑几组对比实验，把每一次失败的原因记下来，很快你就能建立起自己的调参手感。等你在分类任务上把输出层蒸馏跑熟了，再去试特征蒸馏、检测蒸馏、多教师蒸馏，会发现它们全都是同一套思路的变体。掌握了这个思路，以后不管模型怎么变，你都知道该从哪里下手。