1. 大模型蒸馏到底在蒸什么

第一次听到“蒸馏”这个词，很多人会联想到酿酒——把一大锅发酵液加热，让酒精挥发再冷凝收集，最后得到浓度更高的烈酒。大模型蒸馏的逻辑几乎一模一样：把一个大模型（教师模型）里学到的“知识精华”提取出来，灌进一个小模型（学生模型）里，让小模型用更少的参数、更低的算力，跑出接近大模型的水平。

这件事听起来太美了。大模型动辄几百亿甚至上千亿参数，推理一次的成本让很多团队肉疼；小模型可能只有几亿参数，部署在边缘设备上都能跑。如果能用蒸馏把大模型的能力“压缩”下来，那简直是降本增效的终极答案。

但问题恰恰出在这个“听起来太美”上。我在实际项目里踩过的坑告诉我：蒸馏不是免费的午餐，它更像是一张信用卡——你刷的时候很爽，账单迟早会来，而且往往带着利息。

1.1 教师模型到底教了什么

要理解蒸馏的隐患，得先搞清楚教师模型到底传了什么给学生。最经典的蒸馏方法叫知识蒸馏，核心思想是让学生模型去拟合教师模型的软标签，而不是训练集里的硬标签。

举个例子。假设训练集里有一张猫的图片，硬标签就是“猫，概率1.0”。但教师模型输出的软标签可能是“猫0.85，狗0.10，狐狸0.05”。这个软标签里藏着大量信息：教师模型知道这张图有点像狗，也有点像狐狸，只是最像猫。这种“类间相似性”的知识，是硬标签给不了的。

学生模型学软标签，相当于在学教师模型的“判断逻辑”，而不只是“最终答案”。这就是蒸馏能work的根本原因。

但这里有个关键细节：软标签的质量完全取决于教师模型。如果教师模型本身在某些场景下就是错的，学生模型会把这些错误当成“知识”忠实地继承下来。更麻烦的是，学生模型没有能力分辨“教师是深思熟虑后给出这个答案”还是“教师在这里就是瞎猜的”。

1.2 温度参数：蒸馏的油门和刹车

蒸馏里有一个绕不开的参数叫温度T。教师模型输出logits后，会除以温度T再做softmax。T越大，输出的概率分布越平滑，软标签里的“暗知识”越丰富；T越小，分布越尖锐，越接近硬标签。

我见过不少团队在调这个参数时非常随意，觉得“差不多就行”。但实测下来，T的选择对蒸馏效果影响巨大。T太大，学生学到的信号太弱，训练收敛慢；T太小，软标签退化成硬标签，蒸馏退化成普通训练，教师的知识根本没传过来。

经验值：分类任务里T通常取2到10之间，NLP生成任务里T取1到4比较常见。但这不是铁律，得根据教师模型的输出分布来调。

更隐蔽的问题是：温度参数在训练时用一套，推理时又用另一套。训练时T=5让软标签更丰富，推理时T=1让输出更确定。这种“训练-推理不一致”本身就会引入偏差，只是很多团队没意识到。

1.3 蒸馏的几种主流玩法

现在市面上蒸馏方法五花八门，但归根结底就几类：

每种方法都有各自的“回旋镖”。响应蒸馏最直接，但学生只能看到教师的“答案”，看不到“解题过程”；特征蒸馏试图让学生学中间表示，但教师和学生的网络结构往往不同，强行对齐可能适得其反；关系蒸馏听起来高级，但“关系”本身怎么定义就是个玄学问题。

我个人的体会是：蒸馏方法越复杂，引入的隐性假设越多，远期翻车的概率越大。简单的方法虽然效果上限低，但至少你知道问题出在哪。

2. 那些标好价格的捷径

蒸馏之所以诱人，是因为它提供了一条“捷径”：不用从头训练，不用海量数据，不用巨额算力，就能得到一个还不错的小模型。但所有捷径都有代价，只是账单来得早晚不同。

2.1 能力天花板：学生永远超不过教师

这是蒸馏最根本的局限，也是最容易被忽视的。学生模型的能力上限，在蒸馏那一刻就被教师模型锁死了。教师不会的东西，学生大概率也不会；教师会但教不好的东西，学生也学不会。

我参与过一个对话系统的蒸馏项目。教师模型是一个千亿参数的大模型，学生模型目标是把参数压到十分之一。蒸馏完成后，学生模型在通用对话上表现确实不错，但一遇到需要多步推理的问题就露馅了。我们回头分析发现，教师模型本身在多步推理上就时好时坏，学生只是把这种“不稳定”放大了。

更麻烦的是，教师模型的弱点往往在蒸馏过程中被放大。因为学生模型容量小，它没有足够的“冗余”来平滑教师的错误。教师偶尔犯的错，学生可能当成规律学走了。

2.2 数据分布的诅咒

蒸馏用的数据分布，决定了学生模型的能力边界。如果蒸馏数据只覆盖了教师能力的某个子集，学生就只在这个子集里表现好。

很多团队为了省事，直接用教师模型生成一批数据来蒸馏。这看起来合理，但有个致命问题：教师生成的数据本身就带有教师的偏见。教师喜欢用某种句式，学生就学这种句式；教师对某些话题回避，学生也回避。

我见过一个案例：某团队用教师模型生成客服对话数据来蒸馏学生模型。教师模型在生成数据时，对“退款”类问题总是给出比较官方的回复。学生模型学完之后，遇到退款问题就只会背模板，完全不会根据具体情况灵活处理。这就是数据分布诅咒的典型表现。

避坑技巧：蒸馏数据一定要混合真实数据和教师生成数据，比例建议至少3:7。真实数据负责“接地气”，教师数据负责“传知识”。

2.3 算力账背后的隐形成本

蒸馏的算力账很好算：教师模型推理一批数据，学生模型训练几轮，完事。相比从头预训练，这简直是白菜价。

但隐形成本呢？

第一，教师模型的推理成本。如果蒸馏数据量很大，教师模型推理一遍的算力消耗可能远超预期。我见过一个团队为了蒸馏一个7B模型，用175B的教师生成了上亿条数据，光教师推理就烧掉了相当于学生训练十倍的算力。

第二，调参的人力成本。蒸馏涉及温度、权重、数据配比、训练轮数等一堆超参数，调起来非常耗时。而且这些参数之间相互影响，不是简单的网格搜索能搞定的。

第三，迭代成本。教师模型升级了，学生模型要不要重新蒸馏？重新蒸馏意味着之前调好的参数可能全部作废。如果不重新蒸馏，学生就落后了。这个账很多团队在立项时根本没算。

2.4 评估陷阱：你测的真的是你想测的吗

蒸馏项目最容易翻车的地方在评估环节。很多团队用教师模型的测试集来评估学生模型，发现指标还不错，就认为蒸馏成功了。但这里有个逻辑漏洞：教师模型的测试集，测的是教师模型的能力，不是学生模型的能力。

学生模型可能在教师测试集上表现好，但在真实场景里一塌糊涂。因为真实场景的数据分布、任务类型、边界情况，可能和教师测试集完全不同。

我建议的评估方案是：至少准备三套测试集。一套是教师模型的原始测试集，用来对比学生和教师的差距；一套是真实业务场景的测试集，用来评估实际可用性；还有一套是“对抗测试集”，专门收集教师模型容易出错的案例，看学生是不是也犯了同样的错。

3. 远期回旋镖：那些延迟爆发的隐患

蒸馏的隐患不是立刻显现的，它们像回旋镖一样，扔出去的时候很爽，飞回来的时候砸得你措手不及。

3.1 偏见继承与放大

教师模型的偏见，学生会原封不动地继承，甚至放大。因为学生模型容量小，它没有足够的“空间”来学习“什么情况下应该忽略教师的偏见”。

举个例子。假设教师模型在训练数据里学到了“护士”和“女性”的关联更强。学生模型在蒸馏时，会把这种关联学得更“死”——因为学生模型参数少，它倾向于把统计规律简化成更极端的规则。结果就是，学生模型在性别偏见上可能比教师更严重。

这个问题在业务场景里非常危险。一个招聘筛选系统，如果蒸馏后的学生模型对某些群体有系统性偏见，后果不堪设想。而且这种偏见很难被发现，因为它藏在模型的“潜意识”里，常规测试根本测不出来。

3.2 分布外泛化能力崩塌

蒸馏后的学生模型，在训练分布内表现往往不错，但一旦遇到分布外数据，性能可能断崖式下跌。

原因很简单：学生模型学的是教师模型在特定数据分布上的“输入-输出映射”，而不是教师模型的“推理能力”。当输入分布变了，教师模型可能还能靠泛化能力应付，学生模型就直接懵了。

我做过一个实验：用新闻分类数据蒸馏一个学生模型，在新闻测试集上准确率95%。然后拿这个学生模型去分类社交媒体帖子，准确率直接掉到60%。教师模型在社交媒体帖子上还有80%的准确率。这就是分布外泛化能力的差距。

实操建议：蒸馏时一定要加入一定比例的分布外数据，哪怕这些数据没有标签，让学生模型至少“见过”更广的输入分布。

3.3 安全对齐的脆弱性

现在的大模型都要做安全对齐，确保不会输出有害内容。蒸馏后的学生模型，安全对齐往往是最先崩塌的环节。

原因在于：安全对齐是一种“元能力”，它要求模型在生成过程中实时判断“这个回答安不安全”。这种能力需要模型有足够的容量来同时处理“回答问题”和“安全检查”两个任务。学生模型容量小，蒸馏时如果安全数据占比不够，学生就会优先学“怎么回答问题”，而忽略“怎么安全地回答”。

更麻烦的是，安全对齐的崩塌往往是渐进式的。一开始学生模型只是偶尔输出不太合适的内容，随着使用场景变化，问题会越来越严重。等到发现的时候，可能已经造成了实际影响。

3.4 迭代维护的泥潭

蒸馏不是一锤子买卖。教师模型会升级，业务需求会变化，数据分布会漂移。每次变化，学生模型都需要重新蒸馏或微调。

但重新蒸馏意味着什么？意味着之前调好的温度参数、数据配比、训练策略可能全部失效。因为教师模型变了，它的输出分布变了，最优的蒸馏参数也变了。

我见过一个团队，每三个月就要重新蒸馏一次学生模型。每次蒸馏都要重新调参、重新评估、重新上线。一年下来，花在蒸馏维护上的精力，比从头训练一个专用小模型还多。

这就是蒸馏的“远期回旋镖”：你以为省了训练成本，结果把成本转移到了维护环节，而且维护成本是持续性的、不可预测的。

4. 怎么蒸才不翻车

说了这么多隐患，不是要否定蒸馏。蒸馏依然是模型压缩最有效的手段之一，关键是怎么用、什么时候用、用到什么程度。

4.1 教师选择：不是越大越好

很多人觉得教师模型越大，蒸馏效果越好。但实测下来，教师模型和学生模型的容量差距不能太大。差距太大，学生根本“理解不了”教师的知识，蒸馏效果反而差。

我建议的容量比是：学生模型参数量至少是教师模型的十分之一。比如要蒸馏一个1B的学生模型，教师模型最好在10B左右。如果教师是100B，学生是1B，差距100倍，蒸馏效果往往不理想。

另外，教师模型的选择还要看任务匹配度。一个通用大模型，在特定任务上可能不如一个专门微调过的中等模型。用专门模型当教师，蒸馏效果往往更好。

4.2 数据配比：真实数据是锚

蒸馏数据配比是个技术活。我的经验公式是：

• 真实标注数据：30%
• 教师生成数据：50%
• 分布外无标签数据：20%

真实数据负责“锚定”学生模型的基本能力，防止它跑偏；教师数据负责传递“暗知识”；分布外数据负责拓宽学生的视野。

这个比例不是固定的，要根据任务调整。如果任务比较垂直，真实数据可以少一些；如果任务开放性强，真实数据要多一些。

4.3 训练策略：分阶段比一步到位好

一步到位的蒸馏，效果往往不如分阶段训练。我推荐的流程是：

1. 预热阶段：用真实数据先训练学生模型几轮，让它有个基础。
2. 蒸馏阶段：加入教师软标签，让学生学教师的判断逻辑。
3. 微调阶段：用高质量真实数据微调，修正蒸馏引入的偏差。
4. 对齐阶段：用安全数据做对齐，确保输出合规。

每个阶段的目标不同，超参数也要相应调整。预热阶段学习率可以大一些，蒸馏阶段要小一些，微调阶段更小。

4.4 评估体系：多维度、多场景

评估不能只看准确率。我建议的评估维度包括：

每个维度都要有明确的阈值。比如安全合规，有害输出率必须低于某个值，否则一票否决。

4.5 长期维护：把蒸馏当产品，不是项目

蒸馏不是做完就完了，它需要长期维护。我建议的做法是：

• 建立教师模型版本管理：每次教师升级，评估是否需要重新蒸馏。
• 监控学生模型线上表现：设置性能告警，发现下降及时排查。
• 定期更新蒸馏数据：业务在变，数据也要跟着变。
• 保留从头训练的选项：如果蒸馏维护成本太高，果断切换方案。

最后分享一个我踩过的坑：曾经为了赶进度，用教师模型生成的数据直接蒸馏，没有混合真实数据。结果学生模型上线后，在真实场景里表现极差，因为教师生成的数据太“干净”了，没有真实数据的“噪声”。后来重新蒸馏，混合了30%真实数据，效果才达标。这个教训让我明白：蒸馏可以走捷径，但不能跳过真实。

蒸馏的远期回旋镖，本质上是“用短期便利换长期风险”。如果你能接受这个交换，并且做好了应对风险的准备，蒸馏依然是值得的。但如果你指望蒸馏能一劳永逸，那回旋镖迟早会飞回来。