195、大模型蒸馏与压缩：知识蒸馏与VLA模型轻量化上周在调试一个7B参数的VLA模型部署到机械臂实机时，显存直接爆掉——16G的4090连前向推理都跑不动，更别提实时控制。当时我盯着nvidia-smi里那个红得发紫的占用率，脑子里只有一个念头：这玩意儿要是不能瘦身，实验室那台破机器人永远只能活在仿真里。后来折腾了三天，把模型从7B压到1.8B，精度只掉了不到3个点，机械臂抓取成功率反而因为延迟降低提升了2%。今天就把这套知识蒸馏加轻量化的完整流程拆开揉碎讲清楚，全是踩过坑换来的经验。知识蒸馏到底在蒸馏什么很多人以为蒸馏就是让小模型模仿大模型的输出概率分布，这话对了一半。真正有价值的蒸馏目标不是最终的softmax输出，而是中间层的特征表示和注意力模式。VLA模型和纯语言模型不一样，它要同时处理视觉token、语言指令和动作序列，三个模态的信息在Transformer层里相互纠缠。如果你只蒸馏最后一层的动作头，小模型学到的只是"结果"，学不到"为什么这么决策"。我踩过的第一个坑就是只对动作头做KL散度损失。当时小模型在训练集上loss降得飞快，一到真实场景就抓瞎——因为视觉特征和语言特征的耦合关系完全没学到。后来改成分层蒸馏，让student模型每一层的hidden state都去对齐teacher模型的对应层，效果立刻不一样了。具体做法是给每一层加一个投影头，把student的维度映射到teacher的维度，然后算MSE损失。注意这里投影头只在训练时用，推理时直接丢掉，别傻乎乎地留在模型里。蒸馏损失函数的设计细节损失函数不能简单加权求和，得根据 195、大模型蒸馏与压缩：知识蒸馏与VLA模型轻量化
195、大模型蒸馏与压缩：知识蒸馏与VLA模型轻量化上周在调试一个7B参数的VLA模型部署到机械臂实机时，显存直接爆掉——16G的4090连前向推理都跑不动，更别提实时控制。当时我盯着nvidia-smi里那个红得发紫的占用率，脑子里只有一个念头：这玩意儿要是不能瘦身，实验室那台破机器人永远只能活在仿真里。后来折腾了三天，把模型从7B压到1.8B，精度只掉了不到3个点，机械臂抓取成功率反而因为延迟降低提升了2%。今天就把这套知识蒸馏加轻量化的完整流程拆开揉碎讲清楚，全是踩过坑换来的经验。知识蒸馏到底在蒸馏什么很多人以为蒸馏就是让小模型模仿大模型的输出概率分布，这话对了一半。真正有价值的蒸馏目标不是最终的softmax输出，而是中间层的特征表示和注意力模式。VLA模型和纯语言模型不一样，它要同时处理视觉token、语言指令和动作序列，三个模态的信息在Transformer层里相互纠缠。如果你只蒸馏最后一层的动作头，小模型学到的只是"结果"，学不到"为什么这么决策"。我踩过的第一个坑就是只对动作头做KL散度损失。当时小模型在训练集上loss降得飞快，一到真实场景就抓瞎——因为视觉特征和语言特征的耦合关系完全没学到。后来改成分层蒸馏，让student模型每一层的hidden state都去对齐teacher模型的对应层，效果立刻不一样了。具体做法是给每一层加一个投影头，把student的维度映射到teacher的维度，然后算MSE损失。注意这里投影头只在训练时用，推理时直接丢掉，别傻乎乎地留在模型里。蒸馏损失函数的设计细节损失函数不能简单加权求和，得根据 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
