1. 为什么我把优化器当成训练成败的胜负手先说个结论同一份模型结构、同一份数据优化器从Adam换成SGD再换成LAMB训练曲线可能天差地别。这不是玄学是优化器本质上决定了模型参数沿着哪个方向、以多大步长、怎么调节地走向收敛。Model-Optimizer这个词往小了说是optimizer.zero_grad()到optimizer.step()之间那几行代码往大了说是整个训练系统里最值得反复打磨的环节。我自己带过不少训练项目见过最典型的失败场景是模型结构没问题数据预处理也没问题但loss卡在某个值上震荡不降或者一上来就NaN。排查到最后绝大多数时候问题出在优化器参数没配好或者优化器本身选得不对路。更让人头疼的是这种问题通常不会当场报错而是让损失函数曲线告诉你哪里不对劲等反应过来往往已经浪费了好几天的机器时间。这篇文章不是纯粹的理论科普我想结合自己从CV分类、NLP文本生成到多卡分布式训练中踩过的坑把优化器的底细、选型思路、调参方法、以及大模型场景下的特殊处理方式都串一遍。适合正在被loss震荡折磨的入门同学也适合想把手头训练效率再往上提一提的工程师。看完你会发现优化器不是“随便选一个默认的就行”它值得你花一整天去认真理解。2. 从梯度下降到现代优化器本质只是在回答三个问题2.1 梯度下降的朴素质朴与两个致命缺陷机器学习训练的核心逻辑大家都清楚算loss对参数的梯度然后让参数沿着梯度的反方向走一步。这个“走一步”到底怎么走就是优化器在做的事。朴素的SGD长这样param - learning_rate * gradient它只回答了一个问题往哪走。但它完全没考虑到另外两个关键问题走多快合适走过的路能不能给接下来的决策提供参考这带来的直接后果是如果learning rate设大了参数会在最优解附近反复横跳loss曲线呈现密集的锯齿状设小了收敛速度慢到让人怀疑人生。而且不同参数稀疏度不一样——有些参数梯度大、有些梯度小统一的步长实际上是非常粗暴的。2.2 动量机制是怎么稳住训练方向的为了解决“往哪走”过于随机的问题Momentum引入了历史梯度的累积velocity momentum * velocity gradient param - learning_rate * velocity这个看着简单的改动实际上是在给参数的运动加一个惯性。比如你从山顶滚球下山球不会因为一小块凸起的石头立刻掉头而是会顺着整体趋势继续冲下去。动量机制的作用也类似它能平滑梯度震荡减少参数在局部窄沟里的来回抖动加速通过平坦区域。我自己在训练ResNet类模型时如果发现loss下降慢但很平稳第一反应就是把SGD的momentum从0.9提到0.95。代价是收敛更慢热一些但往往能换来更低的最终loss。2.3 自适应学习率每个参数都该有“私人步长”动量和SGD解决的是方向问题但步长问题依然是全局统一的。AdaGrad的想法很聪明对每个参数累积历史梯度的平方和让更新幅度和历史梯度能量成反比。稀疏特征比如推荐系统里那些出现次数极少的ID特征就能得到更大的更新步长。AdaGrad的问题是累积的平方和单调递增越到后面步长越小最终彻底走不动。RMSProp给这个累积加了个指数衰减的窗口让近期梯度的影响力更大解决了历史包袱过重的问题。到了Adam这里把动量机制和RMSProp的RMS归一化机制合到一起既保留了历史方向参考又有了逐参数的自适应步长。这之后的大多数优化器本质上都是在Adam这个框架上做改进。理解这一层你再看AdamW、LAMB、Lion的时候就不会觉得是全新的东西而是同一个思想的变体。2.4 Model-Optimizer的评分维度快、稳、省现在可以给优化器下一个实用主义的定义了它是一个平衡三角色力的决策器即收敛速度、训练稳定、资源开销。快同等epoch数下达到更低loss或者在相同loss目标下用更少迭代步数。稳不炸点NaN、不震荡、对learning rate不极度敏感。省训练时额外占用显存少通信开销低特别是大模型动辄几百亿参数的时候。我见过太多人只盯着“快”结果换来的是训练中期一波陡峭的loss上升然后整个训练白跑。优化器选型那章我会具体讲怎么在三个维度之间做取舍。3. 主流优化器的演进路线与真实选型边界3.1 AdamW为什么成了很多人默认的起点先讲Adam和AdamW的区别因为这是最容易踩坑的地方。经典Adam在实现里把权重衰减weight decay直接加到了梯度更新项里也就是把L2正则和基于梯度大小的归一化流程绕到了一起。但Adam这种自适应方法本身就会按梯度的二阶矩重新缩放每个参数的学习率权重衰减直接加在梯度上等效的L2惩罚效果会被严重扭曲。AdamW的贡献就是把权重衰减从梯度里拆出来改在参数更新完成后单独执行。这个改动的意义在于你能真正通过weight decay控制模型的复杂度而不用管当前这个参数梯度的尺度。现在主流大模型训练基本都会用AdamW而不是Adam。一个具体建议如果你在搞Transformer结构或LLM微调直接用AdamWlearning rate初始值设在1e-5到3e-4之间weight decay按数据量和过拟合情况在0.01到0.1之间调。这组参数虽然听起来像经验值但背后对应的是化合物式的“梯度稀疏自适应步长”的结构需求不是拍脑袋定的。3.2 LAMB和Lion大模型训练的特殊选手LAMBLayer-wise Adaptive Moments是针对大batch size场景设计的。它把自适应学习率从“每个参数”扩展成了“每一层”每一层可以有自己的更新尺度。这样做首先缓解了直接用AdamW跑大批量训练时出现的收敛不稳定问题其次在大batch下它允许把learning rate开得很大比如batch size从256提到4096时LAMB可以直接把lr从3e-4提到0.003甚至更高训练收敛速度大幅提升。Lion大家可能不太熟它来自Google 2023年的一篇工作核心思想是把动量符号化只保留历史梯度的符号而不是具体数值。这个改动几乎是免费的显存优化——符号只需要1 bit存储还能在部分视觉任务上取得比AdamW更好的泛化效果。我自己在ViT模型上实验过Lion的warmup时长需要拉长直接上会容易炸但调顺之后收敛曲线是很漂亮的。3.3 选型表什么场景下你该用哪个优化器不是越新的优化器就越好用真正常用组合也就那么几个。我把它们按任务类型做了个分类场景推荐优化器learning rate参考核心理由中小规模CNN/图像任务SGD Momentum / AdamWSGD: 0.1配学习率衰减SGD泛化性稳AdamW省心文本分类/序列模型AdamW1e-5 到 3e-4收敛平稳调试成本低大batch分布式训练LAMB0.001 到 0.01layer-wise自适应支持大lr大语言模型预训练AdamW或带ZeRO状态切片1e-4 到 3e-4配合warmup与cosine调度最好视觉分类/迁移学习Lion3e-4需较长warmup显存友好泛化略优强化学习策略梯度Adam3e-4对非平稳分布适应性强需要特别说明的是这些数值只是起点最终都要按你的模型深度、batch size做scaling调整。后面第五章我会给出具体的调试路径。4. 训练现场最容易踩的优化器坑及排查链路4.1 loss一上来就NaN到底是谁的锅这是我被问得最多的问题之一。流程一般是改成默认AdamWloss没几步就变NaN。你第一反应可能是数据有问题或者模型输出溢出但我排查下来大部分情况是下面三条learning rate过大AdamW的自适应机制在初始阶段并不完全安全前几步梯度极大如果lr按3e-3起步warmup没做好数值很容易上溢。先按现有lr除以10看是不是立刻恢复正常。混合精度下的loss scale失控用了AMP自动混合精度训练fp16的梯度动态范围窄如果loss scale在某一步连续溢出就会跳到一个极小的scale值然后用剩下的位数去表达梯度NaN就出现了。这时候检查loss scaler的日志看是不是有连续的overflow记录。除零或log里出现负数这种情况更隐蔽。比如某些库的loss函数在内部做了log(0)输出是无穷大反向传播后梯度带着无穷大值进入优化器。检查方式是单独用CPU跑一次前向把中间输出打印出来。排查链路我建议固定成一条先跑CPU小数据前向排除模型和数据问题再检查lr和warmup最后看AMP的loss scale日志。别一上来就怀疑优化器那会让你在错误的方向上浪费很久。4.2 weight decay该不该和AdamW一起用用多少很多框架的默认配置里AdamW自带了一个weight decay值。但它在不同任务里的意义不同CV任务中weight decay往往和batch size同比例增长NLP任务中默认0.01通常就够生成模型里如果发现过拟合极其严重优先考虑增强数据而不是继续往上加weight decay因为超过0.1后容易出现“更新被衰减主导”的问题loss下降会变得非常迟钝。还有一个容易忽略的点weight decay的生效方式和参数分组有关。如果你的模型里有bias和LayerNorm的gamma/beta这类参数best practice是不加weight decay因为它们对缩放本身有依赖。具体做法是在构建optimizer时用param_groups分组把需要weight decay和不需要的分开。这听起来是个小细节但对微调任务稳定性影响很大。4.3 scheduler和优化器一个被低估的配套系统优化器本身只决定每一步怎么走但整趟旅程的整体步长规划是由学习率调度器来定的。我见过有人把AdamW的lr设成3e-4却忘了加warmup结果训练前500步的loss大幅震荡也见过lr用cosine衰减到极小值后还在继续训练导致模型在后期丧失微调能力。常用的组合是warmup cosine decay。warmup阶段通常是总步数的1%到5%让lr从0线性涨到预设峰值避免初始梯度剧烈变化cosine阶段让lr以余弦形式平滑降到一个接近0的小值。这套组合在Transformer类模型上几乎成了标配。具体实操上我建议把峰值lr写成一个config常量warmup步数按epoch自动计算。训练时不仅要看loss曲线也要把当前lr打点记录到日志里否则你很难区分loss下降是因为模型学会了还是只是因为lr变小了。4.4 batch size变化优化器参数也要跟着改如果你从batch size 32改成batch size 256优化器参数不能原封不动。这里有一个简单的参考方法线性缩放原则。batch size翻倍lr大致也翻倍但同时要配合更长的warmup因为放大lr会让初始阶段更不稳定。LAMB这类layer-wise方法对batch size放大的容忍度更高不需要严格按线性缩放调lr。不少人在多卡起步阶段栽过这个跟头单卡调好的参数直接上8卡结果loss发散了。不是模型问题只是因为总batch size变了8倍lr还停在原来的值上。5. 大模型场景下优化器面临的不是算法问题而是资源问题5.1 optimizer state占的显存可能比模型本身还多训练一个模型时显存里装的不只是模型参数和激活值还有优化器状态。以AdamW为例每个参数要额外保存一份一阶动量fp32的float4字节和一份二阶动量也是4字节模型的fp32主权重还要单独存一份4字节这意味着AdamW训练时单个参数动辄占用16字节以上远远超过模型本身推理时的4字节甚至2字节。举例来说一个7B参数的模型仅参数和AdamW优化器状态就需要大约56GB的显存7B*2444如果模型fp16存是2字节。这还没算激活值、梯度和中间缓存。所以你会发现大模型训练里的很多“优化器”创新其实是围绕怎么减少这些状态的内存和通信而展开的。5.2 ZeRO和FSDP如何把optimizer state分片出去既然一个机器装不下那就把优化器状态切碎分散到多张卡上。ZeRO-Stage 1只对optimizer state做分片每张卡只更新自己负责的那部分参数状态再用all-gather把更新后的参数同步回来。ZeRO-Stage 2进一步把梯度也分片Stage 3再把模型参数本身也分片。FSDPPyTorch原生实现基本就是ZeRO思想的训练框架化。这里有个容易搞错的地方很多人以为用了FSDP就等于优化器也自动换掉了。其实优化器对象还是那个AdamW只是现在它的状态被分到了多卡上。你在写代码时感知不到差异但显存变化是肉眼可见的。我在4卡A100上跑13B模型微调不开FSDP直接OOM开了FSDP且配置Stage 2之后单卡显存从80GB掉到了40GB左右训练步数基本没变慢多少。5.3 混合精度下的优化器简单但有用的显存节约除了分片最直接的显存压缩手段是混合精度训练。核心思路是模型参数和梯度保留fp16/BF16用于前向和反向计算但优化器维护一份fp32的“主权重”。这份fp32权重在每次更新时被优化器修改然后cast回fp16用于下一次前向。这样做的原因是纯fp16训练时梯度更新极易出现浮点精度不足的问题。BF16比FP16有更大的指数位范围更宽对大模型训练更友好因为它不太容易出现inf/NaN代价是尾数精度低。现在主流大模型框架里BF16几乎成了默认选择。如果你追求极致显存节省还可以用8位优化器比如bitsandbytes的8bit Adam代价是训练收敛曲线略有波动但对微调场景完全够用。5.4 分布式通信在优化器这条链路上的作用大模型训练中优化器每一步更新都逃不掉通信。最常见的是all-reduce每张卡算出自己的局部梯度后需要把所有卡上的梯度做求和平均才能拿到全局梯度进入优化器。这个通信的耗时与模型参数总量、卡数、网络带宽强相关常常成为训练吞吐的瓶颈点。现在框架里做的梯度累积gradient accumulation其实也影响通信频率每一微batch只算梯度不更新攒够多个微batch后再做优化。它的目的不是省显存而是用更少的通信次数模拟更大的batch。使用时要特别注意warmup和lr的换算因为实际有效batch变了。6. 长期调优化器后总结出的一套实践模板与经验建议6.1 一个新任务我建议按这个顺序起步不要一上来就搜“哪个优化器最好”先把下面这套流程跑通用AdamWlr设3e-4Transformer或1e-3CV小模型weight decay设0.01warmup设总步数的3%schedule用cosine。把batch size开到刚好放得进显存但别用梯度累积强行撑到很大。先做短训练验证比如总步数的5%重点观察loss是不是在稳定下降有没有震荡和NaN。稳定后再尝试把lr翻倍或减半记录收敛速度和最终loss形成一个小对比表。如果前几步loss下降太慢检查是不是warmup过长如果后期loss不降再看schedule的min lr是不是太小。这套流程的好处是每一步只改一个变量问题能快速定位。等你的项目已经跑过几轮完整训练后再考虑换LAMB或Lion这些特殊优化器。6.2 我踩过的具体案例三个可以复现的问题参考第一个案例是一个BERT微调任务。我直接把lr设成5e-5batch set为16训练2个epoch验证集F1始终比同参数AdamW低1到2个百分点。后来发现问题是eval时加载的还是upstream的未训练权重而不是我训练完保存的最优checkpoint。这虽然看着和优化器无关但这类“假优化问题”恰恰最容易让人误判优化器效果。第二个案例是ViT在图像分类上的Lion实验。我把warmup从2000步提到5000步后训练从初期的剧烈波动转为稳定收敛。Lion的beta值也需要调默认的0.9/0.99在有些任务上过于激进。这种超参联动性问题需要你有耐心做一组正交实验别一次调两个变量。第三个案例是关于混合精度训练中loss scale的表现。我发现某个特定seed下训练到3000步附近loss总是突然飘高排查日志后看到有连续的gradient overflow。把max_grad_norm从1.0降到0.5后问题消失。这类问题非常迷惑人因为它只在特定阶段出现但根因仍是优化器收到了异常梯度。6.3 如果你要把这个实践推广到新团队或新项目如果你在带团队或者想把这两年的优化器经验固化下来我建议把这套内容沉淀成三样东西一份模型训练模板配置一份梯度日志规范把loss、lr、grad norm、weight norm、loss scale等整齐打印到本地文件一份优化器选型决策表。好的优化器实践不是调出一个完美数字就完事而是让每个后续项目都能快速复用这套判断框架。至于那些动不动就说“推荐用某某SOTA优化器保证效果拔群”的说法听听就好。模型效果是数据、结构、训练策略共同作用的结果优化器只是其中一环但它决定着你前面的所有努力能不能顺利到达终点。把这一环吃透你调什么模型心里都会更有底。