verl 中 MTP 的三种训练模式仅加载、全参数、仅 MTP 参数怎么配置和选择【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl在 verl 中对带 MTPMulti-Token Prediction模块的模型如 mimo-7B-RL、Qwen-next、Deepseek 系列做 SFT 或 RL 训练时需要决定 MTP 模块以哪种方式参与只加载不训练、全参数训练、还是冻结 Encoder 只训 MTP 参数。本文基于 MTP 官方指南 和仓库内两个示例脚本说明三种模式的配置位置、参数写法以及文档给出的实验结论如何帮助选择最后给出 RL 与 SFT 两条可直接对照的启动路径和验证方式。前提MTP 训练只支持特定的训练引擎组合docs/advance/mtp.md 明确了支持范围配置之前先确认自己的环境落在支持范围内训练引擎只支持mbridge/Megatron-Bridge megatron组合其他训练引擎暂不兼容推理引擎兼容所有引擎但模型必须在对应引擎的兼容列表内依赖版本文档给出的组合要求mbridge需包含 PR #62 的补丁已合入 main 分支Megatron-Bridge若要跑 mimo-7B-RL需应用 PR #2387 的补丁文档标注未来会合入 mainmegatron使用 dev 版本 commit23e092f41ec8bc659020e401ddac9576c1cfed7e支持 MTP CP 训练如果额外启用recompute_granularityfull必须改用包含 PR #3457 的 dev commitffd66a3e62026-06-03——固定 commit 比它早约半年且megatron-core0.18.0 / 0.18.2 也未包含该修复否则第一步训练就会因MultiTokenPredictionLayer收到未声明的padding_mask关键字而抛TypeErrorsglang使用fix_mtp_update_weights_from_tensor分支该分支修复 MTP update weights from tensor 的 OOM 问题。另外RL 示例脚本 中有一条必须执行的前置步骤下载模型后要在模型的config.json中设置max_position_embeddings32768否则按脚本默认配置跑不起来。三种模式的配置参数在哪改所有 MTP 配置都以模型配置下的mtp段为前缀RL 训练脚本中是actor_rollout_ref.model.mtp见 RL 脚本SFT 训练脚本中是model.mtp见 SFT 脚本。这些字段的定义见 MtpConfig默认值与 hf_model.yaml 一致enableFalse、enable_trainFalse、detach_encoderFalse、mtp_loss_scaling_factor0.1。官方文档给出的三种训练场景与对应参数配置场景核心参数文档说明仅加载 MTP 参数enableTrue显存占用会增加但导出的参数包含 MTP 模块可直接用于在线部署全参数 MTP 训练enableTrue、enable_trainTrue、mtp_loss_scaling_factor0.1MTP Loss 作用于所有模型参数仅 MTP 参数训练enableTrue、enable_trainTrue、detach_encoderTrue冻结 Encoder 层只更新 MTP 模块参数MTP Loss 只作用于 MTP 参数三者是递进关系enable控制 MTP 参数的加载与保存enable_train控制训练时是否实际使用 MTP 参数detach_encoder在全参数训练基础上进一步冻结 Encoder把梯度限制在 MTP 模块内。mtp_loss_scaling_factor是 MTP Loss 的缩放系数配置默认值为 0.1。怎么选文档给出的实验结论选型依据直接来自文档在 mimo-7B-math、max_response_length8k上的实验结果对训练结果无显著影响的配置基座模型本身不带 MTP 参数基座模型带 MTP 参数但 MTP 模块不参与训练基座模型带 MTP 参数并训练 MTP但mtp_loss_scaling_factor0基座模型带 MTP 参数、训练 MTP 且 detach encodermtp_loss_scaling_factor0.1。对训练结果有显著影响的配置只有基座模型带 MTP 参数MTP Loss 作用于所有模型参数且mtp_loss_scaling_factor0.1即全参数训练模式。文档同时给出的推荐训练方式是detach_encoderTrue。注意这是文档原文并列的两条结论实验上只有全参数模式影响主训练结果而推荐做法是 detach encoder 只训 MTP 参数——选择时以基座模型是否自带 MTP 参数为前提不带 MTP 参数的模型上任何 MTP 配置都不会产生效果再按上述结论取舍。主路径RL 训练脚本对应仅 MTP 参数模式examples/mtp_trainer/run_mimo_7b_mtp_megatron.sh 是 MiMo-7B 上 SGLang rollout Megatron 训练的完整 RL 脚本其 MTP 配置同时打开了enable、enable_train、detach_encoder即上表第三种模式MODEL( actor_rollout_ref.model.path$MODEL_PATH actor_rollout_ref.model.use_remove_paddingTrue actor_rollout_ref.model.trust_remote_codeTrue actor_rollout_ref.model.mtp.enableTrue actor_rollout_ref.model.mtp.enable_trainTrue actor_rollout_ref.model.mtp.mtp_loss_scaling_factor${mtp_loss_scaling_factor} actor_rollout_ref.model.mtp.detach_encoderTrue )${mtp_loss_scaling_factor}是脚本内定义的用户可调变量默认 0.1。脚本关键默认值MODEL_PATH${MODEL_PATH:-XiaomiMiMo/MiMo-7B-RL} NNODES${NNODES:-1} NGPUS_PER_NODE${NGPUS_PER_NODE:-8} train_file${TRAIN_FILE:-$HOME/data/dapo-math-17k/train.parquet} val_file${VAL_FILE:-$HOME/data/aime-2024/test.parquet}数据文件默认放在$HOME/data/下需要读者自行准备或通过TRAIN_FILE/VAL_FILE环境变量替换成实际路径。并行度默认actor 侧 TP2、PP2、CP2 且开启参数/优化器 offloadrollout 侧使用 SGLangTP4。启动方式摘自脚本须在 verl 仓库根目录执行uv run --frozen --all-packages --extra sglang --extra megatron python3 \ -m verl.trainer.main_ppo \ ... \ model_enginemegatron脚本默认通过uv走提交的 lockfile 加载sglang与megatron两个 extras 的依赖设置VERL_USE_UV0时回退到系统 Python。切换到全参数模式时只需把actor_rollout_ref.model.mtp.detach_encoder去掉切换到仅加载模式时额外去掉enable_train与mtp_loss_scaling_factor两行。可选路径SFT 训练对应仅加载模式examples/sft/gsm8k/run_mimo_7b_mtp_megatron.sh 用同样的 MiMo-7B 模型在 gsm8k 上做 SFTMTP 段只开了一项即上表第一种模式model.mtp.enableTrue该脚本有两个环境副作用运行前需要知晓它会执行mkdir -p $HOME/pythonpath并把 Megatron-LMdev 分支固定到 commit23e092f41ec8bc659020e401ddac9576c1cfed7e和 mbridgefeature/verl_mtp分支固定到 commit6bf2d45a15dc4fb52d2f0c38ff546bee33447d10clone 到$HOME/pythonpath下然后追加进PYTHONPATH。这需要网络访问且会写入$HOME/pythonpath目录训练入口是脚本内ENTRYPOINT变量定义的-m verl.trainer.sft_trainer数据默认取~/dataset/rl/gsm8k下的train.parquet/eval.parquet可通过DATASET_DIR替换。一个需要留意的版本冲突该脚本设置了engine.override_transformer_config.recompute_granularityfull而 MTP 文档要求此时 megatron 必须使用包含 PR #3457ffd66a3e6的 dev commit但脚本本身固定的是更早的23e092f...commit。两处文档给出的 commit 不一致实际运行时应按 MTP 文档的要求处理 megatron 版本并留意脚本注释中依赖两个不在 master 上的 commit的说明。结果验证RL 路径脚本配置trainer.logger[console,wandb]且test_freq10训练过程通过 console 与 wandb 面板观察每 10 步在 aime-2024 验证集上评测。SFT 路径文档给出的实验观察mimo-7B-math gsm8k结果为文档示例不是固定预期MTP 层对主 loss 的影响有限但当 MTP 层被 detach 时mtp_loss会收敛到更高的值。检查 wandb 曲线时可据此区分 MTP 是否真的在训练。仅加载模式的验证点是导出物文档说明该模式下显存占用会增加但导出的参数包含 MTP 模块可直接用于在线部署。边界与限制本文只覆盖三种训练模式。文档中第四种 MTP Accelerated Rolloutenable_rolloutTrue配合 vLLM 或 SGLang 的投机解码参数属于推理加速场景不在三种训练模式之内且文档实测在 H20 上 mimo-7B SGLang 的 Rollout 吞吐下降约 50%当前建议是推理阶段暂不启用 MTP 加速。基座模型不带 MTP 参数时任何 MTP 训练配置都不会对训练结果产生可观察影响。训练引擎限制不变换用 FSDP 等非 Megatron 训练引擎时MTP 训练不在当前支持范围内。【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 verl 中 MTP 的三种训练模式（仅加载、全参数、仅 MTP 参数）怎么配置和选择？
verl 中 MTP 的三种训练模式仅加载、全参数、仅 MTP 参数怎么配置和选择【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl在 verl 中对带 MTPMulti-Token Prediction模块的模型如 mimo-7B-RL、Qwen-next、Deepseek 系列做 SFT 或 RL 训练时需要决定 MTP 模块以哪种方式参与只加载不训练、全参数训练、还是冻结 Encoder 只训 MTP 参数。本文基于 MTP 官方指南 和仓库内两个示例脚本说明三种模式的配置位置、参数写法以及文档给出的实验结论如何帮助选择最后给出 RL 与 SFT 两条可直接对照的启动路径和验证方式。前提MTP 训练只支持特定的训练引擎组合docs/advance/mtp.md 明确了支持范围配置之前先确认自己的环境落在支持范围内训练引擎只支持mbridge/Megatron-Bridge megatron组合其他训练引擎暂不兼容推理引擎兼容所有引擎但模型必须在对应引擎的兼容列表内依赖版本文档给出的组合要求mbridge需包含 PR #62 的补丁已合入 main 分支Megatron-Bridge若要跑 mimo-7B-RL需应用 PR #2387 的补丁文档标注未来会合入 mainmegatron使用 dev 版本 commit23e092f41ec8bc659020e401ddac9576c1cfed7e支持 MTP CP 训练如果额外启用recompute_granularityfull必须改用包含 PR #3457 的 dev commitffd66a3e62026-06-03——固定 commit 比它早约半年且megatron-core0.18.0 / 0.18.2 也未包含该修复否则第一步训练就会因MultiTokenPredictionLayer收到未声明的padding_mask关键字而抛TypeErrorsglang使用fix_mtp_update_weights_from_tensor分支该分支修复 MTP update weights from tensor 的 OOM 问题。另外RL 示例脚本 中有一条必须执行的前置步骤下载模型后要在模型的config.json中设置max_position_embeddings32768否则按脚本默认配置跑不起来。三种模式的配置参数在哪改所有 MTP 配置都以模型配置下的mtp段为前缀RL 训练脚本中是actor_rollout_ref.model.mtp见 RL 脚本SFT 训练脚本中是model.mtp见 SFT 脚本。这些字段的定义见 MtpConfig默认值与 hf_model.yaml 一致enableFalse、enable_trainFalse、detach_encoderFalse、mtp_loss_scaling_factor0.1。官方文档给出的三种训练场景与对应参数配置场景核心参数文档说明仅加载 MTP 参数enableTrue显存占用会增加但导出的参数包含 MTP 模块可直接用于在线部署全参数 MTP 训练enableTrue、enable_trainTrue、mtp_loss_scaling_factor0.1MTP Loss 作用于所有模型参数仅 MTP 参数训练enableTrue、enable_trainTrue、detach_encoderTrue冻结 Encoder 层只更新 MTP 模块参数MTP Loss 只作用于 MTP 参数三者是递进关系enable控制 MTP 参数的加载与保存enable_train控制训练时是否实际使用 MTP 参数detach_encoder在全参数训练基础上进一步冻结 Encoder把梯度限制在 MTP 模块内。mtp_loss_scaling_factor是 MTP Loss 的缩放系数配置默认值为 0.1。怎么选文档给出的实验结论选型依据直接来自文档在 mimo-7B-math、max_response_length8k上的实验结果对训练结果无显著影响的配置基座模型本身不带 MTP 参数基座模型带 MTP 参数但 MTP 模块不参与训练基座模型带 MTP 参数并训练 MTP但mtp_loss_scaling_factor0基座模型带 MTP 参数、训练 MTP 且 detach encodermtp_loss_scaling_factor0.1。对训练结果有显著影响的配置只有基座模型带 MTP 参数MTP Loss 作用于所有模型参数且mtp_loss_scaling_factor0.1即全参数训练模式。文档同时给出的推荐训练方式是detach_encoderTrue。注意这是文档原文并列的两条结论实验上只有全参数模式影响主训练结果而推荐做法是 detach encoder 只训 MTP 参数——选择时以基座模型是否自带 MTP 参数为前提不带 MTP 参数的模型上任何 MTP 配置都不会产生效果再按上述结论取舍。主路径RL 训练脚本对应仅 MTP 参数模式examples/mtp_trainer/run_mimo_7b_mtp_megatron.sh 是 MiMo-7B 上 SGLang rollout Megatron 训练的完整 RL 脚本其 MTP 配置同时打开了enable、enable_train、detach_encoder即上表第三种模式MODEL( actor_rollout_ref.model.path$MODEL_PATH actor_rollout_ref.model.use_remove_paddingTrue actor_rollout_ref.model.trust_remote_codeTrue actor_rollout_ref.model.mtp.enableTrue actor_rollout_ref.model.mtp.enable_trainTrue actor_rollout_ref.model.mtp.mtp_loss_scaling_factor${mtp_loss_scaling_factor} actor_rollout_ref.model.mtp.detach_encoderTrue )${mtp_loss_scaling_factor}是脚本内定义的用户可调变量默认 0.1。脚本关键默认值MODEL_PATH${MODEL_PATH:-XiaomiMiMo/MiMo-7B-RL} NNODES${NNODES:-1} NGPUS_PER_NODE${NGPUS_PER_NODE:-8} train_file${TRAIN_FILE:-$HOME/data/dapo-math-17k/train.parquet} val_file${VAL_FILE:-$HOME/data/aime-2024/test.parquet}数据文件默认放在$HOME/data/下需要读者自行准备或通过TRAIN_FILE/VAL_FILE环境变量替换成实际路径。并行度默认actor 侧 TP2、PP2、CP2 且开启参数/优化器 offloadrollout 侧使用 SGLangTP4。启动方式摘自脚本须在 verl 仓库根目录执行uv run --frozen --all-packages --extra sglang --extra megatron python3 \ -m verl.trainer.main_ppo \ ... \ model_enginemegatron脚本默认通过uv走提交的 lockfile 加载sglang与megatron两个 extras 的依赖设置VERL_USE_UV0时回退到系统 Python。切换到全参数模式时只需把actor_rollout_ref.model.mtp.detach_encoder去掉切换到仅加载模式时额外去掉enable_train与mtp_loss_scaling_factor两行。可选路径SFT 训练对应仅加载模式examples/sft/gsm8k/run_mimo_7b_mtp_megatron.sh 用同样的 MiMo-7B 模型在 gsm8k 上做 SFTMTP 段只开了一项即上表第一种模式model.mtp.enableTrue该脚本有两个环境副作用运行前需要知晓它会执行mkdir -p $HOME/pythonpath并把 Megatron-LMdev 分支固定到 commit23e092f41ec8bc659020e401ddac9576c1cfed7e和 mbridgefeature/verl_mtp分支固定到 commit6bf2d45a15dc4fb52d2f0c38ff546bee33447d10clone 到$HOME/pythonpath下然后追加进PYTHONPATH。这需要网络访问且会写入$HOME/pythonpath目录训练入口是脚本内ENTRYPOINT变量定义的-m verl.trainer.sft_trainer数据默认取~/dataset/rl/gsm8k下的train.parquet/eval.parquet可通过DATASET_DIR替换。一个需要留意的版本冲突该脚本设置了engine.override_transformer_config.recompute_granularityfull而 MTP 文档要求此时 megatron 必须使用包含 PR #3457ffd66a3e6的 dev commit但脚本本身固定的是更早的23e092f...commit。两处文档给出的 commit 不一致实际运行时应按 MTP 文档的要求处理 megatron 版本并留意脚本注释中依赖两个不在 master 上的 commit的说明。结果验证RL 路径脚本配置trainer.logger[console,wandb]且test_freq10训练过程通过 console 与 wandb 面板观察每 10 步在 aime-2024 验证集上评测。SFT 路径文档给出的实验观察mimo-7B-math gsm8k结果为文档示例不是固定预期MTP 层对主 loss 的影响有限但当 MTP 层被 detach 时mtp_loss会收敛到更高的值。检查 wandb 曲线时可据此区分 MTP 是否真的在训练。仅加载模式的验证点是导出物文档说明该模式下显存占用会增加但导出的参数包含 MTP 模块可直接用于在线部署。边界与限制本文只覆盖三种训练模式。文档中第四种 MTP Accelerated Rolloutenable_rolloutTrue配合 vLLM 或 SGLang 的投机解码参数属于推理加速场景不在三种训练模式之内且文档实测在 H20 上 mimo-7B SGLang 的 Rollout 吞吐下降约 50%当前建议是推理阶段暂不启用 MTP 加速。基座模型不带 MTP 参数时任何 MTP 训练配置都不会对训练结果产生可观察影响。训练引擎限制不变换用 FSDP 等非 Megatron 训练引擎时MTP 训练不在当前支持范围内。【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
