用 LTX-2 Trainer 训练 LoRA 前先搞清楚训练产物长什么样【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2第一次用 LTX-2 Trainer 做 LoRA 训练的人习惯从装环境讲起。这里反着来先说清怎么判断一次训练算成功、产物放在哪、之后怎么用再倒推前面每一步要做什么。照着顺序执行就能完整跑通一次音视频 LoRA 训练配置里每个字段都写得很直白。训练跑完之后先检查这三样东西LoRA 训练的产物都在配置里output_dir指定的目录默认是outputs/t2v_loracheckpoints/lora_weights_step_00000.safetensors—— LoRA 权重本体文件名带训练步数这个文件就是最终要拿去推理的东西training_config.yaml—— 本次训练配置的副本方便事后对账samples/—— 训练过程中按validation.interval默认每 100 步自动生成的验证视频判断模型有没有学会最直观的就是看这里 。拿到.safetensors后推理侧用仓库里的 ltx-pipelines 包加载它即可它支持挂载自定义 LoRA 的推理管线。所以每次开训前值得先问一句我要的产物就是checkpoints/下某个 step 的权重文件验证标准是samples/里的画面和声音。配置里哪些字段决定训练走向configs 配置目录 里每种训练模式都有一个现成 YAML比如文生视频的t2v_lora.yaml。第一次用不用背参数只需要知道四个块model:——model_path填本地.safetensors模型路径只认本地路径不支持 URLtext_encoder_path填配套 Gemma 文本编码器的目录LTX 2.5 必须用 LTX 定制版 Gemma 4不能用 Google 原版lora:——rank和alpha常规都设 32target_modules写to_k、to_q、to_v这类短模式名能同时命中视频和音频两条分支的注意力层音视频联合训练就是这么配的data:——preprocessed_data_root指向下面要说的.precomputed/目录training_strategy:—— 用name: flexible统一策略video.is_generated/audio.is_generated控制哪条分支参与生成。数据集怎么喂进去预处理这一步最容易翻车训练不直接吃原始视频。先用 JSON / JSONL / CSV 写一份数据集清单每行给caption和video两个字段[ { caption: A cat playing with a ball of yarn, video: videos/cat_playing.mp4 } ]然后跑预处理脚本它会算出视频/音频 latents 和文本 embeddings存进.precomputed/目录uv run python scripts/process_dataset.py dataset.json \ --resolution-buckets 960x544x49 \ --model-path /path/to/model.safetensors \ --text-encoder-path /path/to/gemma-root注意分辨率不是随便填的宽和高要能被 32 整除帧数要满足frames % 8 1默认 VAE 的时间压缩系数是 8比如 960x544x49 这种组合才合法。最大的坑是缓存脚本默认跳过已存在的.pt文件。换了模型 checkpoint 或 Gemma 版本之后不传--overwrite、也不换新输出目录就会混用旧特征直接报 Gemma 版本不匹配的错。显存不够、训练中断分别怎么办单卡启动很简单uv run python scripts/train.py configs/t2v_lora.yaml多卡则用 Accelerate 拉起仓库configs/accelerate/里备好了 ddp、fsdp 及各自的 compile 版启动配置uv run accelerate launch --config_file configs/accelerate/ddp.yaml scripts/train.py configs/t2v_lora.yaml32GB 显存的卡不要硬扛标准配置直接用t2v_lora_low_vram.yaml它把 int8 量化quantization: int8-quanto、8-bit 优化器optimizer_type: adamw8bit、LoRA rank 降到 16、8bit 加载文本编码器都配好了。仍然 OOM 就先降optimization.batch_size到 1再用gradient_accumulation_steps把有效批量补回来 ⚠️。另外提醒训练时的验证采样走的是简化推理管线只求快、不求质量最终出片要去 ltx-pipelines 包里走正式管线LTX 2.5 蒸馏版 checkpoint 的验证参数建议从 8 步推理、CFG 1.0、STG 0.0 起步。几个高频坑按报错对号入座显存爆炸直接换 low_vram 配置别在标准配置上逐项抠参数验证视频不像样依次查 caption 是否描述了画面加声音LTX 偏好带声音细节的长描述、target_modules是否同时命中了视频和音频分支、LoRA rank 是不是太小训练中断把model.load_checkpoint指回某个 checkpoint 路径重启后自动续训checkpoints.keep_last_n控制保留几份默认全留多份产物对比后再决定用哪个 step想让 LoRA 只在特定场景激活预处理时加--lora-trigger传一个触发词推理 prompt 里带上同一个词才会生效免得污染通用 prompt。下一步先把process_dataset.py对着一小批样本跑通确认.precomputed/里latents/、conditions/、audio_latents/三个目录都有文件再按显存大小选配置启动训练然后每 100 步盯一次samples/。【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 用 LTX-2 Trainer 训练 LoRA 前，先搞清楚训练产物长什么样
用 LTX-2 Trainer 训练 LoRA 前先搞清楚训练产物长什么样【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2第一次用 LTX-2 Trainer 做 LoRA 训练的人习惯从装环境讲起。这里反着来先说清怎么判断一次训练算成功、产物放在哪、之后怎么用再倒推前面每一步要做什么。照着顺序执行就能完整跑通一次音视频 LoRA 训练配置里每个字段都写得很直白。训练跑完之后先检查这三样东西LoRA 训练的产物都在配置里output_dir指定的目录默认是outputs/t2v_loracheckpoints/lora_weights_step_00000.safetensors—— LoRA 权重本体文件名带训练步数这个文件就是最终要拿去推理的东西training_config.yaml—— 本次训练配置的副本方便事后对账samples/—— 训练过程中按validation.interval默认每 100 步自动生成的验证视频判断模型有没有学会最直观的就是看这里 。拿到.safetensors后推理侧用仓库里的 ltx-pipelines 包加载它即可它支持挂载自定义 LoRA 的推理管线。所以每次开训前值得先问一句我要的产物就是checkpoints/下某个 step 的权重文件验证标准是samples/里的画面和声音。配置里哪些字段决定训练走向configs 配置目录 里每种训练模式都有一个现成 YAML比如文生视频的t2v_lora.yaml。第一次用不用背参数只需要知道四个块model:——model_path填本地.safetensors模型路径只认本地路径不支持 URLtext_encoder_path填配套 Gemma 文本编码器的目录LTX 2.5 必须用 LTX 定制版 Gemma 4不能用 Google 原版lora:——rank和alpha常规都设 32target_modules写to_k、to_q、to_v这类短模式名能同时命中视频和音频两条分支的注意力层音视频联合训练就是这么配的data:——preprocessed_data_root指向下面要说的.precomputed/目录training_strategy:—— 用name: flexible统一策略video.is_generated/audio.is_generated控制哪条分支参与生成。数据集怎么喂进去预处理这一步最容易翻车训练不直接吃原始视频。先用 JSON / JSONL / CSV 写一份数据集清单每行给caption和video两个字段[ { caption: A cat playing with a ball of yarn, video: videos/cat_playing.mp4 } ]然后跑预处理脚本它会算出视频/音频 latents 和文本 embeddings存进.precomputed/目录uv run python scripts/process_dataset.py dataset.json \ --resolution-buckets 960x544x49 \ --model-path /path/to/model.safetensors \ --text-encoder-path /path/to/gemma-root注意分辨率不是随便填的宽和高要能被 32 整除帧数要满足frames % 8 1默认 VAE 的时间压缩系数是 8比如 960x544x49 这种组合才合法。最大的坑是缓存脚本默认跳过已存在的.pt文件。换了模型 checkpoint 或 Gemma 版本之后不传--overwrite、也不换新输出目录就会混用旧特征直接报 Gemma 版本不匹配的错。显存不够、训练中断分别怎么办单卡启动很简单uv run python scripts/train.py configs/t2v_lora.yaml多卡则用 Accelerate 拉起仓库configs/accelerate/里备好了 ddp、fsdp 及各自的 compile 版启动配置uv run accelerate launch --config_file configs/accelerate/ddp.yaml scripts/train.py configs/t2v_lora.yaml32GB 显存的卡不要硬扛标准配置直接用t2v_lora_low_vram.yaml它把 int8 量化quantization: int8-quanto、8-bit 优化器optimizer_type: adamw8bit、LoRA rank 降到 16、8bit 加载文本编码器都配好了。仍然 OOM 就先降optimization.batch_size到 1再用gradient_accumulation_steps把有效批量补回来 ⚠️。另外提醒训练时的验证采样走的是简化推理管线只求快、不求质量最终出片要去 ltx-pipelines 包里走正式管线LTX 2.5 蒸馏版 checkpoint 的验证参数建议从 8 步推理、CFG 1.0、STG 0.0 起步。几个高频坑按报错对号入座显存爆炸直接换 low_vram 配置别在标准配置上逐项抠参数验证视频不像样依次查 caption 是否描述了画面加声音LTX 偏好带声音细节的长描述、target_modules是否同时命中了视频和音频分支、LoRA rank 是不是太小训练中断把model.load_checkpoint指回某个 checkpoint 路径重启后自动续训checkpoints.keep_last_n控制保留几份默认全留多份产物对比后再决定用哪个 step想让 LoRA 只在特定场景激活预处理时加--lora-trigger传一个触发词推理 prompt 里带上同一个词才会生效免得污染通用 prompt。下一步先把process_dataset.py对着一小批样本跑通确认.precomputed/里latents/、conditions/、audio_latents/三个目录都有文件再按显存大小选配置启动训练然后每 100 步盯一次samples/。【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
