【免费下载链接】LTX-2.5
LTX-2.5是 Lightricks 开源的开放权重视频与音频生成模型,可在本地从文本、图片、视频输入生成高保真、带同步音频的内容,并官方支持微调。本教程面向新手,手把手教你用官方的LTX-2 Trainer在 LTX-2.5 上训练专属的LoRA与IC-LoRA,让模型学会你想要的风格、角色或特定画面。
一、微调能做什么:LoRA 与 IC-LoRA 的区别 🎯
微调(fine-tuning)不改变模型本体,而是训练一个轻量的小文件,加载后可随时开关:
| 适配器类型 | 作用 | 典型场景 |
|---|---|---|
| LoRA | 让模型学会新的"概念":特定风格、特定角色、特定场景 | 固定画风、虚拟角色、品牌视觉 |
| IC-LoRA(Image-Conditioned LoRA) | 以一张参考图为条件锁定输出 | 图生视频时保持角色/物体一致性 |
- 官方确认:dev 版 transformer 完全可训练,可直接用 LTX-2 Trainer 复现官方发布的 LoRA 与 IC-LoRA。
- 仓库里还附带了一个官方蒸馏 LoRA 示例:ltx-2.5-22b-distilled-lora-450-bf16.safetensors,可作为效果参照。
💡 好消息:官方测试表明,在 LTX-2.3 上训练的大多数 LoRA / IC-LoRA 可原样用于 LTX-2.5,少数例外,上线前请自行验证(见 README.md)。
二、训练前准备:确认权重文件清单 ✅
LTX-2.5 采用"按组件拆分"的 Comfy 对齐打包方式,训练时各组件需要分别指向对应文件。本仓库包含全部所需权重:
| 组件 | 文件 | 用途 |
|---|---|---|
| 可训练基座 DiT | diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors | 训练必须使用 dev 版 |
| 文本编码器 | text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors | Gemma 4 12B 文本编码器 |
| 视频 VAE | vae/ltx-2.5-video-vae-bf16.safetensors | 视频解码(DiffVAE,质量优先) |
| 音频 VAE | vae/ltx-2.5-audio-vae-bf16.safetensors | 音频解码 + 声码器 |
| 快速视频 VAE | vae/ltx-2.5-video-vae-conv-bf16.safetensors | 速度优先的备选 VAE |
注意:*-comfy-int8-convrot.safetensors与*-nvfp4.safetensors是推理优化版本,训练请使用 bf16 的 dev 权重。
如果本地还没有这些文件,可从镜像仓库克隆:
git clone https://gitcode.com/hf_mirrors/comfyicu/LTX-2.5 ltx-2.5-weights三、环境准备:安装 LTX-2 Trainer 🛠️
训练工具是 LTX-2 开源项目中的ltx-trainer子目录(Trainer 与权重分属两个项目,本文只引用其名称,不贴外部链接,请在 LTX-2 项目主页自行获取)。官方推荐环境:
- Python ≥ 3.12、CUDA ≥ 12.7、PyTorch ≈ 2.7
- 使用
uv管理依赖,克隆 LTX-2 项目后执行uv sync创建虚拟环境即可
硬件建议:LTX-2.5 基座为 22B 参数,训练 LoRA 也建议单卡 24GB 显存起步,显存不足时可用低精度权重 + CPU offload 缓解,多卡会更从容。
四、准备训练数据:视频 + 文字描述 📂
LoRA 训练的数据准备非常简单,只需要两样东西:
- 短视频:每个几秒即可,数量建议几十到几百段,画面聚焦于你要学的概念(同一角色/风格)
- 字幕文件(caption):与每段视频一一对应的文字描述,存放在
captions目录,命名与视频文件对应
📌 小技巧:caption 中为专属概念加入触发词(如
a robot courier named "Blue-9"),推理时用该词即可精准唤起你训练的概念。
五、训练你的第一个 LoRA:配置与运行 🚀
在 Trainer 目录下编写一份 YAML 训练配置(示例,参数以 LTX-2 Trainer 官方 README 为准):
model: training_mode: lora # 训练 LoRA;IC-LoRA 按官方说明启用图像条件 model_path: ../ltx-2.5-weights/diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors text_encoder_path: ../ltx-2.5-weights/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors vae_path: ../ltx-2.5-weights/vae/ltx-2.5-video-vae-bf16.safetensors data: video_dir: data/videos caption_dir: data/captions lora: rank: 32 alpha: 16 training: num_epochs: 10 learning_rate: 1.0e-4 batch_size: 1配置要点:
training_mode: lora:只训练低秩适配器,参数量小、速度快rank/alpha:决定 LoRA 容量,新手可从 32/16 起步,风格类概念可用更小 ranknum_epochs:小数据集建议 5~15 轮,过多容易过拟合(画面出现"重复纹样"、细节固化)
然后启动训练:
uv run python -m ltx_trainer --config lora_config.yaml训练过程中会周期性输出 loss,结束时在输出目录生成.safetensors格式的 LoRA 文件——这就是你的专属适配器。
六、验证与使用训练成果 🔍
训练完成不等于成功,建议按下面三步验证:
- ComfyUI 加载:官方 LTX-2.5 工作流自带模板,把生成的 LoRA 拖入 LoRA 加载节点即可
- 对比测试:同一 prompt,分别加载/不加载你的 LoRA 各生成一条,确认新概念是否被准确唤起、未训练部分是否未受污染
- 多 seed 抽检:换 2~3 个不同随机种子再跑一遍,排除偶然命中
⚠️ 官方提醒:LTX-2.3 训练的 LoRA 在 LTX-2.5 上大多可直接运行,但正式使用(production)前务必验证适配器(README.md)。
七、常见问题 FAQ ❓
Q1:可以直接微调 distilled(蒸馏版)吗?官方明确dev 版 transformer 为完全可训练版本。蒸馏版主要追求 8 步快速推理,仓库中的 ltx-2.5-22b-distilled-lora-450-bf16.safetensors 展示了蒸馏 LoRA 在 dev 工作流中的用法,训练请从 dev 权重入手。
Q2:显存不够怎么办?优先使用 bf16 权重配合低精度策略,并开启 CPU offload;同时降低分辨率、缩短视频帧数、减小 batch size。帧数需满足num_frames % 8 == 1,宽高需被 32 整除(见 README.md)。
Q3:微调成果能分发吗?LTX-2.x 社区许可证下,年营收 1000 万美元以下的主体可免费商用;但微调成果(fine-tunes)的转移/分发可能需要付费许可,商用前请阅读许可证原文(README.md)。
Q4:训练完想继续提升效果?先检查数据质量(一致性、画质、caption 准确性),再考虑增大rank或延长训练;同时注意官方提示:该模型可能放大既有偏见,不适合提供事实性信息,请自行审核生成内容(README.md)。
小结 📝
| 步骤 | 关键动作 |
|---|---|
| 1️⃣ 备齐权重 | 使用 dev transformer + Gemma 4 文本编码器 + 视频/音频 VAE |
| 2️⃣ 搭环境 | Python 3.12+ / CUDA 12.7+,安装 LTX-2 的 ltx-trainer |
| 3️⃣ 备数据 | 短视频 + 一一对应的 caption,加入触发词 |
| 4️⃣ 跑训练 | 一份 YAML 配置,ltx_trainer一键启动 |
| 5️⃣ 验效果 | ComfyUI 加载对比,多 seed 抽检后再上线 |
跟着这份教程,你只需要准备一小批视频素材,就能让 LTX-2.5 长出"只属于你"的风格与角色。🎬
【免费下载链接】LTX-2.5
相关推荐
给 LTX-2.5 喂 LoRA:从 IC-LoRA 到自定义风格,本地微调的第一课
给 LTX 2.5 喂 LoRA:从 IC LoRA 到自定义风格,本地微调的第一课 LTX 2.5 发布以来,"6.8 秒生成 10 秒视频"的推理速度、16
大模型媒体生成视频音频多模态MAS 激活 Windows 与 Office 完整指南:不用产品密钥,一次搞定
MAS 激活 Windows 与 Office 完整指南:不用产品密钥,一次搞定 Windows 右下角一直显示"未激活",Office 又提示激活即将到期?M
运维Sunshine 游戏串流完整实操:在家搭一条低延迟的私人串流通道
Sunshine 游戏串流完整实操:在家搭一条低延迟的私人串流通道 Sunshine 是一个开源、自托管的游戏串流服务器,配合 Moonlight 客户端使用,
音视频后端
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考