LTX-2.5 本地实战:22B 开源视频模型,文生视频与图生视频带同步音效
输入一句描述,得到一段脚步声、风声与对白和画面对齐的视频。这是 LTX-2.5——本地可跑文生视频、图生视频与音视频同步生成的开源 AI 视频生成模型。组织年收入低于 1000 万美元即可免费商用。
项目速览:22B DiT 架构与许可证门槛
LTX-2.5 是创意软件公司 Lightricks(LTX Studio 的开发商)开源的最新一代视频生成模型。主模型采用Diffusion Transformer(DiT)架构,参数量 22B,权重完全开放,每个组件是一个独立的 .safetensors 文件,想加载哪个加载哪个,也能直接拿来微调。许可证方面:年收入低于 1000 万美元的组织免费商用,超出门槛需与官方另签商业协议。
四种使用场景:文生视频、图生视频、音视频同步、视频转视频
文生视频:从一句话到多镜头画面
没有素材、只有想法时,就用文生视频。LTX-2.5 使用定制版 Gemma 4 12B 文本编码器,多角色、运镜、光线、动作这类长提示里的细节不会被丢;内置的提示词增强器还能把一句短描述扩展成更完整的电影级指令,额外算力开销很小。更实用的是原生多镜头生成:一次输出多个连贯镜头,角色身份、环境、光线、声音、视觉风格在切镜后依然保持一致。画质上,模型按场景复杂度动态分配算力,新的扩散视频解码器接手重建环节,人脸、纹理、屏幕文字更清晰,复杂场景伪影更少。
图生视频:让静态图动起来,还能控制中间帧和结尾帧
最常用的玩法。给模型一张首帧图片,配一句动态描述(比如"镜头缓慢后拉,风吹过草地"),画面就会自然地动。还可以用多张图做条件输入,把中间帧、结尾帧也钉住,镜头控制更精准。图片宽高只需满足能被 32 整除。
音视频同步:声音和画面一次生成对齐
多数 AI 视频模型只出哑片,LTX-2.5 则用独立的音频 VAE与视频联合生成——脚步、风声、环境音乃至对话都对齐画面动作。做短剧、Vlog、产品演示,省掉了整条后期配音链路。
视频转视频:存量素材做风格迁移与增强
手头已有素材时,视频到视频模式适合做风格迁移、画质增强、内容扩展,创作流程从"从零造"补到"再创作"。
快速上手:环境要求与最小可运行命令
环境要求:官方建议 Python ≥ 3.12、CUDA ≥ 12.7、PyTorch ≈ 2.7,NVIDIA 显卡体验最佳。
获取模型权重:
git clone https://gitcode.com/hf_mirrors/Lightricks/LTX-2.5最小命令:仓库是组件化打包,官方ltx-pipelines包通过参数逐个指向组件文件。蒸馏版文生视频的最简形式:
uv run python -m ltx_pipelines.distilled \ --transformer-path diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors \ --prompt "A golden retriever running through a sunny meadow" --output-path out.mp4完整运行时,其余组件(文本编码器、视频 VAE、音频 VAE、时长头、空间上采样器)通过--text-encoder-path、--video-vae-path、--audio-vae-path等参数一并发入。
不写--num-frames时,时长预测头会根据提示词自动定帧数;显存紧张可加--quantization fp8-cast --offload cpu,动态降精度并卸载到内存。
关键约束(最容易踩坑的两条):
| 约束 | 规则 | 示例 |
|---|---|---|
| 帧数 | num_frames % 8 == 1 | 1、9、17、…、121 |
| 分辨率 | 宽高均能被 32 整除 | 544×960 |
进阶选型:dev、蒸馏与量化版本,组件目录怎么看
主模型共 5 个文件,选哪个看用途和硬件:
| 版本 | 特点 | 谁该选 |
|---|---|---|
dev bf16ltx-2.5-22b-dev-transformer-bf16.safetensors | 完整可训练版 | 要微调、训 LoRA 的人 |
distilled bf16ltx-2.5-22b-distilled-transformer-bf16.safetensors | 固定 8 步调度、CFG=1,出片最快 | 大多数人的首选,速度画质均衡 |
distilled int8ltx-2.5-22b-distilled-transformer-comfy-int8-convrot.safetensors | int8 量化,仅限 ComfyUI | ComfyUI 用户、显存偏紧 |
dev int8ltx-2.5-22b-dev-transformer-comfy-int8-convrot.safetensors | 完整版 int8 量化,仅限 ComfyUI | 想要完整质量又显存有限的 ComfyUI 用户 |
distilled NVFP4ltx-2.5-22b-distilled-transformer-nvfp4.safetensors | NVFP4 格式 | NVIDIA Blackwell 显卡用户,极致省显存 |
这代蒸馏版更新幅度很大,更多保留了完整版的画质、提示遵循度与运动一致性,追求速度的人值得先试它。注意两个 int8 版只能在 ComfyUI 里加载,ltx-pipelines走的是 bf16 权重。5 个主模型都放在 diffusion_models/,配套的 Gemma 4 12B int8 文本编码器也在 text_encoders/ 里。
目录结构(一行一个职责,完整说明见 README.md):
diffusion_models/:DiT 主模型,视频生成的"大脑"text_encoders/:Gemma 4 12B 文本编码器,负责理解提示词vae/:视频 VAE(DiffVAE 高品质版 + Conv 轻量版)与音频 VAEloras/:官方蒸馏 LoRA,配合 dev 版工作流使用model_patches/:时长预测头,不指定帧数时自动推断时长latent_upscale_models/:空间 x2 与时间 x2 放大模型,多阶段高清管线必备
ComfyUI 入口:官方工作流模板已内置,拖拽节点即可完成文生视频、图生视频与音频生成,不用写代码,量化版权重就是为它准备的。
Diffusers 入口:习惯 Diffusers 生态的话,官方另有兼容包,LTX2ImageToVideoPipeline走两阶段管线——先低分辨率生成,再经 latent upsampler 放大 2 倍,直接输出带音频的成品视频。
避坑问答:显存不足、商用授权与能力边界
| 问题 | 答案 |
|---|---|
| 显存装不下 22B 怎么办 | 换 int8 或 NVFP4 量化版;或用 bf16 版加--quantization fp8-cast --offload cpu,低显存也能跑 |
| 能不能商用 | 年收入低于 1000 万美元的组织在 LTX-2.x 社区许可证下免费商用;超过该门槛需联系官方签署商业协议 |
| 能力边界怎么看 | 不能提供事实性信息;作为统计模型可能放大既有社会偏见;提示词写法对结果影响很大;可能生成与提示不完全一致乃至不当的内容,发布前建议人工审核 |
如果你是想批量产出短视频素材的创作者,或是想研究视频生成技术的开发者,LTX-2.5 值得花一个下午搭起来:先把上面的蒸馏版文生视频命令跑通,确认声画同步的效果,再决定是接入 ComfyUI 工作流,还是基于 dev 版开始微调。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考