• 人工智能
• 大模型
• 媒体生成
• 视频
• 多模态

Wan2.2-Animate-2-14B-Diffusers 是 Wan2.2-Animate-2 人物动画视频生成模型的 diffusers 格式发布版：给它一张人物图片 + 一段动作描述，就能生成一段该角色"动起来"的 AI 人物动画视频。本教程面向新手，带你从零跑通第一次生成，并把每个关键参数的作用讲透。

一、这个模型是什么？能做什么？

Wan2.2-Animate-2-14B 属于"人物动画（Animate）"类视频生成模型：

• 输入：一张参考人物图片（角色立绘、照片等）+ 一段文字提示词（描述动作、场景、镜头）
• 输出：一段连贯的 MP4 视频，人物外貌保持参考图一致，动作由提示词驱动
• 规模：约 14B 参数（核心 Transformer 约 2.99B 权重文件 + UMT5 文本编码器约 11.4B），以 Apache-2.0 协议开源

它由 7 个子模块组成，全部放在一个目录里，加载时自动拼装成WanAnimate2Pipeline（见 model_index.json）：

💡 简单理解：VAE 把视频压缩成"latent"空间让大模型高效运算，text_encoder 把文字变成指令，image_encoder 锁定"这是谁"，transformer 负责把指令画成视频，scheduler 控制画多少步。

二、环境准备：一键安装步骤

1. 安装依赖

pip install diffusers transformers accelerate # 视频导出还需要 pip install imageio[ffmpeg] opencv-python

注意：模型要求较新版本的 diffusers（发布版基于0.36.0.dev0+，见 model_index.json 中的_diffusers_version字段），请升级到最新版。

2. 下载模型

# 方式一：git 下载 git clone https://gitcode.com/hf_mirrors/Wan-AI/Wan2.2-Animate-2-14B-Diffusers # 方式二：Python 中用 from_pretrained 直接按名称拉取，无需手动 clone

完整的模型目录结构（本地文件资料）：

Wan2.2-Animate-2-14B-Diffusers/ ├── model_index.json # 管道总装配清单 ├── transformer/ # 4 个分片，约 14B 核心权重 ├── vae/ # 视频压缩/还原器 ├── text_encoder/ # UMT5，3 个分片 ├── image_encoder/ # CLIP 视觉编码器 ├── tokenizer/ image_processor/ scheduler/ └── README.md # 模型卡片

3. 显存需求速查

三、生成第一段 AI 人物动画：最小可运行流程

from diffusers import WanAnimate2Pipeline from PIL import Image import torch pipe = WanAnimate2Pipeline.from_pretrained( "Wan-AI/Wan2.2-Animate-2-14B-Diffusers", torch_dtype=torch.bfloat16, ) pipe.to("cuda") out = pipe( prompt="镜头中，女孩轻轻挥手，露出微笑，背景虚化，电影感", negative_prompt="模糊，低质量，变形，闪烁", image=Image.open("character.png"), # 参考人物图片 height=704, width=1280, num_frames=81, num_inference_steps=30, guidance_scale=5.0, ) out.frames[0].save("my_first_video.mp4")

提示：不同 diffusers 版本参数名可能略有差异（如prompt/image位置），以你本地WanAnimate2Pipeline.__call__签名为准；显存不足时把pipe.to("cuda")换成pipe.enable_model_cpu_offload()。

四、关键参数逐个讲透

下面按"对成片影响从大到小"排序，每个参数给出推荐值与调参手感。

1.prompt/negative_prompt：动作的"剧本"

• 文本经 UMT5 编码器处理，支持中文提示词，最多约 512 个 token（见 transformer/config.json 中text_len: 512）
• 写法口诀：动作 + 表情 + 镜头 + 画质，例如"人物缓慢转头看向镜头，浅景深，4K 高清"
• negative_prompt永远带上"模糊、变形、闪烁、多肢体"这类词，是压制 AI 视频"鬼畜感"的第一道保险

2.num_inference_steps：生成步数（速度↔质量）

底层是 DPMSolver++ 多步求解器（flow_prediction模式，见 scheduler/scheduler_config.json）：

• 25~35 步：推荐起点，速度质量平衡
• 50 步：细节更稳，适合正式出片
• 低于 20 步：动作容易断片、闪烁

3.guidance_scale：提示词服从度

• 一般4.0~6.0。过低：动作"不听话"；过高：画面油腻、色彩炸裂、人脸过曝
• 若人物与参考图"不像了"，先小幅上调（如 5 → 6），而不是无脑拉高

4.height/width：分辨率

• 必须能被 8 整除（VAE 空间压缩 8 倍，见 vae/config.json 的scale_factor_spatial: 8），实际建议取 16 的倍数
• 常用：1280×704（横版）、704×1280（竖版短视频）、960×960（方形）
• 新手别一上来就 1080p：先 704p 验证提示词效果，再放大出片

5.num_frames：视频帧数（决定时长）

• 必须满足4 的倍数 + 1（VAE 时间压缩 4 倍），如 49 / 81 / 121
• 81 帧约 3 秒（27fps），是试错的最佳长度
• 帧数越多显存越吃紧：1280×704 下 81 帧已接近 24GB 显存上限

6. 参考图（image）：决定"这是谁"

• 经 CLIP 视觉编码器（224×224 输入）提取人物特征
• 要求：正脸、清晰、单人；侧面图/多人图/模糊图都会显著降低一致性
• 同一张图反复生成，可换generator种子得到不同动作演绎

7.generator（随机种子）：复现神器

gen = torch.Generator(device="cuda").manual_seed(42)

固定种子后每次生成结果一致——这是调试提示词时最重要的习惯：只改一个变量，否则分不清是哪句话起了作用。

8.torch_dtype：精度

统一用torch.bfloat16：显存减半、速度翻倍，且 bf16 训练原生支持，画质损失极小。

五、常见问题排查清单 🩺

六、进阶：读懂两个核心配置

• Transformer：40 层、40 头、dim=5120、时间 patch 为 1（保证时序平滑），refer_offset_t: 1表示参考图被"钉"在视频第 1 帧位置，这就是人物一致性的来源之一。详见 transformer/config.json
• Scheduler：flow_shift: 5.0是流式扩散的时间轴偏移量，属于官方调好的"手感"，新手不建议改动。详见 scheduler/scheduler_config.json

七、写在最后

Wan2.2-Animate-2-14B-Diffusers 把"图片 → 人物动画"的完整链路封装进了一个 diffusers 管道：装好环境、加载管道、调好 8 个关键参数，你就能拥有自己的 AI 人物动画生产线。建议路线：704p + 81 帧 + 30 步小成本试错 → 效果满意后放大分辨率出片。祝你的第一段视频一次成型！🎬

• 人工智能
• 大模型
• 媒体生成
• 视频
• 多模态