简介：一份围绕ComfyUI、AnimateDiff与ControlNet结合Openpose+Depth生成动画的实战示例包，面向AI动画生成方向的开发者、研究者及数字媒体创作者，尤其适合刚接触ComfyUI工作流、希望快速理解各节点联动逻辑的入门与进阶用户。压缩包共202个文件，其中200张jpg为动画逐帧输出，可直观复盘整个生成过程；另有1个mp4演示视频和1个json配置文件，便于查看效果与核心参数。包体仅8.27MB，轻量易用，已有777人学习。从帧序列能快速理解Openpose骨骼关键点与深度信息如何驱动角色动作，同时可用于拆解AnimateDiff的运动差异计算逻辑，或对照调整ControlNet控制条件。无需搭建完整环境，直接查看帧图和视频即可掌握这套工具链在动画生成中的协同方式，还可参考打包文件的命名顺序梳理生成步骤，减少自行摸索的时间与试错成本。

1. 这份ComfyUI动画资源，解决的是“人物动了但乱动”的问题

很多人在本地用ComfyUI生成动画时都会撞见同一个尴尬：图片是动了，但不是想要的那种动——手抬起来时手指绞成一团，镜头推近时背景跟着塌陷。这套以ComfyUI为基底、AnimateDiff负责时间维度、ControlNet的OpenPose与Depth分支分别锁住人物骨架和场景层次的工作流包，就是冲着压制这两种“乱动”来的。想做角色动作、循环动画，又不想逐帧手绘，它是一套可以直接落地的组合；新手能按节点结构抄作业，熟手也能在里面调权重和采样参数。

2. 先看四层管线：时序、姿态、深度、画质各管什么

2.1 ComfyUI与AnimateDiff的配合逻辑

ComfyUI的工作流本质是一张由节点和连线组成的计算图：输入图像、提示词、模型权重在节点之间传递，最终由采样器输出结果。AnimateDiff不是独立的视频生成模型，而是一个运动模块，它把Stable Diffusion原本“单帧生成”的能力扩展成“连续帧生成”，在潜空间里让内容沿时间维度滑动。你可以把它想成给单帧图像生成器加了一条时间轴，而不是重新训练了一个视频模型。

两者配合的关键在于AnimateDiff的Motion Module是附着在特定底模上的。用SD 1.5底模时，需要配SD 1.5对应的mm_sd15系列运动模块；用SDXL底模，就得换SDXL版本的运动模块。底模和运动模块版本不匹配时，工作流会直接报错或输出一堆相互无关的噪点帧。这是新手最容易翻车的第一道坎。

我在实际跑包时一般先看两处：一是AnimateDiff加载节点是否指向了正确的motion module文件路径，二是采样器节点是否显式指定了Motion版本。很多资源包里的工作流json只写了相对路径，解压位置一变，路径就失效，节点直接标红。处理方式很简单——把模型文件按包内目录结构原样放到ComfyUI的models目录下，不要自作聪明地改目录名。

2.2 OpenPose分支：控制“人怎么动”

OpenPose做的事是从驱动视频或参考图里抽取人物骨架，输出一组关节点坐标，再以骨架图的形式喂给ControlNet。ControlNet在生成每一帧时都会参考这份骨架，让输出人物的肩、肘、腕、髋、膝等关键位置尽量贴合骨架线条。只要驱动视频里的人物动作流畅，生成结果中人体动态基本能跟着走。

但OpenPose有个边界：它锁的是骨架，不锁衣服、不锁脸型、不锁手指细节。如果你的驱动视频里人物抬手，生成结果可能手抬起的方向对，但手指数量诡异；衣服的褶皱和摆动也完全不归它管。这也是为什么很多一键生成动画的资源包最终人物“动了但不像”，就是只挂了OpenPose一条ControlNet，把姿态稳定了，但形象特征和背景结构没有约束。

另一个要注意的是预处理器类型。ComfyUI里接OpenPose有两种常见方式：一种是直接把驱动视频的每一帧丢给OpenPose预处理器，让节点自己抽骨架；另一种是先用外部工具抽好骨架，再以骨架序列图输入ControlNet。我一般推荐后者，因为前者的抽取结果在弱光、遮挡、快速运动时不稳定，骨架一旦中途断掉，后面所有帧都会被带偏。

2.3 Depth分支：控制“场景怎么转”

Depth分支的职责是锁住空间结构。它从首帧或驱动视频中提取深度图，画面中近处的物体亮、远处的物体暗，形成一张灰度图。ControlNet在生成时以这张深度图为条件，让每一帧的物体远近关系保持一致。它的价值在镜头运动时最明显：镜头推近，背景该扩大的扩大、该遮挡的遮挡，这些空间逻辑由Depth提供。

如果没有Depth分支，只靠OpenPose驱动人物，背景大概率会漂。常见现象是人物在原地跑，背景的墙面和地板却像液体一样流动。加一条Depth ControlNet之后，背景结构被固定下来，镜头平移、推拉时透视变化会自然很多。它也是控制“画面是否像视频”的关键一环，很多一眼假的动画就是背景完全静止或完全乱飘，深度约束能有效减轻这两种极端。

Depth预处理器的选择也有讲究。Midas适合室内和结构化场景，Depth Anything在户外复杂场景里表现更好。ComfyUI的ControlNet节点里有预处理器下拉选项，我一般先试Midas，如果边缘和层次不够清楚再切到Depth Anything。注意预处理器输出的深度图分辨率要跟生成分辨率匹配，否则ControlNet收到的条件信号会比例错乱。

2.4 两条ControlNet同时挂在线路里的权重分配

同时挂OpenPose和Depth，权重怎么分配是个玄学，但有一个基本顺序：先保人物，再保背景。OpenPose权重默认1.0，我一般放在1.0到1.2之间；Depth权重默认1.0，我倾向压到0.6到0.9。不要把两条ControlNet都顶到1.4以上，权重过高会让生成器被条件图锁死，输出画面灰闷、色彩干瘪，像把一张照片硬套在骨架和深度图上。

两条ControlNet的处理顺序在ComfyUI里用节点连线顺序决定，通常先接OpenPose再接Depth，或者反向，影响不大。真正的控制项是每个ControlNet节点里的strength强度。这个值并不是越高越好，它是“条件对生成过程的拉力”，强度过高时细节被覆盖，过低时条件形同虚设。我给一个实测区间供初调参考：

权重是全局作用还是分帧作用，取决于ControlNet节点接入在采样器之前还是之后。ComfyUI里常规做法是在AnimateDiff采样器之前接，条件对每一帧都生效。如果你在采样器之后才连ControlNet，会发现只有最后一帧被控制，前面的帧全部放飞。这个连线的先后顺序，比权重本身更容易埋雷。

3. 安装和放模型：把zip落到ComfyUI里能跑起来

3.1 zip里通常该拿出来的三样东西

资源包解压后，第一步是把可执行文件、模型、工作流分开。一个规范的动画工作流包一般包含：工作流json文件、模型文件或模型目录说明、示例驱动视频或提示词文本。先把工作流json找出来，单独复制到ComfyUI的user/default/workflows目录，这样启动ComfyUI后可以直接在Workflow列表里看到它。

模型文件的处理要更细致一点。我习惯先把zip里的模型子目录结构列出来，再对照ComfyUI的models目录逐个归位。打包者通常已经按ComfyUI的目录结构做了归档，比如motion_modules目录下放mm_sd15_v2.safetensors，controlnet目录下放openpose和depth对应的安全检查点文件。如果包内目录结构和ComfyUI默认结构不一致，不要连目录一起拖过去，把模型文件取出来放进正确位置。

提示词和参数说明类文件往往被忽略，但这类文本里通常会写底模版本、CLIP Skip、采样器名称，这些信息一旦缺失，工作流能跑但你不知道怎么调。我会把readme或参数说明文件里的关键信息抄到工作流json旁边的notes文件里，方便多次迭代时对照。

3.2 模型目录放置与命名

模型放错位置是加载报错的最常见原因。ComfyUI的模型目录是固定的，AnimateDiff运动模块要放在models/motion_modules下，ControlNet的模型要放models/controlnet下，VAE放models/vae，底模放models/checkpoints。放错目录节点依然能找到文件，但命名和路径对不上时，加载节点会直接提示文件不存在。

用bash把模型归档到对应目录是常见做法：

# 假设已经解压zip到 ~/animation_pack ANIM_PACK=~/animation_pack COMFY=~/ComfyUI # 1. 运动模块归位 mkdir -p "$COMFY/models/motion_modules" cp "$ANIM_PACK/models/mm_sd15_v2.safetensors" "$COMFY/models/motion_modules/" # 2. ControlNet分支归位 mkdir -p "$COMFY/models/controlnet" cp "$ANIM_PACK/models/control/control_v11f1p_sd15_openpose.pth" "$COMFY/models/controlnet/" cp "$ANIM_PACK/models/control/control_v11f1p_sd15_depth.pth" "$COMFY/models/controlnet/" # 3. 工作流json放进目录 mkdir -p "$COMFY/user/default/workflows" cp "$ANIM_PACK/workflows/openpose_depth_animation.json" "$COMFY/user/default/workflows/"

这段命令里，前三步是建立目录结构，后三步是复制文件。流水账的意图是让你在复制之前先建立目标目录，否则cp命令在目录不存在时会静默失败。我这里用的是cp而不是mv，因为ComfyUI本体所在的目录如果和zip解压目录在同一个磁盘，mv也没问题，但新手用cp更稳妥，万一放错还能删掉重来。

命名方面要警惕一个细节：某些资源包的ControlNet模型名带了自定义后缀，比如openpose_v11_fix.pth。节点里的模型名如果写的是control_v11f1p_sd15_openpose.pth，而你放进去的文件名不同，依然加载失败。处理办法是修改模型文件名，使它和json里写的一致，或者手动在节点下拉框里重新选择模型，两者必做其一，否则模型节点永远是红的。

3.3 首次加载工作流：节点变红先看这三处

首次加载json后，工作流区域可能一片红。看了太多人在这步直接劝退，其实红的只是节点，不是你的机器。排查顺序按经验排：先看控制台输出的报错信息，再看节点缺失的模型名，最后检查自定义节点是否齐全。

缺少自定义节点是最隐蔽的坑。ComfyUI管理器有Install Missing Custom Nodes功能，但它识别的前提是json里写了节点类名。有些旧版json用的是课程实践里的自定义节点名字，安装源已经变更，一键安装会失败。这类情况我会直接翻日志，找到Import failed对应的模块名，去管理器里手动搜同名的其他实现。

节点能加载但模型下拉框是空的，这个状态不算报错，但工作流跑不起来。你只要把空的模型选择器下拉点开，手动选中第3.2节里放好的模型文件即可。模型选择器没有值，不会在控制台报错，它会在你点击执行时给出模型类型不符的提示，留意这一步，能省下不少排查时间。

4. 从静态图到动画：两路ControlNet的逐节点配置

4.1 驱动视频与首帧的输入处理

动画流程的起点是驱动视频，不能直接把原始视频丢进流程。分辨率、帧率、时长都要预处理。帧率太高会让骨架序列冗余，太低会让动作有跳变。我一般用8到10帧每秒，总帧数16到24帧，分辨率按底模适配的长宽比来切。SD 1.5生态常见的是512x768竖构图或576x768，不要用16:9，全景画幅会给人物骨架留出太多无约束区域。

预处理驱动视频这一步在ComfyUI内就能完成，也可以用外部工具先裁好再导入。无论用哪种，要保证首帧图和驱动视频的首帧内容是对齐的。很多人做出来的动画前半段颜值在线、后半段人脸慢慢变形，原因之一就是首帧和驱动视频没对齐，生成器从第二帧开始就找不到可延续的身份特征。

如果包内带了示例驱动视频，先不要换自己的素材，用它跑通全流程。跑通之后再看效果，再换素材。我不建议第一次就用自己的视频，因为一旦出问题你分不清是素材问题还是工作流问题。先用示例素材确认管线健康，再用自己的视频替换输入节点，这样每次只改一个变量，排错效率高得多。

4.2 OpenPose预处理器与姿态权重

OpenPose预处理器节点负责从驱动视频的每一帧里抽取骨架。节点里常见的开关是detect hand和detect body，默认只抽身体关节点。如果动画里有手部动作特写，需要把detect hand打开，代价是生成速度下降、手部关节点的错误率上升。我的做法是：人物全身动态为主时关闭hand，半身或手部特写时打开，不要无脑全开。

预处理器之后是ControlNet应用节点，它接收骨架图和多张条件帧。ControlNet应用节点里的strength参数是最直接影响结果的控制项。OpenPose的strength我一般初始化为1.0，如果发现动作跟手但画面发灰，降到0.85左右；如果发现动作不到位，上探到1.2。超过1.2之后提升动作精度的收益很小，反而会让生成画面变得僵硬，像木偶在摆拍。

start_percent和end_percent这两个参数容易被忽略。它们控制的是ControlNet在采样进度中的生效区间。我通常把OpenPose的生效区间设为0到0.6，也就是前60%的采样步骤里严格约束动作，后40%放开，让细节不受姿态条件过度压迫。如果你把end_percent设成1.0，全程都在拉骨架，生成出来的脸部表情和材质感会被明显削弱。

4.3 Depth预处理器与深度权重

Depth预处理器节点从首帧或驱动视频中提取深度图，输出一张灰度结构图。预处理器的选型决定深度图质量：Midas输出的深度层次更平滑，适合室内；Depth Anything对环境遮挡和开放场景的表现更好。资源包里如果配了外部深度图序列，优先用包里的，省去一帧帧预处理的时间。

Depth这条ControlNet的strength我一般给0.7，和OpenPose错开。这样做的逻辑很简单：OpenPose负责动作准确度，强度拉高一点；Depth负责空间稳定，强度不需要太高，能给背景一个结构锚点就够。如果Depth权重超过OpenPose，可能出现人物动作不够贴、但背景纹丝不动的情况，画面就会有一种“人浮在场景上”的违和感。

Depth节点的生效区间我通常设为0.1到0.8，跳过最开始的采样阶段。最早几步潜空间噪声还很乱，此时强加深度图容易让生成器把场景信息硬编码，导致后续光影变得死板。从10%开始介入，能保留一些光照变化的自由度。

4.4 AnimateDiff采样参数：一份可直接抄的起始配置

把前面所有节点连好之后，采样器是最后一道关。以下是一份我多次复用的起始配置片段，用逗号分隔的键值对方便对照节点面板：

{ "motion_module": "mm_sd15_v2.safetensors", "seed": 12345, "steps": 25, "cfg": 6.0, "context_length": 16, "openpose_strength": 1.05, "depth_strength": 0.7, "sampler": "euler_ancestral", "scheduler": "normal" }

这里每个参数的用意都不算玄学：steps取25刚好能兼顾速度和质量，低于20时细节明显粗糙，高于30时收益递减。cfg取6.0是SD 1.5底模下比较舒服的区间，太高画面会沾一层油腻感的色彩饱和，太低则主体不稳定。context_length决定AnimateDiff一次处理的帧数，设为16意味着每16帧为一个上下文窗口，如果你的视频超过16帧，它会在窗口之间做过渡衔接。

seed固定为12345的唯一理由是排查方便。第一次用这个seed跑出的结果如果人物形态满意但背景有问题，你只需要调整Depth相关参数，保持seed不变重跑，就能在画面结构基本不变的前提下观察背景变化。这也是我反复强调固定seed的原因——不固定seed，两次生成之间没有任何可比性，调参就像在盲盒里找规律。

euler_ancestral搭配normal调度器是AnimateDiff这类视频生成里比较保守的组合，不易出现画面闪烁。如果资源包里默认用了更激进的DPM++系列，可以先保持不动，跑出问题再切回euler_ancestral做对照。

5. 避坑：四个让动画直接废掉的常见失误

5.1 动作跟手了，但背景“融化”成一团

现象：人物动作贴合驱动视频，但背景墙面、地板、家具边缘像液体一样流动，越到后期越明显，甚至整个场景扭曲。

原因：Depth ControlNet节点没有生效或权重过低。OpenPose只约束人物骨架，对背景没有任何控制力，背景每帧都在重新生成所以飘动。

解决：确认Depth预处理器节点有输出，且Depth ControlNet模型路径正确。把深度strength从默认的0.4提到0.7以上，并检查Depth分支是否在采样器之前接入。如果只开OpenPose不带Depth，这个问题无解。

5.2 人物手部乱抖、骨架时断时续

现象：同一段驱动视频，前几帧手部正常，后几帧手指扭曲成团，有时整条手臂消失再出现。

原因：驱动视频帧率过低，骨架在动作快速变化时无法连续跟踪；或者detect hand未开启，手部只靠身体关节点推算，没有手部关键点约束。

解决：把驱动视频帧率提到8fps以上，避免大幅跳跃动作。手部特写片段务必开启预处理器里的detect hand选项。如果使用外部骨架抽取工具，检查抽出的骨架序列是否存在断帧，有断帧时用抽帧补全工具补齐再导入。

5.3 底模和运动模块型号不匹配，输出全是噪点

现象：工作流能跑，控制台无红色报错，但输出的每一帧都是彩色噪点，像电视雪花。

原因：Stable Diffusion底模是SD 1.5系列，但运动模块可能是mm_SDXL系列，或者反过来的组合。节点能加载文件不代表底模与运动模块兼容，控制台不提示错误，采样器最终输出了无效结果。

解决：检查底模文件名和运动模块文件名。SD 1.5底模配mm_sd15_v2.safetensors，SDXL底模配带SDXL标识的运动模块。资源包里通常已经匹配好，如果你换过底模就要同步换对应运动模块，不能只改底模。

5.4 人脸前后不一致，像换了个人

现象：第1帧人物形象正常，到第8帧脸型开始变形，第16帧完全像另一个人，指纹和肤质也漂移。

原因：视频帧之间身份特征缺乏约束。OpenPose和Depth都不管人脸身份，AnimateDiff的跨帧一致性依赖上下文窗口，窗口边界处身份特征最容易漂。

解决：固定seed做多次采样，挑最满意的一次直接出片，不要每次重新随机。如果需要更强约束，可以在管线里补充IPAdapter节点，把首帧图像作为参考特征，并在采样参数里适当降低CFG到5.5左右，给参考特征更大的作用空间。

6. 进阶：让动画从“能动”变成“动得稳”的三个习惯

第一，驱动视频和首帧必须严格对齐。这句话说了很多遍，但值得再展开一次。我在处理素材时，会先把视频的首帧截图出来，和输入图像做一次目测重叠比对，看人脸的轮廓、肩膀的倾斜方向是否一致。不一致时，我不会去改工作流参数，而是回到视频处理软件里重新裁切首帧。这是最基础也最有效的稳定性手段。

第二，用固定seed跑两遍。第一遍用较低步数例如20步，快速检查动作是否与驱动视频贴合，重点观察躯干和四肢的走势。确认没有问题后，第二遍把步数提高到28到30，并保持同一个seed不变。升高步数之后画面细节会更扎实，但动作路径不会变。这个方法能把你对“动画是否合理”的判断和“画面是否精美”的判断分开，调参时不容易互相干扰。

第三，把生成拆成两段：先只接OpenPose跑一遍，确认人物动势符合预期；再连上Depth分支跑第二遍，观察背景稳定性。很多人在完整管线里遇到问题时，分不清是姿态控制失效还是深度控制失效。拆成两段之后问题定位会清晰很多，这也是我用得最多的排错手段。如果两段分别都正常，但合起来异常，回归检查4.3里的生效区间和4.4里的执行顺序。

稳定输出这件事，参数只占一半，另一半来自工作流的结构耐心。

你每次换一段新的驱动视频，都值得完整走一遍这个流程：裁素材、对齐首帧、先跑OpenPose、再叠Depth、最后才调采样参数。好几回我贪快跳过对齐直接跑，结果花在返工上的时间是对齐时间的十倍。从那以后我每次跑动画都强制走一遍这个习惯，希望帮到你。

本文还有配套的精品资源，点击获取