ControlNet for Stable Diffusion WebUI：让AI绘画听你指挥的完整控制指南
【免费下载链接】sd-webui-controlnetWebUI extension for ControlNet项目地址: https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet
想不想让 Stable Diffusion 不再"随缘出图"，而是像画师一样精准地按照你的草图、深度图、姿势图来生成？ControlNet 就是干这件事的。作为 Stable Diffusion WebUI 的扩展，sd-webui-controlnet 可以在不改动原始模型的前提下，实时把结构、深度、轮廓等控制信号"注入"到生成过程中，让 AI 出图严格遵循你的输入——既能精准复现，又保留艺术发挥的空间。
🎯 为什么 ControlNet 是AI绘画的"终极方向盘"
平时你用 txt2img 出图，只能靠提示词"许愿"，构图和结构全看运气。而 ControlNet 给你加了第二支笔：
- 结构可控：上传一张草图或线稿，AI 会严格沿着你的线条生长
- 空间可控：用深度图控制近景远景、透视层次
- 人物可控：用 OpenPose 骨架图锁死人物动作和姿态
- 无需合并模型：所有控制都在运行时动态挂载，切模型、切风格都不冲突
一句话总结：提示词决定"画什么"，ControlNet 决定"怎么画"。两者结合，你才真正拿回了创作主导权。
🧩 一套全能的预处理器工具箱
ControlNet 的强大来自它内置的丰富预处理器——它们负责把你手里的普通图片"翻译"成 AI 能理解的控制信号。开箱即用的控制类型包括：
- Canny / HED：边缘检测，把图变成清晰线条，适合草图控制，见 annotator/canny/
- Depth（Midas / Zoe / Depth Anything V2）：深度估计，控制场景的空间层次，如 annotator/depth_anything_v2.py
- OpenPose：人体骨骼识别，精准控制动作姿态，见 annotator/openpose/
- Lineart / Anyline：线稿提取，专为动漫和插画设计
- Segmentation / OneFormer：语义分割，控制不同区域的内容与材质
- Normal Map：法线信息，控制光影和立体感
- Reference-only：无需任何控制模型，直接用一张图做风格/内容参考
每种预处理器都有滑块参数可以自己调，而且都支持实时预览——点一下预览按钮，就能立刻看到控制信号长什么样，生成前心里就有底了。
上图是一个典型的深度控制案例：左边是原始咖啡馆场景图。经过深度预处理器提取后，变成了下面这张"白近黑远"的深度图：
再用深度图 + 提示词生成，就能得到下面这张风格完全不同、但空间结构完全一致的新图——人物位置、家具布局、前后景深全都保留了：
🚀 三步完成安装，五分钟开始出图
安装过程比你想象的更简单，全程只需要在 WebUI 里点几下：
- 打开 Stable Diffusion WebUI 的Extensions选项卡，进入Install from URL
- 在 URL 输入框中填入仓库地址：
https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet（也支持git clone到stable-diffusion-webui/extensions/目录下） - 点击Install，等待几秒，然后在Installed页签点击Apply and restart UI
- 完全重启 WebUI（包括终端），把下载好的 ControlNet 模型文件放入 models/ 目录
- 在 WebUI 界面找到 Model 下拉框旁的刷新按钮点一下，即可看到新模型
提示：显存要求很友好——开启
--xformers并勾选Low VRAM后，4GB 显存的显卡即可在 768x832 分辨率下运行。
🎨 从草图到成品：三个真实出图场景
场景一：换个画风，结构不变。想给一张场景图换风格？用深度图或 Canny 锁住结构，提示词里写你想要的风格，就能生成"同一个世界的另一个版本"，效果就是上面咖啡馆的例子。
场景二：参考图续作。reference-only预处理器不需要任何控制模型——直接把一张参考图丢进去，SD 会把它的注意力层与参考图连接，参考内容但不照抄。比如参考一只小狗的照片，就能在草地上"生成"出同款小狗的不同姿态：
场景三：用 API 自动化生产。如果你要批量处理图像，或者想把 ControlNet 集成进自己的工作流，可以直接调用 API。用--api启动 WebUI 后，参考 example/txt2img_example/api_txt2img.py 里的请求示例，几行代码就能提交带 Canny 控制的生成任务，控制图、权重、起止步数全部可编程：
🔧 进阶技巧：像老手一样调参数
当你跑通第一个生成任务后，下面这几个开关会让你的出品质量再上台阶：
- Pixel-Perfect 模式：勾选后不用手动设预处理器分辨率，ControlNet 会自动计算最佳分辨率，让控制图的每个像素都与 SD 画面对齐。新手强烈建议常开
- 三种控制模式：
- Balanced：提示词与 ControlNet 均衡，默认首选
- My prompt is more important：注入强度逐层递减，保证你的文字描述充分呈现
- ControlNet is more important：只作用于条件侧，CFG Scale 为 7 时控制力相当于 7 倍，适合精确复现输入结构
- Control Weight 与 Guidance Start/End：权重控制"影响力度"，起止百分比控制"在第几步开始/停止施加控制"。前几步管构图、后几步管细节——分段控制可以做出很细腻的效果
- 多 ControlNet 叠加：在设置里把Multi ControlNet: Max models amount调大并重启，就能同时挂 Canny + Depth + OpenPose 等多个单元，实现极致精细的控制
- 批处理模式：把单元切到 Batch 模式并指定批处理目录，系统会自动遍历整目录的图逐一生成，大批量工作流效率翻倍
- High-Res Fix 无缝配合：开启高分修复时，ControlNet 会自动输出大小两张控制图，基础生成和放大阶段各用各的，无需任何手动干预
⚙️ 它是怎么做到的？（一分钟原理速览）
ControlNet 的架构非常模块化，理解三层就够了：
- 预处理层：各预处理器继承自统一的 Preprocessor 基类，把输入图转成边缘、深度、骨架等控制信号。具体实现集中在 annotator/ 目录，新预处理器都注册在 scripts/preprocessor/
- 模型层：controlnet_model_guess.py 负责加载 ControlNet / T2I-Adapter 等控制模型并自动推断类型
- 注入层：核心逻辑在 scripts/controlnet.py，通过 scripts/hook.py 的 UnetHook 把控制信号实时注入 SD 的 U-Net 各层——这就是"不合并模型也能控制"的秘密
前端交互（预览、滑块、多单元管理）由 javascript/ 驱动，所以你看到的一切界面能力，背后都是这套干净的"信号 → 模型 → 注入"流水线。
💡 写在最后
ControlNet 把 Stable Diffusion 从"抽卡游戏"变成了"创作工具"——草图、深度、姿态、参考图，你想锁住的任何东西它都能锁住。建议你的第一条学习路径是：先用 Canny 跑通草图控制 → 再试深度图控制空间 → 最后叠加 OpenPose 练多单元组合。
现在就打开你的 WebUI，装上它，上传第一张控制图，亲手体验一下"AI 按我画的来"的爽感吧！
【免费下载链接】sd-webui-controlnetWebUI extension for ControlNet项目地址: https://gitcode.com/gh_mirrors/sd/sd-webui-controlnet
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
