ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

IOPaint 开源AI图片修复:从入门到调优

IOPaint 开源AI图片修复:从入门到调优 IOPaint 开源AI图片修复从入门到调优【免费下载链接】IOPaintImage inpainting tool powered by SOTA AI Model. Remove any unwanted object, defect, people from your pictures or erase and replace(powered by stable diffusion) any thing on your pictures.项目地址: https://gitcode.com/GitHub_Trending/io/IOPaint电商产品图上贴着供应商水印街拍照片背景里总有路人穿帮用仿制图章工具一点点擦慢还容易留痕一次处理几十张图更是体力活。IOPaint 是一个开源的 AI 图片修复inpainting/outpainting工具你用画笔涂掉想移除的区域模型自动重建这块内容。它完全在本地运行CPU、NVIDIA GPU、Apple Silicon 都能跑除了擦除还能基于提示词替换物体、扩展画面。 项目速览IOPaint 本质是一个本地 Web 应用加命令行工具。原理上分两类模型擦除类模型LaMa 等直接根据遮罩区域周围内容填充速度快、无需提示词扩散类模型SD/SDXL 系则结合提示词生成新内容可以替换物体或扩展画面。它的差异点在于不是绑定某一个模型而是一层统一框架——8 个擦除模型和 11 个内置 SD/SDXL 扩散模型含 BrushNet、PowerPaint、AnyText 等随时切换还挂着一套插件系统。Web 界面涂抹命令行批处理双模式本地推理图片不出你的机器CPU、CUDA、MPS 三端可用8 个擦除模型 11 个扩散模型插件分割、去背景、超分、人脸修复 跑通最小流程先用 pip 安装一条命令即可GPU 用户需先按 README 说明安装对应 CUDA 版本的 pytorchpip3 install iopaint预期看到 pip 输出Successfully installed iopaint-...说明装好了。然后启动 Web 服务这里选最省事的 LaMa 模型 CPUiopaint start --modellama --devicecpu --port8080预期看到终端提示模型自动下载首次启动会拉取模型到~/.cache可用--model-dir换目录服务就绪后输出http://localhost:8080地址。浏览器打开http://localhost:8080完成你的第一次修复通过文件管理器面板快捷键 F选择或上传一张测试图用画笔涂掉想去掉的部分按[]调整笔刷大小确认右侧模型为 LaMa擦除模型无需提示词涂抹后自动开始生成按住 Tab 可切回原图核对CtrlZ 撤销涂错区域对结果满意后按 CtrlC 复制结果下载保存判断标准涂抹区域被自然填充原物体消失且无明显色块。如果以后想从源码运行clone 仓库装依赖后执行python main.py start --model lama --port 8080效果相同git clone https://gitcode.com/GitHub_Trending/io/IOPaint 核心能力拆解移除文字与水印这是最高频的场景产品图去水印、老照片去印章、截图清理标注文字。LaMa 是首选——不需要提示词涂抹后直接重建背景CPU 上也能接受。上传图片画笔框住文字区域边缘略涂出 2-3 像素用 Mask OP 的 Expand 按钮把遮罩稍微扩大一圈等待自动生成按住 Tab 对比原图细节不满意就换个种子区域重涂或改换 ldm、manga 等模型试试项目建议值说明模型lama默认模型速度快遮罩边缘涂出 2-3 像素避免残留描边大图预处理默认 Crop 策略长边超 800px 自动裁剪处理效果参考左为含游戏标题文字的原图右为修复后背景完整重建移除文字前移除文字后大面积版权水印同理涂抹范围覆盖全部水印字样即可去水印前去水印后移除背景中的人物与物体单纯擦除只能靠周围内容填充复杂背景上容易糊。这时换扩散类模型尤其是 PowerPaint V2它在任意 SD1.5 模型上加了即插即用模块专治物体移除这类任务。启动时改用扩散模型例如--model Sanster/PowerPaint-V1-stable-diffusion-inpainting涂抹目标物体提示词可留空或写 remove the personTask 选 object-removeGuidance 拉高到 10 以上界面提示移除任务建议 ≥10Steps 设 25-35等待生成背景复杂时开启 Cropper只处理局部区域又快又省显存移除路人前移除路人后按提示词替换内容与扩展画面擦除是变没替换是变样。选任意 SD/SDXL inpainting 模型在 Prompt 里写你想填入的内容如 a white cat涂抹区域就会被重绘Strength 控制在 0.7-1.0 之间越低越贴近原图。画面太窄想扩成横幅开启右侧 Extender选方向后点 1.5x/2.0x模型会自动沿边框向外补全画面扩展时 Strength 会强制为 1.0。这两项能力共用同一套参数面板调试一次即可复用。⚡ 调优与参数指南参数调整按现象 → 方向来不用逐个试修复区没修干净还残留原物体调高 Strength0.8→1.0或换扩散模型边界发硬、能看到一圈调高 Mask Blur默认 11可试 15-30修复区与周围色差大开启 Match histograms把修复区直方图对齐原图想更快Steps 降到 15-20装 LCM LoRA 后 2-8 步即可出图大图太慢开 Cropper 局部处理或靠默认 Crop 策略长边 800px 自动裁剪场景StepsGuidanceMask Blur小水印、划痕LaMa不适用不适用不适用小面积替换SD15-256-7.55-15大物体移除PowerPaint25-4010-1210-20复杂纹理、扩展SDXL30-508-1015-30两个日常提效操作。界面快捷键里最有用的按住 Tab 看原图、ShiftR 手动触发生成、H 打开完整快捷键列表。批量场景直接用命令行--mask给目录时掩码需与原图同名iopaint run --modellama --devicecpu \ --image./images --mask./masks --output./out预期看到终端出现进度条./out下生成同名 PNG加--concat会把原图、掩码、结果横向拼成一张方便抽查。️ 踩坑与排错遇到生成结果整片发黑或发绿原因半精度fp16与你的硬件不兼容。解法启动时加--no-half用全精度速度略降但结果正常。遇到显存不足直接崩溃原因扩散模型权重 大图推理超出显存。解法加--low-mem开启 attention slicing 与 vae tiling或--cpu-offload把权重挪到内存用速度换显存。遇到修复边界有明显硬边原因遮罩边缘太锐利且涂抹没盖全原物体。解法Mask Blur 提到 15-30再用 Mask OP 的 Expand 扩大一圈遮罩重跑。遇到批处理提示 mask not found 被跳过原因--mask是目录时掩码文件名必须和原图一致。解法统一命名或直接把--mask指到单个掩码文件全部图片复用同一张。️ 性能与硬件不同硬件下的粗略预期以 512-1024px 图片、扩散模型计LaMa 会快得多配置档推荐硬件预期速度适用场景纯 CPU4 核以上、8GB 内存约 30-60 秒/张小图、轻度使用入门 GPU6GB 显存如 GTX 1060约 10-20 秒/张日常单张处理高性能 GPU12GB 显存如 RTX 3060约 3-8 秒/张批量、SDXL 大模型Apple SiliconM1/M2约 8-15 秒/张Mac 日常使用三条实用建议简单擦除任务就用 LaMa别为它加载扩散模型CPU 上也够用显存紧张时优先--cpu-offload其次--low-mem批量跑图直接走iopaint run它每处理完一张就会主动释放显存不容易越跑越卡。 生态与资源插件系统通过启动参数按需开启常用的几个交互式分割SAM--enable-interactive-seg点两下就把复杂对象选出来去背景--enable-remove-bg产品图直接抠出主体超分与人脸修复--enable-realesrgan、--enable-gfpgan、--enable-restoreformer老照片场景常用资源索引完整说明README模型实现iopaint/model/插件源码iopaint/plugins/修复前后对比样图assets/各场景测试用例iopaint/tests/项目官方还有 HuggingFace Spaces 在线演示不想装环境可以先去玩一玩。回到开头那两个场景几十张带水印的图现在是一条批量命令加一个晚上自动跑完的事。建议先把仓库 clone 下来按最小流程那一节跑一遍 LaMa看到第一张修复结果后再决定要不要深入扩散模型。【免费下载链接】IOPaintImage inpainting tool powered by SOTA AI Model. Remove any unwanted object, defect, people from your pictures or erase and replace(powered by stable diffusion) any thing on your pictures.项目地址: https://gitcode.com/GitHub_Trending/io/IOPaint创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进