texture-fix-vae-for-qwen-image-2.1 Diffusers 快速上手：2 行代码替换官方 VAE 的 AI 绘图工作流
【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1
texture-fix-vae-for-qwen-image-2.1 是一款专为 Qwen-Image-2.1 图像生成模型微调的 VAE（变分自编码器）。它只需2 行 Diffusers 代码即可替换官方 VAE，专门解决两个困扰创作者的痛点：解码时出现棋盘格伪影，以及在 fp16 精度下输出NaN 花屏。如果你是 AI 绘图新手，本文带你用最简单的方式把它接入现有工作流。
快速了解：这个 VAE 修复了哪两个问题
在 Diffusion 模型中，VAE 负责把潜空间（latent）解码成最终像素。官方 Qwen-Image-2.1 VAE 存在两个已知缺陷，而本项目通过少量微调一次性修复：
| 问题 | 官方 VAE | Texture-Fix VAE |
|---|---|---|
| 棋盘格伪影（checkerboard artifacts） | 细节区域常见网格状纹理 ❌ | 微调后干净自然 ✅ |
| fp16 精度下输出 NaN | 透明区域大面积花屏（最多约 75/185 压测用例失败） | 0 失败，支持--fp16-vae✅ |
| 感知质量 rFID（COCO，越低越好） | 3.38 | 2.07 / 2.06 |
📌 原理一句话：官方 VAE 训练时缺少有效的对抗损失（GAN loss），细节重建不足时就容易出现网格纹理；本项目参照 TAESD 的对抗训练配方，仅微调最高分辨率的解码器层（约 7.5M 可训练参数）就消除了伪影。
效果对比：棋盘格伪影修复前后
下面的局部放大图来自仓库内置对比素材——左侧是官方 VAE 解码结果，可以看到明显的棋盘格网格纹理；右侧是 Texture-Fix VAE 的结果，同样的 latents 解码后纹理干净清晰。
官方 VAE 放大细节（存在棋盘格伪影）：
Texture-Fix VAE 放大细节（纹理修复后）：
完整对比说明（含生成用的英文提示词）见 README.md。
Diffusers 最快替换步骤：只需 2 行代码
如果你用 Hugging Face Diffusers 跑 Qwen-Image-2.1，替换官方 VAE 只需加载 Texture-Fix VAE 并传入 pipeline：
import torch from diffusers import QwenImage21Pipeline, AutoencoderKLQwenImage21 vae = AutoencoderKLQwenImage21.from_pretrained( "madebyollin/texture-fix-vae-for-qwen-image-2.1", torch_dtype=torch.bfloat16) pipe = QwenImage21Pipeline.from_pretrained( "Qwen/Qwen-Image-2.1", vae=vae, torch_dtype=torch.bfloat16).to("cuda")就这么简单——VAE 即插即用，编码器、采样器和文本编码器全部保持官方不变。也可以直接用 fp16 加载，避免官方 VAE 的 NaN 问题。
ComfyUI 中使用 Texture-Fix VAE 的方法
ComfyUI 用户不需要写代码，只需替换模型文件：
- 下载 texture_fix_vae_for_qwen_image_2.1_bf16.safetensors；
- 放入
ComfyUI/models/vae/目录，替换原来的qwen_image_2.1_vae_bf16.safetensors； - 在
Load VAE节点中选择它即可，搭配--fp16-vae启动参数同样可用。
如需离线克隆整个仓库，可用：
git clone https://gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1质量指标与文件资料一览
官方 VAE 在重建精度（PSNR/LPIPS）上略占优，而 Texture-Fix VAE 在感知质量（rFID）上明显更好——也就是人眼看起来更自然。对出图质量而言，后者通常更重要。
| 文件 | 说明 |
|---|---|
| config.json | VAE 配置，类名为AutoencoderKLQwenImage21，含 latents 均值/标准差 |
| texture_fix_vae_for_qwen_image_2.1_bf16.safetensors | bf16 权重文件（ComfyUI 直接使用） |
| fp16_demo.py | fp16 NaN 对比复现脚本，可生成花屏对比图 |
| README.md | 官方文档：原理、指标、版本历史 |
新手常见问题 FAQ
替换后会有画质损失吗？
PSNR/LPIPS 略有下降（如 COCO 上 PSNR 从 33.29 降至 32.73），但 rFID 从 3.38 降到 2.07，感知质量更高。综合体验是细节更锐利、无网格纹理。
我的显存小，能用 fp16 吗？
可以，这正是本项目的强项：185 个压测输入（含透明图、随机 latents）中，官方 VAE 有 75 个产生 NaN 输出，Texture-Fix VAE 为0。复现方法见 fp16_demo.py。
我可以商用吗？
本项目基于 Qwen-Image-2.1，遵循 Qwen 研究许可协议，仅限非商业/研究用途，详见 LICENSE 与 NOTICE。
总结
如果你正在用 Qwen-Image-2.1 做 AI 绘图，却被棋盘格伪影或 fp16 花屏困扰，texture-fix-vae-for-qwen-image-2.1 是即插即用的解法：Diffusers 用户 2 行代码、ComfyUI 用户替换一个文件，就能获得更干净的纹理和更稳的 fp16 运行。
【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
