- 人工智能
- 大模型
- 基础模型
- 媒体生成
- 计算机视觉
【免费下载链接】iris-3b
Iris-3B 是一款 30 亿参数的像素空间生成模型,它的超分辨支模型支持一步图像修复与 4 倍超分:把模糊、有噪点、低分辨率的老照片直接输进去,一次前向推理就能还原出清晰锐利的高清大图。本教程手把手教你从零部署 Iris-3B,完成一键老照片修复。
什么是 Iris-3B 像素空间修复模型?
传统图像生成器大多在压缩的"潜空间"(latent space)里工作,再靠解码器还原成像素,过程会有信息损失。Iris-3B 走的是另一条路线:网络直接输出每一个像素,不经过 VAE 和潜空间。
这套"像素空间先验"除了文生图,还被微调成了通用视觉模型:同一个主干(不做任何架构改动),仅更换任务权重,就能做:
- 🖼️图像修复 + 4 倍超分(
upscaler/目录) - 📷单目深度估计(
depth/目录) - ⚡4 步极速出图(turbo/ 目录,4 步蒸馏版)
修复模型的训练采用一步对抗式修复(HYPIR recipe),在 DIV2K 验证集 4× 任务上达到 LPIPS 0.292、PSNR 20.68 的成绩,且全程只需一次前向传播,甚至不需要文本编码器(以空提示词 empty prompt 运行),因此速度快、依赖少。
环境准备:一键安装与权重下载
修复模型对硬件的要求很明确:一台NVIDIA GPU(CUDA)、Python 3.11+、PyTorch 2.7.1+。
第 1 步:克隆代码仓库
git clone https://gitcode.com/hf_mirrors/speridlabs/iris-3b cd iris-3b pip install -e .第 2 步:只下载修复模型权重
完整仓库的权重文件较多(主模型约 12 GB),做图像修复只需要 upscaler/ 文件夹,按需下载即可:
hf download speridlabs/iris-3b --include "upscaler/*" --local-dir iris-3b下载完成后,你会看到这三个核心文件:
| 文件 | 作用 |
|---|---|
| upscaler/model.safetensors | 修复 + 超分主权重(EMA) |
| upscaler/empty_prompt.safetensors | 空提示词嵌入,免文本编码器 |
| upscaler/config.yaml | 架构与采样配置 |
一条命令完成图像修复与 4 倍超分
部署好之后,修复一条命令就搞定:
python scripts/upscale.py photo.jpg --out upscaled把photo.jpg换成你的老照片路径,--out指定输出目录。运行结束后,输出目录里会出现形如photo_x4.png的结果文件——宽高各放大 4 倍,同时完成去噪、去模糊等退化修复。
几个值得注意的设计细节:
- 大尺寸输出自动分块:修复时会把大图切成重叠的 1024×1024 窗口逐块处理(配置见 upscaler/config.yaml 中
task.tile: 1024),因此即使原图较大也不会爆显存,接缝处也有重叠过渡。 - 无需提示词:整模型以空提示词单次前向运行,你不需要像文生图那样写 prompt,对新手非常友好。
- 确定性结果:修复任务用的是固定 σ = 0.5 的一步生成配置(见 upscaler/config.yaml),同样的输入会得到一致的输出。
效果示例:模糊照片变清晰
下面两张就是官方示例的输入原图——一张低分辨率的雪豹照片和一张明显模糊失焦的沙狐照片,正好模拟了"模糊退化老照片"的典型场景:
把它们交给upscale.py,模型在一步前向中补全毛发、纹理等细节,4 倍超分后的结果如下:
对比可以看到:输入图的整体发糊、噪点和压缩痕迹,在修复后被替换成了清晰自然的细节,而画面主体和构图保持不变——这正是生成式修复相比传统插值放大的优势。
老照片修复实用技巧 💡
尽量保留原图信息:输入图只要"能认出来"即可,哪怕只剩低清轮廓,生成式先验也能帮你补全细节;但如果原图本身被严重裁剪、主体残缺,模型无法凭空恢复缺失内容。
修复 ≠ 精确复原:生成式模型会"合理想象"细节,适合老照片翻新、艺术化处理;如果做档案级修复(要求与原件逐像素一致),建议以传统方法为主、生成式为辅。
想同时出深度图做 3D 化?仓库附带 depth/ 单目深度模型,一条命令即可输出深度图:
python scripts/depth.py photo.jpg --out depth_out效果示例(原图 → Iris-3B 深度图):
- 出图太快不够"稳"?修复任务是单步的,速度已经很快;如果你想用它做文生图再配超分,可以参考 turbo/ 目录的 4 步蒸馏模型,其采样调度写在 turbo/distill.yaml,1024×1024 图像在 H100 上约 0.7 秒出图。
仓库文件速查表
| 路径 | 说明 |
|---|---|
| README.md | 完整文档:安装、参数表、基准测试 |
| model.safetensors | 文生图主模型(EMA, float32) |
| config.yaml | 主模型架构与采样配置 |
| upscaler/ | 图像修复 + 4 倍超分模型(本教程主角) |
| depth/ | 单目深度估计模型 |
| turbo/ | 4 步极速蒸馏版(含 turbo/distill.yaml 采样调度) |
常见问题 FAQ
Q:修复一张照片大概要多久?A:单步前向 + 大图标块化 1024×1024 处理,消费级显卡上通常秒级到分钟级,取决于 GPU 显存和原图尺寸。
Q:为什么需要下载约 12 GB 的权重?A:upscaler/是完整 3B 参数的微调版(含空提示词嵌入文件),并非小型 adapter,所以体积较大。
Q:输出图片为什么是 4 倍而不是 2 倍或 8 倍?A:该超分权重就是按 4× 任务训练发布的(DIV2K 4× 协议),输出宽高固定为输入的 4 倍。
Q:Apache 2.0 协议意味着什么?A:项目以 Apache License 2.0 开源,个人和商业使用都很友好。
📌小结:Iris-3B 把"文生图模型"的像素空间先验直接复用到了老照片修复上——克隆仓库、按需下载 upscaler/ 权重、运行一条upscale.py命令,模糊退化的照片就能一步变成 4 倍高清。配合 depth/ 深度估计和 turbo/ 极速出图,这套像素空间视觉模型能覆盖的玩法远不止修复老照片。
- 人工智能
- 大模型
- 基础模型
- 媒体生成
- 计算机视觉
【免费下载链接】iris-3b
相关推荐
Optimize-Offline:终极Windows 10离线镜像优化框架完全指南
Optimize Offline:终极Windows 10离线镜像优化框架完全指南 Optimize Offline 是一款功能强大的 Windows 10 离
终极指南:在Windows、Linux和macOS上运行PS4游戏的完整教程
终极指南:在Windows、Linux和macOS上运行PS4游戏的完整教程 想要在电脑上畅玩《血源诅咒》、《如龙0》等PS4独占大作吗?shadPS4模拟器为
虚拟化图形学桌面应用Frozen-Flask与CI/CD集成:自动化构建静态网站的完整流程
Frozen Flask与CI/CD集成:自动化构建静态网站的完整流程 Frozen Flask是一个强大的Python库,能够将动态的Flask Web应用"
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考