Iris-3B文生图提示词指南:如何用简单英文句子获得最佳生成效果
Iris-3B 是一款 30 亿参数的开源像素空间扩散文生图模型,无需 VAE 潜空间,直接根据文字提示输出 1024×1024 像素图像。本指南教你用简单英文句子撰写提示词(prompt)、调优关键参数并避开常见坑位,帮助新手一次获得最佳生成效果。
认识 Iris-3B:直接"画出像素"的文生图模型
大多数 AI 绘图模型先把图像压缩进"潜空间",再解码还原成像素;Iris-3B 跳过了这一步——模型本身直接输出每一个像素(见 README.md),因此纹理和细节不会在压缩-解码链路中丢失。三个关键特性:
- 像素空间扩散:无 VAE,网络直接输出约 100 万像素图像,默认 1024×1024
- 文本编码器:冻结的 Qwen3-VL-4B-Instruct 多模态大模型,能理解较长的描述性句子
- 一模型多用途:同一骨干可微调做单目深度估计、图像修复与 4 倍超分
▲ 仓库示例图(亦用作下游深度估计任务的演示输入)
快速上手:三步生成第一张图
git clone https://gitcode.com/hf_mirrors/speridlabs/iris-3b cd iris-3b pip install -e . # 需要 Python 3.11+然后下载文生图权重(约 12 GB,即 model.safetensors 与 config.yaml),用一句简单的英文句子生成第一张图:
python scripts/sample.py --checkpoint iris-3b \ --prompt "a red fox sleeping in fresh snow, golden hour"要求 NVIDIA GPU + CUDA;文本编码器会在首次运行时自动下载。
Iris-3B 提示词写法:简单英文句子的 5 个技巧
官方建议非常直接:用普通的描述性英文句子写提示词(plain descriptive English sentences),不需要"masterpiece, best quality, 8k"式的关键词堆砌。结合仓库官方样例,可归纳为 5 个技巧:
1. 按"主体 → 细节 → 光线 → 媒介"组织句子
Studio portrait of a Maasai elder wearing vibrant beaded jewelry, deep red cloth, dark backdrop, Rembrandt lighting, ultra detailed skin texture
前半句交代主体与服饰细节,后半句补上布光(Rembrandt lighting)和质感要求(ultra detailed skin texture),层次清晰。
2. 光线与氛围词决定画面质感
golden hour(黄金时刻)、morning light(晨光)、overcast light(阴天柔光)long exposure(长曝光)→ 适合水面、火光与车轨dusk、night→ 适配霓虹、夜景、天灯类题材
3. 指定"媒介",风格立刻统一
fine grain film photograph(细颗粒胶片照片)high fashion beauty photography(高定美妆摄影)3D render、surreal concept art(超现实概念艺术)
4. 用纹理与材质词避免"塑料感"
patina(铜绿)、shimmering texture、caustics and reflections(焦散与反射)——像素级直出的 Iris-3B 尤其擅长还原这类细节。
5. 控制长度:1~3 句话最合适
文本编码器上限为 300 tokens(见 config.yaml 中的text_len: 300)。超长提示词会被截断,写一句信息丰富的句子,比堆一屏关键词更有效。
场景类题材可以"具体地点 + 建筑细节"来提升稳定性:
The ancient city of Petra with the Treasury carved into pink sandstone, morning light
参数速查:cfg-scale、steps、seed、negative-prompt
| 参数 | 默认 | 用法建议 |
|---|---|---|
--cfg-scale | 3 | 越大越贴近提示词,过大则画面发硬,2~4 是舒适区间 |
--steps | 100 | 步数越少越快,但会损失细节;日常 50 步左右可试速度 |
--seed | 随机 | 固定数值可复现同一张图 |
--negative-prompt | 空 | 写出画面中不想要的内容,如 "blurry, text" |
--txt-file | 空 | 每行一条提示词,批量生成 |
Turbo 极速版:0.7 秒出一张 1024×1024 图
turbo/ 目录中是 4 步蒸馏版 Iris-3B Turbo,在单张 H100 上约 0.7 秒生成一张 1024×1024 图像:
python scripts/sample.py --checkpoint iris-3b/turbo \ --prompt "a red fox sleeping in fresh snow, golden hour"⚡️ 注意:Turbo 的 4 步采样计划已内置在权重中(见 turbo/distill.yaml),因此--steps、--cfg-scale、--negative-prompt均不生效;提示词、--height、--width和--seed照常可用。提示词技巧仍然重要——写得好,4 步也够用。
常见误区与限制:这 4 个坑请绕开
- 关键词堆砌或照搬其他模型提示词:Iris-3B 偏好朴实的描述性英文句子,中文提示词建议先翻译。
- 要求画面里出现大段文字:图中文字渲染与精确物体计数并不可靠,Turbo 的文字渲染比基础版更弱。
- 提示词过长:超过 300 tokens 的部分会被截断,主体描述优先写在前面。
- 期望 Turbo 响应负面提示词:Turbo 无 CFG、无 negative-prompt 通道,修正画面请用基础版。
不止文生图:同一架构的深度估计与图像修复
微调后的同一骨干还能做单目深度估计与图像修复/4 倍超分,单次前向推理、无需文本编码器:
| 任务 | 权重目录 | 命令行 |
|---|---|---|
| 单目深度 | depth/ | python scripts/depth.py photo.jpg --out depth_out |
| 修复超分 | upscaler/ | python scripts/upscale.py photo.jpg --out upscaled |
文章开头那张海边客厅示例图,对应的深度估计结果如下——近处沙发与地板呈亮色,远处海景呈深色:
再看一组餐厅照片与其深度图的对照:
图像修复/超分任务则接收低清、压缩劣化的输入图像,例如仓库中两张低质量动物照片(示例见 assets/downstream/):
小结
写好 Iris-3B 提示词的核心很简单:一句朴实的英文描述,主体在前、光线与媒介殿后,控制在 300 tokens 以内。配合--cfg-scale、--steps、--seed微调,就能稳定获得最佳生成效果;追求速度则切换到 Turbo,4 步出图。提示词写好后,同一套骨干还能顺手完成深度估计与图像修复,这正是 Iris-3B"通用视觉学习器"的定位。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考