• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 模型量化

LLaDA-Image-FP8 是 inclusionAI 推出的 6B 参数开源统一图像生成与编辑模型，单模型同时支持文生图生成与指令式图像编辑，并通过 FP8 量化显著降低显存占用，在 Qwen-Image-Bench 基准上拿下 SOTA 成绩（英文 53.53 分、中文 53.38 分）。本文将带你从模型亮点、仓库结构到快速上手，完整了解这款模型家族。

一、为什么能登顶 SOTA？5 大亮点速览

根据官方 README.md 中的 Highlights 部分，LLaDA-Image 的核心竞争力可以归纳为 5 点：

• 统一生成与编辑：单一 checkpoint 同时支持文生图生成和"保留参考图内容 + 按指令修改"的编辑能力，无需额外的编辑专用骨干网络
• 统一扩散框架：文本骨干（backbone）与扩散 Transformer（DiT）都是扩散模型，在统一框架下训练
• 真实感生成：画面细节丰富、光线自然、构图连贯，写实风格尤为突出
• 纯图像预训练：先通过 image-only 预训练和中训练建立视觉先验，再引入语言监督与生成-编辑联合训练
• 蒸馏加速：LLaDA-Image-Turbo 采用 Twin-DMD 蒸馏，仅 2~4 步采样即可完成快速生成与编辑

下图是官方在 Qwen-Image-Bench 上的评测对比，LLaDA-Image 在英文与中文两个榜单上均取得最高总分：

二、模型家族：Base 与 Turbo 怎么选？

LLaDA-Image 目前发布了两个版本，对应不同的使用场景（见 README.md 的 Model Zoo）：

两个版本都提供BF16和FP8两种精度，你正在看的这个仓库就是 Base 模型的 FP8 量化版本。对显存有限的用户来说，FP8 版本是更实际的选择。

三、FP8 是什么？为什么对普通用户很重要

FP8 是一种 8 位浮点量化格式，相比 BF16，模型权重的显存占用大约减半，推理速度通常也有提升。这个仓库对两大核心模块都做了精细化 FP8 量化：

• 扩散 Transformer：采用float8_e4m3fn格式、128×128 分块对称量化，激活值在运行时动态量化，无需校准数据集。详见 transformer/config.json 中的quantization_config与 transformer/quantization_manifest.json
• 文本编码器（MoE 结构）：对全部 MoE 专家权重（gate_proj/up_proj/down_proj）按 expert 做 2D 分块量化，原始权重约 17.3GB。详见 text_encoder/quantization_manifest.json

从权重文件也能直观看到压缩效果：transformer 拆分为 4 个分片（如transformer/diffusion_pytorch_model-00001-of-00004.safetensors），text_encoder 拆分为 9 个分片（如text_encoder/model-00001-of-00009.safetensors），并配有 model.safetensors.index.json 索引文件。

💡 简单理解：FP8 = 用一半的空间装下同样的模型，让你在中端显卡上也能跑得动 6B 级图像生成模型。

四、仓库结构速览：每个子文件夹负责什么？

整个推理 pipeline 由 model_index.json 统一编排，各子目录分工如下：

想深入推理代码逻辑，可以直接看 README.md 中给出的 pipeline 用法，它是理解整个数据流的最佳入口。

五、快速上手：5 分钟跑出第一张图

1️⃣ 准备环境

官方在 Python 3.11 + PyTorch 2.8 + Transformers 4.57.6 + Diffusers 0.39.0 下验证过（README.md）：

git clone https://gitcode.com/hf_mirrors/inclusionAI/LLaDA-Image-FP8 cd LLaDA-Image-FP8

2️⃣ 加载 pipeline

pipeline 会在首次使用时自动下载模型权重（FP8 版本仓库路径为inclusionAI/LLaDA-Image-FP8）。

3️⃣ 最小可运行代码（Base，50 步）

pipe = LLaDAImagePipeline.from_pretrained("inclusionAI/LLaDA-Image-FP8", torch_dtype=torch.bfloat16, device="cuda") image = pipe(prompt="A cinematic photograph of a red fox in fresh snow", generation_mode="text", height=1024, width=1024, num_inference_steps=50, guidance_scale=5.0).images[0] image.save("first.png")

如果想用 Turbo 版快速出图，把模型换成inclusionAI/LLaDA-Image-Turbo-FP8，并把num_inference_steps改为4、guidance_scale改为1.0即可，参考 README.md。

六、三种生成模式：文生图、VQ 模式、指令式编辑

1️⃣ text 模式：标准文生图

generation_mode="text"，直接根据提示词生成图像，中英文提示词都可以，支持中英文文字渲染（海报、标语类文字生成效果出色）：

2️⃣ vq 模式：VQ 条件生成

generation_mode="vq"，先用 LLaDA2 从提示词生成 VQ 图像 token，再经 SigVQ 编码进入扩散过程，可获得更强的语义一致性。注意该模式下不要传入输入图像（README.md）。

3️⃣ editing 模式：指令式图像编辑

generation_mode="editing"并传入image参数即可在保留原图内容的基础上按指令修改，例如"把这张照片变成水彩画风格"：

七、常用参数与实用小贴士

写在最后

LLaDA-Image-FP8 的看点在于"统一"与"开放"：一个 6B 模型同时搞定生成和编辑，训练配方与推理代码完全开源（Apache-2.0 协议），FP8 版本让普通显存的用户也能跑起 SOTA 级图像生成。官方表示训练代码即将开源，值得持续关注。

📚 延伸阅读：完整使用说明请查阅 README.md，模型论文可参考 arXiv:2609.03796。

• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 模型量化