• 人工智能
• 大模型
• 基础模型
• 多模态
• 媒体生成
• 计算机视觉

PixelUMM 是 NVIDIA 开源的编码器无关（Encoder-Free）统一多模态模型，直接在「原始像素空间」完成文本、图像与视频的理解与生成——不再依赖独立视觉编码器，理解与生成共享同一套 Transformer 表示。本文带你系统拆解它的完整设计思路与模型架构。

1️⃣ 传统「编码器 + 生成器」方案的痛点

目前大多数统一多模态模型，视觉链路是这样的：

图像/视频 →视觉编码器（Vision Encoder）→ 特征嵌入 → 大语言模型（理解） 文本 →扩散模型 + VAE 解码器→ 图像/视频（生成）

这会带来两个实际问题：

• 表示割裂：理解端「看」到的是编码器特征，生成端「画」出来的却是 VAE 潜空间编码，两边互不相通，跨模态能力需要额外的对齐模块来"缝补"；
• 信息有损：视觉编码器是一次单向压缩，理解所需的细节被丢弃；VAE 又给生成质量设置了上限。

而 PixelUMM 选择了相反的路径：彻底去掉独立视觉编码器，让模型直接以原始像素「看世界」（完整说明见 README.md）。

2️⃣ 核心思路：16×16 像素块，理解与生成共用一套表示

PixelUMM 的关键可以概括为一句话：图像用像素块（pixel patches）表示，而不是来自独立预训练视觉编码器的嵌入。

具体做法：

1. 将 RGB 图像切分为16×16 的像素 patch；
2. 像素 patch 直接映射为 token 序列（raw-pixel patch embeddings），与文本 token 一起进入同一个 Transformer；
3. 理解任务（图生文、视频条件理解）与生成任务（文生图、视频生成）共用同一份视觉表示，区别只在任务头，而不在"视觉本身"。

3️⃣ 模型架构拆解：Decoder-only Transformer + 迭代像素生成头

• 语言主干：基于 Qwen/Qwen3-8B（revisionb968826d…），Decoder-only Transformer；
• 视觉接入：raw-pixel patch embeddings，直接处理 16×16 像素块；
• 生成机制：迭代像素生成头（iterative pixel-generation head），通过迭代去噪完成图像与视频生成；
• 参数量：15,199,672,064（约 15.2B），理解与生成共享同一份权重；
• 输入 / 输出：接受文本、RGB 图像、视频帧，产出同样三类结果，属于 "any-to-any" 统一模型。

生成侧采用迭代去噪而不是一步输出，对高分辨率图像和长序列视频的输出稳定性更友好。

4️⃣ 四大能力一览

PixelUMM 原生支持以下四类任务，全部共用同一套模型权重：

5️⃣ 权重文件解读：checkpoint 目录是如何组织的

开源仓库以FSDP2 DCP（Distributed Checkpoint）格式分发权重，共 4 个 checkpoint 目录，对应不同训练步数的存档快照。每个目录的model/内是大量__<rank>_0.distcp分片文件（分片数量 = 保存时使用的 GPU 数量）：

几个阅读要点：

• __0_0.distcp、__1_0.distcp这类文件是各 rank 的权重分片，需通过 DCP 接口（如torch.distributed.checkpoint）整体加载，而不是逐个load；
• checkpoint 保存成功后会写入__SAVE_COMPLETE标记文件（如 S8-F18-R01/__SAVE_COMPLETE），记录训练step、format=fsdp2_dcp与优化器信息（fusedadam_master、master 张量数），用于校验存档完整性；
• 存档同时包含优化器状态，因此属于可续训的完整训练快照，体积较大，按需取用即可。

6️⃣ 如何部署运行？环境要求与安装要点

PixelUMM 的运行环境有硬性要求（详见 README.md 的 Installation 一节）：

• 操作系统：Linux
• 硬件：NVIDIA GPU
• 框架：CUDA 版 PyTorch +FlashAttention

安装顺序：先按当前 CUDA 环境装好对应版本的 PyTorch 与 FlashAttention，再安装其余依赖。如需克隆仓库：

git clone https://gitcode.com/hf_mirrors/nvidia/PixelUMM

⚠️ 注意：模型权重采用NVIDIA One-Way Noncommercial License，仅限非商业研究或评估用途；源码为 Apache-2.0 协议。

7️⃣ 适用场景与局限性

适合谁用：

• 研究文本、图像、视频共享表示的学者；
• 评估Encoder-Free 多模态架构能力边界的团队；
• 想做像素空间图像/视频生成的研究者。

已知局限（官方说明）：

• 可能产生不准确或不当内容，且不总能严格遵循提示词；
• 输出可能存在语义或时间一致性问题（尤其视频）；
• 性能随语言、视觉领域、视频时长、分辨率、宽高比与硬件而变化。

目前不建议直接用于生产环境；使用时需自行部署内容过滤与访问控制。

8️⃣ 总结

PixelUMM 的思路相当"激进"：完全抛弃视觉编码器，用 16×16 原始像素块替代视觉特征，让一个 Decoder-only Transformer 同时扛下理解与生成。代价是 15.2B 的参数量与迭代去噪生成头，换来的是真正统一的像素空间表示——这是当前 "any-to-any" 统一多模态研究中，对"还需要视觉编码器吗"这一问题最直接的一次回答。如果你正在做多模态表示学习或图像/视频生成研究，值得把它的架构设计与 checkpoint 组织方式完整读一遍。

• 人工智能
• 大模型
• 基础模型
• 多模态
• 媒体生成
• 计算机视觉