论文摘要翻译：
基于指令的视频编辑通常建立在视频预训练的生成式骨干之上：需要以相当高的成本对一个视频扩散 Transformer 进行适配，使其能够以源视频和编辑指令为条件。本报告探索了一条不同的路线，并证明一个强大的指令式图像编辑模型可以直接作用于视频 VAE 的潜变量来完成视频编辑。我们以 Qwen-Image-Edit 为起点，将 Wan 2.1 视频 VAE 的逐帧潜变量排列成一张大型虚拟图像的瓦片，为每一块瓦片复用编辑器原有的图像位置编码，并用一对轻量化的输入/输出投影来桥接两个潜空间——投影层从编辑器自身的 patchify 与 unpatchify 层热启动，使得在初始化时刻，一段（静态）视频的嵌入与模型早已理解的图像完全一致。整个系统在公开的 Ditto-1M 编辑三元组上微调，另以 Wan 2.2 的少量去噪步骤作为可选的时序增强器。
我们用一系列零训练观察为该设计提供动机：现成的图像编辑器已经能够编辑以缩略图拼贴（contact sheet）形式呈现的视频；它对拼贴的 token 究竟来自一次性联合编码、还是来自逐帧独立编码后在潜空间中的拼接并不敏感；它甚至能够以零样本方式编辑真正的视频潜变量，且达到清晰可辨的程度——留给微调的只是弥合一个保真度缺口。我们的结果表明：尽管业界在训练视频潜空间上投入巨大，逐帧视频潜变量与图像域仍然足够接近，成熟的图像编辑先验只需极少的适配即可完成迁移。
引言：视频编辑的默认路径
在扩散模型统治视觉生成的第六个年头，视频编辑一直沿着一条默认路径支付成本：要改视频，先造视频模型。InstructPix2Vid 时代的 2D 膨胀、DiT 时代的 VACE 与 Editto，主流路线无一不从视频生成底座出发，先拥有时序建模能力，再嫁接编辑能力。代价是每一次百万级视频三元组的重训练、数百卡周的起跑账单，以及与底座强耦合的技术债。
2026 年 8 月 14 日，UT Austin 与 Adobe Research 的论文（arXiv:2608.14790 [1]）给出了一个反例：一个从未见过视频的图像编辑模型，经两个可训练投影层与一张位置编码表改造后，直接在 Wan 2.1 的视频 VAE 潜空间中完成指令级视频编辑。澄清一处命名：Qwen-Video-Edit 并非阿里 Qwen 团队官方产品，而是建立在 Qwen-Image-Edit [6] 之上的第三方学术工作——后者于 2025 年 8 月 19 日正式发布（GitHub 仓库公告于前一日上线，官方博客与媒体报道集中在 19 日），以 20B MMDiT 架构和顶级的开源图像编辑指令遵循能力闻名。
看它做到什么程度——同一段长视频被逐块编辑、每块一条不同指令，全程没有一个视频预训练骨干参与：
论文首页（arXiv:2608.14790）：Figure 1 展示单条长视频被逐块编辑，每块使用不同指令。
注意：论文未证明编辑质量对标专用视频编辑模型（全文以定性演示为主，无标准化基准对比表）；它证明的是另一件事——图像编辑先验与视频潜空间之间的域差距，小到一次轻量桥接即可跨越。
三个零训练观察：方法诞生之前
论文最精彩的部分不在模型，而在动手之前的三个探测实验，每个实验拆掉一个"视频编辑必需条件"的假设。
观察①（像素空间）：把 N 帧按 r×c 拼成 contact-sheet 大图喂给原版 Qwen-Image-Edit，跨帧一致地完成编辑——主体身份、色板、编辑强度全部自洽。原因是所有瓦片 token 在全局注意力中互相可见，等价于同一幅连贯图像内部的 token。
论文 Figure 2：指令 "Edit the skier into a robot" 的网格编辑输出——九个时间采样帧全部被一致地替换为同一机器人，姿态逐帧对应。
观察②（潜空间解耦）：contact-sheet 在像素空间把帧耦合成一张大图。若网格编辑依赖这种联合编码，则对逐帧产生的视频潜变量毫无意义。于是作者拆掉耦合：每帧用图像 VAE 独立编码，仅在 token 层拼接——关键是每块瓦片保留它在完整画布中应有的 RoPE 坐标（显式帧索引 + 虚拟网格中的空间偏移）。这之所以可行，是因为编辑器 RoPE 是逐 token 的、注意力对排列等变。结果与像素网格编辑不可区分，对应论文 Figure 3（公交车→GPU 显卡的编辑序列，见 [1] 的 HTML 版第 3.2 节）。
观察③（视频潜空间零样本）：把逐帧潜变量直接换成 Wan 2.1 因果 3D VAE 的潜帧、仅经模仿编辑器自身 patchify 层的投影（零训练），已能产生清晰可辨的指令编辑，对应论文 Figure 4。剩余差距是保真度，fine-tuning 只需补上一个保真度缺口，而非跨越域鸿沟。
论文 Figure 4：视频潜力的零样本编辑。将图片中的跳舞女孩变成机器人
三步链把"训练视频编辑模型"归约为"修正表示映射"。但也应指出：三个观察的贡献是诊断性的——它们证明了域差距小，没有解释为什么小。
架构：两处可训练参数与关键公式
系统的可训练参数仅两处，其余（Qwen-Image-Edit DiT 主体、Qwen2.5-VL 文本分支、Wan 2.1 VAE）全部冻结。母架构是 Qwen-Image 系列的双流 MMDiT：
Qwen-Image 官方架构（Qwen-Image Technical Report Figure 6）：冻结 Qwen2.5-VL 提供文本/视觉条件，图像 VAE 提供潜表示，双流 MMDiT 块级联 [7]。
它借用的潜空间两端是 Wan 2.1 的因果 3D VAE（时序 4×、空间 8×、16 通道）：
Wan 2.1 官方架构：UMT5 文本条件 + N×DiT 块，两端由 Wan-Encoder/Decoder 包裹 [8]。Qwen-Video-Edit 保留 Encoder/Decoder 与潜空间，替换中间的全部生成计算。
论文 Figure 5 给出了完整的整体结构图
论文 Figure 5：Qwen-Video-Edit 整体架构
以下按组件逐一拆解其数学结构。
热启动桥接投影。输入侧是一个 Conv3d（核 (1,2,2)，对每帧潜变量独立作用），其权重由编辑器原生 patchify 层精确重排而来：
W_in ∈ ℝ^{d×64}，其中 64 = 16×2×2（16 个潜通道 × 2×2 空间 patch）
W_inᵛ = Reshape(W_in) ∈ ℝ^{d×16×2×2}，即 Conv3d 的核张量
token_i = W_inᵛ · patch(z_t)，帧间无混合
其中 d 为 DiT 隐藏层宽度，z_t 为 Wan 2.1 VAE 编码的第 t 帧视频潜变量（ℝ^{16×h×w}），patch(·) 表示对单帧潜变量做 2×2 空间邻域的展开。输出侧对称，Linear 层热启动自 unpatchify 层 W_out。t=0 初始化时，一段静态视频的嵌入在数值上严格等于一张图像的嵌入——训练从第 0 步起就在编辑视频 token，fine-tuning 只需学习分布漂移。
Grid RoPE。45 帧经 4× 时序下采样得 12 个潜帧，排为 3×4 网格。每个 token 的位置由帧内坐标 (i, j) 与其所在瓦片在虚拟大图中的偏移合成。源视频与目标噪声在内部表示中被当作索引 0 和 1 的两个"帧"，复刻图像编辑器预训练时学到的"参考图—噪声图"相对关系。依赖注意力对 token 排列的等变性，二维 RoPE 被直接复用为这张虚拟大图的位置系统——视频被映射为一张超大虚拟图像的瓦片，模型对此无感知。
训练目标。标准 Flow Matching [1]：
L = E[ ‖ v_θ(x_t, t, c_src, instr) − (x₁ − x₀) ‖² ]
其中 v_θ 为 DiT 参数化的速度场；x₀ 为高斯噪声、x₁ 为干净视频潜帧，x_t 为按噪声调度 σ(t) 对二者插值得到的中间样本；c_src 为源视频条件（源帧 3×3 缩略图网格经冻结 Qwen2.5-VL 编码）；instr 为文本指令。数据为公开 Ditto-1M [9]（100 万三元组）。超参本身就暴露了"轻干预"的底气：LoRA rank=32、lr=1e-4、8×H100 起步，全量微调版 lr=1e-5。推理沿用图像编辑器配方：40 步去噪、CFG=4.0；可选 Wan 2.2 T2V-A14B 做少量 SDEdit 式重加噪增强（Ditto 配方 [9]）——因 Wan 2.1/2.2 共享 VAE 潜空间，编辑结果无缝回流抛光。
机制：Grid RoPE 回避时序建模的代价
Grid RoPE 把时间折叠进空间，代价是帧间的时间顺序被降维为网格行列差：第 1 帧与第 3 帧在注意力中的"距离"由它们在 3×4 网格中的空间邻接决定，而非时间间隔。系统内嵌的隐式假设是"时间邻接 ≈ 网格邻接"，其成立条件是运动的近似时间均匀性。论文自己的局限性讨论与此方向一致：高运动内容下"时序压缩的 Wan 潜帧把外观与运动纠缠在一起"，这正是网格等距先验失配的体现。
这一假设的失效是可以检验的。以下两个诊断命题是本文为后续研究设计的验证方案，并非论文内容（论文只做了"高运动表现更差"的定性观察）：
D1（探针实验）：构造时间等距但内容突变率不等的视频（匀速运动 vs 急停-静止交替），编辑漂移应与"帧间内容差 × 网格距离倒数"相关，而非与帧索引间隔相关；
D2（分布外推）：Ditto-1M 的源素材取自 Pexels 专业级片段，构建时又经基于 CoTracker3 轨迹的运动尺度过滤、移除静态与低运动内容 [9]——训练分布因此系统性偏向中低运动幅度、且偏向运动模式规整的素材。据此推论：模型在高分位运动上的编辑失效应呈单调恶化，失效斜率应与过滤阈值的取值相关；非规整运动（手持、体育）同样可能落在分布外。
值得注意的是，D2 预测的数据分布失效与 Grid RoPE 的结构先验失配，在高运动场景下指向同一个软肋——前者是训练分布的偏置，后者是位置编码的偏置，二者叠加决定了高运动内容是这项技术当前最脆弱的地带。
能力与工程：能做什么，代价是什么
项目页 32 组对比 demo [3] 显示其擅长区间：固定/缓动机位的风格与语义编辑、粗糙素材抛光、参考风格迁移、遮挡物移除与背景扩展、主体替换、多轮组合编辑，指令细度可达"换掉镜头里那只海鸥"。
边界同样清楚：81 帧（720P 约 3 秒级）上限，长视频须分块且跨块一致性未解决；大幅运动下弱于专用视频模型；首次编辑需匹配特定 shift 噪声调度表与 source condition 配置（--latent_mode / --pe_mode / --num_frames必须对齐 checkpoint 训练配置 [2]），这是图像调度规则硬搬到视频 token 分布的代价。
工程落地方面，2026-08-20 起项目仓库自身即为 ComfyUI custom-node pack（QwenVideoEdit 类别下 Loader / Sampler(one chunk) / Wan2.2 Enhance(Ditto) 三节点），并非第三方 wrapper 收录 [2]。模型 zoo 按 Ditto-1M 训练子集与帧数组织：默认推荐 360P/step-30000（性价比最优）与 480P/global_local_81（高分辨率或长片段），另有 global、local、sim2real 单子集变体及 720P 版本——README 明示 720P 仅训练 3500 步、是整个 zoo 中收敛最差的 [2]。按项目文档标注的内存配置：编辑栈约 55GB、Wan 2.2 增强栈约 28GB，两者无法共存于一张 80GB 显卡，采样器与增强节点自动换入换出；默认空闲栈驻留 CPU 内存（需约 100GB 主机内存），小显存主机可将增强节点设为 low_ram 模式，编辑栈完全释放、下次采样时从磁盘重载（约数分钟）[2]。作为参照，端到端视频编辑基线需同时加载视频生成主干，显存与算力门槛在结构上更高——但跨方案的显存对照没有公开同表数据，此处不做精确比较。
前提：潜空间接口的政治
一个易被演示效果放大的幻觉值得纠正：Wan VAE 并非"被设计为跨模型标准接口"，而是被本项目选为桥接点之后才在这套系统里扮演接口角色。路线有效性依赖三个具体前提同时成立：Wan 系 VAE 潜空间几何恰与图像 token 分布相容；Wan 2.2 与 2.1 共享 VAE（增强接力前提）；社区继续围绕 Wan 系权重做生态。任一前提消失（下一代模型换 VAE、或端到端像素生成成为主流），桥接层需重新焊接。所以这条路线的准确读法是：针对当前开源生态位的高效套利，而非可移植的通用方法论。
但具体桥接不可移植，不代表全部价值不可迁移。这套"先探测域差距、再决定干预位置"的诊断流程是可移植的——换一个视频 VAE，三个观察实验仍可原样重跑，可行性结论会先于训练账单给出。对从业者而言，这是比 checkpoint 更长久的部分。
后续坐标：2026 年下半年的两条"图像编辑器视频化"路线
这条路线并非孤例。最直接的后续对照是 arXiv 2610.11037（2026 年 10 月 8 日提交，NeurIPS 2026 接收 [5]）：同样以复用图像编辑器为核心，但路线相反——Stage-1 用图像编辑器编辑关键帧，Stage-2 用视频扩散模型做关键帧插值，以"轻量运动表示"衔接两段。
arXiv 2610.11037 的两阶段架构：图像编辑器负责关键帧语义编辑，视频扩散模型负责时序补全。
两条路线的分歧点是"时序先验放在哪里"。关键帧插值路线保留视频模型的时序先验（插值天然平滑），但编辑粒度受关键帧覆盖率限制，两段模型的误差会级联；潜空间直编路线全帧可编辑、单模型闭环，但时序一致性完全依赖图像编辑器的跨帧归纳偏置与 Grid RoPE 的位置工程，即上一节的脆弱点。
还需注意两条路线的证据等级并不对称：2610.11037 在 IVEBench 与 VIE-Bench 上报告了定量结果 [5]，Qwen-Video-Edit 则以定性演示为主。两者不是同一证据等级上的竞争，而是"有基准数字的关键帧路线"与"低训练成本的全帧直编路线"之间的权衡竞争。两条路线的时间差不到两个月，目前尚不足以判断先发是否转化为生态优势——完整的比较要等 Qwen-Video-Edit 补上定量评测、或 2610.11037 开放训练成本数据。
结语
Qwen-Video-Edit 的贡献可以精确地写成一句话：三个零训练观察钉死了能力边界的可行性，两个热启动投影层完成了成本极低的跨越。LoRA、warm-start、适配层都是既有工具箱的组件；这项工作的价值在于示范了一种值得写进工程手册的认识论顺序——先探测、后干预、且干预最小。这是一篇执行得非常干净的可行性验证报告。它之后两个月内出现的后续工作表明，"把图像编辑器变成视频编辑器"已经从一次漂亮的套利，变成一场关于时序先验归属的真实竞赛。
参考资料
Bai, Y., Gandelsman, Y., Gharbi, M., Huang, Q.Instruction-Based Video Editing by Repurposing an Image Editing Model. arXiv:2608.14790, 2026-08-14. https://arxiv.org/abs/2608.14790 （HTML 全文：https://arxiv.org/html/2608.14790v1 ）
GitHub 官方仓库（模型 zoo、ComfyUI 节点、训练/推理脚本、README 内存说明、更新日志）：https://github.com/yunpeng1998/Qwen-Video-Edit
项目演示页（32 组 Original/Edited 拖拽对比）：https://yunpeng1998.github.io/Qwen-Video-Edit-Page/
Hugging Face 模型页：https://huggingface.co/yunpeng1998/Qwen-Video-Edit
Transforming Image Editors into Video Editors, arXiv:2610.11037, 2026-10-08（NeurIPS 2026 接收）：https://www.arxivdaily.com/papers/2610.11037
Qwen-Image-Edit 官方博客（2025-08-19）：https://qwenlm.github.io/blog/qwen-image-edit/ ；GitHub 仓库（公告于 8 月 18 日上线）：https://github.com/QwenLM/Qwen-Image
Qwen-Image Technical Report（MMDiT 母架构 Figure 6）：arXiv:2508.02324
Wan 2.1 官方架构与 Wan-VAE 技术介绍：https://wan.video/blog/wan2.1
Ditto / Ditto-1M 数据集与 Editto（训练数据来源、构建流程与增强配方）：https://github.com/adobe-research/ditto
ComfyUI 节点使用文档：https://comfyui-wiki.com/en/models/qwen-video-edit/qwen-video-edit
