先聊句实在的：现在满屏都是AI生成图片、生成视频的讨论，但真正能把底层生成器讲清楚、还带着你从零动手搭一套的课程，市面上并不多。MIT 6.S184 这门课，全称就是"构建大规模图像或视频生成器"，它不跟你绕弯子，直接带你从扩散模型、Flow Matching、DiT 这套当前最主流的技术栈入手，把图像生成和视频生成两条线都过一遍。我花了大半个月跟完这套内容，又自己动手把里面的关键模块复现了一遍，今天就把我对这门课的理解、踩过的坑、以及实际构建生成器时真正有用的工程细节都整理出来。
这套内容适合谁？我觉得两类人收益最大：一类是已经在跑 Stable Diffusion 之类开源模型、想搞清楚背后原理再自己改模型的人；另一类是准备入行 AIGC 方向、但面对论文和开源代码感觉无从下手的新人。课程本身有理论推导也有代码作业，但你不用真的去 MIT 上课——按我下面梳理的路线，配合官方仓库和公开视频，一样能把这条链路吃透。
1. 这门课的核心设计：为什么它值得从头跟一遍
1.1 从第一性原理讲清楚"生成"这件事
先说课程主线。6.S184 的定位不是教你调 API，而是把"图像/视频生成器"拆成几个可以独立理解、独立训练的模块：压缩模型（VAE）、生成主干（扩散/Flow Matching 模型）、条件注入（文本、类别等控制信号）、采样器（Scheduler）。每个模块都有对应的大作业，做完基本就等于自己造了一个简化版 Stable Diffusion，再往上加视频时间维就是视频生成器。
这种设计有一个很实际的好处：当你把它们拆开看，就会发现今天那些看起来复杂的系统，其实没有太多玄学。图像生成器本质上就是一个"从噪声恢复结构"的网络，视频生成器则是在这个基础上多管了一个时间轴。课程从头推导扩散模型的数学基础，但不堆公式，而是配合代码告诉你每一项在工程上对应什么。我印象最深的是它对"前向加噪""反向去噪"的讲解——前向过程就是往图片上一点点撒噪声，直到完全变成雪花点；反向过程就是让网络学会预测噪声，然后按预测结果一步步把雪花点擦掉。这个类比虽然简单，但整个训练目标的直觉就建立起来了。
1.2 课程项目设计：每个作业都是一个小型生成器
6.S184 的作业链设计得很有层次。第一个作业通常是把 Diffusion 的 U-Net 从零训练到能在 MNIST 或 CIFAR 上生成清晰图像；第二个作业会把 U-Net 换成 DiT（Diffusion Transformer），并引入文本条件；第三个作业延伸到视频，让你在有限算力下做出一个能生成短视频片段的模型。这样一路走下来，你接触的不是某个单点模型，而是完整的工程决策链：数据集怎么处理、模型容量怎么选、训练不稳定怎么调、采样怎么加速。
我后来在自己的项目里复现这条路线时，发现课程选的每一步都有讲究。先用小数据集验证模型逻辑，再上大数据集和更大的模型，可以避免"一上来就训不动"的挫败感。很多人直接拿 ImageNet 或 LAION 开训，结果要么显存爆掉，要么 loss 一直不降，其实就是跳过了渐进验证这一步。课程这种从小到大的推进方式，才符合训练生成模型的真实节奏。
2. 核心方法选型：为什么现在都在走"VAE + DiT + Flow"这套路线
2.1 扩散模型到底在学什么
先说扩散模型。它的思路可以这样理解：你把一张干净图片当作一个位于高维空间中的点，前向过程在这个点上叠加高斯噪声，噪声强度逐步增大，图片逐渐变成纯噪声；这个过程没有任何参数，就是纯粹的数学操作。反向过程才是要学的：网络输入"带噪声的图 + 噪声强度"，输出对噪声的预测，把噪声减掉后，图片就清晰一步。重复几十步，就能从纯噪声里还原出图片。
训练目标也直观——让网络预测的噪声和真实噪声做均方误差。这里有个重要的工程细节：噪声强度（用时间步 t 表示）不同，网络要处理的去噪难度也完全不同。所以正规实现里都会给网络引入时间步的 embedding，让网络知道"我现在要处理的是粗噪声还是细噪声"。我自己最开始实现时偷懒没加时间条件，结果模型只会输出模糊的均值图像，加上之后才真正学到细节。这个坑后来在很多开源仓库的 issue 里也反复出现。
2.2 从 U-Net 到 DiT：图像生成主干的结构变迁
早期扩散模型的主干用的是 U-Net——一条编码-解码的卷积网络，中间穿插注意力层。U-Net 在低分辨率和中分辨率上效率很高，这也是 Stable Diffusion 早期版本一直沿用它的原因。但 2023 年谷歌提出 DiT 之后，大家发现把图像切成 patch（类似于把图片变成一排 token），再直接送进标准的 Transformer 编码器，效果甚至更好，而且扩展性极强。
DiT 的核心改动有三个：一是把图像 patch 化，比如把 32x32 的图片切成 8x8 的 patch，得到 16 个 token；二是用 AdaIN 或 AdaLN 的方式把时间和类别条件注入到每个 Transformer 块里；三是最后的输出层把 token 重新拼回图像分辨率。课程对这块讲得很细，尤其是条件注入的方式——有人用简单的加性偏置，有人用 scale+shift，两者效果差别很大。我实测下来 AdaLN 在训练稳定性和生成质量上都更好，代价是代码稍微复杂一点。
2.3 Flow Matching 是怎么把扩散"提速"和"简化"的
Flow Matching（流匹配）是这门课的重头戏之一，也是我现在做生成模型的首选方案。它和扩散模型的目标一致——学会从噪声分布变换到数据分布——但换了一个更直接的数学框架：不再预测噪声，而是学一个速度场，让带噪声的样本沿着速度方向一步步移动到数据分布上。
用大白话说，扩散模型走的是"曲线救国"，Flow Matching 走的是一条近乎直线的路径。好处非常明显：训练目标更简单、收敛更快、采样步数更少（扩散模型要几十步，Flow Matching 通常十几步甚至几步就够了）。SD3、Flux 这些新模型底层都是 Flow Matching，原因就在这里。课程会带你从头推导 Flow Matching 的 loss，并对比扩散模型 loss，二者在实现上只有微小差别，但理解了这个差别，你就知道为什么新模型都在向 Flow 靠拢。建议你把两者都实现一遍，跑同一组数据做对比，这个实验比看十篇论文都管用。
3. 实操：从零搭一个可控图像生成器（DiT 路线）
3.1 数据准备比想象中更影响最终效果
很多人以为生成模型的第一难点是网络结构，但实际动手后会发现，数据处理才是决定上限的地方。以图像生成为例，你需要的是一组"图片 + 文本描述"对。公开数据集里 ImageNet 只有类别标签没有长文本描述，适合做类别条件生成；LAION 这类图文数据集有真实描述，但噪声很大。课程推荐在小规模上先拿 CIFAR 或 ImageNet 跑通流程，再换真实图文数据。
预处理阶段有几个细节特别容易被忽略。第一是图像裁剪策略，直接中心裁剪会丢失构图信息，建议用随机裁剪加水平翻转做数据增强；第二是分辨率统一，要么全部 resize 到固定尺寸，要么做 bucket 处理——把相近长宽比的样本分到同一批，避免 pad 导致大量无效计算；第三是文本清洗，标签里的语气词、平台水印都要去掉，描述过短的样本直接过滤。我第一次训练时忽略了文本清洗，结果模型生成质量一直上不去，后来发现有一大半训练样本的描述是"photo, image"这种垃圾词，模型自然学不到语义。
3.2 模型配置和训练参数怎么定
DiT 的配置空间不算复杂，核心就几个参数：patch size、hidden size、Transformer 层数、注意力头数。课程给了一张配置表，从最小的 DiT-S 到 DiT-XL，我照搬后做了个 120M 参数的模型，在单张 24G 显存上用混合精度训得动。patch size 的选择很关键——patch 越大 token 越少，训练越快，但细节还原能力下降；patch 越小质量越高，但显存和算力开销成倍增加。我的建议是先固定 patch=4 跑通验证，再根据显存余量调整。
训练参数方面，学习率建议 1e-4 到 3e-4 之间用 warmup + 余弦衰减；batch size 在显存允许的情况下尽量大，至少 32 张以上，太小会导致梯度噪声大、loss 震荡。混合精度（AMP）是标配，但要注意 loss scale 策略，否则容易中途出现 NaN。还有一个容易踩的坑：EMA（指数移动平均）在扩散模型里几乎是必须的，因为生成质量要比训练 checkpoint 稳定得多。课程里没强调这一点，但我做了对比实验，EMA 权重生成的图片在 FID 上能比普通权重低好几个点。
3.3 文本条件注入与 Classifier-Free Guidance
想让生成器"听话"（输入文本"一只戴帽子的猫"就生成对应图像），需要在训练时把文本编码进网络。常见做法是用一个预训练的文本编码器（CLIP 或 T5）把文本转成 embedding，然后通过 cross-attention 注入到 DiT 的每一层。课程强调了 Classifier-Free Guidance（CFG）这个关键技巧：训练时以一定概率（比如 10%）把文本条件置为空，让模型同时学会"有条件生成"和"无条件生成"；采样时同时跑有条件和无条件两条路径，把结果按系数外推，就得到更强的类别引导效果。
CFG 的实现不复杂，但 guidance scale 的取值直接影响风格和多样性：scale 越大，生成结果越贴文本但多样性下降，容易过饱和；scale 太小，文本一致性差。我实测下来，图像生成 scale 在 3-7 之间比较稳，视频生成通常要更高，7-12 区间。你可能想问为什么视频要更高？因为视频里除了图像质量还有时间一致性，更强的条件约束能减少内容漂移，代价是动作幅度变小，这个权衡要自己调。
3.4 采样器的工程细节
训练完之后，采样也是门学问。最简单的采样是直接按训练时的 DDPM 逆过程走，但速度太慢。现在主流是用 DDIM 或 DPM-Solver、Euler 这类高阶采样器，用 20-50 步达到几百步的效果。课程里会给采样器的统一视角——本质上都是对概率流 ODE（常微分方程）做数值求解，只是离散化方式不同。
工程上我建议直接用现有库（如 Diffusers 里的 Scheduler），但一定要理解两个参数：采样步数和指引系数。步数从 50 降到 20，速度提升明显，质量损失在可接受范围；再往下降就需要配合 Flow Matching 的路线性设计。另外一个容易忽略的细节是采样时的数据类型，FP16 采样比 FP32 快不少，但对 CFG 这种需要跑双路推理的场景，偶尔会出现精度问题，如果你的生成结果出现颜色偏移，先检查这里。
4. 从图像到视频：时间维度带来的额外难题
4.1 视频生成不只是"图片加一维"
课程后半段进入视频生成，我第一次以为把图像 DiT 的输入从"空间 patch"改成"时空 patch"就行，实际完全不是这么简单。视频生成面临三个额外问题：时间一致性（前后帧不能跳变）、计算量爆炸（帧数 x 分辨率 让 token 数量剧增）、训练数据稀缺（高质量图文视频数据比图像少一个数量级）。
时间一致性是最核心的挑战。如果每一帧独立生成，画面会像幻灯片一样闪烁——因为模型没有"记忆"前一帧的内容。解决方法是在网络结构里加入时间注意力层或 3D 卷积，让模型能同时看到空间相邻像素和时间相邻帧。课程里展示了两种主流做法：一是把视频切成时空 patch 后直接喂给 DiT，让 Transformer 自己建模帧间关系；二是先对第一帧和最后一帧做关键帧生成，中间的帧用插值网络补全。前者质量上限高，后者训练成本低，现在很多可用的视频模型走的是前者的简化版。
4.2 从图像到视频的架构改造：3D VAE 和时间注意力
把图像生成器升级成视频生成器，最直接的改造路径是：先把图像 VAE 换成 3D VAE——它不仅压缩空间维度，也压缩时间维度。比如 16 帧视频可以被压缩成 4 个时间位置的 latent，这样送到 DiT 里的 token 数量就少了很多。然后再在 DiT 块之间插入时间注意力层，或者干脆把自注意力改成"先空间后时间"的分解注意力——先对同一帧内的 patch 做注意力，再对同一位置的跨帧 patch 做注意力。分解注意力比全时空注意力省显存，效果却不差。
我照着这个思路在 8 张 A100 上训了一个 12 帧、256 分辨率的视频模型，训练时间大约是同等图像模型的 3 倍。一个重要的实操技巧是：先把图像模型权重加载进来做初始化，再只训练新加的 temporal 模块，这样视频部分可以快速收敛，也避免了从零训练的漫长过程。课程里没有直接给出这个技巧，但几乎所有开源视频模型都是这么干的。
4.3 视频训练的显存优化与数据策略
视频训练最大的物理限制是显存。同样是 256 分辨率，图像训练 64 张 batch 没问题，视频训练可能 4 帧 16 张就爆显存。我试过几种方案，效果最好的是组合拳：梯度检查点（gradient checkpointing，用计算换显存，把中间激活丢掉，反向传播时重新计算）、梯度累积（小 batch 多步累积模拟大 batch）、以及把视频切成短片段训练。另外，混合精度在视频训练里几乎必须开，但要注意把 loss scale 调大，视频的梯度比图像更不稳定。
数据策略上，建议不要一上来就用完整的高清视频。先在大规模低分辨率短片段上训练，再在少而精的高分辨率数据上微调，这跟课程里"小数据验证、大数据训练"的思路一脉相承。训练视频时还要注意帧率统一，有的数据是 24fps，有的是 30fps，混在一起会让模型学到"跳帧"的坏习惯。我踩过这个坑，后来统一重采样到 16fps，时间一致性立刻改善不少。
5. 训练与部署中遇到的典型问题排查实录
5.1 Loss 不降、NaN、震荡怎么办
训练生成模型最常见的三个问题：loss 一直不降、训练中途出现 NaN、loss 曲线剧烈震荡。先说不降——检查顺序是：数据是否归一化到 [-1,1]、是否正确注入时间条件、学习率是否过低、模型容量是否太小。我遇到过最隐蔽的问题是在 patchify 时把图像像素值理解错了，导致输入范围不一致，网络根本学不动。
出现 NaN 的原因通常有两个：一是混合精度下的 loss scale 失稳，解决办法是把初始 loss scale 调大或者使用动态 loss scale；二是梯度爆炸，可以加梯度裁剪，clip 值设在 1.0 左右。loss 震荡则多半是 batch 太小或学习率过高，降学习率是最快的止血方式。这些排查思路课程正文里没有系统性讲，但在 office hour 的答疑里基本都覆盖到，属于典型的"课程之外的实战知识"。
5.2 生成质量异常：伪影、文字乱码、多样性不足
如果你发现生成图片里出现网格状伪影，十有八九是转置卷积导致的棋盘效应。解决方法是换用双线性上采样加卷积的组合，或者直接把上采样改成注意力层。如果生成图像里的文字"鬼画符"，这是因为通用数据集中文字样本本身就少，模型只学到了文字的纹理没学到结构，目前的通用方案是在训练数据里提高带文字图片的比例，或者干脆给模型做 OCR 相关的数据增强。
多样性不足则要从两个角度检查：CFG 系数是不是拉太高了，或者训练数据分布是不是太单一。我测试过一个极端的例子，把某个类别的图片占比提高到 60%，模型生成结果明显往那个类别偏移。数据均衡比你想象的更重要。
5.3 显存不够和推理速度慢的工程解法
很多人在家用自己的显卡跑这类项目，显存是最大的拦路虎。除了前面说的梯度检查点和梯度累积，部署推理端还可以用模型量化（把权重从 FP16 压到 INT8），或者把部分注意力计算切到 CPU 做 offload。推理速度方面，先把采样步数压到合理范围，再考虑用蒸馏出的加速模型。一个实际经验是：对 512 分辨率图像生成，20 步 DDIM 在 RTX 4090 上大约 1.5 秒一张，如果再配合 time-step 蒸馏模型，可以压到 0.4 秒以内。
5.4 评估指标别只看效果图
图像生成领域最常用的指标是 FID（衡量生成分布和真实分布的距离），视频领域则用 FVD、VBench 这类指标，配合 CLIP Score 看文本-视频一致性。我的强烈建议是不要单看几张生成图就下结论——视觉效果具有极强的偶然性，必须看指标在验证集上的整体表现。但指标也不是万能的，FID 对分布覆盖度敏感，对单张图的质量不敏感；CLIP Score 偏重语义一致性，对画面美感无感。所以实际评估要"指标 + 人工抽检"双轨并行，我在项目里通常是每 500 步存一次 checkpoint，同时记录 FID，再定期人工看生成样例。
6. 学习路线与资源建议
6.1 怎么跟着课程高效自学
如果你不在 MIT，完全可以通过公开资源自学：课程视频（YouTube 上有官方录制）、课程网站上的 slides 和 assignment 代码、以及对应的 GitHub 仓库。我的建议顺序是这样：先看第一周的 slides 把扩散模型数学基础补上，然后不看答案自己写 Diffusion 训练代码，跑通 MNIST；第二个阶段把 U-Net 换成 DiT 并加入文本条件，在 CIFAR 上做类别条件生成；第三个阶段用现成的图像生成器做初始化，在短视频数据上微调出视频生成能力。整个过程如果每天投入 3-4 小时，大概六到八周能走完。
不要贪快直接复制别人的完整代码。自己从空文件开始写一遍的收获，是读十遍源码都比不上的。写不出来的时候再去看参考实现，对照差异，这种"先卡壳再解决"的路径理解最深。
6.2 工具链怎么选
框架上首选 PyTorch，生态最全，模型的教程和第三方实现最多。模型仓库参考 HuggingFace Diffusers 和官方 DiT 仓库；训练加速用 PyTorch AMP 和 DeepSpeed（大规模多卡时）；数据处理用 WebDataset 做流式读取，避免视频数据一次性加载爆内存。可视化推荐 wandb 或 tensorboard，实时看 loss 曲线和生成样例。我自己的项目是在一台 8 卡机器上跑的，多卡分布式直接用 PyTorch DDP 就好，比写自定义逻辑省心得多。
6.3 我个人踩过几次坑之后的一点体会
跟完这门课并自己动手实现之后，我最深的体会是：生成模型的难点不在某一个模型的数学推导，而在于把一堆模块组合成系统时，到处都是细节。数据清洗、条件注入方式、混合精度策略、EMA、采样器选择、指标评估，任何一个环节出错，最终效果都会打折扣，而且很多问题只有在端到端跑起来之后才暴露。
建议你从一个小目标开始：先做一个能在 128 分辨率上生成清晰图像的 DiT，再把它扩展到 256 甚至视频。每扩展一步，你会遇到一批新问题，解决它们的过程就是这门课最有价值的部分。课程本身只是一个入口，真正让你成为能"构建大规模图像或视频生成器"的人的，是你在解决这些实际问题中积累的判断力。最后分享一个小技巧：把每次训练的超参数、数据和问题记录在一个实验日志里，包括失败尝试——我翻了三个月的日志后发现，很多今天觉得理所当然的参数选择，当初都是试错试出来的，这份记录比任何论文笔记都值钱。
