1. 视频预训练里那个反直觉的发现

第一次看到“丢掉 95% 的 token，视频预训练反而更准”这个结论，我的反应和大多数人一样：这不科学。视频理解任务里，帧与帧之间的时序信息、空间上的细节纹理，不都是靠密密麻麻的 token 堆出来的吗？把绝大部分 token 扔掉，模型还能学到东西？

但把实验跑通、把数据拉出来对比之后，我服了。这件事背后其实藏着一个被长期忽视的问题：视频 token 的冗余度远超我们的想象。一段 16 帧、分辨率 224×224 的视频片段，如果按 patch size 16 切分，单帧就是 196 个 token，16 帧接近 3200 个 token。而在这 3200 个 token 里，真正携带有效运动信息和语义区分度的，可能连 5% 都不到。剩下的绝大多数 token 在做什么？在重复表达背景、在描述静止区域、在贡献几乎为零的注意力权重。

这篇东西我想聊的就是这件事：为什么砍掉 95% 的 token 不但不掉点，反而涨点；ViT 在视频预训练里的注意力机制到底出了什么问题；以及如果你要复现这套思路，具体该怎么下手。涉及到的关键词包括 token、视频预训练、ViT、注意力、自监督，我会尽量把每个环节的“为什么”讲透，而不是只丢一个结论。

适合谁看？如果你正在做视频理解、自监督预训练、或者单纯对 ViT 的注意力机制感兴趣，这篇应该能给你一些可以直接抄作业的东西。如果你只是听说过 token 这个词但没深究过，我也会用生活化的类比把它讲明白。

2. 先搞清楚：视频里的 token 到底冗余在哪

2.1 从一张图到一段视频，token 数量是怎么爆炸的

先做个简单的算术。图像领域里，ViT 把一张 224×224 的图切成 16×16 的 patch，得到 14×14=196 个 token，加上一个 cls token 就是 197 个。这个量级 Transformer 还能扛得住，注意力矩阵是 197×197，大概 3.9 万个元素。

到了视频，事情就变了。假设我们取 16 帧，每帧还是 196 个 token，拼起来就是 3136 个 token。注意力矩阵变成 3136×3136，接近 1000 万个元素。这还只是单层、单头的计算量。如果是 12 层、12 头的标准 ViT-Base，注意力相关的计算量会膨胀到让人头皮发麻的程度。

但问题不只是算力。真正要命的是，这 3136 个 token 里，信息密度极不均匀。我做过一个粗略的统计：在一段常见的运动视频里，超过 80% 的 token 在连续多帧之间几乎不变，它们描述的是静态背景。剩下不到 20% 的 token 里，又有相当一部分只是边缘过渡区域，语义贡献很低。真正承载“发生了什么”的 token，比例低得可怜。

2.2 用生活类比理解 token 冗余

你可以把视频想象成一场会议录像。会议室里有一面白墙、一张桌子、几把椅子，这些在整场会议里几乎不动。真正有信息量的是人的表情、手势、嘴型变化。如果让一个记录员把每一帧里所有东西都详细描述一遍，他会花大量篇幅重复“白墙还是白的”“桌子还是那张桌子”，而真正重要的“谁说了什么”反而被淹没在冗余描述里。

ViT 处理视频时就是这个记录员。它不知道哪些 token 重要，只能一视同仁地让所有 token 参与注意力计算。结果就是，静态背景的 token 和运动主体的 token 抢注意力权重，而由于背景 token 数量占绝对优势，它们在 softmax 之后往往分走了大量权重，真正该被关注的运动区域反而被稀释了。

这就是为什么“丢掉 95% 的 token”反而可能更准：你不是在丢信息，你是在丢噪声。把那些重复的、静态的、低信息量的 token 去掉，剩下的 token 之间的注意力竞争更纯粹，模型更容易聚焦到真正有区分度的特征上。

2.3 冗余的三个来源

我把视频 token 冗余归纳为三个来源，理解这三个来源，后面做 token 选择时就有方向了。

第一个是空间冗余。同一帧内，相邻 patch 之间高度相似。一块纯色背景被切成几十个 patch，这些 patch 的 embedding 几乎一模一样。ViT 的 self-attention 会让它们互相 attend，但 attend 来 attend 去还是那点信息。

第二个是时间冗余。相邻帧之间，静止区域的 token 几乎不变。16 帧里，背景 token 可能重复了 16 次。如果模型能识别出“这个 token 在时间轴上没变化”，它就没必要反复计算。

第三个是语义冗余。有些 token 虽然数值上有变化，但对最终任务没有区分度。比如光照的微小波动、压缩噪声带来的像素级抖动，这些 token 在自监督预训练里可能被当成信号学进去，实际上是噪声。

理解了这三个来源，你就明白为什么简单的 token 剪枝能 work：因为大部分 token 本来就该被丢掉。

3. ViT 注意力机制在视频场景下的水土不服

3.1 标准 self-attention 的全局竞争问题

ViT 的核心是多头自注意力。每个 token 生成 query、key、value 三个向量，然后 query 和所有 key 做点积，softmax 之后得到注意力权重，再对 value 加权求和。这个机制在图像上表现很好，因为图像 token 数量可控，全局注意力能捕捉长距离依赖。

但视频场景下，全局注意力变成了负担。3136 个 token，每个 token 都要和其余 3135 个 token 算注意力。这里面绝大多数 token 对之间是没有实质关系的——背景 token 和另一个背景 token 之间的关系，对理解视频内容毫无帮助。但 softmax 是归一化的，这些无意义的关系会分走概率质量，导致真正重要的 token 对之间的注意力权重被压低。

我实测过一个现象：在标准 ViT 视频预训练里，如果把某一层某一头的注意力权重可视化出来，你会发现大量头的注意力分布非常“平”——权重均匀地散落在几百个 token 上，没有明显聚焦。这种“平”的注意力分布，说明这个头没有学到有区分度的特征，它在做无用功。

3.2 高度方向和宽度方向注意力的特殊性

视觉领域有一个和 NLP 很不一样的地方：特征图有明确的空间结构。一个 token 在特征图上的位置，天然带有高度（H）和宽度（W）两个方向的坐标信息。这就催生了专门针对视觉的注意力变体，比如把注意力拆成高度方向注意力和宽度方向注意力。

高度方向注意力，简单说就是让 token 主要关注同一列上不同行的 token；宽度方向注意力则是关注同一行上不同列的 token。这种分解的好处是计算量从 O(N²) 降到 O(N√N) 左右，同时保留了空间结构的归纳偏置。

在视频场景下，这个思路可以进一步扩展。除了 H 和 W，还有时间维度 T。一个 token 在 (T, H, W) 三维空间里有明确坐标。如果我们只在时间轴上做注意力，或者只在空间某个方向上做注意力，就能大幅减少无效的 token 对交互。

3.3 局部注意力与因果自注意力的取舍

另一个思路是局部注意力。不让每个 token 和全局所有 token 算注意力，而是只和邻域内的 token 算。比如在空间上只关注 7×7 邻域，在时间上只关注前后各 2 帧。这样每个 token 的注意力计算量从 N 降到常数级。

局部注意力的代价是感受野受限。但视频任务里，很多运动信息本来就是局部的——一个物体的移动，在相邻帧、相邻空间位置上就能捕捉到。真正需要全局信息的场景（比如理解整个场景的语义）相对较少。所以局部注意力在视频预训练里往往性价比很高。

因果自注意力则是另一个维度的事。它限制 token 只能关注它之前的 token，不能关注之后的。这在自回归生成任务里是必须的，但在视频理解预训练里，如果任务是掩码重建，因果限制反而可能损失信息。我的经验是：做视频自监督预训练时，双向注意力通常比因果注意力效果更好，除非你的下游任务是严格的时序预测。

4. 丢掉 95% token 的具体做法

4.1 基于注意力分数的 token 选择

最直接的 token 剪枝思路是：先跑一遍轻量的注意力，算出每个 token 的重要性分数，然后保留 top-k。这个思路在图像领域已经有工作验证过，搬到视频上需要做一些调整。

具体怎么做？我的做法是分两步。第一步，用一个极轻量的打分网络（可以就是一两层 Transformer，或者甚至是一个简单的 MLP）对每个 token 算一个重要性分数。第二步，按分数排序，保留前 5% 的 token 进入主干的 ViT 做完整注意力计算。

打分网络的输入是什么？可以是 token 的 embedding 本身，也可以是 token 在时间轴上的变化量。我试过几种方案，效果比较好的是结合 embedding 范数和时间差分：一个 token 如果 embedding 范数大（说明它携带的信息多），且在时间轴上变化明显（说明它在动），那它大概率重要。

这里有个细节要注意：token 选择不能是硬性的、不可导的，否则梯度传不回去。实践中常用 Gumbel-Softmax 或者 straight-through estimator 来做可微的 top-k 选择。我一开始图省事用了硬选择，结果训练极不稳定，loss 震荡得厉害，换成可微方案之后才收敛。

4.2 基于重构误差的 token 筛选

另一个思路更符合自监督的逻辑：如果一个 token 能被其他 token 轻易重构出来，说明它是冗余的，可以丢；如果重构误差大，说明它携带独特信息，要保留。

具体操作是：对每个 token，尝试用它的时空邻域 token 来预测它。预测误差大的 token 保留，误差小的丢掉。这个思路的好处是完全自监督，不需要任何额外标注，而且和掩码自编码器（MAE）那套框架天然契合。

我实测下来，重构误差筛选比注意力分数筛选更稳定，因为它不依赖注意力权重的质量。注意力权重在训练早期往往很乱，用它来选 token 容易选偏。重构误差则相对鲁棒，即使模型还没训好，误差大的 token 通常也确实是有信息的 token。

4.3 时空联合剪枝的工程实现

把上面两种思路结合起来，就是时空联合剪枝。空间上，用重构误差筛掉静态背景 token；时间上，用帧间差分筛掉不变 token。两个维度都过一遍，最终保留的 token 比例可以压到 5% 甚至更低。

工程实现上，我建议把剪枝模块做成一个独立的、可插拔的组件。输入是完整的 token 序列，输出是保留的 token 索引和对应的 embedding。这样主干 ViT 完全不用改，只是输入变短了。我踩过的坑是：一开始把剪枝逻辑硬编码进 ViT 的 forward 里，结果想换剪枝策略时改得痛不欲生。后来抽成独立模块，换策略就是换个类的事。

还有一个工程细节：token 剪枝之后，位置编码怎么处理？如果直接丢掉 token，位置编码也要相应丢掉。但保留下来的 token 位置是不连续的，标准的可学习位置编码会错位。我的做法是用插值或者相对位置编码，让位置信息跟着 token 走，而不是跟着索引走。

5. 自监督预训练框架的搭建要点

5.1 掩码重建任务的设计

自监督视频预训练最常用的框架是掩码重建：随机遮住一部分 token，让模型根据可见 token 重建被遮住的 token。这个框架和 token 剪枝天然互补——反正都要丢 token，不如丢得更有策略。

我的设计是：先做 token 剪枝，把冗余 token 丢掉；然后在保留的 token 里再随机遮一部分做重建目标。这样模型既要学会从少量 token 里提取信息，又要学会重建。实测下来，这种“剪枝+掩码”的组合比单纯掩码效果好，因为剪枝去掉了噪声，掩码逼着模型学更抽象的特征。

掩码比例怎么定？我试过 50%、75%、90% 几档。在 token 已经剪到 5% 的前提下，再遮 75% 意味着模型只能看到 1.25% 的原始 token。这个比例听起来极端，但实测居然能收敛，而且下游任务表现不差。我的理解是：剪枝已经保证了保留的 token 都是高信息量的，所以即使只看很少的 token，模型也能抓到关键。

5.2 对比学习与重建的取舍

除了掩码重建，对比学习也是视频自监督的常见选择。对比学习的思路是：同一段视频的不同增强视图应该拉近，不同视频的视图应该推远。

但对比学习在 token 剪枝场景下有个问题：增强视图的 token 选择可能不一致。同一段视频，两次随机剪枝保留的 token 可能完全不同，这样拉近正样本对的时候，模型学到的是“不管看哪些 token，都要认出是同一段视频”，这其实是好事，但也可能让模型忽略细节。

我的经验是：重建任务更适合 token 剪枝场景。因为重建要求模型对每个保留的 token 都输出准确预测，这逼着模型充分利用每一个保留的 token。对比学习则可能让模型走捷径，只抓全局特征，忽略 token 级细节。

5.3 训练稳定性与收敛速度

token 剪枝带来的一个副作用是训练动态的变化。因为每次前向传播看到的 token 集合不同，梯度的方差会变大。我一开始没注意这点，学习率沿用了标准 ViT 的设置，结果训练前期 loss 上蹿下跳。

后来做了两件事稳住训练。第一是降低学习率并加长 warmup。标准 ViT 可能 10 个 epoch warmup，我加到了 30 个。第二是用 EMA（指数移动平均）维护一份模型权重，评估和下游任务都用 EMA 权重，而不是原始权重。这两招下去，训练曲线明显平滑了。

收敛速度方面，token 剪枝反而有优势。因为每次前向的 token 少了，单步计算快了，虽然可能需要更多步才能收敛，但墙钟时间往往更短。我实测下来，剪枝到 5% 的版本比全 token 版本训练快 3 倍左右，最终精度还略高。

6. 实测数据与效果对比

6.1 不同剪枝比例下的精度变化

我跑了一组对比实验，在相同的预训练数据、相同的下游任务（视频动作识别）下，比较不同 token 保留比例的效果。数据如下：

可以看到，从 100% 降到 5%，精度不降反升，从 78.2% 涨到 79.8%。但继续降到 2%，精度开始掉。这说明存在一个最优剪枝比例，大概在 5% 附近。低于这个比例，开始丢掉真正有信息的 token，精度就撑不住了。

这个结果和标题说的“丢掉 95% 的 token 反而更准”完全吻合。95% 被丢掉，保留 5%，正好在最优区间。

6.2 注意力可视化对比

除了数字，注意力可视化也很能说明问题。全 token 版本里，很多注意力头的分布是弥散的，权重散落在几百个 token 上。剪枝到 5% 之后，注意力分布明显更聚焦，很多头能清晰地对准运动主体。

我截取了一个典型样本：一段篮球运球视频。全 token 版本里，注意力权重最高的区域是球场地面（因为地面 token 数量多，softmax 之后累积权重高）。剪枝版本里，注意力权重最高的区域变成了球员的手和球。这个对比很直观地说明了问题：token 多不等于信息多，反而可能因为数量优势误导注意力。

6.3 下游任务迁移表现

预训练好不好，最终要看下游任务。我测了三个下游任务：动作识别、视频检索、时序动作定位。

动作识别上，剪枝版本比全 token 版本高 1.6 个点。视频检索上，剪枝版本高 2.1 个点。时序动作定位上，剪枝版本高 1.3 个点。三个任务一致向好，说明这个提升不是偶然。

有意思的是，剪枝版本在细粒度动作识别上优势更明显。比如区分“运球”和“传球”，这两个动作的差异在局部手部区域，全 token 版本容易被背景干扰，剪枝版本因为聚焦在关键区域，区分得更准。

7. 常见问题与排查技巧实录

7.1 训练不收敛怎么办

这是最常见的问题。token 剪枝引入了随机性，训练动态和标准 ViT 很不一样。如果你遇到 loss 不降或者震荡，按这个顺序排查：

第一，检查学习率。剪枝版本的梯度方差大，学习率要相应降低。我一般从标准 ViT 的 1/3 到 1/2 开始试。

第二，检查 warmup。warmup 不够长的话，早期模型还没学会选 token，剪枝选出来的都是噪声，梯度质量差。建议 warmup 至少 20 个 epoch。

第三，检查 token 选择模块的可微性。如果你用了硬选择，梯度传不回去，token 选择模块根本学不到东西。换成 Gumbel-Softmax 或者 straight-through。

第四，检查位置编码。剪枝后 token 位置不连续，如果位置编码没处理好，模型会收到错误的位置信息，训练自然不稳。

7.2 剪枝后精度反而下降的排查

如果剪枝后精度掉了，先别急着否定思路，按这个表排查：

我踩过的一个坑是：剪枝比例设成固定值，但不同视频的冗余度不一样。有的视频背景简单，5% 够了；有的视频场景复杂，5% 可能丢多了。后来改成自适应比例，根据视频的 token 冗余度动态调整，效果稳定多了。

7.3 显存和速度的实际收益

token 剪枝最直接的收益是显存和速度。但实际收益和理论收益有差距，因为剪枝模块本身也要算。

我实测的数据：剪枝到 5%，显存占用降到全 token 版本的 30% 左右，训练速度提升 3 倍。但推理速度提升没那么明显，因为推理时 batch size 小，剪枝模块的开销占比高。如果做部署，建议把剪枝模块和主干一起编译优化，或者干脆训练一个端到端的轻量模型。

还有一个坑：剪枝后的 token 数量是动态的，不同样本保留的 token 数可能不同。这导致 batch 内无法直接堆叠，需要 padding 或者用变长序列的处理方式。我一开始没注意，直接 stack 报错了。后来用了 nested tensor 或者按最大长度 padding 加 mask，才解决。

8. 一些实操心得和后续可扩展的方向

做这个项目最大的体会是：不要迷信“更多 token 等于更多信息”。视频数据的冗余度远超直觉，盲目堆 token 不仅浪费算力，还可能因为注意力被稀释而损害精度。token 剪枝不是妥协，而是一种主动的信息筛选。

如果你要上手，我的建议是从 50% 剪枝比例开始，用重构误差做筛选，先把 pipeline 跑通，再逐步降低比例找最优。别一上来就冲 5%，中间的训练不稳定会让你怀疑人生。

后续可以扩展的方向有几个。一是把剪枝和动态网络结合，不同视频用不同的剪枝策略和网络深度。二是把剪枝用到多模态场景，视频 token 和文本 token 一起剪，看看跨模态的冗余模式。三是研究剪枝后的 token 如何更好地做时序建模，因为保留的 token 在时间轴上可能不连续，标准的时序注意力需要调整。

最后分享一个小技巧：token 剪枝的评估不要只看最终精度，还要看注意力分布的质量。如果剪枝后注意力头依然弥散，说明剪枝没剪到点子上，可能只是随机丢了 token。真正有效的剪枝，应该让注意力分布明显更聚焦。这个指标比精度更早反映问题，能帮你快速判断剪枝策略对不对。