摘要

传统 KV Cache 将 Key/Value 向量视为与输入 Token、位置编码强绑定的只读快照，前缀任意修改即触发全缓存失效与二次 Prefill，这是当前主流推理引擎（vLLM、SGLang 等）的工程默认约束。但该约束并非 Transformer 架构的固有本质。

前沿研究提出一种新视角：KV Cache 承载的核心信息并非原始 Token 表征，而是经过多层变换后沉淀的推理推论，可类比模型在上下文上生成的隐式"推理笔记"。基于该视角，研究者验证了两类新原语：KV 缓存局部编辑、带 RoPE 重定位的 KV 块组合，为 AI Agent 动态上下文、模块化记忆、可复用技能块推理提供了新路径。本文梳理范式差异、底层机理、能力边界与工程现状。

1. 回顾经典 KV Cache 及其固有约束

在自回归 Transformer 解码中，KV Cache 是降低推理复杂度的核心优化手段。Prefill 阶段对上下文序列并行计算各 Token 的 Key、Value 向量并持久化存储；解码阶段仅输入最新 Token，计算其 Query 向量，与缓存中全部历史 K/V 执行因果注意力，随后追加新 Token 的 K/V 至缓存。该机制将逐步解码的重复 Prefill 开销消除，把生成阶段复杂度由O(N2)O(N^2)O(N2)降至O(N)O(N)O(N)。

经典实现存在一条强假设：K/V 向量与 Token 序列、RoPE 位置编码一一绑定，表征依赖前置序列的链式计算。若前缀任意位置的 Token 发生修改、插入或删除，该位置之后所有层、所有位置的 K/V 表征均不再有效，缓存整体失效，必须执行一次完整 Prefill。

RoPE 架构下，位置信息并非在 Embedding 阶段与词向量相加（D 先做 embedding + 位置编码，得到 D 的 hidden state），而是在 Q、K 线性投影之后通过旋转变换注入 Q 与 K，Value 本身不携带位置信息。因此 K 与位置的绑定不是附加的位置向量，而是被旋转进 K 数值里的固有属性；也正因这种旋转可分离，才能批量修改 K 的位置偏移，实现整块 KV 缓存的重定位与拼接（即 3.2 节的数学基础）。

长期以来，业界默认该失效机制是 KV Cache 的必然属性，而该研究工作的核心贡献，是挑战这一固有认知：缓存失效是现有工程实现的选择，而非 Transformer 数学上不可突破的限制。

2. 核心观测：原始 Token K/V 对最终决策的边际贡献极低

通过归因量化分析得到一个反直觉结论：上下文内某个事实片段对应的原始 Token K/V，对模型最终 Logit 输出的贡献通常不足 1%。真正主导后续所有注意力交互、隐藏状态演化与预测结果的，是经过多层 Transformer Block 的注意力融合、非线性 MLP 变换之后，下游位置上沉淀下来的 K/V 表征。这些深层 K/V 已经完成了事实的消化、关联与推导，编码了由原始事实导出的隐式推论，而非原始文本字面信息。

可以形式化区分两层信息：

1. 表层 K/V：原始 Token 经过 Embedding 与投影层直接生成，对应输入字面；
2. 深层推理态 K/V：多层堆叠后，融合上下文信息得到的推论表征，是决定后续生成的主体。

这构成"笔记视角"的底层依据：KV Cache 本质上存储的是模型消化上下文后得到的推理摘要，而非原文的向量镜像。修改源头事实，理论上不需要重算整条序列，只需要沿着推理链路更新受影响的推论状态。

3. 两类新原语：KV Editing 与 KV Composition

3.1 KV Cache Editing：局部状态更新，避免全量 Prefill

基于推理笔记视角，缓存编辑的核心目标是：当上下文内某一处原始事实发生变更时，仅对依赖该事实的 K/V 表征做增量更新，让事实变更沿着显式推理链路向后传导，以远低于全量 Prefill 的开销，得到和完整重 Prefill 对齐的输出分布。

该机制存在强约束前提：上下文必须包含显式 CoT（Chain-of-Thought）推理链路。

• 具备显式 CoT：事实节点、中间推理步骤、最终结论在序列中有序排布，事实与推论之间具备可追踪的依赖关系。
  举两组对照：
  ① 短序列场景：仅用户城市：北京 → 思考1 → 思考2 → 回答。把 “北京” 改为 “上海”，整条序列都属于依赖链，链上节点必须依次重算，几乎没有收益。
  ② 真实 Agent 长上下文场景：前置有上千 token 的系统提示、历史对话（和城市字段无关），后面才是用户城市：北京 → 思考1 → 思考2 → 回答。全量 Prefill 需要重算全部上千 token；KV Editing 可以直接保留系统提示、历史对话对应的 KV，仅更新城市字段以及后面这条简短推理链，开销可降至全量 Prefill 的 1% 左右；但依赖链内部的节点仍需要依次重算，无法跳过。
• 无显式 CoT：事实信息会被隐式融合进深层表征，不存在独立、可追溯的推理依赖链路；此时即便修改原始 Token，固化在深层 K/V 中的推论也无法定向更新，事实变更无法有效传导，编辑机制直接失效。

该边界至关重要：KV 编辑天然适配 Agent、带结构化思考链的复杂任务；对于短 Prompt、无独立推理步骤的开放式对话，几乎没有收益。

3.2 KV Cache Composition：RoPE 重定位下的模块化 KV 块拼接

经典 KV 缓存不可拼接的根源：RoPE 旋转位置编码将位置信息编码进 Key 向量，K 的数值和序列位置强绑定。两段独立 Prefill 得到的 KV 块直接拼接，位置编号冲突会破坏注意力内积匹配，造成表征崩坏。

组合方案的核心操作是KV 块的 RoPE 位置偏移重映射：对一块独立预计算完成的 KV 缓存（可视为一个封装好的技能模块，例如文档检索、计算器调用子流程），统一调整块内所有 Key 的位置编码偏移量，完成位置重编号。重定位后的 KV 块可以直接追加到另一组主 KV 缓存之后，无需重新对该块执行注意力 Prefill。上下文组装的复杂度由O(L2)O(L^2)O(L2)下降至O(L)O(L)O(L)的缓存拼接操作。

① 直接拼接场景：主对话 KV 位置为(pos=1∼20)(\text{pos}=1\sim20)(pos=1∼20)，预计算的「计算器使用说明」KV 原始位置也是(pos=1∼100)(\text{pos}=1\sim100)(pos=1∼100)，直接合并会出现位置冲突，注意力计算异常。
② RoPE 重定位拼接场景：给计算器块全部 Key 施加偏移(Δ=20)(\Delta=20)(Δ=20)，重映射到(pos=21∼120)(\text{pos}=21\sim120)(pos=21∼120)，再拼到主 KV 后面，该技能文本不需要重复 Prefill。

原型在 vLLM 上验证指标：前缀缓存命中率可达 98.5%；p90 首 Token 延迟相比基线下降数十至数百倍；跨 12 个大模型测试，拼接缓存输出与全量 Prefill 输出的 Logit 余弦相似度落在 0.90~0.999 区间，决策一致性较高。

4. 对 AI Agent 架构的启示

传统 Agent 的上下文维护范式属于文本驱动：所有记忆、工具返回、环境状态都序列化为字符串，拼接进 Prompt；每次状态变更，都需要重新构造完整文本并 Prefill。该方式实现简单，但在长记忆、高频更新场景下成本难以收敛。

可编辑、可组合 KV Cache 为下一代 Agent 提供了状态驱动的思路：

• Agent 的长期记忆、工具技能、环境状态不再单纯以文本形式维护，而是封装为独立 KV 缓存模块；
• 记忆字段变更时，优先尝试局部编辑关联 KV 状态，而非全量重建；
• 技能模块可以离线预 Prefill、持久化，运行时按需做 RoPE 重定位并动态拼接入主上下文；
• 上下文组装从"文本拼接 + 重复 Prefill"，转向"KV 状态块的动态编排与增量更新"。

这一方向有望缓解长上下文 Agent 最突出的首 Token 延迟、显存带宽压力问题。

5. 工程边界与现状说明

必须明确区分研究原型与生产落地：

1. 当前主流推理引擎（vLLM、SGLang、TensorRT-LLM 等）的生产实现，仍然遵循经典 KV Cache 规则：前缀修改 → 缓存作废，本文前述的编辑、组合能力并未内置；
2. 该方案依赖 CoT 结构、精准的依赖追踪、RoPE 重映射，存在额外的控制层开销，且在无推理链场景下不生效，通用性有局限；
3. 相似度指标高不等于结果 100% 等价，在高风险、强事实一致性场景下仍需要谨慎校验；
4. 它不是对现有 KV Cache 的替代，而是一套拓展原语，用于探索动态上下文、模块化推理的新空间。

6. 结语

KV Cache 的学习很容易停留在"加速解码的工程优化"层面。而"推理笔记"范式的价值，在于把 KV Cache 从一个计算加速部件，上升为模型的外部隐式记忆载体。Transformer 本身并没有强制要求 K/V 必须随前缀改动而整体失效；失效只是我们为了工程简洁性选择的实现约束。随着 Agent 应用对动态上下文、可复用推理状态的需求持续增长，可编辑、可组合 KV 技术，很可能成为长上下文 Agent 推理栈中重要的底层组件。

7. 对比表：经典 KV Cache vs 可编辑 KV Cache