TL;DR：Speculative decoding 的核心收益来自“用一次 target model verification 接受更多 token”。DFlash 把 draft 阶段从逐 token 自回归改成 block-level 并行预测；DFlash2 进一步补上两个短板：用Path Selector从 top-k 候选中选出更连贯的 token 路径，用Local Convolution缓解 draft block 后缀位置质量下降。它的关键价值不是引入一个更重的草稿模型，而是在几乎不破坏并行性的前提下，提高 acceptance length。1. 推理加速的主战场，正在从“小优化”转向 speculative decodingLLM 在线推理的麻烦，不在于 prefill 一定慢，而在于 decode 天然串行。Prefill 阶段处理用户输入，多个 prompt token 可以并行进入模型；decode 阶段则不同，模型必须先生成第t个 token，才能把它作为上下文继续生成第t+1个 token：x 1 → x 2 → x 3 → x 4 → ⋯ x_1 \to DFlash2 深度解读：让 Speculative Decoding 继续并行下去
TL;DR：Speculative decoding 的核心收益来自“用一次 target model verification 接受更多 token”。DFlash 把 draft 阶段从逐 token 自回归改成 block-level 并行预测；DFlash2 进一步补上两个短板：用Path Selector从 top-k 候选中选出更连贯的 token 路径，用Local Convolution缓解 draft block 后缀位置质量下降。它的关键价值不是引入一个更重的草稿模型，而是在几乎不破坏并行性的前提下，提高 acceptance length。1. 推理加速的主战场，正在从“小优化”转向 speculative decodingLLM 在线推理的麻烦，不在于 prefill 一定慢，而在于 decode 天然串行。Prefill 阶段处理用户输入，多个 prompt token 可以并行进入模型；decode 阶段则不同，模型必须先生成第t个 token，才能把它作为上下文继续生成第t+1个 token：x 1 → x 2 → x 3 → x 4 → ⋯ x_1 \to RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
![洛谷 P7912：[CSP-J 2021 T4] 小熊的果篮 ← 双向链表](http://pic.xiahunao.cn/yaotu/洛谷 P7912：[CSP-J 2021 T4] 小熊的果篮 ← 双向链表)
