• 大模型
• 模型优化
• 本地部署

Ling-3.0-flash-dspark是 InclusionAI 为 Ling-3.0-flash 大模型打造的**投机解码（Speculative Decoding）**加速方案。它在 DFlash 的基础上引入目标模型辅助特征与置信度头，通过 SpecForge 训练流程生成 1.36B 参数的草稿模型，让 LLM 推理一次验证多个 token，显著降低首字延迟与生成耗时。本文带你搞懂它的三大核心创新与完整训练部署流程。

一、为什么需要 DSpark？先看懂投机解码

传统自回归生成模型一次只能输出 1 个 token，GPU 大量算力消耗在内存读写上。投机解码的思路是：

1. **草稿模型（Draft）**快速"猜"出后续若干个 token；
2. **目标模型（Target）**一次并行验证这批 token；
3. 猜对的直接采纳，猜错的截断重来。

只要草稿猜得准，验证 8 个 token 的成本远低于逐个生成 8 个 token，加速效果立竿见影。衡量这一机制好坏的核心指标是接受长度（Acceptance Length）——每轮验证平均能采纳多少 token（含目标模型奖励 token）。

DFlash 证明了小草稿模型也能高效"陪跑"大模型，而 DSpark 进一步回答了三个问题：草稿模型能不能看到更多目标模型信息？猜多少个 token 才最合适？如何保证猜出来的序列质量？

这正是 Ling-3.0-flash-dspark 的进化起点。

二、三大核心创新解析

创新 1：目标模型辅助特征（Target Auxiliary Features）

这是 DSpark 区别于 DFlash 的关键一步。草稿模型不再"闭门造车"，而是直接复用目标模型内部多个 Transformer 层的隐藏状态作为辅助输入：

草稿模型站在目标模型"肩膀上"做预测，信息量远大于仅依赖已生成 token 序列，猜中率因此大幅提升。相关配置见 config.json 中的target_layer_ids与 config.json 的num_target_layers。

创新 2：置信度头——动态决定草稿长度 🎯

固定猜 8 个 token 并不总是最优：文本越难，越应该少猜一些。DSpark 为此设计了vanilla Markov 置信度头：

"enable_confidence_head": true, "confidence_head_with_markov": true, "markov_head_type": "vanilla", "markov_rank": 256

置信度头会动态选择每轮输出的草稿 token 数量，在"猜得多"和"猜得准"之间自动找平衡——简单文本多猜快跑，困难片段少猜少浪费。配置详见 config.json。

创新 3：轻量而精准的 DSpark Block 设计

草稿模型必须足够小，才能把验证开销压到最低。Ling-3.0-flash-dspark 的结构堪称"麻雀虽小，五脏俱全"：

其中block_size: 8定义了每个草稿块的长度，对应 config.json，config.json 定义了 5 层网络结构。262K 的长上下文支持意味着长文档场景下草稿模型不会"掉链子"。

三、SpecForge 训练流程全解

这套草稿模型并非拍脑袋设计，而是由SpecForge训练框架完成训练、并用SGLang提供在线服务。典型的 SpecForge 流程分为四步：

1. 数据准备：从真实业务流量与公开数据集中采集 token 级数据，覆盖数学、代码、对话等多样任务；
2. 草稿模型训练：以目标模型 Ling-3.0-flash 的辅助层特征（第 1/11/23/29/35 层）为条件，端到端训练 1.36B 的 DSpark 草稿模型与 Markov 置信度头；
3. 多基准评估：在数学（GSM8K、MATH-500、AIME）、代码（HumanEval、MBPP、LiveCodeBench）、对话（MT-Bench、Alpaca、Arena-Hard-v2）等 9 个工作负载上测量接受长度；
4. 部署上线：通过 SGLang 的--speculative-algorithm DSPARK参数挂载草稿模型，实现开箱即用的加速推理。

训练目标只有一个：让接受长度尽可能接近 block 理论上限（9），同时保持草稿模型足够轻。

四、实测成绩：九个基准的平均接受长度 5.29

来自 README.md 的官方评测数据一览：

📌解读：代码与数学类任务接受长度普遍在 5.5 以上，意味着每轮验证平均采纳 5~6 个 token，接近一次生成 6 倍的速度；开放对话类任务（Alpaca 仅 3.51）是天然难点——回复发散、难预测，置信度头此时会自动缩短草稿长度来止损。九项均值 5.29，已是非常出色的投机解码水平。

五、快速部署：两行命令跑起来

方式一：SGLang 服务端部署（推荐）

sglang serve \ --trust-remote-code \ --model-path <LING3_MODEL_PATH> \ --tp-size <TP_SIZE> \ --speculative-algorithm DSPARK \ --speculative-draft-model-path <LING3_DSPARK_MODEL_PATH>

只需给目标模型加上--speculative-algorithm DSPARK与草稿模型路径，加速即刻生效。

方式二：llama.cpp 本地部署

先用convert_hf_to_gguf.py把目标模型转换为 GGUF 并量化（如 Q4_K_M），再生成 DSpark 草稿 GGUF，最后启动服务：

llama-server \ --model path/to/Ling-3.0-flash-Q4_K_M.gguf \ --spec-draft-model path/to/Ling-3.0-flash-DSpark.gguf \ --spec-type draft-dspark --spec-draft-n-max 8 \ -ngl all -ngld all -fa on

其中--spec-draft-n-max 8正好对应模型block_size: 8的设计上限。

六、写在最后

Ling-3.0-flash-dspark 用三个精准的工程设计完成了从 DFlash 到 DSpark 的进化：辅助特征让草稿模型"看得更远"，置信度头让它"懂得收放"，8-token Block + 1.36B 轻量结构让它"跑得起"。再配合 SpecForge 的完整训练与评估闭环，最终交出了 5.29 的平均接受长度成绩单。

对部署者而言，这意味着一条简单的加速路径：无需改动业务代码，只需换一行启动参数，就能让 Ling-3.0-flash 的生成速度迈上新台阶。

• 大模型
• 模型优化
• 本地部署