• 人工智能
• 大模型
• 基础模型
• 本地部署
• AI Agent

Spark-X2.6-4B-Base 是 SparkLLM 团队推出的新一代 4B 参数端侧大语言模型。它凭什么在手机上、笔记本上就能跑，还支持 1M token 长上下文？答案藏在这套混合注意力架构里：27 层滑动窗口注意力用最低成本处理局部信息，9 层全局注意力维持远距离信息流通，再配合两组精心设计的 RoPE 参数，让"快"和"长"第一次在 4B 小模型上兼得。

为什么端侧大模型需要混合注意力？

传统 Transformer 的全注意力（full attention）要求每个 token 与之前所有 token计算相关性：

• 计算量随序列长度平方增长：上下文翻 4 倍，注意力计算量翻 16 倍；
• KV 缓存随长度线性膨胀：1M 上下文的缓存轻松吃掉几十 GB 内存；
• 端侧硬件受限：手机、嵌入式设备的内存和带宽远不如服务器。

混合注意力（hybrid attention）的思路非常朴素：大多数局部信息其实"看得见眼前 512 个 token"就够了，只有少数层需要真正的全局视野。于是：

滑动窗口层负责"精读近处"（成本恒定），全局层负责"眺望全文"（数量少），两者分工协作。

36 层混合注意力排布：每 4 层一个"全局枢纽"

打开 config.json，layer_types字段（L22-L59）完整记录了 36 层网络中每一层的注意力类型：

排布规律一目了然："3 层滑动 + 1 层全局"循环 9 组，且最后一层（第 36 层）恰好是全局注意力层——模型输出前做最后一次"全文收口"，设计相当讲究。

在推理代码中，modeling_spark.py 会按层类型分别生成两套注意力掩码：全局层用create_causal_mask，滑动层用create_sliding_window_causal_mask，互不干扰。

💡 小知识：Spark-X2.6 沿用了 Spark-X2.5 的架构（model_type仍为spark2_5），性能提升主要来自后训练优化，因此源码类名是Spark2_5ForCausalLM，这属于正常现象。

滑动窗口 512：局部理解如何做到成本恒定

config.json中sliding_window: 512（L78）定义了滑动层每个 token最多回看 512 个 token。这意味着：

• 无论总上下文是 1 万还是 100 万 token，滑动层的注意力计算量始终恒定不变——这是"快"的来源；
• 局部语法、指代、相邻句子关系，512 的窗口完全够用。

滑动层还配有专属的位置编码参数（见下文对照表）：rope_theta=10000是常规值，partial_rotary_factor=1.0表示对整个 head 维度施加旋转。对只关心短距离的局部注意力来说，这套参数正好——短范围内的相对位置编码精度最高。RoPE 的计算逻辑见 compute_rope_cos_sin。

全局注意力 + 5M 基频 RoPE：撑起 1M 上下文的关键

模型声明的最大上下文是max_position_embeddings: 1048576，即1,048,576 ≈ 1M token（config.json#L60）。而 9 层全局注意力层使用的是一组"加长版"RoPE 参数（config.json#L68-L77）：

两个细节值得展开：

1. 基频从 1 万提升到 500 万：普通 1 万基频在超长序列上会出现"位置分辨力不足"，5M 基频相当于把"位置标尺"拉长到百万级；
2. 部分旋转（partial rotary）：每个 head 维度为 256，全局层只旋转前 64 维，其余维度不施加位置信息——这让远距离匹配更依赖内容语义而非位置，进一步提升长上下文泛化。

这套双 RoPE 机制在 configuration_spark.py 中通过get_rope_theta与get_partial_rotary_factor按层类型动态取值，每一层拿到的是"自己那套"位置编码。

配套效率设计：GQA、head 级门控与 4B 轻量身材

混合注意力并不是唯一省资源的技巧，模型还叠加了多项工程优化：

• GQA 分组注意力：16 个 Q 头共享 4 个 KV 头（num_key_value_heads: 4），KV 缓存体积直接压缩到全注意力的1/4；
• head 级注意力输出门控：headwise_attn_output_gate为每个注意力头生成独立的 sigmoid 门控（modeling_spark.py#L198-L206），让模型精细控制每个头"放多少信息"；
• 词表与输出层共享权重（tie_word_embeddings: true）+bfloat16 精度，最终整体约 4B 参数——这是它能跑进端侧设备的身家本钱。

获取与使用：三步跑起来

第 1 步：获取模型仓库

git clone https://gitcode.com/SparkLLM/Spark-X2.6-4B-Base

第 2 步：加载推理（Hugging Face Transformers 格式）

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("Spark-X2.6-4B-Base", torch_dtype="auto") tokenizer = AutoTokenizer.from_pretrained("Spark-X2.6-4B-Base")

第 3 步：可选微调与思考预算

官方推荐使用 Llama-Factory 做微调。另外该系列支持none / low / high 三档思考预算，应用端可以按场景在推理质量、延迟和成本之间动态切换，非常适合端侧 Agent 调度。

这套架构适合谁？

• 端侧 Agent 开发者：4B 体量 + 恒定局部计算成本，工具调用、多步规划场景延迟友好；
• 长文档处理场景：1M 上下文足以吞下整本技术文档或大型代码库；
• 低成本私有化部署：开源权重 + Apache 2.0 许可（LICENSE），可商用可魔改。

写在最后

Spark-X2.6-4B-Base 的混合注意力架构给小模型设计上了一课：不是把所有层都做重，而是把"全局视野"精确地分配给 25% 的层；不是用一套 RoPE 打天下，而是局部与全局各配一把"标尺"。27 层滑动窗口守住速度，9 层全局注意力守住 1M 长上下文，再加上 GQA 与门控机制，这就是 4B 小模型兼顾速度与长程理解的全部密码。

• 人工智能
• 大模型
• 基础模型
• 本地部署
• AI Agent