Qwen3.5-35B-A3B-singprobe（SingProbe）是构建在Qwen/Qwen3.5-35B-A3B之上的流式安全探针模型：无需额外运行独立安全模型，它在生成过程中复用基座模型的隐状态，对每个 token 实时打分，覆盖查询意图、响应不安全性和幻觉风险三大维度，解码开销低于 0.5%。本文带你 5 分钟完成部署。

一、SingProbe 是什么？为什么快？

传统安全护栏通常要"主模型生成 + 安全模型复检"两遍，延迟成倍增加。SingProbe 的思路完全不同 🛡️：

• 零额外模型推理：探针直接读取基座模型第 12、25、38 层的 hidden states，随生成同步打分；
• 极小体量：探针参数仅4.2M，架构定义见 modeling_sing_probe.py，配置见 config.json；
• 每 token 输出 10 项分数：label_0–label_9，即 8 个意图类别 + unsafe（不安全）+ hallucination（幻觉）；
• 极低开销：解码阶段额外耗时 < 0.5%。

二、性能有多强？评测数据一览 📊

官方评测结果（越高越好）：

部署特性同样亮眼：良性响应平均误报率仅0.03%（5 个数据集平均），解码开销< 0.5%。

三、部署前准备

1. 硬件：基座模型为 35B 参数 MoE（激活 3B），按 bf16 精度约需 70GB 显存，建议单卡 80GB（A100/H100 级）或多卡并行，具体以基座模型要求为准；
2. 软件：Python 环境 + 对应的 SGLang 或 vLLM集成分支（普通版本不含--probe-ckpt参数，需切换到官方支持 SingProbe 的集成分支）；
3. 模型配对⚠️ 基座模型与探针必须成对使用：Qwen/Qwen3.5-35B-A3B+inclusionAI/Qwen3.5-35B-A3B-singprobe，不可混用其他版本。

四、SGLang 一条命令启动（推荐）

启动 SGLang 服务时加上--probe-ckpt参数指定探针的模型 ID，服务加载后即可流式返回安全分数：

python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-35B-A3B \ --probe-ckpt inclusionAI/Qwen3.5-35B-A3B-singprobe \ --port 30000

参数说明：

五、vLLM 用户怎么部署？

vLLM 同样提供了支持 SingProbe 的集成分支，原理与 SGLang 一致：在服务启动时按 Hugging Face ID 加载探针，生成时每个 token 附带分数。使用方式请以对应集成分支的启动文档为准，核心仍是"基座模型 + 本探针"这一固定组合。

六、如何消费探针输出的分数？

集成接口会为每个生成的 token返回一个包含label_0–label_9的分数字典：

• label_0–label_7：8 类查询意图分类；
• label_8：unsafe响应不安全分数；
• label_9：hallucination幻觉风险分数。

典型用法：为 unsafe / hallucination 设定阈值，超过阈值即触发拦截、改写或人工复核；结合意图标签还可做分场景的风控策略。探针内部采用滑动窗口注意力（窗口 2048）对隐状态序列建模，实现在 modeling_sing_probe.py 的_sliding_window_attention中。

七、常见问题 FAQ ❓

Q1：报错input feature size ... does not match hidden_size * number of tapped layers？输入特征维度校验失败，说明基座模型与探针版本不匹配。请确认使用的是Qwen/Qwen3.5-35B-A3B基座 + 本探针，探针的抽层配置见 configuration_sing_probe.py 中的base_model_layer_ids: [12, 25, 38]。

Q2：部署会明显拖慢生成速度吗？不会。探针仅 4.2M 参数，解码开销 < 0.5%，几乎无感。

Q3：误报会不会影响正常对话？官方 5 个数据集上良性响应平均误报率仅 0.03%，可直接用于生产级护栏。

Q4：更多技术细节在哪里看？部署与评测详情见 README.md，项目以 Apache-2.0 协议开源。

八、总结

无需为安全护栏付出成倍延迟，一条命令即可让 Qwen3.5-35B-A3B 在生成每个 token 的同时完成安全体检 —— 这就是流式安全探针 SingProbe 的全部价值。现在就部署试试吧 ⚡