Qwen3.8-27B-singprobe 是 inclusionAI 推出的轻量级大模型安全探针（Probe），基于 Qwen3.8-27B 底模，在生成过程中逐 token 输出 10 类安全分数（8 种意图 + 不安全 + 幻觉风险），解码开销不到 0.5%。它的源码里其实定义了两种探针结构：轻量的 MLP 探针（SingProbeMlpModel）和带注意力的 Attention 探针（SingProbeAttnModel）。本文带你用大白话搞懂：它们各自长什么样、差在哪里、该选哪个。

一、先搞清楚：SingProbe 安全探针是什么 🧭

传统做法是再跑一个独立的安全模型来判断内容是否合规，而 Qwen3.8-27B-singprobe 走的是"内生流式护栏"路线——不额外部署安全模型，而是复用底模在生成时产生的隐藏状态（hidden states），只挂载一个极小的"探针"来打分。

简单理解：模型每吐出一个 token，探针就顺带"瞟一眼"中间层的隐藏状态，同时告诉你——用户意图是什么、这句话有没有危险、有没有可能在"一本正经地胡说八道"（幻觉检测）。这正是流式安全护栏和幻觉检测能同时做到、且几乎不拖慢速度的原因。

二、MLP 探针：SingProbeMlpModel，最简单的"两层打分器"

MLP 结构的实现见 modeling_sing_probe.py，计算流程是一条直线：

1. 拼接输入：把 20、41、62 三层的隐藏状态直接拼起来（input_size = hidden_size × 3）
2. 第一层线性（fc1）：压缩到intermediate_size（默认 1024），再过 GELU 激活
3. 第二层线性（fc2）：映射到 10 个标签，输出 logits

对应的配置类在 configuration_sing_probe.py。

特点：

• ⚡逐 token 独立打分：每个位置的输出只依赖它自己的三层特征，token 之间互不通信
• 📦 结构极简，推理时基本就两次矩阵乘法，延迟几乎可以忽略
• 🎯 适合对延迟极度敏感、且单 token 特征已足够明确的场景

可以把它想象成"只看当前这一帧画面做判断"——快，但看不到上下文。

三、Attention 探针：SingProbeAttnModel，能"回看"的打分器

当前发布的检查点用的就是这种结构（config.json 中architectures为SingProbeAttnModel），实现见 modeling_sing_probe.py，配置类见 configuration_sing_probe.py。它的流程更有"模型味"：

1. Q/K/V 投影：把三层拼接特征分别投影为 Query、Key、Value。注意这里采用类似 GQA（分组查询注意力）的设计——8 个 Query 头共享 1 个 KV 头，省计算
2. 滑动窗口注意力：默认sliding_window = 2048，每个 token 最多回看前 2048 个 token 的特征，窗口外的历史直接忽略，算力可控
3. 残差连接：注意力输出经o_proj后加回 Query 特征
4. RMSNorm + 分类头：归一化后映射到 10 个标签

特点：

• 👀带时序上下文：能感知"前文说了什么"，对多轮对话、长回答中逐渐累积的风险更敏感
• 🪟窗口化设计：2048 的滑窗让复杂度近似线性，不会随对话长度爆炸
• 📈 流式安全指标（R-AUC 0.9881 / T-AUC 0.9305）显著优于 8B 级专用流式护栏基线

如果说 MLP 是"看当前帧"，Attention 探针就是"回放最近 2048 帧再下判断"。

四、两种探针结构对比一览表

一句话总结：MLP 胜在简单快，Attention 胜在看得远；两者都是"寄生"在底模上的极轻探针，不改变生成质量，只增加安全维度。

五、快速体验：一分钟跑起带探针的服务 🚀

探针通过 SGLang 或 vLLM 的集成分支加载，启动时把探针检查点路径传给--probe-ckpt即可，每个生成 token 会返回label_0–label_9一个分数字典。命令如下（详见 README.md）：

python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --probe-ckpt inclusionAI/Qwen3.8-27B-singprobe \ --port 30000

⚠️ 注意：必须使用精确的"底模 + 探针"配对——Qwen/Qwen3.8-27B搭配本探针，否则分数无意义。

本地仓库文件一览，方便对照阅读：

• 模型说明与评测数据：README.md
• 探针超参数（层 ID、滑窗、标签数）：config.json
• 两种探针的配置类定义：configuration_sing_probe.py
• 两种探针的完整实现：modeling_sing_probe.py
• 权重文件：model.safetensors

六、总结：该怎么选？

• 想直接部署：用本仓库发布的 SingProbeAttnModel 检查点即可，它在流式安全、响应安全分类（F1 0.8676）、意图分类（F1 0.8683）、幻觉检测（AUC 0.8035）上均对标或超过 8B 级专用安全模型，而良性回复的误报率平均只有 0.03%
• 想自研/训练更轻的探针：参考 MLP 结构作为基线，再按需升级到 Attention 结构
• 核心启示：大模型的安全护栏不一定要"再跑一个大模型"，一个 10.1M 参数、挂在中间层上的小探针，就能在流式生成时同时管住意图、安全与幻觉

这就是 Qwen3.8-27B-singprobe 用两个极简结构讲透的"内生护栏"思路 👍