大家读完觉得有帮助记得关注和点赞！！！
摘要
边界分诊面临延迟/语义权衡：签名引擎快速且格式安全，但对未见攻击视而不见；生成模型具有语义能力，但速度慢且产生不可解析输出。2026年末，一类商用System One决策模型（TypeSafe Jev；Microsoft-Decision-1）开始将类型化决策原语——二元门、闭集选择、有序评分——作为产品API出售，但尚无学术处理或独立评估。我们提出VX-One：一个小型多头网络（10万–1000万参数），其输出正是这些原语——一个校准门、一个在始终包含显式unknown选项的闭候选集上的选择，以及一个有序评分（条件有序回归），多任务训练，逐头温度校准（CPU上单事件延迟p50约0.7–1.7 ms）。我们在三个公开基准（UNSW-NB15、CIC-IDS2017、EMBER2024）上对照校准后的XGBoost、Random-Forest、MLP和Kitsune基线评估它，并在CIC-IDS2017的五天数据上测量两阶段级联（Suricata加52,674条Emerging-Threats规则→VX-One）。我们的发现有意具有双面性：（i）VX-One在UNSW-NB15上以及CIC-IDS2017时间漂移下（0.711对0.637）在检测指标（AUROC/FPR@95%TPR）上胜过所有校准基线，但校准XGBoost在全部三个基准上赢得多类归因；（ii）在留一攻击家族外评估下，门在9/9个UNSW折上检测到从未见过的家族，但在CIC的recon家族上低于随机水平，且在一个基准上校准的弃权阈值迁移到另一个基准效果很差；（iii）在CIC-IDS2017各天的无载荷重建上，签名引擎仅解析约0.1%的每日流——载荷不透明下的灰区约占流量的99.9%，第二阶段恢复了它（组合召回≥0.978）；（iv）所有方法的概率校准在时间漂移下崩溃（ECE 0.04→0.40），而排序部分存活。我们贡献的不是新估计器，而是对类型化校准决策在边界分诊中有何帮助、何处失败的测量性说明。
关键词：入侵检测、校准决策、分布外检测、恶意软件分类、两阶段分诊
1 引言
在网络边界运行缓解策略需要同时满足：火线上的纳秒级决策、控制器可设定阈值的校准置信度，以及对训练从未见过事件的诚实行为。三类现有技术各至少缺失一项要求。
（1）确定性引擎（Snort [32]、Suricata [28]、Zeek/Bro [30]、YARA [40]）快速且格式安全，但在结构上对零日和低慢攻击视而不见；反复出现的失败模式是规则爆炸，没有运营团队能够维护。
（2）安全文本LLM（例如SecureBERT [1]）——双向编码器而非自回归模型，我们纠正这一混用——带来领域语义，但作为火线上的细粒度决策引擎它们很重，而解码器式LLM代理增加生成延迟和输出格式脆弱性，缓解控制器无法容忍。
（3）经典入侵检测ML在表格归因上表现良好——XGBoost [5]赢得我们的归因基准——但将每个事件视为成员测试，在模型从未见过的家族上产生自信的错误归因（第5.2节）。
2026年10月，一类正好定位在这一缺口的商用模型开始出货：System One决策模型，作为API出售，接收结构化状态加类型化问题并返回校准选项概率（TypeSafe的Jev [36, 37]；Microsoft Decision-1 [23, 24]）。尚无同行评审学术文献覆盖该类，其评估由供应商报告，且不存在安全领域评估。
本文通过自己构建原语而非远程调用供应商API来占据这一缺口。VX-One在单次前向传播中将固定大小的事件状态映射到三个类型化决策，然后在公开数据上评估整个流水线——包括其前面的真实签名引擎——并采用反稻草人基线。贡献是：
•类型化决策引擎（第3节）：共享编码器+三个原语头——门（校准sigmoid）、选择（在声明的闭集上softmax，闭集始终包含unknown）、评分（CORN条件有序回归[34]）——在验证数据上逐头温度校准，使用同方差加权方案[17]多任务训练。
•未知攻击诚实性，已测量（第5.2节）：在9个UNSW-NB15和7个CIC-IDS2017家族上做留一攻击家族外评估，加上EMBER2024四个月的家族漂移，报告未见家族检测（门AUROC）和归因诚实性（unknown选项吸收模型不应声称知道的内容的频率）。
•测量的灰区（第5.4节）：Suricata 7加52,674条实时Emerging-Threats规则，在流重建的CIC-IDS2017流量上，载荷不透明下仅解析约0.1%的每日流；组合级联以召回≥0.978恢复它，代价是在第一阶段完全盲的Web攻击日上测得精度下降。
•负结果，已测量（第5.1–5.5节）：所有方法的校准在漂移下崩溃（ECE 0.04→0.40）；帮助弱标签归因的类权重倾斜在饱和基准上可能伤害归因；固定弃权阈值不能跨校准移植；去掉unknown选项可使宏F1提高最多+11.2个百分点——诚实性/效用权衡真实且可量化。
2 相关工作
System One决策模型。Microsoft的公告[23]和文档[24]定义了原语三元组（二元门/闭集选择/有序评分），具有校准选项概率和单遍评分；TypeSafe的Jev [36, 37]在2026年更早将这一框架商业化。两者都是供应商公告，无同行评审评估；引用的基准（快193.6倍、便宜444.6倍）是行业声明。我们的工作是该三元组的首个学术实例化和安全领域评估；我们仅将其名称用于归属，定义自己的形式对象（第3节），并有意避免将供应商术语当作中性词汇继承。
单遍推理。“非自回归”起源于神经机器翻译[13]：一次前向传播给出完整输出，无解码循环。我们严格用于架构（共享主干、并行类型化头）。我们不从单遍性声称新颖性——BERT家族分类器也是单遍——我们的基线包括适当编码器；区别因素是类型化校准输出，而非仅单遍性。用于逐事件动作的快速早退决策层在精神上先于该设计——Viola–Jones级联[39]是其祖先。
校准与弃权。Platt缩放[31]、多类概率变换[42]、经验逐家族校准差距[27]和温度缩放[14]定义我们的后处理协议；共形预测[3, 41]是我们推迟为保证的可选包装器，但在时间划分上经验审计（附录A），并指出无分布覆盖声明需要可交换性，而时间划分违反它[4]。Chow的拒绝选项[6]和选择性分类[11]奠定我们的弃权语义：对称拒绝成本下贝叶斯最优阈值为1−λ_r = 0.5，这是我们最初设置的阈值，我们测量它在模型过度自信处迁移得多差（第5.2节）。
签名引擎及其局限。Snort [32]、Zeek [30]、YARA [40]和Suricata [28]锚定确定性层。DARPA批评传统[21, 22]设定了数据集怀疑标准；对CICIDS2017的审计[10, 20]记录了系统性标注错误。我们使用分层和时间划分，并对照校正标签审计。
网络流量和恶意软件ML。Kitsune [25]是典型的包级无监督集成；我们将其适配到流（有文档）并报告其Platt校准但判别力弱的AUROC（约0.61），作为“校准不创造信号”的具体实例。提升树[5]是我们的引擎在全部三个基准上输给的归因基线——我们用相同协议校准它们，使比较非稻草人。EMBER2018 [2]和EMBER2024 [16]、UNSW-NB15 [26]和CIC-IDS2017 [33]提供数据层。Viola–Jones [39]是我们第二阶段仅在需要时级联的祖先。
3 VX-One设计
3.1 状态对象
每个遥测事件编译为扁平状态
S = {x_num ∈ R^d, x_txt}，
其中d ∈ {39（UNSW）、77（CIC-IDS2017）、2568（EMBER2024）}，x_txt是基准提供时的协议级分类字段（proto、service、state）（仅UNSW）。特征阶段φ（非有限值中位数插补并带行标志；有符号log1p；按训练中位数/IQR稳健缩放；裁剪到±8）将任意重尾基准特征归一化为固定大小向量。一切可从冻结JSON配置和单一SEED=42字节级复现。
3.2 主干与类型化头
小型pre-norm MLP主干（L ∈ {2..8}个[Linear → LayerNorm → GELU → Dropout 0.1]块，从第2块起残差）将φ(S)加文本查找嵌入映射到共享表示h = f_θ(S)，馈送四个头——每个类型化原语一个：
门：gate(S) = σ(w₁ᵀh + b) ∈ [0,1]；
选择：p = softmax(W_C h)，C ∋ unknown；
评分：π_k = σ(q_k(h))，i ≤ k（CORN）
其中评分头是对四个严重性级别——benign、low、high、critical——的条件有序回归（CORN [34]），选择头是每数据集声明的闭候选集。我们有意使用中性头名称而非供应商命名惯例。
按规模的主干深度/宽度（L,w）：2/224（Nano）、3/576（Small）、4/1280（Base），在EMBER2024上减少输入投影（其2568维特征投影主导参数预算）；UNSW-NB15上验证的参数计数为97K / 914K / 5.9M，处于由单元测试强制执行的硬预算10万/100万/500–1000万内。选择头的开集语义是混合的：训练数据提供真实unknown群体处（EMBER2024的219万文件unknown真实值），该选项是训练类；不提供处（UNSW、CIC），unknown在决策时通过(max_k p_k < τ_abs)实现为弃权，τ_abs及任何组合策略属于缓解控制器，而非网络。
3.3 训练公式
多任务损失
L = Σ_q L_q，
采用修改的同方差平衡[17]：每任务参考不确定度经过修改，使任务尺度差异（选择与门的ln K对ln 2）不主导初始化。选择上的每类损失权重使用sqrt归一化、均值1的倾斜ω_k，并在推理中应用解析去倾斜（z ↦ z − log ω）后再校准，使恢复的后验保持总体正确。门损失是无权重BCE：加权将最优logit移动log(ω₊/ω₋)，这是温度校准无法撤销的偏移。训练使用AdamW（仅2D权重矩阵上权重衰减10⁻²）、线性预热（5%）+余弦衰减、梯度裁剪1.0、混合精度，以及验证损失上的早停（patience 4）。所有骨干超参数跨数据集和规模冻结（类似D11的纪律）。
3.4 决策控制器语义
控制器从校准头输出组合三个二元门：训练门（p_cal ≥ τ_det，默认0.5）；在精确CORN边际C₂ = P(sev ≥ 2 | x)上的降级门；以及选择头recon坐标上的低紧迫性门。严重性评分标准使两个蕴含精确——sev ≥ 2 ⇒ attack且recon ⇒ sev=1——并在309万标注流上以零规则违反验证，因此每个门的目标事件恰好与其自己的头估计的事件重合。
门按设计是单头函数。对于单头函数，后处理（去倾斜、温度、阈值化）使校准误差保持在由头自身缺陷决定的界内（附录A，引理1）。跨头则不存在有用的组合界：两个完美校准的头可组合成联合策略，其校准误差最坏为1/4，无论边际ECE如何（附录A，命题4）——而达到它的A=B情形（两个头估计同一底层问题）在安全中是现实情形。因此控制器在门之间组合布尔决策，从不跨头组合概率；任何未来组合门必须可评分标准归约为单头，或测量其自身联合校准。
阈值是成本陈述，不是常数。均匀误分类成本和升级成本λ_r下，带拒绝的贝叶斯规则当且仅当max_k p_k < 1−λ_r时弃权[6, 7]：τ_abs = 0.5是陈述λ_r = 0.5（unknown与错误归因代价相同），τ_det = 0.5是陈述漏掉攻击与虚警代价相同。对于持有不同成本比的操作员，映射是标准成本敏感映射τ* = c_FP/(c_FP+c_FN) [9]——例如10:1漏报:报警比意味着τ* ≈ 0.091；我们保留0.5作为声明默认值并暴露映射，而非静默调参。具有完整成本矩阵的一般策略位于控制器中——成本不对称时最大概率抽象可能偏离真实贝叶斯（max_k p_k高于阈值的事件可能在其他地方有更低期望成本）——我们在验证数据上测量抽象偏差，而非假设它不存在。
4 实验设置
数据。UNSW-NB15 [26]：149,039 / 26,302 / 82,332流（官方划分）；9个攻击家族。CIC-IDS2017 [33]（MLCVE校正变体）：283万流；两个划分，分层（健全性）和按天（时间漂移）。EMBER2024 [16]：385万二进制；按周时间划分，公开挑战集留出；219万真实unknown训练行。原始CICIDS2017中的标签错误有记录[10, 20]；在审计变体之上，我们修复原始标签编码伪影（Web攻击标签中的U+FFFD乱码）和单复数命名漂移（Backdoor），朴素摄入会静默将其路由到unknown类；微类（11个Heartbleed、36个Infiltration流）保留而非丢弃并精确分层。每个计数在任何实验运行前对照代码中的冻结模式检查。
基线。XGBoost（500棵提升树，hist模式）、Random Forest（300棵树，min-leaf 1）、MLP（2×256）和Kitsune（9自编码器集成，特征bagging，在验证上Platt校准）——全部用相同特征阶段、相同每类损失权重（存在类似处）和与VX-One相同的逐头温度缩放校准训练。这是反稻草人纪律：提升树受益于校准修复[27]，我们报告原始和校准后。来自商用System One类的零样本API基线（第5.6节）已计划；本轮未执行。
指标。检测：AUROC和FPR@95%TPR（捕获95%真实攻击的阈值处的FPR——准确率式指标隐藏的火线操作数字）。归因：标签感知宏F1（GT-unknown行按标签排除，因为它们没有已知对应）。校准：15-bin ECE、MCE、Brier、NLL和可靠性图，在原始和校准头上报告。延迟：单线程、batch=1、3,000个计时事件，每个结果记录模型精确硬件。
基础设施。在无服务器GPU（L4）上训练，带原子检查点和测试过的恢复；评估从转储的原始logits本地计算，使所有指标代码可检查。60个单元测试包括端到端冒烟训练（pytest，60/60通过）。
5 结果
5.1 E1/E3——检测、归因、校准
表1总结测试集上的两层比较（校准温度）。三个发现：
（i）VX-One赢得检测，而非归因。在UNSW-NB15和时间CIC上，VX-One在AUROC和FPR@95%TPR上居首。在按天CIC上，每种方法的可达到FPR@95都退化，但树的退化是彻底的（FPR@95 = 1.0——没有阈值在非平凡FPR下达到95% TPR），而VX-One保留部分可用的操作点。归因（宏F1）反转这一点：校准XGBoost在UNSW、分层CIC和EMBER2024上获胜——高出4–8个百分点。我们报告反转而非隐藏它：我们的贡献不依赖归因胜利，我们明确说明损失。
（ii）饱和使分层CIC成为健全性基准，而非卖点。所有方法都落在约1.0，ECE ≤0.001。饱和基准划分上的头条数字最好视为流水线正确性检查。
四个主表运行的种子方差。为确定噪声底，UNSW-Small、CIC strat-Small、CIC by-day和EMBER temporal用种子{42,43,44}从头重跑，并用相同离线评估器评估。种子42重跑将表1的官方UNSW行复现到小数点后第四位（VX-One流水线的确定性，而非运气）。跨种子，AUROC除by-day CIC（0.734±0.018）外各处移动≤0.002，宏F1恰在基准最不稳定处携带真实散布：分层CIC 0.831±0.074（一个种子跌至0.73，而其AUROC和校准保持饱和）和by-day CIC 0.344±0.085（散布0.24–0.45），而UNSW 0.456±0.001和EMBER 0.746±0.012：检测结论对种子稳健；CIC上的归因结论不是，且在任何规模上都不是——归因主张依赖UNSW和EMBER。
（iii）Kitsune：校准不等于信号。在验证上Platt校准后，Kitsune校准良好（ECE 0.037），但判别力接近随机（AUROC 0.608）。其自编码器集成的信号在仅良性数据的敌对阶段重拟合后不存活——我们将其特征阶段重拟合到自己的训练分布（仅良性），如真实无监督部署会做。Platt在一个无用分数上校准出无用概率。
校准（E3）：所有方法的分布内ECE在UNSW-NB15上保持≤0.065，但在时间CIC上漂移到0.39–0.45（表1）。策略级含义精确：“Noul/门反馈已校准”（Noul是供应商对门头校准损失的名称；我们称其为门，第3节）是关于训练分布的声明；它恰在新攻击压力出现时静默退化，而那一刻正是该声明被购买的原因。第5.5节显示该效应在类倾斜选择之上是加性的，而非独立于它。Choice（val）的逐类校准在所有四个主运行上保持≤0.007，馈送g_recon的recon坐标在0.003（UNSW，n=1,574）和0.0001（CIC strat）上校准——最大概率校准不蕴含逐类校准，因此这是此处测量的性质，而非假设。
表1：测试集比较（校准）。VX：VX-One三种规模。FPR@95为FPR@95%TPR。†=时间漂移下。a=归因受益于漂移；b=饱和检测平台（所有模型≈1.0）。完整逐数据集表在发布结果中。
| 数据集 | 模型 | AUROC | FPR@95 | macro-F1 |
|---|---|---|---|---|
| UNSW-NB15 | VX Small | 0.9834 | 0.1211 | 0.4571 |
| XGBoost | 0.9818 | 0.1369 | 0.4968 | |
| RF | 0.9792 | 0.1399 | 0.4378 | |
| MLP | 0.9821 | 0.1279 | 0.4445 | |
| Kitsune | 0.6086 | 0.5617 | — | |
| CIC stratified^b | VX Small | 0.9999 | 0.0003 | 0.8826 |
| XGBoost | 1.0000 | 0.0002 | 0.9416 | |
| Kitsune | 0.6227 | 0.6910 | — | |
| CIC by-day^† | VX Small | 0.7112 | 0.5731^a | 0.4518 |
| XGBoost | 0.6372 | 1.0000^a | 0.8336 | |
| RF | 0.6308 | 1.0000 | 0.4207 | |
| MLP | 0.5959 | 1.0000 | 0.4579 | |
| EMBER2024 | VX Small | 0.9969 | 0.0119 | 0.7549 |
| XGBoost | 0.9981 | 0.0053 | 0.8094 | |
| MLP | 0.9970 | 0.0098 | 0.7733 |
5.2 E2——未知攻击诚实性
留一家族外（LOAO）：训练时去掉家族F，测试F的留出行。表2报告未见家族检测（门AUROC/FPR@95，无任何再训练）、归因诚实性（选择头归因到unknown的程度）和控制（已知家族上的宏F1，不得崩溃）。
UNSW：门泛化。九个从未见过的家族中九个以门AUROC ≥0.85被检测到，大多数高于0.95，而已知家族的宏F1保持（0.38–0.56）。被排除家族的弃权率爬升3–92%——特征依赖而非调参依赖，这正是我们想要的诚实性调制（一个未见但门相似的家族仍有28–92%的时间实现unknown，而非被吸收到normal）。
CIC：失败是结构性的，而非偶然的。在分层CIC-Small LOAO（表3）上，门在家族文本上可区分处仍然强（bruteforce 0.967、webattack 0.979、exploitation 0.970、dos_ddos 0.852），但在recon上低于随机（0.426），在infiltration上接近随机（0.533，n=5）：在77个流统计特征中，来自数据中心的端口扫描看起来与良性端口接触客户端完全相同。
范围：单流分诊看不到什么。这种盲目性是结构性的，说明其边界是贡献的一部分：VX-One分类孤立事件（一个流的统计、一个二进制的特征）。侦察按定义是时间聚合现象——低慢扫描对逐事件统计不可见，只有在时间窗口上的行为检测（事件来源、每时间目标直方图、扫描可分性）中才可检测。因此边界架构不依赖逐事件头做recon：第一阶段（Suricata端口扫描签名，部分覆盖它）及其前面的任何窗口化检测器，或逐事件门旁边（第5.4节）；当第一阶段载荷盲时，残余recon覆盖被诚实声明而非夸大。
默认测量的弃权阈值不可移植：在UNSW上，τ_abs=0.5在排除家族上弃权3–92%；在CIC上，校准饱和（表1，ECE≤0.001），同一固定阈值弃权零行——每个排除家族事件都以高置信度分配给normal。饱和模型下正确选择性，过度饱和模型下自信错误。
扫描：可移植阈值不存在（图1）。我们在已计算的LOAO logits上扫描τ_abs∈{0.05..0.99}（无再训练）。在UNSW上扫描允许操作点：τ=0.5在37.5%的排除家族行上弃权，55.0%错误归因到已知攻击类，升到τ=0.99时弃权97.3%、错误归因0.66%——操作员可选的单调诚实性/效用前沿。在CIC上没有操作点：即使τ=0.99，弃权仅达排除家族行的17.8%；主导失败模式是良性吸收（94.5%的未见家族事件在饱和置信度下归因到normal），而非散布到攻击类（5.5%，UNSW失败模式）。排除行上的最大概率中位数在七个CIC折中的五个上≥0.999（recon：1.000），边际替代量（p(1)−p(2)，recon中位数1.000）继承饱和：基于边际的选择性分类[11]失败的原因与固定阈值相同——后处理策略在置信度分布上操作，而饱和已破坏策略所需的信息。拯救自信错误的模型需要在范围内数据上重新校准（每窗口、在线），而非更锐利的阈值；这就是为什么弃权是有前提的缓解，而非保证。
EMBER2024漂移：训练unknown作为诚实机制。EMBER运行训练第0–45周，在后续周验证/测试；测试时家族组成可测量地漂移。门稳健性高（AUROC 0.997，FPR@95 0.012）。按家族条件是更有趣的表：berbew在测试中从34.5K增长到92K行，保持召回0.998；发生突变的wacatac降至召回0.129，85%→unknown；grandoreiro（n=226，训练中几乎不存在）降至0.221，78%→unknown。模型不把漂移简化为错误归因；unknown选项吸收模型不应声称知道的内容，门同时在检测侧保持操作员安全阈值诚实。这是训练unknown语义最强的单一论据（并与表3在两种打开/关闭unknown方式上直接对比，见第5.5节）。
LOAO下unknown意味着什么。两种unknown机制携带相同类型化含义，但不是同一估计器。在EMBER2024上，unknown是带真实真实值的训练类（良性和尾部恶意软件），因此其概率是分布内拒绝陈述。在UNSW/CIC的LOAO下，被排除家族不是候选：弃权运行在已见家族上的最大softmax置信度，这是分布外相似性检测[15]——经典max-softmax基线及其已知过度自信失败模式——而非关于被排除家族的校准概率。因此我们分别报告未见家族检测（门）和弃权，从不将后者描述为未见过事件的概率。两种机制都以可测量方式丢失信息性诚实模式（表2–3）；设计教训是分布偏移没有单一校准修复——诚实对象是（门，弃权）对，而非一个数字。
表2：LOAO——未见家族检测（门）与归因诚实性（选择弃权）。控制——已知家族上的宏F1——跨折保持0.38–0.56，即被排除家族不降低其他家族归因。UNSW Small。
| 排除家族 | gate AUROC | FPR@95 | abst.(%) | n_test |
|---|---|---|---|---|
| analysis | 0.9992 | 0.0002 | 92.0 | 677 |
| backdoor | 0.9989 | 0.0028 | 63.0 | 583 |
| dos | 0.9941 | 0.0202 | 3.0 | 4,089 |
| exploitation | 0.9550 | 0.4177 | 8.0 | 11,132 |
| fuzzing | 0.8519 | 0.3899 | 28.0 | 6,062 |
| generic | 0.9957 | 0.0128 | 50.0 | 18,871 |
| recon | 0.9523 | 0.1777 | 28.0 | 3,496 |
| shellcode | 0.9688 | 0.1305 | 42.0 | 378 |
| worms | 0.9871 | 0.0642 | 23.0 | 44 |
表3：分层CIC上的LOAO（Small）。Softmax置信度饱和：固定阈值不弃权任何行，未见家族以高置信度归因到normal。
| 排除家族 | gate AUROC | FPR@95 | abst.(%) | n_test |
|---|---|---|---|---|
| botnet | 0.7499 | 0.4038 | 0.00 | 295 |
| bruteforce | 0.9674 | 0.0778 | 0.05 | 2,076 |
| dos_ddos | 0.8524 | 0.3394 | 0.00 | 57,103 |
| exploitation | 0.9703 | 0.0297 | 0.00 | 1 |
| infiltration | 0.5329 | 0.8262 | 0.00 | 5 |
| recon | 0.4259 | 0.8685 | 0.00 | 23,840 |
| webattack | 0.9792 | 0.1550 | 0.00 | 327 |
5.3 E4——延迟
测量使用单事件、batch=1、单线程CPU、每模型3,000个计时事件，在每个模型精确发布的权重上（表4）。
解释：VX-One的类型化决策在Small上携带约1 ms的p50推理成本，使VX-One成为逐事件内联决策组件，而非采样批处理工具。商用System One类的头条延迟声明是API级；逐层比较不是同类比较，我们将其视为背景，而非竞争。
表4：E4延迟（单事件，batch=1，1线程，CPU）。在<10 ms设计预算内，余量≥5×。
| 规模 | p50(μs) | p95(μs) | p99(μs) | max(μs) |
|---|---|---|---|---|
| Nano | 675 | 715 | 773 | 853 |
| Small | 955 | 999 | 1,022 | 1,059 |
| Base | 1,652 | 1,795 | 2,082 | 2,335 |
5.4 E5——两阶段级联：火线中有多少实际是灰区
我们将CIC-IDS2017五天重建为PCAP（有文档重建，无载荷——攻击HTTP体未恢复，因此仅内容签名规则预期表现不佳，这是它们在部署位置遇到此流量的下界），运行Suricata 7.0.10加新鲜Emerging-Threats Open规则（52,674条，拼接）加我们自己的8条结构规则以拉平仅头部信号的竞争环境，然后按家族测量第一阶段捕获哪些攻击、什么落入第二阶段处理的灰区。表5按天汇总。
头条数字是载荷不透明下的灰区，不是普遍估计。Suricata加ET规则在重建流量上按体积仅检测约0.1%的每日攻击；此重建中灰区是每天的99.9%，而第二阶段实际分类它：组合级联保持召回≥0.978，同时在除周四外每天精度保持≥0.95。我们明确此实验测量什么、不测量什么。它测量第一阶段载荷盲时第二阶段可恢复份额——加密流量操作员（处处TLS、管理交换机无载荷检查）熟知的运营状态——而非具有完整载荷可见性的部署的真实灰区，那里第一阶段严格解析更多。第二，级联数字在共享流级的有文档独立性假设下组合第一阶段和第二阶段事件；签名触发攻击也扰动流统计，因此真实重叠非零，我们的组合召回是锚定在载荷盲下界的估计（第6节）。周四失败是真正的教训：在456K良性和仅2.2K攻击的Web攻击日，第一阶段无载荷结构上盲（精度0.059），第二阶段吸收全部，而第二阶段在456K良性行上的FP率主导组合精度（0.552）。级联不是免费的：盲检测阶段的每个假旗都被周围无辜流量放大；那里正确操作姿态是第二阶段作为建议（带弃权阻断，而非自动丢弃）。这一测量——公共基准上实时层引擎在仅载荷重建下的灰区份额——我们认为，是本文最粗糙且最可辩护的新数字。
级联自身门控的风险–覆盖（已测量）。我们还测量了组合策略作为每日风险–覆盖曲线的裁决质量（当且仅当第一阶段标记该流或第二阶段门超过τ时裁决“攻击”；否则弃权；风险=裁决集的1−精度；第一阶段腿按流精确，第二阶段腿按测试行精确，组合腿在表5有文档独立性假设下）。发现：（i）仅良性周一是零点——每次裁决都是错误，因此在风险≤30%下不存在操作点；（ii）周五波（DDoS+PortScan，41%流）上组合策略在风险≤5%下允许0.416的流，整个平台由第二阶段提供（第一阶段在精度0.067下裁决0.0004的流：载荷不透明下它贡献延迟和来源，而非裁决覆盖，Δ≤1点）；（iii）小攻击周四（0.5%）是级联付出自身门控代价之处：第一阶段0.11%的标记率在精度0.059下腐蚀每个组合操作点，因此在风险≤10%下无可允许，第二阶段干净核心仅覆盖0.44%（最小风险0.3%）。这关闭了第7节的下一步。
表5：CIC-IDS2017五天的E5级联。“F1 acc”是仅第一阶段（Suricata）；“comb”是估计的组合级联；P/R=组合级联在该日测试行上的精度/召回。统计是在有文档独立性假设下的估计（第6节）。
| 日期 | 流 | 攻击 | F1 acc | F2 acc | comb acc | comb P | comb R |
|---|---|---|---|---|---|---|---|
| 周一03 | 529,450 | 0 | 0.9989 | 0.9996 | 0.9985 | — | — |
| 周二04 | 445,641 | 13,832 | 0.9681 | 0.9994 | 0.9985 | 0.958 | 0.996 |
| 周三05 | 691,390 | 251,722 | 0.6359 | 0.9986 | 0.9979 | 0.997 | 0.997 |
| 周四06 | 458,483 | 2,216 | 0.9942 | 0.9971 | 0.9961 | 0.552 | 0.978 |
| 周五07 | 702,713 | 288,785 | 0.5887 | 0.9979 | 0.9974 | 0.998 | 0.996 |
5.5 E6——消融
表6总结消融套件（完整14次运行表和逐数据集效应在发布结果中）。四个发现通过健全性检查并值得写：
文本分支（a1）。在UNSW上，协议/服务/状态查找值约5个宏F1点和非平凡AUROC。UNSW原始特征集部分为分类字段值（proto、service、state），因此文本分支恰好提供数值编码器无法推断的词汇。在EMBER2024上消融按构造是恒等：2,568个输入特征已是结构PE统计（直方图、字节熵、导入），不存在可消融的文本字段——这也是EMBER运行完全从输入投影中删除查找表的原因。
校准改变概率，从不改变排序（a3）。温度缩放不触及argmax和AUROC，并改善ECE（例如在同一logits上去除时0.0496→0.0980）。这是行为良好校准层的预期特征，值得明说，因为校准是我们的语义区别点。
类倾斜不是免费的（a4）。在饱和CIC上，去除倾斜ω使归因提高+4.9宏F1——去倾斜在加权交叉熵已推高少数类的区域将少数类推低。在弱分布EMBER上倾斜影响较小。没有免费的类倾斜旋钮；其效应依赖部署状态，而我们自己的损失设计包含一个默认值对饱和数据集错误的旋钮。我们明说并标记设计修订。
Dropout依赖数据集（a6）。在CIC上，零dropout损失−14.7宏F1；在EMBER上增益+2.7（多数类主导且早停调节）。没有通用配方；逐数据集报告。
Unknown是可测量的权衡（a5-wide）。从EMBER的11路选择中去除训练unknown选项使宏F1提高+11.2点（10路更平衡）。“诚实性”不是免费准确率；提供unknown选项是有意花费。
表6：消融（ref=对应Small参考运行）。
| 运行 | 测试效应 | AUROC | m-F1 | ECE-ch |
|---|---|---|---|---|
| UNSW ref | — | 0.9834 | 0.4571 | 0.0496 |
| UNSW a1 | 无文本分支 | 0.9716 | 0.4079 | 0.0509 |
| UNSW a3 | 无校准 | 0.9834 | 0.4571 | 0.0980 |
| UNSW a4 | 无类倾斜 | 0.9838 | 0.4545 | 0.0488 |
| UNSW a6 | 无dropout | 0.9839 | 0.4507 | 0.0451 |
| CIC ref | — | 0.9999 | 0.8826 | 0.0003 |
| CIC a3 | 无校准 | 0.9999 | 0.8826 | 0.0007 |
| CIC a4 | 无类倾斜 | 0.9999 | 0.9313 | 0.0002 |
| CIC a6 | 无dropout | 0.9999 | 0.7360 | 0.0007 |
| EMBER ref | — | 0.9969 | 0.7549 | 0.0076 |
| EMBER a3 | 无校准 | 0.9969 | 0.7549 | 0.0112 |
| EMBER a4 | 无类倾斜 | 0.9969 | 0.7506 | 0.0061 |
| EMBER a5 | unknown关闭 | 0.9961 | 0.8674 | 0.0022 |
| EMBER a6 | 无dropout | 0.9966 | 0.7821 | 0.0081 |
5.6 E7——商用System One基线，已测量
本轮我们运行零样本API比较，对照一个公开暴露相同原语名称的商用System One部署（单决策模型、有文档的gate/choice/score问题；每流一个API请求，在馈送我们头的相同冻结特征状态上包含三个原语）。样本是UNSW测试集的协议固定分层抽取（种子42）：1,000良性+1,021攻击流，攻击配额按家族成比例，下限15。供应商数字在表7；门在此分布上处于随机水平（AUROC 0.568，FPR@TPR95 0.932），选择归因同样退化（在我们的冻结候选集上宏F1 0.069，对0.534），严重性MAE几乎为我们的3倍。供应商延迟：p50 208 ms / p95 591 ms；总运行成本约220万输入token（按供应商公布费率0.09美元）。一个向供应商选择问题添加显式unknown选项的消融——在全部2,021行样本上重跑使比较配对（相同行；唯一差异是额外选项）——画面不变且略有退化：门AUROC 0.476（无选项时0.568），宏F1 0.066（从0.069），供应商仅将0.35%行分配为unknown（攻击0.2%，良性0.5%）。逃生舱可用且未使用：差距既非由缺少弃权选项也非由提示敏感性造成，而是领域适应——通用三元组零样本不迁移到网络流分布。因此本文定位仍不依赖击败商用模型；E7通过测量它关闭后续，并作为外部压力测试而非贡献报告。
表7：E7：商用System One基线，零样本，相同冻结状态和行与我们头相同（2,021个分层UNSW测试行）。
| 原语/指标 | 供应商 | 我们 |
|---|---|---|
| Gate AUROC | 0.568 | 0.981 |
| Gate FPR@TPR95 | 0.932 | 0.157 |
| Gate ECE15 | 0.265 | 0.097 |
| Choice macro-F1 | 0.069 | 0.534 |
| Severity MAE | 0.809 | 0.333 |
5.7 讨论
三条线索将结果绑在一起。
（1）诚实的分诊劳动分工。基准可饱和处（分层CIC），树赢得归因，类型化级联除了降低延迟外无所增加；部署状态敌对处（时间漂移、训练中不存在的攻击家族），门/unknown语义在检测稳健性和归因诚实性上挣得其价值，即使输掉校准战（E3）。贡献是类型化决策帮助何处的测量边界，而非统一的“我们处处赢”。
（2）诚实性是独立于准确率的轴。第5.2节和EMBER漂移表是本文最清晰的一对：一个基准最优系统（无unknown选项、准确操作阈值）最大化宏F1，同时错误归因85%的突变家族；诚实优先系统在choice指标上放弃11个宏F1点，并将突变吸收到诚实弃权。这些是漂移下的不同产品，仅宏F1列无法区分它们。
（3）饱和是部署状态，不是基准属性。同一数据集（CIDS2017）在分层划分下产生饱和基准，在按天划分下产生困难非饱和基准，在排序和校准上都是如此。任何报告IDS2017分层“F1 0.94”的论文都在测量模型拟合重复捕获伪影单调流的能力；论文应同时报告按天数字（我们两者都做）。
6 局限
• 严重性评分由评分标准推导，非人工标注；Score头的真实值是文档化的家族→级别映射，因此跨级别主张是benign/low/high/critical之上的近似。
• 基准数据已审计（第4节）：LOAO测量跨基准家族的泛化，而非对真实世界新攻击的稳健性；对E2的诚实解读是“门比选择头在这些家族上泛化更多”——不是“我们检测零日”。
• 四个主表外的单种子运行。四个主表运行（UNSW Small、CIC strat-Small、CIC by-day、EMBER temporal）用种子{42,43,44}重跑：种子42重跑将官方数字复现到小数点后第四位（可复现性确认），排序指标移动≤0.02点，CIC上多类宏F1携带真实散布（分层0.83±0.07；按天0.34±0.09——漂移不稳定性，而非实现非确定性）。其余表（逐家族LOAO、消融、E4延迟、E5级联）仍为单种子运行；依赖>5点差异的结论对此稳健，但CIC strat上的小头对头差异（参见第5.5节a2/a4）应读作噪声边缘。
• 第一阶段是参考实现（Suricata + ET Open + 8条结构规则），不是我们的C++引擎；第5.4节主张关于架构，重建意味着载荷内容规则按构造处于下界。“组合级联”结果是在独立性假设下的有文档两样本估计，对全家族不可见情形精确，在第一阶段恰在最隐蔽子集失败处乐观；我们将其陈述为估计，其所依赖的每日F1/灰区表是真实测量。
• 漂移下校准（时间CIC上ECE 0.40）已测量，现在也由按窗口前向重校准实验审计（E8，附录A）：使用延迟一天标签，门重校准（温度或2参数Platt）恢复部分损失（困难日Brier 0.539→0.504），但预言机界显示上限是判别力，而非校准——即使在该日自身标签上拟合校准，门ECE仍为0.445，日AUROC 0.56。因此按窗口重校准是廉价的部分修复。其规定的替代方案也已测量（E9，附录A）：用延迟的第1天标签进行一到两遍按窗口继续训练，将第2天门AUROC恢复到0.80–0.84（四遍回归到0.76），并且随着排序恢复，重校准上限从ECE 0.445崩塌到0.10–0.12——但按运行第2天ECE仍为0.554，且没有延迟标签拟合能恢复新一天的组成先验，这落在第5.2节的弃权/覆盖语义上，而非任何后处理映射。
• 共形包装器有范围，未承诺，且现已审计。精确无分布覆盖仅在可交换性下适用：在官方UNSW划分和分层CIC上，split-conformal覆盖精确[29, 35]；在每个时间划分上，家族组成漂移真实且已测量，覆盖退化速率由校准–测试全变差差距界定[4]。域分类器仅从下方证明该差距（d_TV ≥ 1 − 2BER；附录A）——因此我们报告带精确二项区间的经验每周覆盖及加权变体[35]，不作无分布覆盖承诺；测量的EMBER审计在附录A（所有十二个测试周二元集覆盖在[0.895, 0.935]内；认证漂移d_TV ≥ 0.15–0.24）。
• 每百万成本尚未从真实计费数据测量；我们主张的数字是延迟，不是成本。
• 文本字段攻击面（通过user_agent、URI的间接提示注入）真实存在[12]；V0.1没有净化层，我们的文本分支词汇查找（有界135槽词汇，而非自由max-k）只是部分缓解。
• 供应商API基线是单点压力测试（第5.6节）；我们在一个分布（密集UNSW流）上零样本测量一个商用System One部署，而非跨商用决策模型、提示变体或分布的穷尽比较。诚实解读是“通用三元组零样本不微调不迁移到此领域”，而非“供应商不能微调到此领域”。
7 结论
我们构建、训练、校准并压力测试了用于边界分诊的类型化决策引擎——System One原语三元组的首个已发表实例化和公开数据评估——并报告其优势边界而非统一胜利：未知家族和漂移下的检测稳健性与归因诚实性、实时签名引擎的可测量灰区，以及四个清晰测量的负结果（漂移下校准崩溃、不可移植弃权阈值、状态依赖类倾斜、unknown选项准确率成本）。六个 former next steps 已被测量：供应商API比较（第5.6节——商用原语三元组零样本在网络流上处于门随机水平，显式弃权选项不足以弥合领域差距）、弃权阈值扫描（第5.2节，图1——在饱和部署上没有弃权阈值恢复诚实性，因此选择性行为必须用数据和重校准购买，而非后处理）、四个主表的3种子重跑（排序指标种子方差≤0.02点；第6节）以及漂移下按窗口前向重校准（E8，附录A——廉价部分修复，其预言机界显示困难日上限是判别力而非校准）、其规定的替代方案按窗口再训练（E9，附录A——用延迟第1天标签一到两遍将第2天门AUROC 0.56→0.84并重新启用预言机重校准，而四遍回归且按运行ECE未动：权重新鲜度买判别力，不买校准）、以及级联自身门控的风险–覆盖曲线（第5.4节——载荷盲流量上固定风险覆盖完全由第二阶段提供，仅良性日是零点无操作点存在，小攻击日是第一阶段假旗使门本身付出代价之处）。剩余下一步是包含载荷的第一阶段测量，以替代下界级联估计。所有代码、配置、测试和测量结果随论文提供。
