• 数据集
• 模型蒸馏
• 人工智能

jev-distill-corpus-v3是一个 740,957 行的 TypeSafe System One 类型化决策语料库，内置 6 个开箱即用的数据分片。其中ood 分布外评估集（ood.jsonl，13,058 行）专门用于检验你的模型在训练分布之外还有没有判断力，是测试"模型泛化能力到底行不行"的现成标尺。本手册带你快速理解 ood 分片的来源、结构，并手把手跑通一套分布外评估流程。

一、为什么你需要一个 ood 分布外评估集 📊

很多模型在自己的test集上指标漂亮，一换场景就"变笨"——这说明它只学会了分布内规律，而非真正的决策能力。

ood（Out-of-Distribution，分布外）评估的核心思路是：

• in-distribution 测试：只证明模型没"背题"；
• out-of-distribution 测试：证明模型对陌生数据源、陌生领域依然输出校准过的概率，而不是盲目自信。

在 jev-distill-corpus-v3 中，ood.jsonl 与 test.jsonl 的数据来源完全不同。两者指标对比的差距，就是你的模型泛化能力的量化答案：差距越小，模型越"皮实"。

二、ood 数据从哪里来？🔍

根据 README.md 说明，整个语料库由三条数据流（stream）构成：

ood 分片的全部 13,058 行均来自openjev_v2流中保留的 OOD 行——也就是说，这些样本是独立于yuri_v3合成管线之外的另一套数据，天然构成分布外测试。

三、ood.jsonl 的文件结构与字段说明

所有分片共用同一套 TypeSafe System One 行结构（noul/choice/score）。以test分片中的真实样本为例（test.jsonl）：

{ "id": "v3_b2290667275e4393_s", "kind": "score", "options": ["0", "1", "2", "3", "4", "5"], "target": [0.0, 0.0, 0.0, 0.05, 0.84, 0.11], "state": "An edr alert flagged PowerShell with encoded commands...", "question": "Rate threat severity for this scenario on a 0-5 scale.", "domain": "security_alerts", "family": "technical", "source": "yuri_v3" }

各字段对评估的意义：

一个关键设计点：target 是完整概率分布而非硬标签。这让你可以评估"模型输出的概率是否校准"，而不只是"分类对不对"——这对 System One 式判断器至关重要。

四、完整数据分片一览

⚠️ 官方建议：在train上训练后，主评估用test_set_30k（它从 train/validation/calibration 中切出，各分片已不含这些行，无泄漏），而 ood 集用于额外的泛化能力压力测试。

五、如何快速跑通 ood 评估 🚀

评估流程分三步：加载 → 推理 → 对比。

1. 加载 ood 分片（JSONL 格式，逐行解析即可）：

import json with open("ood.jsonl") as f: ood_rows = [json.loads(line) for line in f] # 13,058 行

2. 推理与指标计算：对每行拼接state+question作为输入，让模型输出与options对齐的概率分布p，然后按题型选指标：

• noul：关注 P(true) 的 AUC、Brier 分数与校准误差；
• choice/score：对完整分布计算KL 散度（p 与 target 的交叉熵）与RPS（排序预测评分，适合 score 题型）。

3. 对比出结论：用同一模型在 test.jsonl 与 ood.jsonl 上分别算指标，按family和kind切片汇总：

如果 ood 指标明显劣化，优先查看哪些family劣化最严重，再决定是否需要补充对应领域的训练数据——这比笼统地"再加数据"高效得多。

六、使用建议与常见坑 💡

1. 别把 ood 混进训练。ood 的价值就在于"没学过"，混入训练池会直接污染泛化评估结论。
2. 校准分开做。温度拟合请使用 calibration.jsonl 完成后再评估 ood，避免"用测试数据调参数"的偏差。
3. 看分布，别只看准确率。本库的target是概率分布，choice/score题型建议用 KL/RPS 而非 top-1 准确率，才能暴露"蒙对但概率离谱"的假象。
4. 注意来源标注。ood 行source均为openjev_v2（上游 CC0 许可）；若在衍生模型或产品中使用本数据集，请按要求标注 SargeDev/jev-distill-corpus-v3 并链接回数据集（见 README.md 的 Attribution 一节）。
5. 全库为合成或公开数据衍生，已通过凭证/密钥模式扫描且无真人会话数据，可放心用于研究与商业用途（Apache-2.0 许可）。

七、小结

• jev-distill-corpus-v3 自带13,058 行 ood 分布外评估集，来自独立的 Open-Jev 数据流，无需自己构造 OOD 数据；
• 评估时用test 对比 ood的指标差值，即可量化回答"模型泛化能力到底行不行"；
• 结合family/kind切片 + 概率校准指标（KL、RPS、ECE），能快速定位模型泛化的具体短板；
• 记得：主评估用test_set_30k，ood 做泛化压力测试，calibration 只做温度拟合。

• 数据集
• 模型蒸馏
• 人工智能