- 数据集
【免费下载链接】Nemotron-Personas-UK
Nemotron-Personas-UK 是由 NVIDIA 基于英国真实人口普查分布生成的开源合成人物(Synthetic Personas)数据集,包含 100 万条记录、600 万个合成人物,总计约 6.18 亿 tokens,CC BY 4.0 协议可自由商用。本文带你快速掌握三大核心用法:训练 LLM、构建 AI Agent 用户模拟、防止 model collapse。
1. 数据集一览:100 万条"有血有肉"的合成人物 🎭
Nemotron-Personas-UK 由 NVIDIA 与伦敦 Locai Labs 合作构建,使用 NeMo Data Designer 框架 + 概率图模型(PGM)+ gemma-4-31B-it 模型生成,严格锚定英格兰及威尔士 Census 2021、苏格兰 Census 2022、北爱尔兰 Census 2021 的真实人口结构:
- 🌍 覆盖4 个国家、12 个地区、372 个地方行政区
- 💼104 个职业组(SOC 2020)× 86 个行业(SIC 2007),全部对齐官方劳动力统计
- 📝 每条记录包含 6 类自然语言人物画像:专业、运动、艺术、旅行、烹饪,外加一个精炼的通用
persona字段 - 🔎 附带
age、municipality、education_level、occupation等 10 个结构化上下文字段,可精准筛选目标人群
下方的专业人物画像聚类图(HDBSCAN + UMAP)直观展示了数据多样性:不同职业、地域、背景的人物描述自然聚成大量簇,而不是千篇一律的模板文本。
2. 数据快速上手:三步拿到 150 万 personas
方式一:clone 仓库(7 个 Parquet 分片,共 1.5 GB):
git clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK方式二:通过 datasets 库加载:
from datasets import load_dataset nemotron_personas = load_dataset("nvidia/Nemotron-Personas-UK", split="train")数据结构:每条记录 23 个字段,核心字段如下(完整定义见 README.md 的 Schema 章节):
| 字段 | 说明 |
|---|---|
persona | 精炼的通用人物画像 |
professional_persona/sports_persona/ … | 5 类主题人物画像 |
cultural_background/hobbies_and_interests | 自然语言背景描述 |
skills_and_expertise_list | 技能列表(JSON 编码) |
age/sex/marital_status/household_type | 人口属性字段 |
occupation/industry | SOC 2020 职业 / SIC 2007 行业代码 |
municipality/region | 地方行政区 / 地区 |
数据文件位于 data/ 目录,例如 data/train-00000-of-00007.parquet,共train-00000至train-00006七个分片。
3. 训练 LLM:用真实分布的人物画像做 SFT 语料
最典型的用法是基于 persona 的指令微调(SFT)——让模型学会在不同用户画像下生成自然的对话、推荐和内容:
- 筛选:用结构化字段圈定目标人群,如
region == "Scotland"或education_level为学位级 - 构造 prompt:将
professional_persona+skills_and_expertise注入 system prompt 作为用户设定 - 生成训练数据:以 persona 为种子生成多轮对话,再与真实数据混合用于 SFT
上图的年龄分布与真实英国人口高度一致:中位年龄 48 岁,25–64 岁每个十年区间均匀分布 16%–17%,18–24 岁占 10.6%——有效避免了常见合成数据"年轻化偏置"的问题。
4. 构建 AI Agent 用户模拟:给 Agent 造一批"虚拟真人"
这是 Agent 开发者最常用的场景:评估 AI 客服、助手类 Agent 时,需要大量"虚拟真实用户"来做压力测试。
- 按
occupation+age抽样目标用户群 - 用
persona作为测试用户的背景设定,用cultural_background、hobbies_and_interests控制其话题偏好与表达风格 - 让模拟用户与 Agent 进行多轮对话,评估不同人群上的表现差异
由于数据覆盖全部 4 国 372 个行政区,你还可以评估 Agent 在不同地区文化语境下的表现——这是普通合成数据集很难做到的。
婚姻状态 × 年龄的分布与真实人口吻合(65–74 岁已婚率 64.4%、85+ 岁丧偶率 59.3%),意味着模拟出的"用户"人生阶段真实可信。
5. 防 model collapse:把"统计上像真实"的合成数据回灌训练
Model collapse(模型坍缩)指反复用模型自身输出去训练模型时,质量逐代退化。预防关键在于回灌统计分布贴近真实数据的合成语料。Nemotron-Personas-UK 正是为此设计:
- 每个国家独立建立 PGM,保证"年龄 × 性别 × 地区 × 职业"等联合分布与普查一致
- 通过迭代比例拟合(IPF)恢复被隐私抑制的长尾分布
- 46.7 万组合全名(2.7 万名字 + 2.5 万姓氏)防止人名同质化
家庭类型分布随年龄呈现真实的生活形态变化——年轻人合租、中年有子女家庭、85+ 岁 50.2% 独居——正是这种细粒度多样性在对抗坍缩。
6. 许可与注意事项 ⚠️
- ✅ 协议为CC BY 4.0,可用于任何模型的训练,商用或非商用均可
- ⚠️ 仅覆盖 18 岁以上成人
- ⚠️ 民族、宗教、姓名、地址等敏感字段未发布,仅用于人物文本的条件生成
- ⚠️ 所有数据均为完全合成的虚构人物,不代表任何真实个体
- 📁 完整的字段统计、数据来源与质量评估,参见 README.md
把 Nemotron-Personas-UK 加入你的合成数据工作流,一次获取"训练语料 + 评测用户 + 抗坍缩数据源"三合一能力,从 100 万条真实分布的英国人物画像开始你的下一次模型迭代吧 🚀
- 数据集
【免费下载链接】Nemotron-Personas-UK
相关推荐
5个实战用例:如何用Nemotron-Personas-Korea做合成数据生成、模型去偏与LLM训练
5个实战用例:如何用Nemotron Personas Korea做合成数据生成、模型去偏与LLM训练 Nemotron Personas Korea 是 NV
MatrAIx_Persona_1M应用实战:用它为LLM做用户模拟、评估与Prompt工程
MatrAIx_Persona_1M应用实战:用它为LLM做用户模拟、评估与Prompt工程 MatrAIx_Persona_1M 是一个开源的百万级 Pers
TRADES防御机制:从理论到实践的鲁棒性革命
TRADES防御机制:从理论到实践的鲁棒性革命 技术原理深度剖析 在对抗性机器学习领域,TRADES框架通过创新的替代损失函数设计,重新定义了模型鲁棒性的优化范
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考