• 数据集
• 人工智能
• 模型评测
• 媒体生成

text-to-image-human-preference-6M 是由 Rapidata 为 Benchmark.ai 构建的文生图模型人类偏好评测数据集，收录了6,123,853 条真实人类投票，覆盖 43 个文生图模型在 1,514 条 prompt 上的两两对决。它完全依靠人工判断给每张图排名，没有任何自动化指标——这份数据正是 Benchmark.ai 图像排行榜的底层依据。本文将拆解它靠"多重独立投票 + 专业众包 + userScore 加权"三道关卡保住数据可信度的原理，并教你正确读懂每个加权字段。

数据集一览：612万投票背后的数字

三道关卡：标注质量控制如何保证投票可信

关卡一：两两对决，降低判断难度

数据集中每一行都是同一 prompt 下两个模型生成图片的 head-to-head 比较。标注者不需要在几十个模型里打分，只需在两张图中二选一——认知负担小、判断更稳定，这也是偏好类数据集（preference data）最经典且抗噪的采集范式。

关卡二：4 个独立问题，互不干扰

每对图片会在四个独立问题中被分别评测，对应四条独立排行榜：

关卡三：双人门槛 + 全量留痕，投票可追溯

• 每个被评测的问题至少 5 票：单一标注者的个人偏好无法左右结果，随机噪声在聚合后被稀释。
• 分级众包渠道：Alignment、Coherence、Text coherence 由 Rapidata 的专职合格标注人群完成；Preference 则由开放全球标注池完成，兼顾专业度与广度。
• 投票来自 148 个国家，且detailed_results_*列完整保留了每一票的 JSON 明细：所选边（votedFor）、国家、语言、性别、年龄档、职业、userScore与投票时间戳（votedAt）——任何一条得分都可以逐票回溯核查。

userScore 加权机制详解：一票到底算多少？

普通偏好数据集常把"票数"当等权统计，而 text-to-image-human-preference-6M 更进一步：每一票都按标注者的 userScore 加权。

• weighted_results_image1_<q>与weighted_results_image2_<q>是 float32 字段，含义是：该问题下投给 image1 / image2 的所有投票的 userScore 权重之和（<q>为 alignment、preference、coherence、text_coherence 之一）。
• 可以把它想象成"专业评委话语权更大"的陪审团：历史表现更可靠的标注者，其投票在合计中占比更高。
• 注意：这是加权和，不是概率——两侧数值并不加和为 1。想算归一化胜率，只需做一步除法：

例：某对图在 Alignment 上投给 image1 的三票 userScore 为 1.2、1.5、1.0（权重和 3.7），投给 image2 的两票为 0.8、1.0（权重和 1.8），则 image1 的加权胜率 = 3.7 ÷ (3.7 + 1.8) ≈67%。

detailed_results_<q>列则以 JSON 数组形式存下该问题的每一票原始记录，加权和与原始明细可随时互相校验。

两个极易踩坑的细节（官方特别提醒）

1. Coherence 与 Text coherence 的投票方向已翻转。原始问题是"哪张图瑕疵更多"，但数据中votedFor与weighted_results_*已指向瑕疵更少的那张图。因此四个问题的得分口径统一：值越高越好，聚合时不会再二次翻转。
2. 未被评测的问题字段为空。每对图片只被抽取部分问题评测，对应行为None/0，计算前需跳过（例如w1 is None or w1 + w2 == 0时直接 continue）。

数据结构与文件位置

一行 = 同一 prompt 的一对图片，字段一览（完整定义见 README.md）：

数据以 1472 个 parquet 分片存储，例如第一个分片 data/train-00000-of-01472.parquet，完整分片清单见 data/ 目录。

三步上手：验证加权胜率

加载后取任意一行即可复算胜率：

from datasets import load_dataset ds = load_dataset("Rapidata/benchmark-ai-image-benchmark", split="train") row = ds[0] q = "alignment" w1, w2 = row[f"weighted_results_image1_{q}"], row[f"weighted_results_image2_{q}"] if w1 and w1 + w2 > 0: # 未被该问题评测的行字段为空 print(f"{row['model1']} 加权胜率: {w1 / (w1 + w2):.0%}")

总结：为什么这份偏好数据值得信任

• 量级：612 万票、68 万对比较，统计误差空间极小；
• 机制：每题 ≥5 票 + 专业/开放双渠道 + 148 国来源，单点噪声被充分稀释；
• 加权：userScore 让可靠标注者的票更有分量，聚合口径比简单计票更抗操纵；
• 透明：逐票 JSON 全量留痕，任何结论都可追溯到原始投票。

无论是训练偏好模型（RLHF/DPO 类方法）、构建文生图模型排行榜，还是研究人类偏好与模型能力的相关性，text-to-image-human-preference-6M 都提供了目前规模最大、口径最统一的纯人类判断基准之一。

• 数据集
• 人工智能
• 模型评测
• 媒体生成