Jaccard 相似度 vs Dice 相似度两者都是基于集合交并比的相似度度量常用于短文本、词集合、n-gram 集合的相似度计算。一、定义与公式设两文本经分词后得到词集合 A 和 B度量公式取值范围JaccardJ A ∩ BDiceD 2A ∩ B两者都只关注交集大小但归一化方式不同Jaccard 用并集归一化Dice 用集合大小之和归一化等价于算术平均二、数学关系设a |A|b |B|c |A ∩ B|J c / (a b - c) D 2c / (a b)可推导出D 2J / (1 J) J D / (2 - D)关键性质D ≥ J恒成立Dice 给出更高相似度值当|A| |B|且A B时J D 1当交集为空时J D 0两者是单调递增映射关系排序结果完全一致仅数值刻度不同。三、计算示例文本A机器学习 是 人工智能 的 分支 文本B深度学习 是 机器学习 的 子领域 词集合 A {机器学习, 是, 人工智能, 的, 分支} |A| 5 B {深度学习, 是, 机器学习, 的, 子领域} |B| 5 A ∩ B {机器学习, 是, 的} |A ∩ B| 3 A ∪ B {机器学习, 是, 人工智能, 的, 分支, 深度学习, 子领域} |A ∪ B| 7Jaccard 3 / 7 ≈ 0.429 Dice 2·3 / (55) 6/10 0.600Dice 值0.60高于 Jaccard0.43符合D ≥ J性质。四、核心差异维度JaccardDice归一化基准并集大小 A∪B数值倾向偏保守值更低偏乐观值更高对空集处理两空集时0/0需约定通常定义1同样需约定满足三角不等式不满足不满足但 Dice 系数对应的距离1-D满足三角不等式等价距离度量1 - J标准度量1 - D半度量集合大小敏感度对并集大小敏感惩罚差异部分更多对算术平均敏感惩罚更温和差异本质Jaccard 的分母|A∪B| |A||B| - |A∩B|交集越大分母越小相似度提升越快——对交集奖励更显著。Dice 的分母|A||B|固定不随交集变化交集增大时分子线性增长——奖励更平缓。因此当两集合部分重叠时Jaccard 值通常低于 Dice。五、应用场景选择Jaccard 更适合集合相似度阈值判定值域分布更分散区分度更高适合设定阈值过滤去重 / 近重复检测保守度量减少误判信息检索评估标准检索评价指标如 MAP 中的集合匹配生物信息学基因集合相似度Dice 更适合F1-Score 的基础F1 2·P·R/(PR)本质是 Dice 系数Precision/Recall 视为两个集合图像分割评估Dice Coefficient 是医学图像分割标准指标需要更乐观相似度评分的场景如推荐系统的候选打分六、与余弦相似度对比维度Jaccard / Dice余弦相似度输入类型集合二值向量实值向量含权重/频次信息利用仅词项是否出现词项权重TF-IDF 等适用场景短文本、关键词集合、n-gram长文本、加权向量计算成本集合运算低向量运算中Jaccard/Dice 适合词袋二值化场景只关心词是否出现余弦适合加权向量场景关心词的重要度。七、一句话总结Jaccard 用并集归一化、Dice 用集合大小之和归一化两者通过D 2J/(1J)单调映射、排序等价但 Dice 值系统性高于 JaccardJaccard 适合需要保守判定的去重/检索场景Dice 适合 F1/图像分割等需要乐观评分的场景两者均只适用于二值集合无法利用词权重信息此时应改用余弦相似度。