ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

1100万份判决里的宝藏:土耳其法律语料turkish-court-decisions完整入门

1100万份判决里的宝藏:土耳其法律语料turkish-court-decisions完整入门

【免费下载链接】turkish-court-decisions

项目地址:https://ai.gitcode.com/hf_mirrors/hamzabagirsakci/turkish-court-decisions
点击查看免费下载

turkish-court-decisions(Türk İçtihat Korpusu,土耳其判例语料库)是目前公开可获取的最大的土耳其法律语料数据集:它把土耳其各级法院公开发布的1104 万份判决书整理成了结构化的 Parquet 文件,时间跨度覆盖1962–2026 年,纯文本总量约 315 亿字符。如果你在构建 NLP 模型、法律检索系统或 AI 法律助手,这是一份可以免费、合法(CC0 授权)使用的"真实语料宝藏"。下面用通俗的语言带你快速上手。

📦 数据集概览:1100 万份判决都来自哪里

所有判决均来自土耳其司法机关的公开检索系统(Yargıtay Karar Arama、Danıştay Emsal Karar、UYAP Emsal、AYM 判决信息库),共5 个数据来源、30 个 Parquet 文件,全部存放在 data/ 目录下:

数据来源目录判决数量时间跨度说明
最高法院 Yargıtaydata/yargitay/9,820,1451997–2026占总量约 89%,绝对主力
UYAP Emsaldata/emsal/815,7022017–2026地方法与上诉法院
行政法院 Danıştaydata/danistay/386,6081965–2026行政类判决
宪法法院个人申诉 AYM BBdata/aym_bb/17,0672012–2026个案申诉案件
宪法法院规范审查 AYM Normdata/aym_norm/5,5631962–2026合宪性审查案件
合计—11,045,0851962–2026约 5.52 GB

原始采集共 11,124,305 条记录,其中 79,220 条因"错误页面响应"或"重复索引"被清洗剔除,最终得到11,045,085 份去重后的独立判决。

🧹 为什么它质量高:清洗、脱敏与结构化引用

这份土耳其判决书语料在发布前做了三件很见功夫的事:

  • 隐私脱敏:文本中的个人身份证号、银行账号、银行卡号、电话、邮箱被统一替换为[TCKN]、[IBAN]、[KART]、[TELEFON]、[EPOSTA]标签,masked_count字段记录了每份判决中被脱敏的条数——直接用于训练更安心。
  • 垃圾与去重:源系统偶尔会返回"机器人检测页"或错误页,共筛除 6,779 条;同一判决被多个 ID 重复索引的情况按(来源+法庭+案号)去重,保留了文本最完整的版本(共剔除 72,441 条重复)。
  • 法条引用结构化:mevzuat_atif字段把判决依据的法律条文抽取为法号/条号格式(如5237/62表示《土耳其刑法典》第 62 条)。它不做猜测:只有当法号明确写在正文里,或缩写的指向经过 21 万处语料实测确认度 ≥99%(如HMK→6100、CMK→5271)时才会生成。像TCK这类因历史沿革可能指向新旧两部刑法的缩写,宁可留在正文里也不强行标注——这个设计对法律 NLP 任务非常友好。

🚀 快速上手:三步拿到土耳其判决书数据

第 1 步:获取仓库

git clone https://gitcode.com/hf_mirrors/hamzabagirsakci/turkish-court-decisions

💡 注意:Parquet 文件通过 Git LFS 存储,完整检出会拉取约5.52 GB数据,请留意磁盘空间。

第 2 步:用 datasets 库加载

from datasets import load_dataset # 全量数据(5.52 GB,建议用 streaming 流式读取) ds = load_dataset("hamzabagirsakci/turkish-court-decisions", split="train", streaming=True) # 只加载单一来源(例如最高法院) yargitay = load_dataset("hamzabagirsakci/turkish-court-decisions", "yargitay", split="train")

第 3 步:不想全量下载?先读单个文件试试

import pyarrow.parquet as pq tbl = pq.read_table("data/aym_norm/train-00000-of-00001.parquet")

想先小规模验证想法时,读一个文件(如 data/aym_norm/train-00000-of-00001.parquet)几秒钟就能跑起来,比拉全量方便得多。

📋 数据字段速览:每份判决长什么样

每条记录都是一份完整判决,核心字段如下:

字段说明
id全局唯一标识,格式为{来源}:{文档ID}
source来源:yargitay/danistay/emsal/aym_norm/aym_bb
court法庭 / 庭室名称
esas_no/karar_no案号 / 判决号(如2016/57111)
karar_tarihi判决日期(已统一为 ISO 格式YYYY-MM-DD)
year/month判决年份、月份(方便按时间分片)
text判决全文(保留段落结构)
masked_count隐私脱敏标记数量
mevzuat_atif判决引用的法条列表(如5237/62)
raw_sha256源 HTML 的哈希,用于去重与校验

🎯 实战示例:按法条检索判决

mevzuat_atif字段让"找出所有依据某条法条做出的判决"变得极其简单:

# 找出所有引用《土耳其刑法典》第 62 条的判决 tck62 = yargitay.filter(lambda r: "5237/62" in r["mevzuat_atif"])

类似的玩法还有:按年份切片做时间趋势分析、按court分组统计各庭室判例量、用mevzuat_atif构建"法条 ↔ 判例"的检索索引……都是几行代码的事。

⚖️ 授权与合规:可以放心用吗?

可以,而且是"最大力度"的放心:

  • 数据集采用CC0-1.0授权——判决本身已是公共领域,创作者对整理工作也放弃了全部权利,商用、二次分发均无障碍,甚至无需署名(当然写了会更礼貌)。
  • 法律层面,土耳其《著作权法》第 31 条(FSEK m.31)明确将"官方公布的司法判决"排除在版权保护之外,再结合宪法中的审判公开原则,判决全文向公众开放具有充分法理依据。
  • ⚠️ 唯一注意:数据仅供研究与开发,不构成法律建议;如需引用某份判决,建议回源系统核对原文。

🛠️ 这份土耳其法律语料能做什么

README 中列出的任务类别几乎覆盖了法律 NLP 的常见方向:

  1. 法律问答(QA):用 1100 万"事实情境→裁判结论"真实样本微调模型;
  2. 法律检索 / RAG:按年份、法庭、法条分片建立向量库,实现"以例检索";
  3. 文本分类:案件类型识别、上诉理由分类;
  4. 摘要生成:长判决压缩成裁判要旨;
  5. 土耳其语法律大模型:315 亿字符的领域语料,是预训练 / 继续预训练的优质"燃料"。

❓ 常见问题 FAQ

问:完整下载要占多大空间?答:Parquet 压缩格式约5.52 GB;解压后纯文本约 315 亿字符(数十 GB 级),按需加载即可,不必全部落盘。

问:数据是土耳其语的,不会土耳其语能用吗?答:做检索、分类等结构化任务不需要读懂原文;做生成类任务建议配合翻译工具或土耳其语团队。

问:为什么 yargitay 有 17 个文件,其他来源只有 1–9 个?答:因为数据量差异——yargitay 一个来源就超过 980 万份判决(data/yargitay/ 下共 17 个分片),而 aym_norm 仅 5,563 份,单个文件即可容纳。

问:想去掉重复或校验完整性,靠哪个字段?答:raw_sha256(源 HTML 哈希)和id就是为此准备的。


更多细节(采集方法、缩写指向实测表、完整字段说明、BibTeX 引用格式)都在项目说明文件 README.md 中,建议配合食用。这份横跨 60 多年、覆盖土耳其整个法院体系的判决书语料,对法律科技和 NLP 研究者来说,确实是一座值得深挖的宝藏。 📚

【免费下载链接】turkish-court-decisions

项目地址:https://ai.gitcode.com/hf_mirrors/hamzabagirsakci/turkish-court-decisions
点击查看免费下载
上一篇:OneUptime监控指标字典:核心KPI定义与计算方法详解
下一篇:捉妖雷达Web版:开源实时妖怪追踪解决方案

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进