【免费下载链接】alania-speech-captions-tr
alania-speech-captions-tr 是目前唯一的土耳其语 TTS 语音描述字幕(voice-caption)数据集:835,267 个土耳其语语音片段、约 2,398 小时,每段都配有"这句话说起来是什么样"的自然语言描述(英/土双语),并附带音高、语速、停顿、噪声等底层测量数据。本文对比它与英文 voice-caption 数据集的差异,讲清这套数据是如何炼成的、能解决什么问题,以及使用时的注意事项。
一、英文 TTS 早就有的"声音描述"数据
想让 TTS 模型做到"说人话",光有"音频 + 文字"是不够的,还需要第三样东西:这句话怎么说的描述——音调高低、语速快慢、停顿多少、是命令口吻还是描述口吻。
英文世界这几年陆续出现了这类数据集(E.T.APE、VoiceCraft、WavChat 等),它们把"说话风格"变成了模型可读的文本,直接支撑了两类热门玩法:
- 指令跟随 TTS:输入"用低沉缓慢的声音、带一点疲惫感说话",模型照着念;
- 声音描述 TTS:给一段目标声音的描述文字,模型复现类似音色气质。
可以说,voice-caption 数据已经成为"可控 TTS"的标配拼图。而土耳其语——一个 9,000 万级用户规模的语言——此前这块拼图完全空白。
二、土耳其语为什么一直没有这块拼图?
原因不复杂:缺的不是录音,而是"描述录音"的能力与工程。
| 障碍 | 说明 |
|---|---|
| 风格标注依赖语言模型 | 把"音高中偏低、语速偏慢"这类测量结果写成通顺的人话,需要强能力的 LLM 配合 |
| 测量管线要求高 | 音高(F0)、音节率、SNR、混响、DNSMOS 等指标要逐段提取并分箱成标签 |
| 双语文本生态 | 土耳其语内容需要专门的 ASR 与语言识别(LID)交叉验证 |
英文社区有成熟管线后很快补齐了这块;土耳其语直到 PatientDesk AI 为自己的 TTS 模型Alania-2服务,才第一次系统性补齐。这个仓库 alania-speech-captions-tr 就是那次工作的完整公开成果。
三、alania-speech-captions-tr 数据集概览
这个仓库包含 51 个 parquet 分片(如 data/train-00000.parquet、data/train-00050.parquet),核心规格如下(详见 README.md):
| 维度 | 数据 |
|---|---|
| 片段数 | 835,267 段,来自 15,138 条 YouTube 录音(YODAS v3 土耳其语部分) |
| 总时长 | 2,398 小时(中位片段长度 9.9 秒),其中 1,395 小时为完整 ≥16 kHz 宽带 |
| 说话人 | 约 29,000 个说话人簇 |
| 字幕 | 537,395 条去重后的英文描述;70% 是"描述"(A medium-pitched female voice speaks at a moderate pace…),30% 是"指令"(Speak slowly with a few short pauses…) |
| 性别占比 | 72% 男 / 19% 女 / 9% 未知(按小时计,反映土耳其语 YouTube 的真实分布) |
💡 设计亮点:每条片段同时有
caption_en和caption_tr两个语言的描述,caption_style字段区分"描述"还是"指令",正好覆盖上面两种 TTS 玩法。
示例字幕(来自 README.md):
A medium-pitched female voice speaks at a moderate pace with even energy; the recording sounds a bit muffled, like a phone call.
Use a high, calm voice with monotone intonation and speak slowly, with a few short pauses; slight background noise.
每行数据还包含大量可机读字段(完整列说明见 README.md):start/end(该片段在源录音中的起止秒数)、f0_median_hz(中位音高)、SNR、混响时间、带宽、DNSMOS 质量分、pace_label/pitch_label/noise_label等描述标签,以及asr_disagrees_with_youtube(ASR 转写与 YouTube 字幕明显不一致的标记,约 8% 片段为 true,想要更干净文本可直接过滤)。
四、制作流程:从 9,216 小时原始音频到 2,398 小时精品
这个数据集的"炼金"过程大致分五步(完整说明见 README.md):
- 筛选:YODAS v3 土耳其语原始 9,216 小时 → 语音活动检测切分 + 土耳其语识别(VoxLingua107,用 Whisper 交叉验证)→ 去除音乐与唱歌(AST)→ 裁切检测、带宽与 DNSMOS(≥ 2.4)质检,只保留约 30% 的时长;
- 转写:用自研土耳其语 ASR「Duyu」逐段转写;与 YouTube 字幕强烈不一致的片段会打上
asr_disagrees_with_youtube标记; - 测量:提取中位 F0 及其离散度(相对说话人自身基线)、音节率、发音速率、停顿、SNR、混响时间、响度、带宽、DNSMOS,并用 wav2vec2 分类器预测性别;
- 标签化:测量值分箱成人类可读标签(
pace_label、pitch_label、noise_label…),还包含"比该说话人平时更快"这类相对自身基线的比较; - 写字幕:由 Qwen3-32B 把标签渲染成每条片段各一条的英文 + 土耳其语自然语言描述。LLM 只在识别"明显的言语行为"(道歉、感谢、抱怨)时才参考转写,写入
content_tone(96% 片段为 none);并且严禁字幕引用转写内容——任何与转写连续共用 4 个词的候选字幕都会被拒收,保证"描述"只描述怎么说,不泄露说了什么。
这套"测量 → 标签 → LLM 渲染 + 防引用校验"的管线,正是英文同类数据集的核心方法论,如今第一次有了土耳其语版本。
五、与英文 voice-caption 数据集的关键差异
| 对比维度 | 英文 voice-caption 数据集 | alania-speech-captions-tr |
|---|---|---|
| 语言 | 英文 | 土耳其语(描述为英/土双语) |
| 时长规模 | 数十至数百小时居多 | 2,398 小时,835,267 段 |
| 音频分发 | 多数随仓库直接提供 | 不含音频,每行指向 espnet/yodas3 中精确的start~end区间,需自行取回裁切 |
| 性别均衡 | 部分专门做了均衡采样 | 如实保留源域分布(72% 男声),不做人为平衡 |
| 风格字段 | 多为单一描述文本 | caption_en+caption_tr+caption_style(describe/instruct)+content_tone四层 |
| 可复现性 | 标注来源不一 | 附带全部底层测量列(F0、SNR、DNSMOS…),可验证、可自定义重新分箱 |
| 许可 | 各异 | 字幕/标签/测量为 CC BY 4.0;transcript遵循源音频的 CC BY 3.0 与 YODAS 署名要求(见 LICENSE.md) |
最大的差异点在于音频的分发方式:数据集本身是纯文本 + 测量,音频留在上游 YODAS 仓库中。这样做的好处是仓库体积可控、许可边界清晰;代价是使用前必须多一步"按行取音频"。README 中给出了现成方案(见 README.md):加载本数据集得到某行的yodas_shard/yodas_id/start/end后,从 espnet/yodas3 下载对应的data/tr/audio/{shard}.tar,取出该录音再按start:end裁切即可。
六、拿到数据后能做什么
- 训练指令跟随的土耳其语 TTS:用 30% 的
instruct风格样本做指令-语音配对训练,实现"用 X 方式念这句话"; - 训练声音描述 TTS / 零样本音色控制:用 70% 的
describe风格样本,让模型从描述文字还原说话气质; - 土耳其语韵律研究:直接基于
f0_median_hz、停顿、音节率等测量列做统计,无需重新标注; - ASR 数据清洗:
transcript列 +asr_disagrees_with_youtube标记可直接用于训练或质检土耳其语 ASR。
七、使用前的诚实提醒 ⚠️
README 的"Limitations and responsible use"一节(README.md)写得相当坦率,新手尤其要记住:
- 所有字幕、标签、转写、性别都是自动生成的,存在重叠人声、背景音乐、极短片段等场景下的错误;
- 数据72% 是男声,只用它训练的模型会在女声上偏弱;
- 内容是日常土耳其语 YouTube(新闻、政治、游戏、课程、vlog),未按主题筛选,不代表任何立场;
- 录音者是真实用户,不要用它识别、画像或克隆特定说话人的声音;
- "高音""低音"等描述是相对的——相对本语料库的土耳其语,也相对说话人自身的音域。
写在最后
alania-speech-captions-tr 补齐的不只是一份数据,而是土耳其语可控 TTS 的入场券:它把英文社区验证过的"测量 → 标签 → LLM 描述"方法论完整移植到土耳其语,并且规模(近 2,400 小时)远超多数英文同类项目。如果你关注非英语语音合成的机会窗口,这套数据的工程管线本身也值得逐行研读。
【免费下载链接】alania-speech-captions-tr
相关推荐
Alania-speech-captions-tr是什么?83.5万条土耳其语"声音风格字幕"数据集一图看懂
Alania speech captions tr是什么?83.5万条土耳其语"声音风格字幕"数据集一图看懂 Alania speech captions tr
如何用alania-speech-captions-tr训练可控土耳其语TTS:Alania-2背后的思路与配置
如何用alania speech captions tr训练可控土耳其语TTS:Alania 2背后的思路与配置 alania speech captions
土耳其语TTS、语音克隆、ASR数据集构建指南:alania-domain-text-tr的1819小时文本怎么用
土耳其语TTS、语音克隆、ASR数据集构建指南:alania domain text tr的1819小时文本怎么用 Alania Turkish Domain
数据集语音
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考