• 人工智能
• 大模型
• 语音
• 音频
• 模型量化
• 本地部署

audio.cpp-gguf 是一个为 audio.cpp 音频推理框架准备的 GGUF 模型仓库，汇集了一批经过量化压缩的声音克隆与**变声（Voice Conversion）**模型。无需搭建复杂的大模型训练环境，下载一个.gguf文件、执行一条命令，就能完成零样本声音克隆、实时变声、音色迁移，以及说话人分离等配套任务。本文带你一次性看懂这个仓库里的声音克隆与变声模型怎么选、怎么跑。

什么是 audio.cpp-gguf？GGUF 音频模型速览

一句话概括：audio.cpp-gguf把众多知名音频模型统一转换成了 GGUF 格式，供 audio.cpp 命令行工具直接加载。它带来的好处：

• 单文件即完整模型：Tokenizer、配置、音色嵌入等附属信息直接嵌入 GGUF，不用拼凑一堆零散文件；
• 量化选项丰富：同一模型通常提供 BF16 / F16 / Q8_0 / Q4_K 等多个精度档位，显存和内存占用可自由权衡；
• 任务覆盖全：从文本转语音（TTS）、语音识别（ASR）到变声（Voice Conversion）、源分离、说话人分离，仓库几乎一站配齐。

仓库完整清单见 README.md，其中每个模型目录都会标注 audio.cpp 的模型族（family）、提供的量化版本和原始许可证。

一键上手：声音克隆与变声模型最快配置方法

先获取仓库，再运行 CLI。整个上手过程只有两步：

# 1. 获取模型仓库 git clone https://gitcode.com/hf_mirrors/audio-cpp/audio.cpp-gguf # 2. 指定任务、模型族和 GGUF 文件即可运行 audiocpp_cli --task tts --family chatterbox \ --model Chatterbox-GGUF/chatterbox-q8_0.gguf \ --backend cuda --language en \ --text "Hello, this is a cloned voice." \ --out out.wav

参数含义很简单：--task指定任务类型（tts / asr 等），--family指定模型族，--model直接指向 GGUF 文件，--backend选择 cpu 或 cuda。ASR 场景同理，把--audio指向录音文件即可，示例写法参考 README.md。

变声（Voice Conversion）模型详解：4 款主力对比

变声任务的目标是：保留原说话的语义和韵律，把音色换成另一个说话人。本仓库收录了四款主流变声模型：

🎯选型建议：想要最成熟的实时变声体验选 RVC（rvc-f16.gguf）；对延迟敏感选 MeanVC2 的 40ms 档位；追求高保真离线换声可试 SeedVC-MLX 的 Q8 版本 seed-vc-mlx-q8_0.gguf。

声音克隆（Zero-Shot TTS）模型清单：用参考音频生成新语音

声音克隆的核心玩法是：给一段参考人声，让模型用这个人的声音朗读任意文本。仓库中支持该能力的模型相当齐全，按定位分组如下：

零样本克隆（给参考音频，克隆任意音色）

声音设计（用文字描述生成音色）

不想找参考音频？这一类模型可以用文字描述直接"设计"声音：

• Irodori-TTS-600M-v3-VoiceDesign-GGUF：日文社区高质量方案，MIT 协议；
• Qwen3-TTS-12Hz-1.7B-VoiceDesign-GGUF：如描述"低沉、略带沙哑的男声"即可生成；
• Maya1-GGUF：original + Q8，Apache-2.0。

预置音色 TTS：没有参考音频也能"开箱即听"

如果你的场景不需要克隆真人声音，预置音色模型更省事——音色已经打包进 GGUF 文件，一个文件搞定：

运行示例（KittenTTS，纯 CPU）：

audiocpp_cli --task tts --family kitten_tts \ --model KittenTTS-GGUF/kitten-tts-mini-0.8-orig.gguf \ --backend cpu --text "Hello world." --voice-id Leo --out kitten.wav

具体命令写法可参考 KittenTTS-GGUF/README.md。

声音克隆工作流必备的辅助模型

一个完整的"克隆 → 加工 → 交付"链路，通常还需要这些配套模型：

• 说话人分离：先分清"谁在说话"，再对每段做克隆/变声。推荐 Sortformer-Diar-4spk-v1-GGUF，或带时间戳的一体化方案 MOSS-Transcribe-Diarize-GGUF（转写 + 分离 + 时间戳一步到位，Q8 版即可保证时间戳精度）；
• 人声分离：从 BGM 中抠出干净人声，用 HTDemucs-GGUF（4 轨）或 HTDemucs-6stems-GGUF（6 轨）；
• 音质增强：低采样率音频先过 MossFormer2-GGUF 或 UniverSR-GGUF 降噪与超分，再进克隆流程；
• 静音检测：PulseVAD-GGUF 用于切分长录音中的有效语音段。

如何挑选量化版本：BF16 / Q8_0 / Q4_K 选择指南

几乎每个模型都提供多个精度档位，选择逻辑其实很统一：

⚠️ 量化不等于"越小越亏"。以 MOSS-Transcribe-Diarize 的官方实测为例：Q8 版与 BF16 版在词和说话人上一致、时间戳差异不超过 30ms，而 Q4_K 版在长音频上出现最多 680ms 的分段漂移——所以对时间精度敏感的任务请优先 Q8 及以上。

许可证与商用注意事项

每个 GGUF 都受对应原始模型的许可证约束，仓库主表 README.md 已逐行列出。克隆与变声场景里几个值得留意的：

• 商用友好：RVC（MIT）、VoxCPM（Apache-2.0）、Chatterbox（MIT）、VibeVoice（MIT）、MOSS 系列（Apache-2.0）；
• 非商用限制：Vevo2（CC-BY-NC-ND）、CrisperWhisper2.0（研究许可）、Fish-Audio S2 Pro（研究许可）、OmniVoice（CC-BY-NC）；
• 特殊协议：IndexTTS2 / 2.5 采用 bilibili 模型使用协议，PersonaPlex 与 MagpieTTS 采用 NVIDIA Open Model License。

商用前请以对应目录下的 LICENSE 文件为准。

常见问题 FAQ

Q1：声音克隆和变声（Voice Conversion）到底有什么区别？变声是"音 → 音"：输入一段录音，输出同内容、不同音色；声音克隆通常是"文 → 音"：给参考音频 + 新文本，用该音色合成新内容。本仓库两者都有。

Q2：没有 GPU 能跑吗？可以。Kokoro-82M、KittenTTS 等轻量模型在 CPU 上即可流畅运行（--backend cpu）；克隆类大模型建议至少配备支持 CUDA 的显卡，并优先选 Q8 或 Q4 版本。

Q3：一个 GGUF 文件真的够用吗？是的。audio.cpp 的 GGUF 转换会把 tokenizer、模型配置甚至音色嵌入一起打包，例如 Voxtral 4B TTS 的单个文件就内置了 20 个预置音色，无需任何额外文件。

Q4：如何验证量化版音质是否可接受？官方提醒：量化包经过自动化指标校验，但主观听感仍需自己确认。建议同一模型先用 Q8 试听，不达标再升 BF16，或降 Q4 追求速度。

总结

audio.cpp-gguf把声音克隆与变声所需的核心资产打包成了"下载即用"的 GGUF 单文件：变声看 RVC 与 MeanVC2，零样本克隆看 Chatterbox、Qwen3-TTS、CosyVoice3 与 VoxCPM，轻量部署看 Kokoro 与 KittenTTS，工程化链路再补上说话人分离与源分离模型。按"Q8 起步、按任务定模型、先查许可证"三步走，你就能在这个仓库里快速搭起自己的声音克隆与变声工作台。

• 人工智能
• 大模型
• 语音
• 音频
• 模型量化
• 本地部署