• 人工智能
• 大模型
• 语音
• 音频
• 模型量化
• 本地部署

audio.cpp-gguf 是面向 C++ 音频推理框架 audio.cpp 的 GGUF 语音模型仓库，提供 80 余个语音模型（TTS 语音合成、ASR 语音识别、变声、音源分离、VAD 唤醒）的开箱即用量化包。借助 audio.cpp 的多后端架构，同一份 GGUF 文件可直接跑在 NVIDIA CUDA、Vulkan、Apple Metal 或纯 CPU 上，无需 Python 运行时，一条命令即可完成部署。🎯

仓库概览：80+ 模型家族，一个 GGUF 全部搞定

仓库按「模型家族」组织目录，每个目录都是自包含包：GGUF 文件内嵌了 tokenizer、配置和模型 spec，不需要再单独下载 Python 权重或分词器。主 README.md 中有完整的家族对照表（目录 → audio.cpp family → 量化规格 → 原始模型许可证），常见分类如下：

💡 使用任何 GGUF 前，先查对照表中的原始模型许可证——转换权重仍受原模型条款约束（部分模型为仅限非商业使用）。

四种计算后端怎么选？

audio.cpp 通过 GGML 底层统一调度，--backend参数即可切换，模型文件完全通用：

CUDA：NVIDIA 显卡的性能标杆

官方验证数据基本都在 CUDA 上做。以 CrisperWhisper2.0-GGUF/README.md 为例（RTX 5090）：BF16 比官方 Python 路径快 2.1 倍，Q8_0 快 2.5 倍且显存少 1318 MiB。Voxtral-Mini-4B-Realtime-2602-GGUF/README.md 中 Q8_0 离线识别达到 14.7–16.7 倍实时速度，流式首包延迟降至约 180 ms。

Vulkan：AMD / Intel 显卡的最佳选择

Vulkan 后端与 CPU、CUDA 共用同一套框架模块，无后端专属分支。OWSM-GGUF/README.md 的后端覆盖测试中，Base F32 在 CPU、CUDA、Vulkan 三种后端上输出逐字一致；MossFormer2-GGUF/README.md 中 Vulkan 与 CUDA 输出相似度 > 0.99999995，可产出字节一致的 WAV。

Metal：macOS 原生加速路径

macOS 使用build_metal.sh脚本构建后，通过--backend metal调用 Apple 统一内存 GPU。不同模型的 Metal 覆盖进度不一（如 Voxtral-4B-TTS-2603-GGUF/README.md 明确标注 Metal 尚未测试），部署前建议先看对应模型目录的 README。

CPU：没有显卡照样跑

轻量模型（如 KittenTTS-GGUF/ 的 0.8B 小模型）官方示例直接用--backend cpu，README 注明「可在无 GPU 环境下运行」。CPU 场景下量化尤其划算：OWSM-CTC-GGUF/README.md 显示 Q8_0 把峰值内存从 F32 的 5630 MiB 降到 3050 MiB，推理速度还略快于 F32。

三步部署：从克隆到第一次出声

第 1 步：克隆模型仓库

git clone https://gitcode.com/hf_mirrors/audio-cpp/audio.cpp-gguf

第 2 步：构建 audio.cpp 框架（按平台选择对应脚本，生成audiocpp_cli可执行文件）：

# Linux：CUDA / Vulkan / CPU scripts/build_linux.sh --backend cuda --target audiocpp_cli # Windows：CUDA 或 CPU 预设 powershell.exe -NoProfile -ExecutionPolicy Bypass -File .\scripts\build_windows.ps1 -Preset windows-cuda-release -Target audiocpp_cli # macOS：Metal scripts/build_metal.sh --target audiocpp_cli

第 3 步：直接指向 GGUF 文件运行，模型路径即仓库内相对路径，无需额外配置目录。

快速上手：TTS 与 ASR 最小命令

语音合成（主 README.md 示例）：

audiocpp_cli --task tts --family supertonic \ --model Supertonic-3-GGUF/supertonic-3-orig.gguf \ --backend cuda --language en --text "Hello." --voice-id M1 --out out.wav

语音识别：

audiocpp_cli --task asr --family qwen3_asr \ --model Qwen3-ASR-0.6B-GGUF/qwen3-asr-0.6b-f16.gguf \ --backend cuda --audio speech.wav --text-out transcript.txt

换成--backend vulkan、metal或cpu即可迁移到其他设备。💬

量化怎么选：BF16 / Q8_0 / Q4_K

参考实测（CrisperWhisper2.0-GGUF/README.md，20 段多语种音频）：Q8_0 峰值显存 2822 MiB、比 BF16 快 16.6%，WER 仅 +0.27 个百分点；Q4_K 显存再省 700 MiB，但转写措辞漂移明显增多。

常见问题排查清单

• 不同后端结果略有差异？后端与权重精度会影响 beam search 选路（见 Hviske-v6-GGUF/README.md 的 parity 说明）。需要严格对齐时，使用 F32 权重、CPU 侧对比，并在 CUDA 上设置NVIDIA_TF32_OVERRIDE=0关闭 TF32。
• 量化后个别词不对？Q8_0 的偏差通常在可接受范围；Q4_K 则可能改变分段边界（MOSS-Transcribe-Diarize-GGUF/README.md 测得时间戳漂移最高 680 ms），对时间戳敏感的场景请避开 Q4。
• 长音频转写不稳？部分 ASR 家族有分块参数，如 Hviske 的audio_chunk_mode（auto/silence/fixed/none），见 Hviske-v6-GGUF/README.md。
• 个别模型 CUDA 下需要调精度？Fun-ASR-Nano-2512-GGUF/README.md 默认把 decoder 以 BF16 加载保证 logits 稳定，可用会话选项fun_asr_nano.decoder_weight_type覆盖。

关键文件速查

• 总览与模型对照表：README.md
• CUDA 性能实测示例：OWSM-GGUF/README.md、Voxtral-Mini-4B-Realtime-2602-GGUF/README.md
• 构建脚本与后端说明：Voxtral-Mini-4B-Realtime-2602-GGUF/README.md「Use with audio.cpp」小节
• CPU 运行示例：KittenTTS-GGUF/README.md
• 许可证核对：MiniMax-H3-Q4-GGUF/configuration.json 所在目录及主表 License 列

选对后端，一份 GGUF 走遍 N 卡、A 卡、Mac 和纯 CPU——这就是 audio.cpp-gguf 多后端部署的全部要点。🚀

• 人工智能
• 大模型
• 语音
• 音频
• 模型量化
• 本地部署