本指南带你完成 gemma-4-31B-it-qat-GGUF 的多GPU部署与高级调优：用 KV 缓存量化压缩 256K 长上下文的显存占用，通过 MTP 推测解码并指定设备来加速生成，一条命令即可跑通 Gemma 4 31B QAT 量化模型。

💡 一句话总结：这个仓库把 31B 主模型、MTP 推测解码 drafter 和视觉投影文件打包在一起，配合 llama.cpp 即可实现「Q4 的显存、BF16 的精度」，多卡环境还能进一步压榨吞吐。

📦 仓库文件速览：部署前先认识这些文件

⚙️ 环境准备：构建支持 MTP 的 llama.cpp（最快方法）

MTP 推测解码能力于2026-06-07合入 llama.cpp，因此你必须使用该日期之后构建的版本，旧版无法加载gemma4-assistant架构的 drafter。克隆 llama.cpp 官方仓库后，按 GPU 架构编译即可：

# CUDA 构建：89 = RTX 4090，90 = H100，100 = B200 cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=90 cmake --build build --config Release -j --target llama-server

⚠️ 常见坑：加载 drafter 报架构不识别，基本都是 llama.cpp 版本太旧，重新构建即可。

⚡ 一键启动 MTP 推测解码：-hf 自动发现 drafter

新版 llama.cpp 会自动从仓库根目录发现mtp-开头的 drafter 文件，无需手动传--model-draft：

./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on

这个 drafter 是原生 4 位 QAT 量化版（约 97% 的权重精确落在 int4 网格上），相比高精度版本体积约为其一半，而精度几乎无损。它共享主模型的 KV 缓存，且主模型会对每个草稿 token 逐一验证，因此不会改变最终输出。官方在 B200 上实测草稿接受率高达0.79，加速非常可观。

显式指定 drafter：自选精度版本

老版本构建或想换精度时，可先下载文件再显式指定（Q8_0 / BF16 / F16 版本见 MTP/ 目录）：

hf download unsloth/gemma-4-31B-it-qat-GGUF gemma-4-31B-it-qat-UD-Q4_K_XL.gguf --local-dir . hf download unsloth/gemma-4-31B-it-qat-GGUF MTP/mtp-gemma-4-31B-it-Q8_0.gguf --local-dir . ./build/bin/llama-server \ -m gemma-4-31B-it-qat-UD-Q4_K_XL.gguf \ --model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on

精度怎么选？显存紧张选 Q4_0（推荐，近乎无损）；显存充裕且追求更高接受率选 Q8_0。drafter 可与 31B QAT 主模型的任意量化版本搭配使用。

🖥️ 多GPU部署：指定推测解码设备与层切分

多卡环境下，官方推荐组合是--spec-draft-device+-sm layer：

./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ --spec-draft-device CUDA1 -sm layer \ -ngl 999 -fa on

📌 实用技巧：把 drafter 放到显存有余量的那张卡（如 CUDA1），主模型则通过层切分散布在全部卡上。官方文档明确说明：量化后的 KV 缓存与 MTP drafter 完全兼容，多卡 + KV 量化可以同时使用。

🧠 KV 量化：256K 长上下文省显存的关键开关

31B 支持256K 上下文，长上下文场景下 KV 缓存是第一显存大户。这个模型的架构本身就为省显存而生（可从 config.json 验证）：

• 混合注意力：滑窗注意力层（1024 token 局部窗口）与全局注意力层交替，每 6 层才出现一个全局层；
• 统一 Keys 和 Values：全局层attention_k_eq_v开启，KV 头仅 4 个，KV 占用大幅缩减；
• Proportional RoPE：进一步为长上下文位置编码优化内存。

在此之上再开启 KV 缓存量化，即可把 256K 长文本塞进有限的显存：

./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ --cache-type-k q8_0 --cache-type-v q8_0 \ -ngl 999 -fa on

📐 长上下文实战：推荐参数清单

❓ 常见问题排查

1. 加载 drafter 失败：确认 llama.cpp 构建于 2026-06-07 之后；
2. 加速不明显：检查日志中草稿接受率，可尝试调高--spec-draft-n-max或换更高精度 drafter；
3. 显存仍不够：叠加 KV 量化（q8_0）+ 多卡-sm layer层切分；
4. 图像理解不生效：启动时记得传--mmproj指定投影文件。

✅ 延伸阅读

• 完整模型卡与最佳实践：README.md
• MTP drafter 详细说明：MTP/README.md
• 模型结构配置（层数、注意力类型、RoPE 等）：config.json