• 人工智能
• 大模型
• 模型量化
• 本地部署
• 多模态

Dirk-Qwen3.8-27B-GGUF 是基于 Qwen3.8-27B 的本地部署量化模型（GGUF），用 GSQ-RCO 与 Unsloth UD Dynamic 3.0 两条量化路线覆盖 2–8 bit，配合 llama.cpp 即可在消费级显卡上运行，并自带视觉能力与 MTP 投机解码头。对新手来说，最大的困惑往往不是"能不能跑"，而是"这么多量化文件，到底该下哪一个"。这篇文章把两条量化路线的原理、分界点和按显卡选文件的完整对照一次讲清楚。

先弄懂：Dirk 在 Qwen3.8-27B 之上改了什么

很多量化仓库只是换了权重精度，而 Dirk 的定位很特别——它与原版量化相比，唯一改变的是聊天模板：

• 底座：Qwen/Qwen3.8-27B，稠密 27B 视觉-语言模型，视觉能力完整保留；
• 模板：换入 Sharp 聊天模板（Qwen 3.8 感知版 + 简洁化系统提示），直接写入 GGUF 元数据，权重和 MTP 张量一个字节都没动。官方一句话概括："Same weights, asked better"（同样的权重，更好的提问方式）；
• MTP（nextn）头：所有档位全部保留，支持多 token 预测投机解码的运行时可以直接提速生成；
• 思考强度：原版 Qwen3.8-27B 每次调用都强制reasoning_effort=xhigh（拉满思考），Dirk 取消了这个默认，改为原生medium，回答更省 token；需要深度思考时再通过chat_template_kwargs自行设置low/medium/xhigh（注意high是xhigh的别名，不是中间档）；
• 视觉文件：全部 14 个量化文件共用同一个 mmproj-F16.gguf，只需一份。

简单说：Dirk 让你开箱即用地少思考废话、多给答案，下载后指向 llama.cpp 就能用。

双量化路线：GSQ-RCO 与 UD Dynamic 3.0 的分工

这个仓库最核心的设计决策是：按比特数分界，用两套完全不同的量化算法。3 bpw（bits per weight，每权重比特数）以下用 GSQ-RCO，3 bpw 及以上用 UD Dynamic 3.0。

GSQ-RCO：2–3 bit 低位区为什么更稳

GSQ-RCO 档位来自 IST-DASLab（即 GPTQ 团队 Alistarh 的实验室），它是由两种真正不同的算法组合而成：

1. GSQ：不用"四舍五入到最近的量化格"，而是通过 Gumbel-Softmax 松弛学习出每个张量最优的量化网格；
2. RCO：在精确的总大小预算下，对任务损失做梯度下降，逐张量挑选量化类型，而不是查一张手工调好的对照表。

低位量化时权重整数个位都砍掉了，传统"就近取整"的误差会被显著放大。GSQ-RCO 的实测收益正是在这里：在等体积 8.4 GB 的对比下，其 2–3 bit 文件在 wikitext 困惑度、AIME25 / GPQA-Diamond / LiveCodeBench v6 上均明显领先同体积的 UD 文件（数据出自 ISTA 实验室）。

UD Dynamic 3.0：3 bit 以上的主战场

UD-前缀档位是 Unsloth 当前一代的Dynamic 3.0（UD）动态量化——不是旧版量化梯度的延续。它按张量重要性动态分配比特，推荐档UD-Q5_K_XL还额外做了 imatrix 校准。当比特数给得足时，动态量化在尺寸/质量比上很难被撼动，所以 3 bpw 以上全部交给 UD。

3 bpw 分界线：两条路线怎么交接

选 3 bpw 作分界不是拍脑袋：ISTA 的测量显示，到约 3.5 bpw 时两套方法的差距已收敛到噪声水平。也就是说：

• 低于 3 bpw：GSQ-RCO 的优势"买得到账"，用 UD 就是白白丢精度；
• 高于 3 bpw：两者打平，UD 的工程成熟度和动态分配更划算。

📌 这也是为什么文件表在 3 bit 附近"换人"：GSQ-RCO-IQ3_S之后，梯队就切换到了UD-系列。

按显卡选文件：12GB 到 48GB 完整对照表

全部 14 个文件均内置 Sharp 模板与 MTP 头，视觉共用 mmproj-F16.gguf：

💡 一句话选型：12 GB 选GSQ-RCO-IQ2_S，16 GB 选UD-IQ4_XS，24 GB 选UD-Q5_K_XL，48 GB 上UD-Q8_K_L直接跑长上下文。

快速上手：一条命令跑通文本与视觉

llama.cpp 支持按仓库标签自动下载，:quant标签必填（本仓库没有Q4_K_M，不带标签会回退到错误的文件）。标签同时会带上 mmproj，视觉无需二次下载：

# 文本：自动下载到 llama.cpp 缓存（以 24 GB 卡默认档为例） llama-server -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 # 视觉：同一个标签，mmproj 自动拉取 llama-mtmd-cli -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 --image photo.jpg

更完整的说明（含手动下载后用-m指定本地路径的方式）见 README.md。

⚙️给编码 Agent 用的朋友：给llama-server加上--reasoning-format deepseek，思考内容会进入 OpenAI 风格的reasoning_content字段，而不是混在正文流里；千万别用--reasoning-format none，那会让思考标签直接出现在输出里。

效果实测：SWE-bench-Live 与 MMLU-Pro 数据

量化模型最怕"省了体积、丢了脑子"，Dirk 的公开基准卡正好回答这个问题（原图见 assets/ 目录）：

• SWE-bench-Live（25 个已结算任务）：在双方都能解出的难度带上，Dirk 用标准模板中位耗时 37%的时间完成修复（快 2.7 倍），修复数 15 : 14 领先云端旗舰 Opus 5 (high)，仅比同权重标准模板少 1 个解出；
• MMLU-Pro：Dirk (medium) 以85.3%准确率登顶同组对比榜首。

这套简洁模板并非为 Dirk 从零发明，同样的修改在 Dagger 底座上的独立测量是：Claw-Eval 答案分量 59.3 →66.7（+7.4），答案 token-59%，MMLU-Pro 每题正确答案的 token-22%——同样的答案用一半不到的字数，准确率反而上升。Dirk 继承的正是这份底子。

新手常见问题：显存怎么选、要不要单独下视觉文件

Q：12 GB 显存真的能跑 27B？能。GSQ-RCO-IQ2_S（9.6 GB）就是官方点名的 12 GB 档位；想留更多上下文就选更小的GSQ-RCO-IQ2_XS（8.8 GB）。这正是低位区用 GSQ-RCO 的原因——2 bit 下它明显比同体积 UD 站得住。

Q：为什么同一仓库要放两种量化器？各取所长：GSQ-RCO 在 2–3 bpw 精度损失更小，UD Dynamic 3.0 在 3 bpw 以上尺寸/质量比更好，3.5 bpw 附近两者差距已收敛到噪声水平，所以正好在 3 bpw 交接。

Q：视觉能力需要额外下载吗？用-hf标签方式运行时不需要，mmproj 跟随清单自动拉取；手动下载时只需和模型文件一起把 mmproj-F16.gguf 拉一份，所有量化档位共用。

Q：回答太啰嗦/太跳跃怎么办？默认就是medium（不注入推理指令）；想要更深思考通过chat_template_kwargs传reasoning_effort: "xhigh"，想彻底关闭思考传enable_thinking: false。

写在最后

Dirk-Qwen3.8-27B-GGUF 的价值不在"又一个量化仓库"，而在于它把两条算法路线各自最强的区间拼成了完整阶梯：低位找 GSQ-RCO，高位找 UD Dynamic 3.0，模板统一、MTP 全保留、视觉一份通吃。按显存对号入座，一条命令即可起步——更详细的参数与基准说明，建议通读一遍 README.md。

• 人工智能
• 大模型
• 模型量化
• 本地部署
• 多模态