【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP
Tiel-Coder-35B-A3B-GGUF-MTP 是基于 Ornith-1.5-35B-A3B MoE 模型、内置 MTP 投机解码头的 GGUF 量化版,专为本地部署的 agentic coding 而生。在 SWE-bench-Live 基准测试中它解出 25 题中的 12 题,与 Opus 4.6(medium)持平,速度稳居同级第一。本文把三组基准数据拆开讲清楚,告诉你它到底什么水平、量化档位怎么选。
一、Tiel-Coder 是什么:一把"磨过刀"的 35B 本地编码模型
一句话概括:Tiel-Coder-35B-A3B-GGUF-MTP = Ornith-1.5-35B-A3B(256 专家 MoE,每 token 路由 8 个)的动态量化重制版 + 内置 Sharp 对话模板 + MTP 头。
- 4-bit 仅 23 GB(Q4_K_XL),35B 总参数、约 3B 激活,小显卡也能跑
- 使用自建 imatrix 动态量化:4900 万字符校准语料,约四分之三偏代码,保证编码路径不被"量化粗糙化"
- 附带 mmproj-BF16.gguf,视觉能力开箱即用
- 每个档位额外携带 0.9 GB 的 MTP 头,用于投机解码提速
官方定位非常直白:干活选它,考试选别的。所有数据出处见 README.md。
🎯 二、SWE-bench-Live:12/25,与 Opus 4.6 同档
SWE-bench-Live 共 25 题,每题只跑一次,考察真实代码库的问题修复能力。Tiel 在 4-bit、23 GB 的体量下解出了12 题:
| 模型 | 解出 | 相对 Tiel |
|---|---|---|
| 稠密 27B(如 Qwen3.8-27B) | 16 | 领先(不同重量级) |
| Dirk(27B 稠密) | 15 | 领先(不同重量级) |
| Tiel(4-bit) | 12 | — |
| Opus 4.6(medium) | 12 | 持平 |
| Nail | 9 | Tiel 多 3 |
| Ornith-1.5 基座 | 8 | Tiel 多 4 |
| Sonnet 5(medium) | 8 | Tiel 多 4 |
| 原版 Qwen3.6-35B-A3B | 8 | Tiel 多 4 |
关键点:在 35B-A3B 这个量级的模型里 Tiel 排第一,排在它前面的只有稠密 27B 和 Opus 5。
速度维度:中位 8.6 分钟/题,尾部不拖后腿
| 模型 | 解出 | 单次尝试中位耗时 |
|---|---|---|
| Qwen3.8-27B | 16/25 | 50.2 分钟 |
| Dirk | 15/25 | 20.1 分钟 |
| Tiel | 12/25 | 8.6 分钟 |
| 原版 Qwen3.6-35B-A3B | 8/25 | 5.5 分钟 |
Tiel 的中位耗时(8.6 分钟)比 Nail(7.2 分钟)略慢,但均值 12.3 分钟远好于 Nail 的 15.7——Tiel 没有昂贵重试构成的"尾巴"。批量跑 agentic coding 任务时,稳定比快更值钱。
🗣️ 三、Claw-Eval 多轮对话:67.2 分,本地模型里最好
各基于 114 轮评分对话:
| 模型 | 得分 |
|---|---|
| Tiel | 67.2 |
| Ornith-1.5(基座) | 65.3 |
| Nail | 60.5 |
有意思的是分数是怎么来的:Sharp 模板让回答更直接,回答质量比基座高 3.8 分,但澄清提问少 5.1 分。该基准按"回答:提问 = 4:1"加权,这笔交易划算——但如果你希望模型先追问模糊需求再动手,基座做得更到位。
📉 四、MMLU-Pro 73.7 分:知识短板不藏着
| 模型 | MMLU-Pro |
|---|---|
| 原版 Qwen3.6-35B-A3B | 85.3 |
| Nail(4-bit) | 84.0 |
| Ornith-1.5 基座 | 78.0 |
| Tiel(4-bit) | 73.7 |
相对基座的 4.3 分差距可以拆清楚:量化本身无锅——同一份量化配上基座模板,得分与基座完全一致;差距来自 Sharp 模板"用简洁换知识"的取舍。这是这个构建存在的原因,属于有意为之的交易。考试型知识需求选 Nail(MMLU-Pro 高 10.3 分,选型对比见 README.md)。
⚡ 五、MTP 投机解码:是什么、怎么调
MTP(Multi-Token Prediction)头就是这个仓库存在的意义:它让模型提前起草一个 token,推理时一次前向验证多个 token,用算力换速度。
注意:不加--spec-type draft-mtp参数,llama.cpp 会完全忽略这个头,模型只是白白多出 0.9 GB。作者在 UD-Q4_K_XL 上的实测(同一硬件、同一模型,开关对比):
--spec-draft-n-max | --spec-draft-p-min | tok/s | 相对关闭 | 接受率 |
|---|---|---|---|---|
| —(关闭) | — | 77.4 | 1.00x | — |
| 1 | 0.0 | 94.4 | 1.22x | 83.3% |
| 3 | 0.0 | 89.9 | 1.16x | 59.9% |
| 8 | 0.0 | 46.5 | 0.60x | 30.2% |
| 1 | 0.8 | 85.3 | 1.10x | 96.0% |
两条经验:
- 短起草更快:起草 1 个加速 1.22x,起草 8 个反而变慢到 0.60x
- 别看接受率,看 tok/s:接受率 96.0% 的配置比 83.3% 的还慢,最优参数随硬件而变,自己花几分钟扫一遍两个旋钮最稳妥
🧮 六、量化档位怎么选:一张表按内存匹配
下表"fits"指RAM+VRAM 合计可用(扣除系统和后台进程后):
| 文件 | 大小 | 适合 | 说明 |
|---|---|---|---|
| Q2_K_XL | 13.2 GB | 16 GB | 最后手段,2-bit 掉真实能力 |
| IQ3_XXS | 14.1 GB | 16 GB | 16 GB 首选 |
| Q3_K_XL | 17.7 GB | 24 GB | 3-bit 且上下文宽裕 |
| IQ4_XS | 18.6 GB | 24 GB | 4-bit 中上下文余量最大 |
| Q4_K_S | 21.8 GB | 24 GB | 紧凑 4-bit |
| Q4_K_XL | 23.3 GB | 24–32 GB | 从这里开始,基准测试所用档位 |
| Q5_K_XL | 27.5 GB | 32 GB | 32 GB 首选 |
| Q6_K_XL | 32.7 GB | 48 GB | 接近无损 |
| Q8_K_XL | 39.4 GB | 48 GB | 参考档 |
建议:模型 + 上下文 KV 能装进 RAM+VRAM 总和时,优先 Q4 及以上档位并留足 131k–262k 长上下文(q8_0 KV),不要为了"整个塞进显存"降到 UD-Q4 以下——MoE 架构下 262k 上下文的 KV 只需 <5 GB 内存,根本没必要牺牲精度。
🚀 七、快速上手:两条命令跑起来
hf download peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP \ Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf mmproj-BF16.gguf --local-dir Tiel-MTP llama-server -m Tiel-MTP/Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf -ngl 99 --jinja \ --spec-type draft-mtp采样参数:通用对话temperature 1.0 / top_p 0.95 / top_k 20;agentic coding 建议temperature 0.6。
⚖️ 八、局限性与一句话选型
- ⚠️考试型知识是弱轴:MMLU-Pro 落后 Nail 10.3 分
- 澄清提问比基座少 5.1 分:模糊需求会被直接回答而不是先追问
- SWE-bench-Live 每题单次运行、MMLU-Pro 三个种子,小分差当噪声看
- 仅中英双语(继承自基座)
一句话选型:agentic coding、必须持续有用的长对话 → Tiel;考试型知识与硬推理 → Nail;只看单位修复量 → Dirk(15/25 的稠密 27B)。干活场景下,Tiel 就是 4-bit 本地模型里"Opus 4.6 同档 + 最快同级"的那个。
【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP
相关推荐
Tiel-Coder-35B-A3B-GGUF-MTP完全指南:为什么这个4位本地AI编码模型能以Opus 4.6的速度解决真实项目Bug?
Tiel Coder 35B A3B GGUF MTP完全指南:为什么这个4位本地AI编码模型能以Opus 4.6的速度解决真实项目Bug? Tiel Code
MTP多Token预测投机解码调优指南:Tiel-Coder-35B-A3B-GGUF-MTP如何免费提速1.22倍
MTP多Token预测投机解码调优指南:Tiel Coder 35B A3B GGUF MTP如何免费提速1.22倍 Tiel Coder 35B A3B GG
小显卡也能跑35B?Tiel-Coder-35B-A3B-GGUF-MTP的MoE架构与部分GPU卸载原理深度解析
小显卡也能跑35B?Tiel Coder 35B A3B GGUF MTP的MoE架构与部分GPU卸载原理深度解析 Tiel Coder 35B A3B GGU
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考