ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Qwen3.6本地部署踩坑:解决Tool Call和Chat Template两大难题,Claude Code/Codex秒通!

Qwen3.6本地部署踩坑:解决Tool Call和Chat Template两大难题,Claude Code/Codex秒通!

几个月前Qwen3.6刚放出来的时候用 vLLM 先后部署了两个 Qwen3.6 系列的 FP8 模型:

•Qwen3.6-27B-FP8•Qwen3.6-35B-A3B-FP8

模型推理本身一切顺利,真正的坑全在Agent 工具调用(tool call)上。折腾了一圈之后,问题主要集中在两处,总结成这篇文章,希望对同样想在本地跑 Qwen、再接 Claude Code / Codex 这类 Agent CLI 的同学有帮助。

结论先行:

1.vLLM 的--tool-call-parser参数,不要用qwen3_xml,直接换成qwen3_coder;2.Qwen 默认的 chat template(jinja 模板)不支持developerrole,Codex 会一直报错。直接换用社区修复版模板 froggeric/Qwen-Fixed-Chat-Templates[1] 即可。

这套方案在 Qwen3.6 上踩坑验证,对当前的Qwen3.8-27B同样适用——坑的成因和修法完全一致,配置原样照抄即可。

坑一:--tool-call-parser

选错格式,Agent 客户端集体翻车

现象

一开始给 vLLM 配置的是:

--tool-call-parser qwen3_xml

结果接上各个客户端一测,表现并不一致:Hermes 工具调用正常,Claude Code 和 Codex 都调不通。

排查与解决

工具调用能不能调通,取决于模型实际输出的工具调用文本格式,和 vLLM 所配解析器(parser)期望的格式是否对得上。Qwen 家族不同代际/分支的模型,工具调用的输出格式并不相同,选错 parser 就会出现"模型明明输出了工具调用,服务端却解析不出来"的情况。

后来一个偶然的机会,我把 parser 换成了qwen3_coder,效果立竿见影:

客户端qwen3_xmlqwen3_coder
Hermes✅✅
Claude Code❌✅ 调通
Codex❌❌ 仍报错

Claude Code 好了,但 Codex 还差一口气。于是有了坑二。

坑二:默认 jinja 模板不支持developerrole

现象与原因

parser 换成qwen3_coder之后,Codex 依旧报错。仔细一查才发现根本原因不在 parser,而在chat template:Codex 发送的对话里会携带developerrole 的消息,而 Qwen 默认的 jinja chat template 根本不认识这个 role,模板渲染阶段就直接出错了。

也就是说,这是两层不同的问题:

坑一出在"输出侧"——模型输出的工具调用格式与 parser 不匹配; 坑二出在"输入侧"——客户端发来的消息 role,模板不认识。

两层都对了,Agent 才能正常工作。

解决过程

当时的第一反应,是直接让 Claude Code 帮我现写一个支持developerrole 的 jinja 模板——用 AI 给 AI 的部署环境打补丁,还真就一次解决了,Codex 顺利调通。

不过自己维护一份魔改模板终究不是长久之计。后来在浏览 Hugging Face 时,无意间发现了 froggeric/Qwen-Fixed-Chat-Templates[2] 这个仓库——它专门修复 Qwen 官方 chat template 的各种已知问题,其中就包括developerrole 的支持。

直接下载仓库中的 chat_template.jinja[3],替换掉 vLLM 配置里的 chat template 文件即可。从此不需要自己维护模板,跟着上游更新走就行。

最终可用配置

两个坑填平之后,关键配置就是两项(其余参数按需自行添加):

vllm serve /path/to/Qwen3.6-35B-A3B-FP8 \ --tool-call-parser qwen3_coder \ --chat-template /path/to/chat_template.jinja

在Qwen3.6-27B-FP8和Qwen3.6-35B-A3B-FP8两个模型上均验证可用;换到当前的Qwen3.8-27B,同样的两个参数即可,无需任何改动。

2026年AI行业最大的机会,毫无疑问就在应用层!

字节跳动已有7个团队全速布局Agent

大模型岗位暴增69%,年薪破百万!

腾讯、京东、百度开放招聘技术岗,80%与AI相关……

如今,超过60%的企业都在推进AI产品落地,而真正能交付项目的大模型应用开发工程师**,**却极度稀缺!

落地AI应用绝对不是写几个prompt,调几个API就能搞定的,企业真正需要的,是能搞定这三项核心能力的人:

✅RAG:融入外部信息,修正模型输出,给模型装靠谱大脑

✅Agent智能体:让AI自主干活,通过工具调用(Tools)环境交互,多步推理完成复杂任务。比如做智能客服等等……

✅微调:针对特定任务优化,让模型适配业务

目前,脉脉上有超过1000家企业发布大模型相关岗位,人工智能岗平均月薪7.8w!实习生日薪高达4000!远超其他行业收入水平!

技术的稀缺性,才是你「值钱」的关键!

具备AI能力的程序员,比传统开发高出不止一截!有的人早就转行AI方向,拿到百万年薪!👇🏻👇🏻

AI浪潮,正在重构程序员的核心竞争力!现在入场,仍是最佳时机!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

⭐️从大模型微调到AI Agent智能体搭建

剖析AI技术的应用场景,用实战经验落地AI技术。从GPT到最火的开源模型,让你从容面对AI技术革新!

大模型微调

  • 掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。

  • 学习如何利用领域数据(如制造、医药、金融等)进行模型定制,提升任务准确性和效率。

RAG应用开发

  • 深入理解检索增强生成(Retrieval-Augmented Generation, RAG)技术,构建高效的知识检索与生成系统。
  • 应用于垂类场景(如法律文档分析、医疗诊断辅助、金融报告生成等),实现精准信息提取与内容生成。

AI Agent智能体搭建

  • 学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。
  • 构建垂类场景下的智能助手(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)。

如果你也有以下诉求:

快速链接产品/业务团队,参与前沿项目

构建技术壁垒,从竞争者中脱颖而出

避开35岁裁员危险期,顺利拿下高薪岗

迭代技术水平,延长未来20年的新职业发展!

……

那这节课你一定要来听!

因为,留给普通程序员的时间真的不多了!

立即扫码,即可免费预约

「AI技术原理 + 实战应用 + 职业发展」

「大模型应用开发实战公开课」

👇👇

👍🏻还有靠谱的内推机会+直聘权益!!

完课后赠送:大模型应用案例集、AI商业落地白皮书

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进