grug-27b 是一个 27B 参数的"grug 思考"高效推理模型（基于 Qwen3.6-27B，Apache 2.0 协议），vLLM 是官方推荐的部署方式。本文给出用 vLLM 托管 grug-27b 的完整参数清单：一行命令启动 OpenAI 兼容服务、配置 reasoning-parser 解析思考流、开启工具调用解析，以及 262k 长上下文的显存优化设置，新手照着做即可上线。

一、部署前检查：硬件与版本要求 ⚡

vLLM 部署 grug-27b 的准入门槛如下，先核对再动手：

💡 两个容易踩的坑：

• 模型是多模态架构（Qwen3_5ForConditionalGeneration，含视觉塔），但 config.json 中mtp_num_hidden_layers=0，即不含 MTP 权重，vLLM 加载时无需额外配置。
• shims/ 目录下提供了 transformers v5 的 endpoint 适配轮子（transformers_v5_endpoint_shim），走 Hugging Face 托管链路时会自动装上。

二、最快启动方法：一行命令起 OpenAI 服务

本地最简启动命令（官方推荐）：

vllm serve ProCreations/grug-27b --max-model-len 32768 --reasoning-parser qwen3

关键就两个参数：

• --reasoning-parser qwen3：grug-27b 的思考块使用<think>...</think>标签，这个解析器会把它从正文里剥出来，单独放进流式响应的 reasoning 字段，而不是混进 content。
• --max-model-len 32768：先给 32k 起步；如果你跑 Agent 框架，请把它调大（原因见第四节）。

起来后就是标准 OpenAI 协议，/v1/chat/completions端点同时支持流式输出和工具调用。

三、工具调用解析：tool-call-parser 怎么选 🔧

grug-27b 的工具调用不是 JSON，而是XML 风格（tool_call/function/parameter标签），这套格式直接写在聊天模板里，可以查 chat_template.jinja 的 Tools 提示词部分。

因此需要搭配--tool-call-parser qwen3_coder，它才能把模型输出的 XML 调用解析回标准tool_calls结构返回给你。

在 Hugging Face 托管端点上用官方镜像vllm/vllm-openai:latest部署完整 OpenAI 协议时，推荐命令是：

python3 -m vllm.entrypoints.openai.api_server --model ProCreations/grug-27b \ --served-model-name grug-27b --max-model-len 16384 --max-num-seqs 128 \ --gpu-memory-utilization 0.90 --reasoning-parser qwen3 \ --enable-auto-tool-choice --tool-call-parser qwen3_coder --port 8000

⚠️ 官方特别提醒：容器启动命令必须写在端点的model.command顶层字段，塞进 image 字典里会被 API 静默丢弃。

客户端侧用法（流式拿到思考流）：

stream = client.chat.completions.create(model="grug-27b", messages=[...], stream=True) for chunk in stream: d = chunk.choices[0].delta r = getattr(d, "reasoning", None) or getattr(d, "reasoning_content", None) if r: print(r, end="") if d.content: print(d.content, end="")

四、262k 长上下文参数全清单 📏

模型本身支持262144（262k）token 上下文，见 config.json 的max_position_embeddings与 tokenizer_config.json 的model_max_length。要吃满这个长度，关键是 KV Cache 压缩：

• 官方结论：一块 A100-80GB 开--kv-cache-dtype fp8即可跑 262k 上下文。
• 🦍 Agent 用户注意：Agent 框架的系统提示词动辄 8k+ token，如果--max-model-len只给 16k，几乎每个请求都会直接失败——部署 Agent 时把这个值调大是第一优先级。

五、流式响应里的 reasoning 字段名 ⚠️

不同 vLLM 版本字段名不同，客户端做兼容判断更稳：

• vLLM ≥ 0.25：思考内容在message.reasoning；
• 更早版本：叫reasoning_content。

另外 README 提到deepseek_r1这个 reasoning parser 也能把 grug 的思考块切到message.reasoning，可与qwen3解析器按场景选用；README.md 有完整说明。

六、采样参数与思考模式

官方建议采样参数：temperature 0.6–1.0、top_p 0.95、top_k 20（与基座模型一致）。仓库默认配置见 generation_config.json：temperature 1.0 / top_p 0.95 / top_k 20 / do_sample true。

思考模式默认开启：聊天模板生成时会自动补<think>开头（chat_template.jinja），传enable_thinking=false则可关闭思考、只出答案。grug 的特点正是"内部用 grug 方言思考、输出正常英文"，且思考 token 比基座少 8–40 倍，这也是长上下文成本更低的根本原因。

七、常见问题速查

八、仓库文件导航

一句话总结：--reasoning-parser qwen3+--tool-call-parser qwen3_coder是 grug-27b 的灵魂双参数，--kv-cache-dtype fp8+ 调大的--max-model-len则解锁 262k 长上下文。照本文清单配齐，一块 A100-80GB 就能把 grug 的大脑完整上线 🦍