这篇文章针对 ONNX 模型Gemma3-4B-it_gpuep_1.0_gpu_128，帮你快速搞懂推理参数temperature、top_k、top_p该怎么设。Gemma3-4B-it_gpuep_1.0_gpu_128 是 AMD 针对 Ryzen AI 硬件优化部署的 Gemma 3 4B 多模态模型的 ONNX 版本，支持文本与图像输入、128K 上下文。掌握这几个采样参数，你的对话质量、创作自由度会明显提升。

先认识一下这个模型 📦

• 来源模型：google/gemma-3-4b-it（微调对话版）
• 量化策略：RTN / Group 128 / FP16 激活 / INT4 权重，适合端侧低显存部署
• 部署形式：ONNX Runtime GenAI 推理，文件结构见 Upload gemma3-4b-it ONNX files/
• 多模态支持：文本解码器 text.onnx、视觉编码器 vision.onnx、嵌入层 embedding.onnx

模型说明可查看 README.md。

第一步：查看默认采样参数（genai_config.json）

ONNX GenAI 模型的采样默认值都写在 genai_config.json 的search配置块里，这是你调参的起点：

其余模型信息：34 层解码器、hidden_size2560、vocab_size262208，同样定义在 genai_config.json 的model.decoder中。

temperature 温度：控制"随机程度"

temperature 会先缩放每个词的 logits 再算概率：

• = 1.0：原始分布，模型"原汁原味"，适合日常对话；
• 0.5~0.7：分布被压平得更尖，输出更保守、稳定，适合事实问答；
• > 1.0：分布被拉平，输出更有创造性但也更容易跑偏，适合写诗、起名等发散任务。

top_k 与 top_p：两个"截断阀门"

• top_k = 64：每个 token 只保留概率排名前 64 的候选词。k 越小越确定，越大越发散。
• top_p = 0.95：按概率从高到低累加，直到总和达到 0.95 为止。候选集合大小是动态的，头部概率集中时可能只有几个词，分布平坦时可能更多。

两者会同时生效：先按 top_k 截断，再在剩余候选里按 top_p 截断，最后在交集里按 temperature 加权采样。一般不需要同时大幅改两者，优先调 temperature。

常见场景参数速查表 🎯

💡 提示：以上是基于 Gemma 3 官方推荐（temperature 1.0 / top_p 0.95 一类配置）与 INT4 量化模型经验的起点值，建议在同一组 prompt 上各跑 2~3 次对比效果。

调参顺序与注意事项 ⚙️

1. 一次只改一个参数：先定 temperature，再微调 top_p，top_k 最后动。
2. top_p 别低于 0.8：过低会导致候选词太少，输出呆板甚至循环。
3. top_k 别低于 10：小 k 值在长文本中容易出现重复词。
4. 贪心解码（do_sample: false或 temperature 趋近 0）适合做 A/B 基线，对比随机采样差异。
5. 若输出反复复读，可将repetition_penalty从 1.0 提到 1.05~1.1，效果通常比再降 temperature 更直接。
6. 长对话注意：max_length上限为 131072，历史过长会占用上下文，必要时自行截断。

顺便看一眼其他配置文件

• 对话格式模板：chat_template.jinja，定义了<start_of_turn>/<end_of_turn>与多模态<start_of_image>标记，参数设置不改变模板本身，但会影响模型遵循模板的方式；
• 图像预处理（896×896 缩放、归一化）：processor_config.json；
• 特殊 token（<pad>、<eos>、[multimodal]等）：tokenizer_config.json；
• 分词器：tokenizer.model、tokenizer.json。

清单总结 ✅

1. 默认值（temperature 1.0 / top_k 64 / top_p 0.95）已经可用，来自 genai_config.json 的search块；
2. 求稳就降 temperature 到 0.5~0.7，求新就升到 1.0~1.2；
3. top_p 在 0.90~0.95 之间微调即可，top_k 保持在 40~80；
4. 复读问题优先调 repetition_penalty，而不是猛降 temperature；
5. 每组参数用固定 prompt 跑 2~3 次再下结论，避免随机性误导判断。

按照这份 Gemma3-4B-it_gpuep_1.0_gpu_128 推理参数调优清单操作，你应该能在十几分钟内找到适合自己场景的最优采样配置。