MOSS-VL-Instruct-0708-FP8 是 MOSS-VL 视觉语言大模型的 FP8 量化版本（24 GB 显存即可跑单卡推理），支持图片理解、长视频理解与实时流式交互。本文面向新手，完整解读单图离线推理入口offline_image_generate的关键参数：shortest_edge、max_new_tokens、vision_chunked_length、thinking_mode等，帮你快速完成图片推理调通与调优。

为什么选 FP8 量化版：24GB 显存就能跑 🚀

原模型对精度敏感的跨模态与视觉模块保持 BF16，仅对主语言层与 KV Cache 做量化，量化后整体能力基本不受影响：

💡 硬件要求：Transformers 推理路径只需单张 24 GB 显存的 NVIDIA 显卡（消费级即可）。

快速上手：加载模型并调用 offline_image_generate

模型加载与图片推理的完整示例见中文文档 README_zh.md，offline_image_generate的源码定义位于 modeling_moss_vl.py。

import torch from transformers import AutoModelForCausalLM, AutoProcessor checkpoint = "/path/to/MOSS-VL-Instruct-0708-FP8" processor = AutoProcessor.from_pretrained( checkpoint, trust_remote_code=True, frame_extract_num_threads=1 ) model = AutoModelForCausalLM.from_pretrained( checkpoint, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16, attn_implementation="flash_attention_2", ) model.eval()

调通图片推理只需要 3 个位置参数 + 少量生成参数，其余全部有默认值：

text = model.offline_image_generate( processor, prompt="请描述这张图片。", image="data/example_image.jpg", max_new_tokens=256, do_sample=False, vision_chunked_length=64, ) print(text)

注意：generation_config.json会自动启用 HQQ INT8 KV Cache，请保留该文件（generation_config.json），不要额外传入冲突的 Cache 配置。

图片预处理参数：控制分辨率与画质 📷

这部分参数默认值与 preprocessor_config.json 完全一致，一般无需修改，但理解它们能帮你处理"看不清细节"或"显存吃紧"的问题：

调参建议：

• 🖼️小字/细节识别不清→ 调大shortest_edge（如8192），代价是视觉 token 变多、显存上升；
• ⚡高分辨率图显存不足→ 调小longest_edge，压缩输入分辨率。

生成采样参数：控制回答长度与随机性

• ✅要稳定可复现：保持do_sample=False（默认）即可；
• 🎲要多样的开放式描述：do_sample=True+temperature=0.8+top_p=0.9左右。

vision_chunked_length：大图的显存友好开关 🔧

vision_chunked_length（默认64）控制视觉编码器 prefill 时每次处理多少个媒体项的分块大小，只改变视觉塔的执行方式，不影响最终提示词与解码逻辑。其分块实现见 modeling_moss_vl.py。

• 显存紧张 → 调小（如32、16），缓解 prefill 峰值显存；
• 追求速度且显存充裕 → 调大，减少分块开销。

thinking_mode 与 system_prompt：进阶控制

offline_image_generate还提供三个可选的"思考模式"参数（定义见 modeling_moss_vl.py）：