InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开源的 260 亿参数多模态大模型（MLLM）的 AWQ 4-bit 量化版本，基于 InternVL2.5 与混合偏好优化（MPO）技术，支持图像问答、OCR、数学推理和多图理解。本指南带你从模型认知、快速部署到生产级服务搭建，一站式掌握这个开源多模态大模型的完整使用方法。

一、为什么选择 InternVL2.5-26B-MPO-AWQ？

这个仓库不只是"一版权重文件"，而是一个可直接用于生产部署的量化模型包。它的三大亮点：

• 🚀AWQ 4-bit 量化：语言模型部分采用quant_method: awq、group_size: 128的 4-bit 量化（见 config.json 中的quantization_config），显存占用比原始 FP16 降低约 3/4，单张 24GB 显卡即可流畅推理；
• 🧠MPO 偏好优化加持：相比基础版 InternVL2.5-26B，MPO 版本在数学与 OCR 任务上提升明显——MathVista 从 68.0 提升到72.8，OCRBench 从 85.4 提升到91.2（评分表见 README.md）；
• 🏗️ViT-MLP-LLM 经典架构：视觉塔 InternViT-6B（448px 动态分辨率分块）+ MLP 投影层 + 语言模型 InternLM2.5-20B-Chat，兼顾视觉精度与语言理解能力。

💡 简单说：它适合需要"看得懂图 + 算得对数学 + 读得清文字"的场景，而 AWQ 量化让它跑在消费级显卡上成为可能。

二、仓库核心文件速览：模型由什么组成？

这个仓库采用 HuggingFace 自定义代码模型（custom_code）方式组织，各文件分工清晰：

权重本体是 13 个pytorch_model-XXXXX-of-00013.bin分片文件，加载框架会根据索引自动拼装，无需手动处理。

三、快速上手：LMDeploy 三步部署 InternVL 多模态模型

官方推荐的推理后端是LMDeploy（Turbomind 引擎），它对 AWQ 量化有原生支持，是最快的配置方式。

第 1 步：安装依赖

pip install "lmdeploy>=0.6.4"

第 2 步：拉取模型仓库

git clone https://gitcode.com/OpenGVLab/InternVL2_5-26B-MPO-AWQ

第 3 步：编写推理代码

from lmdeploy import pipeline, TurbomindEngineConfig from lmdeploy.vl import load_image model = 'OpenGVLab/InternVL2_5-26B-MPO-AWQ' image = load_image('tiger.jpg') pipe = pipeline(model, backend_config=TurbomindEngineConfig(session_len=8192)) response = pipe(('describe this image', image)) print(response.text)

如果执行时出现ImportError，按提示补装依赖包即可。更完整的多图推理、批量推理和多轮对话示例都在 README.md 的 Deployment 章节。

多图与多轮对话技巧

• 多图输入：把图片放进一个列表，并用Image-1: / Image-2:编号，多图会显著增加视觉 token 数，记得调大session_len；
• 多轮对话：使用pipe.chat接口，传入上一次的session即可保持上下文。

四、生产部署：一条命令启动 OpenAI 兼容 API 服务

这是本文最有价值的一节——InternVL 多模态模型可以像调用 GPT-4V 一样被你的业务系统调用。

启动服务（一条命令）：

lmdeploy serve api_server OpenGVLab/InternVL2_5-26B-MPO-AWQ --server-port 23333

api_server提供的 RESTful 接口完全兼容 OpenAI 接口规范，只需安装pip install openai，然后用标准客户端调用：

from openai import OpenAI client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1') response = client.chat.completions.create( model=client.models.list().data[0].id, messages=[{ 'role': 'user', 'content': [ {'type': 'text', 'text': 'describe this image'}, {'type': 'image_url', 'image_url': {'url': 'http://.../tiger.jpeg'}}, ], }], temperature=0.8, top_p=0.8)

生产环境配置建议

1. 显存规划：26B 模型 AWQ 4-bit 权重约 15~17GB，叠加 KV Cache 后建议预留≥24GB 显存（单张 RTX 4090/A100 可跑）；若显存紧张可降低session_len；
2. 上下文长度：默认session_len=8192适合单图场景；多图或长文档场景按需上调，但每增加视觉 token 都会消耗显存；
3. 批量服务化：pipeline支持传入 prompt 列表做批量推理，适合离线批处理任务；
4. 精度选择：若发现量化版在极精细 OCR 上有误差，可对比评测基准（README.md 中 MMBench v1.1 得分 84.2，与未量化版 26B 的 84.6 差距很小），量化损失在实际业务中通常可接受。

五、常见问题速查

六、总结：如何评估这个模型是否适合你

• 图像理解 + 中文对话：InternLM2.5 语言底座 + 多语言训练，中文场景表现稳定；
• 数学/图表推理：MPO 优化后 MathVista 达 72.8，是该参数规模开源模型中的第一梯队；
• 文档/OCR 处理：OCRBench 91.2，适合票据识别、图表提取等流水线；
• 硬件门槛：AWQ 量化让它摆脱了对 A100 的硬性依赖，24GB 显存即可生产级部署，这是选择 AWQ 版本而非原始 FP16 版本的最核心理由。

整个项目采用MIT 协议开源（语言底座 InternLM2.5-20B 为 Apache 2.0），可自由用于商业场景。按照本文"安装 LMDeploy → 克隆仓库 → 启动 API 服务"三步走，你就能在半天内把一个接近 GPT-4V 水平的开源多模态大模型接入自己的产品。