EVIE-4.5B发布：为什么这款4.5B视觉文档检索模型能登顶ViDoRe SOTA榜单？

【免费下载链接】EVIE-4.5B项目地址: https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B

EVIE-4.5B 是腾讯开源的一款轻量级视觉文档检索模型（Visual Document Retrieval），基于 Qwen3.5 多模态底座，仅 4.5B 参数就在 ViDoRe V3 官方榜单上拿下 65.70 分、位列第二，与 8B 旗舰版共同包揽前两名。它不用 OCR，直接"看图"检索：把文档页面和自然语言查询各自编码成一组向量，用多向量晚交互（late-interaction）逐 token 比对，从而精准命中复杂表格、图表和小字号排版。本文带你快速看懂它的核心技术、榜单成绩和上手方法。

🧠 什么是视觉文档检索？EVIE-4.5B 解决什么问题

传统"先 OCR 再文本检索"的方案会把整页文档压成一段纯文本，表格结构、图表、版面布局这些信息全部丢失。视觉文档检索（VDR）的思路完全不同：

• 文档端：直接把页面图片送进视觉语言模型，得到一组"多向量"表示；
• 查询端：用一句自然语言提问（如"第三季度的总收入是多少？"）得到查询向量；
• 匹配：通过 MaxSim 晚交互打分，查询的每个 token 去找文档中最像的那个 token，再求和。

下面这张发票页面图就来自仓库内置的检索演示集，EVIE-4.5B 可以直接对这类图片做语义检索：

模型架构配置见 config.json：底座为ColQwen3_5，嵌入维度最高 2048，原生支持 64/128/256/512/1024/2048 六档 Matryoshka 头。

🏆 登顶 ViDoRe 榜单：成绩有多能打

在 ViDoRe 官方排行榜（V3, Mean Task）上，EVIE 双模型包揽前二；在完整 138 任务评测矩阵中，EVIE-4.5B 拿下 ViDoRe V1 的 92.53、V2 的 74.91、V3 的 66.02（nDCG@10），四项榜单宏平均 78.98。

亮点在于：4.5B 的 EVIE-4.5B 以一半的参数量，把同级别的 ColVec1.1-4b（63.90）甩开近 2 分。分领域看，它在计算机科学（81.72）、能源（72.32）、医药（70.27）等硬核领域均超过多数 8B 对手。

🔬 三大核心技术，一次讲透

1️⃣ 多向量晚交互：细节不丢失的关键

稠密单向量检索把一整页压缩成一个点，高分辨率细节（复杂表格、小字号） inevitably 被"平均掉"。EVIE 保留每个 token 的独立向量，用公式S(Q,D) = Σᵢ maxⱼ (qᵢ·dⱼ)打分——查询词落在哪，文档里对应的局部区域就负责回应，这是它在表格和图表页面上大幅领先的原因。

2️⃣ Prefix-MRL：一个检查点，6 种维度随便切

EVIE-4.5B 用单个 2048D 线性投影头做弹性表示，运行时截断到任意前缀维度即可，无需为每个维度训练独立模型：

截断到 64D 仅损失约 1.5 分，而索引体积缩到 1/32——部署时按存储预算自由取舍。

3️⃣ HAC 无损压缩：每页从 750 个向量减到 32 个

原始晚交互表示每页约 750 个 patch 向量，索引开销巨大。EVIE 集成免训练的层次凝聚聚类（HAC）：在"语义+位置"联合空间里把 patch 聚成 32 个语义中心（源码见 code/compress/hac/core.py），100 万页索引仅需3.81 GiB，且无需重新训练模型：

🚀 快速上手：三条命令跑起图片文档检索

仓库自带 8 页演示文档（发票、财报、专利、组织架构图等），克隆后三步即可体验：

git clone https://gitcode.com/tencent_hunyuan/EVIE-4.5B cd EVIE-4.5B && pip install -r requirements.txt python infer.py \ --query "What is the total quarterly revenue?" \ --image examples/demo/pages/q3_revenue.png \ --image examples/demo/pages/invoice_4412.png

• 独立推理 CLI：infer.py，支持--head 128切换 Matryoshka 维度、--device cpu无显卡回退；
• 一键评测 8 页 demo：examples/demo/run.sh，输出 nDCG/Recall 等完整指标；
• 也兼容 sentence-transformers 的MultiVectorEncoder接口，几行代码即可接入现有检索管线。

📂 仓库结构与进阶资源

仓库已完整开源模型权重、训练管线和压缩算法，目录结构清晰：

• 模型权重与配置：model.safetensors、config.json
• 多向量检索引擎（ColQwen3.5 + Prefix-MRL）：colpali/
• 8B 教师模型训练与合并：code/teacher/
• 4.5B 学生模型 ARD 蒸馏训练：code/student/
• HAC 压缩管线：code/compress/
• 138 任务评测框架：code/shared/
• 环境变量模板：env.sh.example

想完整复现 4.5B 蒸馏流程，按顺序执行bash code/teacher/run.sh→bash code/student/run.sh→bash code/shared/eval_run.sh即可（详见 README.md）。

✅ 小结：为什么值得你关注

• 精度：ViDoRe V3 榜单 66.02（nDCG@10），4.5B 小模型打赢一众 8B 大模型；
• 灵活：Prefix-MRL 单头弹性维度（64D–2048D），一份权重覆盖多种部署场景；
• 省存储：HAC 免训练压缩，每页 32 个向量，百万页索引仅 3.81 GiB；
• 全开源：权重、训练代码、压缩算法、评测套件一应俱全，Apache-2.0 协议可商用。

如果你的业务里有"用一句话找文档图片"的需求——财报检索、合同定位、专利比对、报错截图溯源——EVIE-4.5B 是目前开源阵营里精度与体积平衡得最好的选择之一。

【免费下载链接】EVIE-4.5B项目地址: https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B