NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门：24GB级本地视觉Agent大模型是什么、能做什么

想在只有 24GB 内存/显存的电脑上，本地跑一个能看图、看视频、还能自己调工具的「视觉 Agent」大模型？NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 就是为此而生——它是 NVIDIA Nemotron 3.5 Bolt 74B-A9B 视觉语言模型（VLM）的 GGUF 量化合集，由 Unsloth 整理，覆盖从 1-bit 到 BF16 全精度共 20 余个文件，配合 llama.cpp 即可在本地运行。下文带你快速搞懂它是什么、有哪些版本、以及怎么用。

一、这是什么？一句话看懂

NVIDIA Nemotron 3.5 Bolt 74B-A9B是 NVIDIA 开源的「开放权重」模型家族成员，定位是本地运行日常 Agent 任务的视觉-语言模型。仓库里放的则是它的 GGUF 格式量化权重（README.md 为完整说明）。

几个关键设定：

💡 通俗理解：它像一个「聪明但省内存的实习生」——总参数很大，但每次只激活一小部分，所以速度比同内存档位的密集模型快、又比同内存档位的普通 MoE 更聪明。

二、为什么强调「24GB 级」？

官方专门提到：24GB 版本采用原生 2-bit 量化，目标是让模型装进 24GB 内存、还能和其他应用并存，在速度与智力之间取得平衡。

也就是说，这个仓库里最核心的几档2-bit 量化（IQ2 系列），就是面向 24GB 内存/显存设备的「甜点档」。这也是标题里「24GB级」的由来。

三、仓库里有哪些文件：GGUF 版本速查

所有权重都是 Git LFS 大文件。下表按「量化精度 / 单文件体积」整理，方便你按硬件对号入座：

📌 说明：UD-前缀代表 Unsloth 的 Dynamic 3.0 量化方案，在同位宽下通常精度更好。多分片版本（如 Q4_K_XL）的第一片仅为约 8MB 的「头文件」，真正权重在后面几个分片里。

两个功能文件同样重要：

• mmproj-BF16.gguf（约 1.6GB）：视觉/多模态投影器。想输入图片、视频，必须带上它。
• dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf（约 1GB）：投机解码（DFlash）草稿模型，用于加速推理（官方 vLLM 方案默认 7 个投机 token）。

四、怎么选量化版本：按内存/显存匹配

选版原则：权重体积 + 上下文缓存 ≤ 你的可用内存，留一点余量给系统和 KV cache。参考档位：

⚠️ BF16/ 全精度权重主要用于自定义与后训练（SFT、RL、蒸馏、产出量化版），并非为直接生产推理设计。想纯跑推理，优先选上面的量化档。

五、能做什么：本地视觉 Agent 的典型场景

它面向的是「日常 Agent 任务」，结合视觉输入 + 工具调用，常见玩法：

• 🖼️看图/看视频问答：截一张图表或界面，直接问问题、读数、定位元素（GUI grounding）。
• 📄文档/图表理解：PDF、表格、图表 OCR 与多页文档推理。
• 🧭网页/终端操作：配合浏览器、终端环境做多轮工具交互（BrowseComp、WebArena 表现突出）。
• 🛠️MCP 工具调用：通过 MCP-Server 完成多步任务，是它的强化方向之一。
• 💻编码辅助：代码理解与补全，支持代码语言为主的训练数据。

六、性能如何：小体积、大表现

官方在 README.md 中给出基准对比。可以看到，24GB（IQ2）版本在多数 Agent / 视觉 / 推理基准上跑赢更重的模型：

一句话总结：更小的体积，换来可比的 Agent 与视觉能力。

七、快速上手：下载与运行

1. 克隆仓库

git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

权重体积大，建议用git lfs pull按需拉取，或只下载你需要的量化分片。

2. 用 llama.cpp 跑起来

# 以 24GB 甜点档为例（按需替换为你的量化文件） ./llama-server -m NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-IQ2_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 99 -c 8192

• --mmproj mmproj-BF16.gguf：启用图片/视频输入，视觉功能必加。
• -ngl 99：把层数尽量放 GPU（纯 CPU 可去掉）。
• -c 8192：上下文长度，按内存余量调整。

3. 可选：开启投机解码加速

配合 DFlash 草稿模型可提速，参数名以你所用 llama.cpp 版本的说明为准，官方 vLLM 方案默认使用 7 个投机 token。

八、常见问题（FAQ）

Q：为什么 BF16 有 4 个文件，量化有的 3 个、有的 1 个？A：单文件超过约 50GB 会拆成分片（shard），00001-of-00004这类是序号。低量化档能塞进单文件，就只有一个。

Q：输入视频有限制吗？A：支持 mp4，最长 2 分钟；1080p 按约 1 FPS / 128 帧采样，720p 等低分辨率可提高到 2 FPS / 256 帧。

Q：支持哪些语言？A：以英文和代码为主，同时支持西班牙语、法语、德语、意大利语、日语等。

Q：可以商用吗？A：可以。采用 OpenMDW-1.1 许可，允许商用与非商用。

Q：想让回答「先思考再回答」怎么开？A：通过聊天模板的enable_thinking参数控制（True/False），采样推荐 temperature 1.0、top_p 0.95。

小结：NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 把「24GB 就能跑」的视觉 Agent 大模型拆成了 20 余档 GGUF 量化，从 1-bit 到 BF16 全精度可选。按你的内存选对应档位、加上mmproj投影器，配合 llama.cpp 即可在本地跑起一个能看图、看视频、调工具的 Agent。