图片与视频输入全指南：如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF，看懂2分钟视频
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA 开源视觉语言模型 Nemotron 3.5 Bolt 的 GGUF 量化包（74B 总参数 / 9B 激活）。它原生支持图片输入、视频理解与 256K 长上下文，可完全在本地电脑运行——把一张图片、一段 2 分钟的视频"喂"给它，就能返回文字描述、问答与分析结果。
为什么它能"看懂"图片：一个视觉编码器是关键 🧠
这个模型不是"文字模型加了贴图"，而是真正的视觉语言模型（VLM）：
- 架构：Mamba-2–Transformer 混合 LatentMoE，搭配C-RADIO v4-H 视觉编码器，通过 MLP 投影器把图像特征"翻译"给语言主干；
- 输入：文本、图片（RGB，jpeg/png）、视频（mp4，最多 2 分钟）；
- 输出：纯文本，支持 JSON 结构化输出、思维链推理与工具调用；
- 上下文：最长 256K tokens，图片、视频帧与对话历史共享这一窗口。
其中视觉投影器单独存放在仓库根目录的 mmproj-BF16.gguf，喂图/喂视频时必须和主模型一起加载，这是很多人"模型跑起来了却看不见图片"的原因。
图片输入快速上手：三步完成
选一个量化版本（选型建议见下文"挑选合适的量化"）；
加载模型 + 视觉投影器，以 llama.cpp 为例，启动时同时指定两个文件：
llama-server -m 你的模型.gguf --mmproj mmproj-BF16.gguf在 LM Studio、Open WebUI 等图形界面中，一般只需在设置里分别选择主模型和 mmproj 文件即可；
在对话框直接拖入图片，配上问题（如"描述这张图里的表格内容"）发送。
💡 官方推荐采样参数：temperature 1.0、top_p 0.95；聊天模板还提供enable_thinking=True/False开关，控制是否输出推理过程。
看懂 2 分钟视频：帧采样规则 ⏱️
视频理解靠的是抽帧——模型把视频按固定帧率采样成一组图像帧，再交给视觉编码器处理。官方给出的推荐规则：
| 视频规格 | 采样帧率 | 最大采样帧数 |
|---|---|---|
| 1080p | 最高 1 FPS | 128 帧 |
| 720p | 最高 2 FPS | 256 帧 |
| 时长上限 | 2 分钟 | 超出部分无法完整覆盖 |
几个实用建议：
- 视频格式用mp4；音频轨道不参与理解，模型只看画面；
- 想要更细的时序细节，可把视频转成 720p，允许 2 FPS 采样；
- 2 分钟以上的长视频建议剪成多段分别提问，或利用 256K 上下文逐段汇总；
- 典型场景：会议录屏问答、操作教程复盘、监控片段摘要、网页浏览视频回放。
挑选合适的量化：显存决定一切 💾
仓库内置了从全精度到 2-bit 的完整量化阶梯，按需取用：
| 文件位置 | 量化格式 | 定位 |
|---|---|---|
| BF16/ | BF16 全精度（4 分片） | 微调、蒸馏等定制场景，非日常推理首选 |
| Q8_0/ | Q8_0（3 分片） | 近乎无损，显存充裕选它 |
| UD-Q6_K_XL/ | UD-Q6_K_XL（3 分片） | 高质量均衡 |
| UD-Q5_K_XL/ | UD-Q5_K_XL（3 分片） | 质量与容量平衡 |
| UD-Q4_K_XL/ | UD-Q4_K_XL（3 分片） | 主流甜点，多数人的起点 |
| 根目录单文件 | UD-Q3_K_XL → UD-IQ1_S 等 | 低显存方案，其中 2-bit 级（如 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-IQ2_M.gguf）面向 24GB 级显存，可与其他应用共存 |
注意：分片版（-00001-of-00003.gguf这类文件）必须同目录放齐全部分片再加载；低比特版本会牺牲一部分视觉细节，跑图片 OCR、图表识别时建议至少选 Q4_K_XL 以上。
加速技巧：DFlash 投机解码
根目录的 dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 是配套的 NVFP4 草稿模型（drafter），在支持投机解码的推理框架（如 vLLM 官方配方）中可一次投机 7 个 token，显著降低首字延迟与生成耗时。搭配方式：主模型 + mmproj + dflash 草稿器三者同载。
常见问题 ❓
- 中文能用吗？可以。官方输入说明覆盖英文、中文、法、西、意、德、日、韩、印地、巴西葡语等 10 种语言。
- 视频里的声音能听吗？不能，视频通过抽帧理解，音频不参与。
- 隐私安全吗？全程本地推理，图片与视频不离开你的机器。
- 更多官方细节？完整模型卡（架构、训练方法、基准测试）见 README.md。
小结：主模型 +
mmproj-BF16.gguf是"喂图"的必备组合；图片直接拖入对话框，视频按 mp4、2 分钟以内、抽帧规则处理；显存不足时从 UD-Q4_K_XL 逐级往下选量化即可。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
