Kimi-K3-NVFP4是 NVIDIA 基于 Model Optimizer 量化框架，对 Moonshot AI 的 2.8 万亿参数多模态大模型 Kimi-K3 进行NVFP4 量化后重新打包的推理部署版本。它专为 NVIDIA Blackwell（B200/B300）GPU 调校，支持 vLLM 与 SGLang 两条部署路线，原生 1,048,576 token 上下文窗口，面向长程编码、视觉智能体与端到端知识工作场景。

💡 一句话定位：模型能力来自 Kimi-K3，NVIDIA 的价值在于把这只"巨兽"压缩并调校到能在 Blackwell 集群上高效、稳定地跑起来。

一、先看家底：一张表认识 Kimi-K3-NVFP4

完整模型卡片见 README.md。

二、NVFP4 量化拆解：NVIDIA 的"重新打包"到底做了什么

量化不是简单"整体压缩"，而是一个分层混合精度策略——哪里占空间大头、哪里对精度敏感，就区别对待：

📋 这份"打包清单"完整记录在 conversion_report.json 和 hf_quant_config.json 中；逐层的量化目标可查阅 config.json。

量化损失有多大：基准测试对比

两个版本均在temperature=1.0、top_p=0.95下评测，生成上限 65,536 tokens：

结论很直观：NVFP4 量化后几乎无损，个别基准（SciCode、AA-LCR、IFBench）甚至有小幅反超。用约一半的显存带宽成本，换来了接近原版的智力水平。

三、架构全景：这只"巨兽"长什么样

结合 configuration_kimi_k3.py 与 config.json，可以把它的构造思路概括为四点：

• 93 层混合注意力：70 层使用 Kimi Delta Attention（KDA 线性注意力，计算高效），23 层使用 MLA 全注意力（第 4/8/12/…/92/93 层），兼顾长上下文性能与精度；
• 超大 MoE：每层 896 个路由专家 + 2 个共享专家，每个 token 只激活 16 个专家，隐藏层宽度 7168；
• 原生多模态：视觉塔为 27 层 MoonViT（patch_size=14），配合 patchmergerv2 投影器接入语言模型；采用 NaViT 式动态分辨率缩放，透明背景图片会自动填充棋盘格图案，视频按 8fps 采样（细节见 preprocessor_config.json 与 media_utils.py）；
• 始终开思考：推理默认常开，reasoning_effort支持low/high/max（默认max）。

多模态封装在 modeling_kimi_k3.py，文本主干（含 KDA、MLA、MoE）在 modeling_kimi_linear.py，聊天模板编码逻辑在 encoding_k3.py，基于 tiktoken 的分词器（词表 163,840）见 tokenization_kimi.py 与 tiktoken.model。

四、谁该第一时间用起来

🚀四类用户收益最大：

1. 手握 Blackwell 集群的推理服务商——checkpoint 已按 8×B300 验证完毕，含 vLLM/SGLang 完整启动参数，无需自己做量化工程；
2. 长程编码 / Agent 团队——1M token 原生上下文 + 内置kimi_k3工具调用解析器与推理解析器，长任务不掉线；
3. 视觉智能体开发者——原生图片、视频输入，配合 NaViT 动态分辨率，适合看图干活、操作界面的工作流；
4. 企业知识工作与游戏开发团队——面向端到端知识工作、深度推理与游戏开发场景调校。

⚠️暂时不适合：没有 B200/B300 硬件的团队（NVFP4/FP8 内核与补丁仅面向 Blackwell），以及单机小显存场景（1.6TB 权重决定了它是一台"集群级"模型）。

五、部署速览：8×B300 上跑通 vLLM 与 SGLang

完整可复制命令在 README.md 的 Usage 一节，这里只讲关键参数：

vLLM 路线（镜像vllm/vllm-openai:kimi-k3）：

• --quantization modelopt_mixed：按 checkpoint 自带的混合精度方案加载；
• --moe-backend flashinfer_trtllm：路由专家的 NVFP4 内核；
• --kv-cache-dtype fp8+--tensor-parallel-size 8+--max-model-len 196608：注意 196,608 是TP8 验证值，不是架构上限，上下文与并发要按显存一起调；
• --load-format fastsafetensors：把约 18 分钟的启动时间省下来；
• --tool-call-parser kimi_k3与--reasoning-parser kimi_k3：打通工具调用与思考输出；
• 另需挂载本仓库的运行时补丁 runtime_patches/sitecustomize.py（通过KIMI_K3_FP8_PB=1、KIMI_K3_NVFP4_SITU_G1_SCALE=1等环境变量启用），在原生支持上游合入前它是必需的。

SGLang 路线（镜像lmsysorg/sglang:dev-dev-kimi-k3-nvfp4）：

• --tp-size 8 --dcp-size 8+--moe-runner-backend flashinfer_trtllm（必选而非可选）；
• 量化方案直接从 checkpoint 配置读取，无需--quantization参数；
• 三个--speculative-*参数开启 DSPARK 投机解码（配套 RadixArk/Kimi-K3-DSpark 草稿模型），不想投机直接去掉。

官方推荐生成参数：temperature=1.0，单步任务用top_p=0.95，Agent 任务用top_p=1.0，presence_penalty=0、frequency_penalty=0（见 generation_config.json）。

首次运行会从 Hugging Face 拉取约 1.6TB 权重；若只需运行时补丁，可先单独下载：

hf download nvidia/Kimi-K3-NVFP4 \ runtime_patches/sitecustomize.py \ --local-dir kimi-k3-runtime

如需浏览全部源码与配置，也可以直接克隆本仓库：git clone https://gitcode.com/hf_mirrors/nvidia/Kimi-K3-NVFP4

六、仓库文件地图：每个文件负责什么

七、许可与商用：先看 3 个关键数字

⚖️ 该量化版本受NVIDIA Open Model License管辖，底层模型受 LICENSE（Kimi K3 License）约束，商用前注意三条：

• 2,000 万美元：若运营 MaaS 业务且任意连续 12 个月总收入超过该数字，商用前需与 Moonshot AI 签署单独协议；
• 1 亿 MAU / 2,000 万美元月收入：产品超过任一门槛时，界面需显著展示 "Kimi K3"；
• 内部使用豁免：不向第三方开放的内部使用不受上述两条限制。

八、总结：下一步行动清单

• ✅有 8×B300（或 B200）集群：直接照 README.md 的 vLLM/SGLang 命令启动，先把--max-model-len从 196,608 起步验证；
• ✅做 Agent / 编码产品：优先接入，1M 上下文 +kimi_k3解析器 + 默认max思考强度就是为长任务准备的；
• ✅无 Blackwell 硬件：暂观望，等待上游 vLLM/SGLang 合入原生支持或社区更广泛的适配；
• ⏳持续跟进：vLLM 原生支持合入后，sitecustomize.py补丁可退役，部署会更简单。

量化没有偷走这只巨兽的智商，NVIDIA 只是给它换上了一套 Blackwell 集群上跑得更快、更省的"骨架"。