如何在 AMD MI350 上部署 DeepSeek-V4-Flash-MXFP4vLLM ROCm 从零实战指南【免费下载链接】DeepSeek-V4-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4想在自己的 AMD MI350 服务器上跑起 DeepSeek-V4-Flash-MXFP4 吗这份面向新手的实战指南将带你从零完成DeepSeek-V4-Flash-MXFP4 部署它是由 AMD 官方使用 Quark 量化工具推出的 MoE 大模型将专家层权重压缩到 MXFP4 精度专为 AMD MI350 / MI355gfx950架构与ROCm软件栈深度优化配合vLLM推理引擎即可快速上线。全文不堆砌复杂原理只讲能直接照做的步骤让你少走弯路。一、部署前必读这个模型有什么特别之处DeepSeek-V4-Flash-MXFP4 是 DeepSeek-V4-Flash 的量化衍生版本核心亮点有三个MoE 稀疏架构256 个路由专家 1 个共享专家每次仅激活 6 个专家43 层 Transformer参数量大但计算量可控。MXFP4 量化全部 MoE 专家投影层的权重采用 OCP MXFP4 静态量化激活采用动态量化注意力、路由门控、归一化、Embedding、输出头与 MTP 模块保持原始精度精度损失极小。官方性能验证GSM8K 基准下精度恢复率高达 99.9%几乎无损。关键指标数值模型架构DeepseekV4ForCausalLM支持硬件AMD MI355 / MI350gfx950推荐 ROCm7.2.0PyTorch / Transformers2.9.1 / 5.13.1推理引擎vLLMnightly 镜像量化工具AMD-Quark v0.12.0模型文件总大小约 159 GB46 个分片 一句话总结MXFP4 量化 ROCm 加速 vLLM 服务化就是这套方案的精髓。二、准备工作一张清单看清硬件与软件要求动手前先核对环境避免中途翻车。官方建议基于 Docker 镜像rocm/vllm-dev:nightly_main_20260714部署vLLM 与 lm_eval 均从源码安装。硬件要求至少 1 张 AMD MI350 / MI355 显卡gfx950 架构推荐 4 卡并行官方评估使用 tensor-parallel-size 4充足内存与磁盘空间模型约 159 GB需预留 200 GB软件要求Linux 操作系统ROCm 7.2.0 及以上Docker 环境推荐直接使用官方 nightly 镜像三、第一步获取模型文件与项目代码模型权重以 46 个 safetensors 分片存放通过 git clone 即可一次性拉取代码与权重git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4仓库根目录包含完整推理资源部署时可重点关注config.json模型超参数与完整量化配置quantization_config字段model.safetensors.index.json权重分片索引inference/官方自研推理代码转换、生成、内核encoding/DeepSeek-V4 系列提示词编码参考实现四、第二步搭建 vLLM ROCm 推理环境推荐直接用官方验证过的 Docker 镜像环境开箱即用docker pull rocm/vllm-dev:nightly_main_20260714启动容器并挂载模型目录同时启用 AITER 加速AMD 针对 ROCm 的高性能算子库export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1⚠️ 新手最容易忽略的点AITER 环境变量必须显式导出否则 vLLM 不会启用 ROCm 专属优化算子性能会大打折扣。五、第三步一条命令启动 vLLM 推理服务环境就绪后启动服务只需一行命令官方实测配置vllm serve amd/DeepSeek-V4-Flash-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}启动参数逐个拆解参数作用新手建议--tensor-parallel-size 44 卡张量并行单卡改 1两卡改 2--kv-cache-dtype fp8KV 缓存用 FP8 省显存保持默认即可--trust-remote-code信任远端模型代码官方模型必需--tokenizer-mode deepseek_v4DeepSeek V4 专用分词模式必须指定--reasoning-parser deepseek_v4思维链解析器必须指定--enable-auto-tool-choice自动工具调用需要 Agent 能力时开启启动成功后vLLM 默认在http://localhost:8000提供 OpenAI 兼容接口可直接对接各类客户端。如需自定义端口追加--port 30000即可。六、第四步用 lm_eval 快速验证精度服务跑起来后可以用 lm_eval 复现官方 GSM8K 结果8-shotlm_eval --model local-completions \ --model_args modelamd/DeepSeek-V4-Flash-MXFP4,base_urlhttp://localhost:30000/v1/completions,tokenized_requestsFalse,num_concurrent32 \ --tasks gsm8k --batch_size auto --num_fewshot 8官方精度数据一览基准原版 DeepSeek-V4-FlashMXFP4 量化版精度恢复率GSM8K (flexible-extract)95.0094.9299.9%看到 94.9 以上的分数说明你的部署环境完全正常。✅七、进阶玩法不使用 vLLM 时如何跑推理仓库还附带一套独立的 PyTorch 推理实现inference/目录适合想深入底层或二次开发的读者。流程分两步第一步把 HuggingFace 权重转换为项目格式export EXPERTS256 export MP4 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}第二步交互式对话torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive相关核心代码路径速览inference/convert.py权重格式转换入口inference/generate.py单机/多机生成与对话逻辑inference/model.pyTransformer 模型定义与 MoE 路由inference/kernel.pyFP4 / FP8 / 稀疏注意力等底层内核encoding/encoding_dsv4.py提示词编码与工具调用解析八、常见问题排查速查表现象可能原因解决办法启动报 gfx950 不支持ROCm 版本过低升级到 ROCm 7.2.0推理速度慢未启用 AITER检查两个VLLM_ROCM_USE_AITER环境变量显存不足并行度过低调高--tensor-parallel-size或开启--kv-cache-dtype fp8输出格式异常分词/解析器参数缺失确认deepseek_v4系列参数均已传入工具调用不生效未开启自动工具选择添加--enable-auto-tool-choice九、总结到这里你已经完成了AMD MI350 上部署 DeepSeek-V4-Flash-MXFP4的全流程拉取模型 → 搭建 vLLM ROCm 环境 → 启动服务 → 验证精度。整套方案的最大价值在于用 MXFP4 量化大幅降低显存与带宽压力同时借助 AMD Quark ROCm vLLM 的软硬件协同把推理性能拉满精度却几乎无损。现在就去你的 MI350 上试试吧遇到问题欢迎对照上文排查表逐项检查【免费下载链接】DeepSeek-V4-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考