llama.cpp ZenDNN 后端如何在 AMD EPYC 上构建并启动 llama-server 推理服务【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp在 AMD EPYC 服务器上用 llama.cpp 跑推理时默认走的是通用 CPU 后端。ZenDNN 后端可以让矩阵乘法MUL_MAT、MUL_MAT_ID走 AMD 针对 EPYC 优化的 LowOHA MatMul 算子其余算子仍由标准 CPU 后端处理。这篇文档对应的任务路径是在 Linux 上开启-DGGML_ZENDNNON构建 llama.cpp下载一个 BF16 或 Q8_0 的 GGUF 模型然后用llama-server起一个 8080 端口的推理服务并从启动日志确认 ZenDNN 后端确实被初始化。适用前提来自 docs/backend/ZenDNN.md操作系统Linux已验证 Ubuntu 20.04 / 22.04 / 24.04。CPUAMD EPYC 9005 系列TurinZen 5、9004 系列GenoaZen 4、7003 系列MilanZen 3或 AMD Ryzen AI MAXStrix Halo。BF16 算子仅在 Zen 4 / Zen 5 上可用更老的 CPU 上相关运算会退回 FP32。注意区分ZenDNN 是 AMD 面向 EPYC 的库与 IBM 的 zDNN 不是同一个东西。构建开启 ZenDNN 后端的 llama.cpp有两种方式。推荐第一种不需要手动安装 ZenDNNCMake 会自动下载并构建 ZenDNN。# 自动下载并构建 ZenDNN推荐 cmake -B build -DGGML_ZENDNNON -DCMAKE_BUILD_TYPERelease cmake --build build --config Release -j $(nproc)docs/build.md 中说明首次构建会自动下载并构建 ZenDNN大约需要 5–10 分钟之后的构建会快很多。可选分支如果你想自己构建 ZenDNN 或固定某个版本先按 ZenDNN 的说明从源码构建需要 CMake 3.25再通过ZENDNN_ROOT指向安装目录# 方式一环境变量 export ZENDNN_ROOT/path/to/ZenDNN/build/install # 替换为你实际的 ZenDNN 安装目录 cmake -B build -DGGML_ZENDNNON -DCMAKE_BUILD_TYPERelease cmake --build build --config Release -j $(nproc) # 方式二直接在 CMake 参数里指定 cmake -B build -DGGML_ZENDNNON -DZENDNN_ROOT/path/to/ZenDNN/build/install -DCMAKE_BUILD_TYPERelease cmake --build build --config Release -j $(nproc)上面的ZENDNN_ROOT指向 ZenDNN 自己构建后的安装目录/path/to/ZenDNN/build/install是源文档给出的占位路径需要替换成你的真实路径。CMake 侧的行为可以在 ggml/src/ggml-zendnn/CMakeLists.txt 中核对未设置ZENDNN_ROOT时自动下载构建设置了则使用该自定义安装。下载 BF16 或 Q8_0 模型ZenDNN 后端目前支持 FP32、BF16 和 Q8_0 三种数据类型其他量化格式会退回标准 CPU 后端。文档给出的示例模型是 Llama-3.1-8B-Instruct 的 BF16 GGUF# 从 Hugging Face 下载 BF16 GGUF 模型 huggingface-cli download meta-llama/Llama-3.1-8B-Instruct-GGUF --local-dir models/也可以只下载 Q8_0 权重的单个文件huggingface-cli download meta-llama/Llama-3.1-8B-Instruct-GGUF \ Llama-3.1-8B-Instruct-Q8_0.gguf \ --local-dir models/关于精度选择文档给出的事实是BF16 在 Zen 4 / Zen 5 EPYC 上性能最好Q8_0 的加速主要在 prefill / prompt 处理这类大矩阵乘法占主导的阶段体现逐 token 生成速度可能与标准 CPU 后端接近取决于模型、批大小、线程数和 CPU 拓扑。启动 llama-server在启动前设置文档推荐的算子环境变量然后启动服务# Blocked AOCL DLP 算法文档标注为推荐配置 export ZENDNNL_MATMUL_ALGO1 ./build/bin/llama-server \ -m models/Llama-3.1-8B-Instruct.BF16.gguf \ --host 0.0.0.0 \ --port 8080 \ -t 64参数说明以文档为准ZENDNNL_MATMUL_ALGO1选用 Blocked AOCL DLP 算法是文档明确推荐的性能配置--host 0.0.0.0表示监听所有地址tools/server/README.md中--host默认值为127.0.0.1即不设置时只有本机可访问-t 64是文档示例中的线程数对应高核心数 EPYC 的示例场景可按实际核数调整。启动后访问http://localhost:8080即可使用服务端点。多路multi-socketNUMA 机器上文档给出的可选优化是手动绑定 NUMA 节点numactl --cpunodebind0 --membind0 ./build/bin/llama-server ...已知问题一节明确写了多路系统上可能需要手动 NUMA 绑定才能达到最佳性能上面的numactl命令是文档给出的绑定方式。验证 ZenDNN 后端已生效文档 QA 给出的验证方式查看 llama.cpp 运行时的日志输出应当能看到 ZenDNN 后端被初始化的提示信息也可以直接检查输出中的 backend 名称。docs/build.md 的 ZenDNN 小节还提供了一个最小推理测试命令可以直接确认模型能跑通生成./build/bin/llama-cli -m PATH_TO_MODEL -p Building a website can be done in 10 steps: -n 50其中PATH_TO_MODEL替换为你的 GGUF 文件路径-n 50表示生成 50 个 token。限制与边界加速范围目前只有 MUL_MAT 和 MUL_MAT_ID 两个算子走 ZenDNNattention、激活等其他算子仍由标准 CPU 后端处理。文档 TODO 中列了扩展算子支持但尚未落地。量化格式除 FP32、BF16、Q8_0 外的量化格式会回落到标准 CPU 后端。BF16 依赖 Zen 4 / Zen 5MilanZen 3上没有 BF16 加速。性能预期文档 QA 给出的说法是矩阵乘法部分相对标准 CPU 推理大致是 1.1x–2x 的提速具体取决于模型大小、批大小和 CPU 架构文档同时说明小模型、批大小或线程数不合适时未必能体现出加速并建议开启 ZenDNN 自身的 profiling 确认 LowOHA MatMul 确实被调用profiling 选项属于 ZenDNN 库的文档范畴本仓库文档未展开。如果启动后日志里看不到 ZenDNN 后端初始化信息先回到构建环节确认-DGGML_ZENDNNON是否加上、使用的是否为build/bin/llama-server这个新构建产物。更细的硬件支持、算子列表和环境变量说明见 docs/backend/ZenDNN.md。【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考