self-llm 实战AMD Ryzen AI Max 395Strix HaloNPU 环境准备与 Gemma 4 E4B-it 本地部署指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm本指南聚焦《开源大模型食用指南》Datawhale self-llm中 Gemma 4 E4B-it 专题的 AMD 环境准备环节完整讲解在搭载 AMD Ryzen AI Max 395Strix Halo处理器的 Windows 11 主机上从 NPU 驱动、Ryzen AI 软件到安装验证的全过程并延伸说明环境就绪后如何通过 Lemonade Server 将 Gemma 4 E4B-it 以 OpenAI 兼容接口跑在 NPU 上。读完本文你将掌握 AMD NPU 推理环境的标准搭建流程、quicktest 验证方法以及端侧多模态小模型 Gemma 4 E4B-it 的落地调用方案。关联文档models/Gemma4/7-gemma4-E4B-it AMD环境准备.md配套部署文档models/Gemma4/8-gemma4-E4B-it 模型服务部署.md。为什么需要这份环境准备Gemma 4 E4B-it 是 Google 面向端侧设备设计的多模态小模型有效参数仅 4.5B含嵌入共 8B支持 128K 上下文可原生处理文本、图像、视频与音频输入。从仓库中的 Gemma 4 模型介绍 可以看到这类每参数智能极高的端侧模型正是为了在手机、Raspberry Pi、NVIDIA Jetson Orin Nano 等边缘设备上离线运行而生。而 AMD 的Ryzen AIStrix Halo处理器凭借集成的 XDNA2 架构 NPU为这类模型提供了另一条极具吸引力的本地推理路径——无需独立显卡即可用 NPU 完成模型加速。在 self-llm 仓库中Gemma 4 专题围绕这一硬件路线拆分为多个环节FastApi 部署、Ollama Open WebUI 部署、LoRA 微调、GRPO 微调 以及 AMD 环境准备。其中NPU 环境准备是后续所有 NPU 侧推理与部署的前置条件只有先把 NPU 驱动与 Ryzen AI 软件栈装好、验证通过才能用 Lemonade Server 等工具把 Gemma 4 E4B-it 真正调度到 NPU 上。目标硬件与基础环境本指南的参考环境如下与关联文档一致---------------- Windows 11 CPU AI 395AMD Ryzen AI Max 395 内存 128G ----------------该项目环境由AMD University ProgramAMD 大学合作部大力支持下完成。相关云平台的使用说明可参考 models_amd/README_00_AMD_AUP免费云平台使用指南.md。Strix Halo一颗芯片三种架构AMD Strix Halo 处理器是一款划时代的产品尤其是旗舰型号锐龙 AI Max 395最强集显RDNA3.5 架构 GPU 性能可媲美桌面级 RTX 4060 独立显卡三引擎合一全新 Zen5 架构 CPU RDNA3.5 架构 GPU XDNA2 架构 NPU其中 NPU AI 引擎拥有高达50 TOPS的算力统一内存锐龙 AI Max 系列可搭配最多128GB LPDDR5X-8000 统一内存带宽高达 256GB/s并可分配最多 96GB 作为专属显存大模型本地运行能力凭借上述统一内存与高带宽可以在本地直接运行 GPT-OSS-120B 这类千亿参数的完整大模型对 MoE混合专家模型尤为友好——推理时仅激活部分参数与统一内存架构天然契合。这正是 Gemma 4 E4B-it 这类端侧小模型能在该平台上高效运行的硬件基础模型小、内存带宽大、NPU 算力够全部推理都可以留在本机完成。NPU 环境准备整体流程NPU 环境的安装与配置分为三大步骤环环相扣安装 NPU 驱动程序npu_sw_installer.exe32.0.203.280 或更新版本安装 Ryzen AI 软件ryzenai-lt-1.6.1.exe以 conda 环境形式交付运行 quicktest 验证确认模型确实被调度到 NPU 上执行。完成上述三步后才能进入 模型服务部署 环节用 Lemonade Server 加载 Gemma 4 E4B-it 的 GGUF 权重对外提供推理服务。先决条件安装前必须满足的依赖Ryzen AI 软件支持带有神经网络处理单元NPU的 AMD 处理器正式安装前请先参考官方发布说明确认完整的支持配置列表并确保系统已安装以下依赖依赖项版本要求Windows 11build 22621.3527Visual Studio2022cmakeversion 3.26Python 发行版推荐 Miniforge最新版本⚠重要提示Visual Studio 2022 Community务必确保安装了使用 C 的桌面开发工作负载否则后续编译或依赖解析可能失败Miniforge确保在系统 PATH 环境变量中设置以下路径之一三选一即可path\to\miniforge3\condabinpath\to\miniforge3\Scripts\path\to\miniforge3\系统 PATH 变量应在环境变量窗口的系统变量部分设置。所有安装程序请一律使用管理员权限打开权限不足是 Windows 端安装类软件最常见的失败原因。第一步安装 NPU 驱动程序1. 下载 NPU 驱动程序下载并安装32.0.203.280 或更新版本的 NPU 驱动程序官方提供以下两个版本的安装包NPU DriverVersion 32.0.203.280NPU DriverVersion 32.0.203.3042. 安装步骤解压下载的 ZIP 文件以管理员模式打开终端执行.\npu_sw_installer.exe文件。3. 验证安装打开任务管理器 → 性能 → NPU0确认 NPU MCDM 驱动程序已正确安装核对版本与日期信息版本32.0.203.280日期5/16/2025或版本32.0.203.304日期10/07/2025。只要任务管理器中能看到 NPU0 且版本日期匹配说明 NPU 驱动层已就绪。第二步安装 Ryzen AI 软件1. 下载安装程序下载 Ryzen AI 软件安装程序ryzenai-lt-1.6.1.exe。2. 运行安装向导启动 EXE 安装程序并按照安装向导操作接受许可协议条款提供 Ryzen AI 安装的目标文件夹默认C:\Program Files\RyzenAI\1.6.1指定 conda 环境的名称默认ryzen-ai-1.6.1。3. 完成安装Ryzen AI 软件包将以conda 环境的形式安装完成。安装程序创建的 conda 环境中已包含 NPU 推理所需的全部组件Vitis AI EP、ONNX Runtime 等后续所有 NPU 推理调用都需在该环境下进行。注意官方同时提供 NuGet 包ryzen-ai-1.6.1-nuget.zip供需要在 Visual Studio 工程中以库形式集成 Ryzen AI 能力的开发者使用普通命令行/脚本用户安装 conda 环境版本即可。第三步测试安装quicktestRyzen AI 软件安装文件夹内自带用于验证安装正确性的测试脚本位于quicktest子文件夹中。1. 打开 Conda 命令提示符在 Windows 开始菜单中搜索并打开Miniforge Prompt。2. 激活 Conda 环境conda activate env_name其中env_name是安装程序创建的 conda 环境名称默认为ryzen-ai-1.6.1。3. 运行测试cd %RYZEN_AI_INSTALLATION_PATH%/quicktest python quicktest.py注意Ryzen AI 软件安装文件夹的完整路径存储在RYZEN_AI_INSTALLATION_PATH环境变量中安装完成后即已自动配置。4. 验证结果quicktest.py脚本会设置环境并运行一个简单的 CNN 模型。成功运行时你将看到类似以下的输出这表明模型正在 NPU 上运行Ryzen AI 软件安装成功[Vitis AI EP] No. of Operators : NPU 398 VITIS_EP_CPU 2 [Vitis AI EP] No. of Subgraphs : NPU 1 Actually running on NPU 1 Test Passed解读输出中的关键信息398 个算子被分配到了 NPU 执行、仅 2 个留在 CPUVITIS_EP_CPU子图 1 个且确实运行在 NPU 上最终输出Test Passed。看到这段日志即可确认 NPU 环境完全就绪。环境就绪后的实战应用Lemonade Server 部署 Gemma 4 E4B-itNPU 环境准备完成的意义在于支撑后续的模型服务部署。关联的 模型服务部署文档 使用的正是与本文完全相同的主机环境Windows 11 AI 395 128G 内存并将 NPU 作为核心加速单元安装依赖在本文配好的 Python 环境中执行# 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install -U huggingface_hub pip install lemonade-sdk[dev]下载 GGUF 模型在 Windows PowerShell 中设置镜像站$env:HF_ENDPOINT https://hf-mirror.com再通过huggingface_hub的snapshot_download函数下载ggml-org/gemma-4-E4B-it-GGUF仓库该 GGUF 权重仓库同时服务于 llama.cpp 与 Lemonade 等工具链启动服务通过 Lemonade Server 选择对应模型启动即可对外输出兼容 OpenAI 的服务接口接口测试用openai客户端库以base_url http://localhost:8000/api/v1、model gemma-4-E4B-it-GGUF发起聊天补全请求即可在本地获得模型响应。需要强调的是部署文档中明确指出NPU 需要配备 AMD Ryzen AI 300 系列的 Windows 11 电脑及驱动安装请先下载并安装 NPU 驱动程序再继续操作——即本文的 NPU 驱动与 Ryzen AI 软件安装正是该部署流程能够把模型跑在 NPU 上的硬性前提。备选路线ROCm 7.13TheRock环境对照如果目标不是 NPU而是希望用 Ryzen AI Max / Max 的iGPUgfx1151走通用 GPU 推理路线仓库在 models_amd/gemma4/1-env-prepare-ubuntu24-rocm7.md 中提供了另一套完整的 ROCm 环境准备方案可与本文的 NPU 路线形成对照ROCm 7.13 进入 TheRock / Core SDK 体系核心路径从旧版的/opt/rocm/变为/opt/rocm/core包名前缀由rocm-*改为amdrocm-*AMD SMI 逐步替代 ROCm SMIUbuntu 24.04 路线需安装 OEM kernel 6.14 才能正确驱动 gfx1151 iGPU并配置 GPU 权限render,video用户组或 udev 规则PyTorch 安装通过 uv 管理环境使用 AMD 官方 wheel 源https://repo.amd.com/rocm/whl/gfx1151/安装torch2.11.0rocm7.13.0Windows 11 也有 pip 路线需先卸载旧 HIP SDK、关闭 WDAG 与 SAC安装 AMD Software: Adrenalin Edition 26.5.1 或更新版本。两条路线适用场景不同本文的 NPU 路线面向 Ryzen AI / Lemonade 的专用 NPU 推理ROCm 路线面向 iGPU 上的 PyTorch / vLLM / LM Studio 等通用框架。部署目标同为 Gemma 4但加速单元与软件栈不同实践中按需二选一即可。常见问题与注意事项安装程序无法运行/权限不足所有安装程序npu_sw_installer.exe、ryzenai-lt-1.6.1.exe必须以管理员模式打开终端或右键管理员运行conda 命令找不到检查 Miniforge 的condabin或Scripts路径是否已写入系统 PATH 的系统变量区quicktest 未通过优先排查 NPU 驱动版本与日期是否匹配32.0.203.280 / 32.0.203.304再确认 conda 环境名是否与安装向导中指定的一致任务管理器看不到 NPU0说明 NPU MCDM 驱动未正确加载需要重装 NPU 驱动并重启模型服务部署时 NPU 未生效回到本文第二步确认 Ryzen AI 软件ryzenai-lt-1.6.1已安装Lemonade 依赖的 NPU 运行时会从该环境加载。小结本文完整覆盖了在 AMD Ryzen AI Max 395Strix Halo平台上为 Gemma 4 E4B-it 准备 NPU 环境的全部环节先决条件核对 → NPU 驱动安装与验证 → Ryzen AI 软件conda 环境安装 → quicktest 运行验证。环境就绪后即可无缝衔接仓库中的 模型服务部署 文档用 Lemonade Server 将这款 4.5B 有效参数的多模态小模型跑在 50 TOPS 的 XDNA2 NPU 上并通过 OpenAI 兼容接口对外提供服务。对于希望同时覆盖 iGPU 路线的读者ROCm 7.13 环境准备 提供了可直接对照的替代方案。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考