Docker Model Runner（DMR）是 Docker 官方的 AI 模型运行工具，帮你用 Docker 快速拉取、运行和部署大语言模型（LLM）。本文给出安装 Docker Model Runner 的三种完整方法：Docker Desktop 自带方式、Linux Docker Engine 一键脚本方式，以及完全脱离 Docker 的独立dmr二进制方式，覆盖 macOS、Windows 与 Linux 三大平台。

Docker Model Runner 是什么？🤔

Docker Model Runner 让你像管理容器一样管理 AI 模型：一条docker model run ai/gemma3 "Hello"命令，即可完成模型拉取、加载与推理。它支持 llama.cpp、vLLM、diffusers 多种推理后端，并可自动检测 GPU 加速。

核心组件与文档可参考项目内资料：

• 总览与安装说明：README.md
• CLI 插件功能列表：cmd/cli/README.md
• 独立 dmr 说明：cmd/dmr/README.md

三种安装方式怎么选？

方式一：Docker Desktop 一键安装（macOS / Windows）💻

这是最简单的方式：Docker Model Runner 已包含在 Docker Desktop 中，无需单独安装插件。

1. 前往 Docker 官方文档下载并安装 Docker Desktop；
2. 启动 Docker Desktop，确认应用图标处于运行状态；
3. 打开终端验证插件可用。

整个过程零配置，适合新手快速上手本地 AI 模型。

方式二：Linux 引擎一键安装脚本 🐧

在 Linux 上，Docker Model Runner 由 Docker 官方软件仓库提供，安装 Docker Engine 时一并装好：

curl -fsSL https://get.docker.com | sudo bash sudo usermod -aG docker $USER # 赋予用户访问 Docker 守护进程的权限，重新登录后生效

💡 关键点：必须从Docker 官方仓库安装，发行版自带的 docker 包（如 Ubuntu 的docker.io）不包含Model Runner 插件。这一点在 cmd/cli/commands/install-runner.go 的自动安装逻辑与 README.md 的故障排查章节中都有强调。

GPU 用户可显式指定加速类型（none|auto|cuda|rocm|musa|cann）：

docker model install-runner --gpu cuda

完整的参数清单见 docker_model_install-runner.yaml，包括--backend（推理后端）、--host（绑定地址，默认127.0.0.1）、--tls（启用 HTTPS）等。

方式三：独立 dmr 二进制，完全免 Docker 📦

如果你不想安装 Docker，dmr是一个自带推理守护进程与完整管理 CLI 的独立二进制，功能与docker model完全一致（run、ls、pull、rm、ps等）。

按平台安装：

# macOS (arm64) brew install docker/tap/dmr # Windows (amd64) winget install Docker.dmr

Linux 用户可从最新的dmr-v*发布页下载预编译压缩包，也可以克隆源码后本地构建：

git clone https://gitcode.com/gh_mirrors/mo/model-runner cd model-runner make build-dmr # 输出 ./dmr 二进制 ./dmr serve & # 后台启动守护进程 ./dmr pull ai/gemma3 # 拉取模型 ./dmr run ai/gemma3 "Hello"

使用细节可参考 packaging/README.md（各平台分发渠道）与 cmd/dmr/main.go。注意：

• dmr serve默认监听 TCP 端口12434，可用--port/--socket/--models-path调整；
• 连接其他守护进程时设置环境变量MODEL_RUNNER_HOST（或--host）；
• install-runner、stop-runner等仅管理 Docker 容器的命令在dmr中被隐藏，因为守护进程直接由dmr serve承担。

安装完成后如何验证？✅

三种方式共用同一套验证命令（dmr用户把docker model换成dmr即可）：

docker model --help # 确认 CLI 插件可用 docker version # 查看 Docker 版本与来源 docker model version # 查看 Model Runner 版本 docker model status # 查看 Runner 是否在运行 docker model run ai/gemma3 "Hello" # 跑一个真实模型做端到端测试

只要最后一条命令返回模型回复，说明安装、GPU 检测与推理链路全部就绪。命令说明可参考 docker_model_status.yaml 和 docker_model_version.yaml。

常见问题快速排查 🛠️

1.docker model命令不存在，或提示Package 'docker-model-plugin' has no installation candidate

原因是 Docker 装自发行版仓库而非官方仓库。处理步骤（以 Ubuntu/Debian 为例）：

sudo apt-get purge docker docker.io containerd runc curl -fsSL https://get.docker.com | sudo bash docker model --help

2. NVIDIA DGX 预装 Docker 不生效

DGX 出厂预装的 Docker 通常不是官方仓库版本，需按上面的步骤重装为官方源安装。

3. Runner 启动慢或超时

首次运行命令时会自动执行安装（自动安装逻辑见 cmd/cli/commands/install-runner.go 中的ensureStandaloneRunnerAvailable），CPU 版本约 1 秒、CUDA 版本需数秒；可用MODEL_RUNNER_NO_AUTO_INSTALL环境变量关闭自动安装，改用docker model install-runner手动配置。

总结

• macOS / Windows 新手：装好 Docker Desktop 就能直接用，最快 1 分钟上手；
• Linux 用户：记住"必须官方仓库"这一条，一条脚本命令搞定；
• 不想依赖 Docker：独立dmr一个二进制包办全部，dmr serve+dmr run即可开聊。

装好之后，docker model run一个模型试试吧，AI 模型部署从此简单又快速！