简介：这份PDF文档面向技术爱好者、企业IT管理人员与开发者，聚焦在本地环境部署DeepSeek大语言模型，以数据不出本地、权限自主可控为核心，帮助读者搭建可定制的私有AI应用。内容围绕硬件选型与软件环境展开，涵盖显存、内存、CPU配置建议，Ollama与CUDA Toolkit安装要点，以及部署步骤、常见问题与进阶应用，并延伸至医疗辅助诊断、金融风控、教育资源推荐等垂直场景。资源包共1个PDF文件，大小约586KB，结构紧凑，便于按章节查阅与对照实践。已有701人学习，适合希望掌握模型全部权限、保护敏感信息并优化垂直任务表现的从业者。读者可从中获得从环境准备到运行调优的实施脉络、排错思路和场景化配置参考，为后续微调与私有AI服务落地提供可操作的指引。

1. 从一台 16G 内存轻薄本的翻车说起：本地跑 DeepSeek 的第一道坎不在 Ollama

上个月帮一位开发者重装本地推理环境，机器是 16GB 内存、4GB 显存的轻薄本，对方直接执行ollama run deepseek-r1:32b，理由是“参数越大越聪明”。结果模型加载阶段就开始疯狂读写 swap 文件，风扇满转，最后 dark 报错退出。问题不在于 Ollama，而在于第一步就把模型规模与硬件配置配错了。

在本地运行 DeepSeek 这类大语言模型，真正决定能不能跑起来的，是内存、显存和参数量的匹配关系，Ollama 只是降低了执行门槛。自然语言处理任务要放进私有环境，数据不出内网是刚需，深度学习推理能不能用上 GPU 加速又是体验分水岭。这套环境适合想把大语言模型真正掌握在自己手里的开发者，也适合需要为团队搭建离线人工智能应用底座的人。下面按我实际安装时的顺序，从硬件配置对照写到验证跑通。

2. 环境对照：DeepSeek-R1 各参数量版本与内存、显存、CUDA 的匹配关系

选版本这件事，比装软件本身更影响后续体验。装错了版本，后面调参、换驱动、改环境变量全是白费功夫。这一章先把硬件配置定下来，后面三章才有意义。

2.1 参数量的档位划分与内存、显存的最低要求

Ollama 上的 DeepSeek-R1 蒸馏版常见标签是 1.5b、7b、8b、14b、32b 这几档。它们默认都是 4bit 量化后的权重，磁盘占用和运行时占用不是一回事：磁盘占用看模型文件大小，运行时占用看加载进内存和显存的那部分 KV Cache 加权重。

这张表里的显存数字是我按 4bit 量化和默认上下文长度估的经验值，短上下文够用，一旦把num_ctx拉到 32K，显存需求会明显上升。

注意：显存不够不代表跑不了。Ollama 会自动把一部分层留在 CPU 上做混合推理，只是速度会降到每秒几个 token。1.5b、7b 在纯 CPU 上还能勉强用，14b 以上基本不具备交互价值。

还有一点容易被忽略：内存比显存更容易成为瓶颈。模型加载时，权重会先经过系统内存再分片进显存，16GB 内存跑 14b，即使显卡有 16GB 显存也会在加载阶段卡住。我一般会预留“模型磁盘占用 × 2”的内存空间。

2.2 显卡驱动与 CUDA 版本的自查顺序

决定要不要单独装 CUDA Toolkit 之前，先看驱动支持的版本上限。Windows 和 Linux 都是同一条命令：

nvidia-smi

输出右上角的CUDA Version是驱动所能支持的最高 CUDA 版本，不是当前已安装的版本。这个数字决定了你可以安装哪个版本的 Toolkit，安装高于它的版本必然无法使用。

+-----------------------------------------------------------------------------+ | NVIDIA-SMI 551.86 Driver Version: 551.86 CUDA Version: 12.4 | +-----------------------------------------------------------------------------+

如果nvidia-smi直接报“不是内部或外部命令”，说明驱动没有正确安装，或者显卡不在支持列表里，此时安装 CUDA Toolkit 也没有用，需要先解决驱动问题。Mac 用户则没有 CUDA 这条路径，用的是 Metal 后端，不需要做任何额外配置，装完 Ollama 就能用上 GPU。

2.3 磁盘空间与模型目录的提前规划

Ollama 默认把模型存在用户目录下：Windows 是C:\Users\<用户名>\.ollama\models，Linux 和 macOS 是~/.ollama/models。这个路径不会在安装时询问你，而 7b 一个就占 4.7GB，试上三四个版本，20GB 就没了。

我的习惯是在安装前就把模型目录挪出去，用环境变量OLLAMA_MODELS指到一个空间充裕的数据盘。Windows 上在“系统属性 → 环境变量”里新建用户变量，Linux 上写进 systemd 的 override 文件。这一步放在安装前做，比事后搬模型省事得多，因为模型目录一旦被服务占用，直接移动会导致索引失效，得重新 pull。

3. 安装 Ollama 与 CUDA 运行时：Windows、Linux、macOS 三条路径和一份 PATH

这一章是真正动手的部分。三个系统我会分开写，因为安装过程各有各的问题，混在一起讲很容易漏掉关键细节。

3.1 Windows：安装包与绕开 C 盘默认路径的方法

Ollama 官网下载的.exe安装包，双击后是标准向导，接受协议、一路 Next 就行。需要注意的是，安装程序本身装在C:\Users\<用户名>\AppData\Local\Programs\Ollama，这个目录确实没法在向导里改，但这不等于模型也必须待在 C 盘。

安装完成后先开一个 PowerShell 窗口验证：

# 查看版本号，能正常输出说明主程序已就位 ollama -v # 确认后台服务进程存在 Get-Process ollama -ErrorAction SilentlyContinue | ```text Select-Object Name, Id, Path

ollama -v会打印类似ollama version 0.3.3的版本串。如果提示“无法识别的命令”，重启一次终端；如果还是不行，说明安装时没有把安装目录写进 PATH，需要手动把C:\Users\<用户名>\AppData\Local\Programs\Ollama加到用户 PATH 里。

改模型目录用setx，它会写进用户环境变量，对之后新开的终端生效：

# 把模型统一放到 D 盘，路径按自己机器的实际情况改 setx OLLAMA_MODELS "D:\ollama\models" # 建好目录，避免服务启动时因目录不存在报错 New-Item -ItemType Directory -Force -Path "D:\ollama\models"

执行后关闭所有终端窗口重新打开，再跑ollama -v确认环境变量已经生效。这时启动的ollama serve就会把模型拉到自己指定的目录里。

3.2 Linux 与 macOS：一条安装命令和一份开机自启配置

Linux 上的安装是最省事的，官方脚本会自动判断架构、下载二进制文件、创建ollama用户和 systemd 服务：

# 下载并执行安装脚本，会一并注册 systemd 服务 curl -fsSL https://ollama.com/install.sh | sh # 确认服务状态，正常应显示 active (running) systemctl status ollama # 如果起不来，看最近 50 行日志定位原因 journalctl -u ollama -n 50 --no-pager

安装脚本默认监听127.0.0.1:11434，只允许本机访问。如果你的使用场景是给局域网内其他机器提供接口，得改成0.0.0.0，同时把模型目录也一并写进 override：

# /etc/systemd/system/ollama.service.d/override.conf [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_MODELS=/data/ollama/models" Environment="OLLAMA_KEEP_ALIVE=30m" Environment="OLLAMA_NUM_PARALLEL=2"

这几项参数各有分工：OLLAMA_HOST控制监听地址，OLLAMA_MODELS把模型挪到大盘，OLLAMA_KEEP_ALIVE决定模型在空闲多久后从显存卸载（默认 5 分钟，调到 30 分钟能避免频繁冷启动），OLLAMA_NUM_PARALLEL是同时处理的请求数，显存紧张时保持默认 1 或设为 2 就够了。

写完后必须重新加载配置再重启，否则 systemd 不会读取新文件：

systemctl daemon-reload systemctl restart ollama systemctl show ollama | grep OLLAMA_

最后一条命令用来确认环境变量真的被服务读到了，这是很多人漏掉的一步。

macOS 走.dmg安装，把图标拖进“应用程序”文件夹，终端里ollama -v能出版本号即可。Mac 上的模型目录同样用launchctl setenv OLLAMA_MODELS <路径>或者写进 shell 配置文件，二选一即可。

3.3 CUDA Toolkit 到底要不要单独安装

这里要纠正一个很常见的说法：装了 Ollama 不等于必须装 CUDA Toolkit。Ollama 的安装包自带了一份 CUDA 运行库，只要你的显卡驱动版本没有过于陈旧，装完 Ollama 就能直接用到 GPU。

只有三种情况才需要额外安装 Toolkit：驱动版本比 Ollama 内置的运行库要求的更低；你要自己编译推理框架，或者运行别的 GPU 程序；以及你想用nvcc验证 CUDA 环境是否完整。

真要装的话，从官方归档页挑一个不高于nvidia-smi里显示的 CUDA Version 的版本，安装时选择默认路径，然后把bin和libnvvp两个目录加到系统 PATH：

# 以 CUDA 12.4 为例，版本号按你实际装的改 $cudaPath = "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4" [Environment]::SetEnvironmentVariable( "Path", $env:Path + ";$cudaPath\bin;$cudaPath\libnvvp", "Machine" )

这里用SetEnvironmentVariable而不是setx，是因为setx有 1024 字符的长度截断问题，PATH 一长就会把后半截悄悄丢掉，这是很多环境变量“配了但没生效”的根源。

安装完成后开个新终端跑：

nvcc -V

能输出编译器版本、CUDA 版本和构建时间三行信息，就说明 PATH 配置正确。

3.4 确认服务和 GPU 都被 Ollama 认到

安装完的第一次验证，我一般分两步走。先确认 HTTP 服务活着：

curl http://localhost:11434/

返回Ollama is running就说明服务已经在 11434 端口上监听。这一步在 Windows 上也可以用浏览器直接打开http://localhost:11434/。

再确认 GPU 能被识别。拉一个最小的模型跑一句话，然后另开一个终端看进程状态：

# 终端 A：触发一次推理 ollama run deepseek-r1:1.5b "你好" # 终端 B：查看模型加载状态 ollama ps

ollama ps的输出里有一个PROCESSOR列，显示100% GPU说明完全跑在显卡上，显示100% CPU说明没吃上 GPU。如果明明是独立显卡却显示 CPU，先回看nvidia-smi有没有正常输出，再检查驱动版本是不是太老。

4. 拉取 DeepSeek 模型并配参数：从 ollama pull 到 Modelfile 固化

服务跑通了，接下来才是把模型真正拉下来、调到一个自己能用的状态。

4.1 ollama pull 的下载逻辑与标签选择

有一个误区值得单独说：ollama list列出的是本地已经下载的模型，不是可下载的模型仓库。所以ollama list | grep deepseek在还没拉过任何模型的时候，返回空是正常的，它不是在搜索。

真正拉模型用pull：

# 拉取 7b 版本，适合 16GB 内存 + 8GB 显存的配置 ollama pull deepseek-r1:7b

下载过程中的进度条会显示分片拉取状态，Ollama 会按 manifest 里的分层逐个下载，中断后重新执行同一条命令会续传已完成的分片，不会从头再来。所以断流了不用慌，原命令重跑即可。

标签选择上，我一般建议先拉比自己硬件低一档的版本跑通流程，再往上加。比如 16GB 内存 + 8GB 显存，先用 7b 验证整条链路，觉得效果不够再试 14b，而不是一上来就冲 14b 然后卡在加载阶段。

4.2 温度、上下文窗口、批大小三个参数的调整取舍

Ollama 的模型参数可以通过 API 临时传，也可以在 Modelfile 里固化。临时传的方式适合调试：

# 通过 API 单次调用，options 里的参数只对这一次请求生效 curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "用三句话解释什么是梯度下降", "options": { "temperature": 0.6, "num_ctx": 8192, "num_batch": 16 } }'

三个参数的作用和调整方向：

temperature控制输出的随机性，0.1～0.3 适合事实问答和代码生成，0.6～0.8 适合文本创作，超过 1.0 输出会开始发散。DeepSeek-R1 系列因为带思维链，温度设得太高容易在推理过程里绕圈子，我一般固定在 0.6 附近。

num_ctx是上下文窗口，默认值偏小，长文档摘要时会截断。调到 8192 是个平衡点，再往上显存占用会明显增加，32b 级别模型拉到 32K 很容易触发显存溢出。

num_batch是批处理大小，调大能提升吞吐，但和显存占用是正相关。默认值在大多数场景够用，只有在你确认显存还有富余、且需要连续批量推理时，才值得往上调到 16 或 32。

4.3 用 Modelfile 固化一套可复用的配置

每次调用都敲一长串 options 不现实，正确做法是写一个 Modelfile，把参数连同系统提示词一起打成新的模型标签：

# 基于官方 7b 版本派生 FROM deepseek-r1:7b # 生成随机性 PARAMETER temperature 0.6 # 上下文窗口，长文档场景可以调到 16384 PARAMETER num_ctx 8192 # 批大小，显存紧张时保持默认或调小 PARAMETER num_batch 16 # 系统提示词，限定回答风格 SYSTEM "你是一个严谨的技术助手，回答尽量给出可执行的步骤，不确定的地方要明说。"

保存为Modelfile后执行：

# 在当前目录构建一个自定义标签 ollama create my-deepseek:7b -f ./Modelfile # 用自定义标签启动，参数和系统提示词都已内置 ollama run my-deepseek:7b

这样配置的好处是可复用、可版本化。后面要调温度，改 Modelfile 重新create覆盖同名标签就行，之前拉下来的基础模型不需要重复下载。

4.4 给模型装一个浏览器界面

命令行交互适合验证，日常使用还是图形界面顺手。OpenWebUI 是自托管的，所有数据都在本地，和我这套私有部署的思路一致。

# 建独立虚拟环境，避免污染系统 Python python -m venv openwebui_env # Windows 下激活 openwebui_env\Scripts\activate # Linux / macOS 下激活 source openwebui_env/bin/activate # 安装并启动 pip install open-webui open-webui serve

启动后浏览器打开http://localhost:8080，在设置里把模型提供方选成 Ollama，接口地址填http://localhost:11434，保存后模型列表里就会出现本地已经拉下来的 DeepSeek 标签。

这一步如果卡住，大概率是两个原因：Python 版本低于 3.11，或者 Ollama 服务监听在127.0.0.1而 OpenWebUI 跑在容器里导致访问不到。前者升级 Python，后者把OLLAMA_HOST改成0.0.0.0:11434再重启服务。

5. 避坑排查：五条装 DeepSeek 时真踩过的记录

下面这几条都是我在不同机器上实际遇到过的问题，按“现象 → 原因 → 解决”记录，遇到了可以直接对照。

5.1 现象：安装程序提示“无法创建目录”，或者装到一半回滚

原因基本只有一个：C 盘可用空间不足。Ollama 的 Windows 安装包默认装在用户目录下，安装程序本身要解压临时文件，剩余空间低于 1GB 时就会在创建目录阶段失败，报错信息还很不直观。

解决分两步。先清理 C 盘，把临时目录、回收站、旧的系统更新缓存清掉，至少腾出 5GB；如果实在腾不出来，改用另一种方式：下载官方压缩包版本，解压到非系统盘，手动把解压目录加进 PATH，再setx OLLAMA_MODELS "D:\ollama\models"把模型目录也指走。装完之后用ollama -v和curl http://localhost:11434/双重确认。

5.2 现象：模型下载到 60% 左右断流，重跑命令又从零开始

原因通常不是 Ollama 的问题，而是下载过程中网络出现短暂中断，或者所在网络对长连接有限制。部分旧版本在断流后的续传逻辑不完整，表现就是进度条归零。

解决方式：先确认磁盘剩余空间够（模型体积的两倍以上），然后原命令重跑ollama pull deepseek-r1:7b。新版 Ollama 会读取本地已有的分片接着下。如果反复在同一个百分比断掉，把OLLAMA_MODELS指到另一块磁盘再试，排除磁盘写入异常的可能。另外不建议在下载过程中同时跑其他大流量任务，带宽被抢占也会导致超时。

5.3 现象：报错CUDA out of memory，模型加载到一半就退出

原因有两个层面。表层是显存不够：模型参数量超过了显卡承受范围，或者num_ctx设得太大，KV Cache 把剩余显存吃干净了。深层原因是混合推理没有按预期生效，Ollama 试图把全部层都塞进显存。

解决顺序是这样：先把num_ctx从 8192 降到 4096，再把num_batch降到 8，重试一次；还不行就换小一号的模型标签，14b 换 7b，32b 换 14b。如果确认显存足够却仍然报这个错，去看nvidia-smi的输出里是不是有其他进程占着显存，比如浏览器硬件加速、其他推理服务，关掉再试。最后才考虑升级驱动，驱动过旧会导致显存分配策略异常。

5.4 现象：命令行里模型输出一堆乱码字符

这是 Windows 命令提示符的编码问题，不是模型坏了。默认代码页是 GBK，而模型输出的是 UTF-8，中文和特殊符号就会变成一堆看不懂的字节。

解决方式有两条，选一条就行：

# 方案一：临时切到 UTF-8 代码页，只对当前窗口生效 chcp 65001 # 方案二：直接用 Windows Terminal 或 PowerShell 7，默认就是 UTF-8

我一般直接用 Windows Terminal，省得每次开窗口都敲一遍chcp。另外如果输出里混着大量控制字符，也可能是终端字体不支持某些符号，换成等宽字体就能正常显示。

5.5 现象：服务起不来，或者提示 11434 端口被占用

原因通常是上一次的ollama serve没有正常退出，进程还挂在后台；或者是别的程序占用了 11434。

先定位占用者：

# Windows netstat -ano | findstr :11434 # Linux / macOS lsof -i :11434

Windows 拿到 PID 后用taskkill /PID <pid> /F结束进程；Linux 用kill -9 <pid>。如果占用者是别的必须保留的服务，就改 Ollama 的监听端口，设置OLLAMA_HOST=127.0.0.1:11435再重启，同时记得把 OpenWebUI 里的接口地址一起改掉，否则界面会连不上。

还有一种情况是服务显示 running 但请求超时，多半是模型正在首次加载，7b 在机械硬盘上加载要一两分钟，等一会儿再试就好。如果长期这样，把模型目录换到 SSD 上，加载时间会降到十几秒。

6. 验证跑通：三条命令确认模型真的在本地 GPU 上跑

装完之后我不看界面，先跑三条命令。这三条覆盖了服务、模型、硬件三个层面，任何一条不过，说明环境还有问题。

第一条确认服务在监听：

curl -s http://localhost:11434/ && echo "OK"

返回Ollama is runningOK说明 HTTP 层正常。

第二条确认模型已经落盘且标签正确：

ollama list

输出里应该有deepseek-r1:7b以及你自定义的my-deepseek:7b，SIZE列显示的大小和预期一致。如果标签在但大小明显偏小，说明下载不完整，重新 pull 一次。

第三条确认推理跑在 GPU 上：

# 触发一次推理，让模型驻留显存 ollama run deepseek-r1:7b "列出三条本地部署大模型的好处" # 另一个终端查看加载状态 ollama ps

ollama ps的PROCESSOR列如果是100% GPU，说明整条链路打通了；显示100% CPU就去回看第 3.4 节；显示类似35%/65% CPU/GPU的混合比例，说明显存只够装一部分层，能用但速度会打折，考虑换小一号的模型。

最后一条ollama show经常被忽略，但它能确认 Modelfile 里的参数到底有没有被写进去。有次我改完 Modelfile 忘了重新create，跑了一下午都以为温度没生效，最后就是靠这条命令发现标签还是旧的那份。

从那以后我每次装完一套本地模型环境，都会强制走一遍上面这四条，不管界面看起来多正常。图形界面能连上不代表推理吃到了 GPU，也不代表参数真的按你写的在跑，只有命令行这几条输出是可信的。希望这套流程能帮你少走点弯路。

本文还有配套的精品资源，点击获取