前阵子我开始把本地跑大模型的日常工具从 Ollama 换成了 Unsloth Desktop。起因是 Unsloth 团队在 GitHub 上发布了一个桌面版我原本以为只是给微调套了个 Web 壳子实际用了两周之后发现它把那套做模型微调时积累的加速和显存优化思路几乎原封不动搬到了本地推理场景里而且界面里提供了 ClaudeCode 的一键接入入口。这篇文章就是我这两周的完整实测记录包含安装、模型选择、速度表现、接入 ClaudeCode 的具体操作以及我踩过的一些坑。如果你平时用 Ollama、LM Studio 这类工具在本地跑 Qwen、Llama、DeepSeek 之类的大模型同时对 ClaudeCode、Cursor、Continue 这些 AI 编程工具也有兴趣但又不想每次都为 API 付费那这篇内容大概率对你有用。我会尽量把每一步为什么这么做讲清楚而不是只丢给你一串命令。1. Unsloth Desktop 到底是什么为什么值得换过来试试1.1 本地跑大模型这几年遇到的那些坎先说背景。本地跑大模型这个事前几年还属于“有点折腾”的玩法。你要么自己编译 llama.cpp要么用 Ollama 拉模型跑命令行要么用 LM Studio 这类带界面的工具点点鼠标。不管用哪种方案只要上手一段时间总会撞上几个重复出现的问题第一显存和内存永远不够用。一张 8GB 显存的卡跑 7B 模型量化到 Q4 勉强能跑但上下文一拉长或者并发开两个会话显存就容易爆。第二推理速度不稳定。同样一个 7B 模型有的工具能跑到 30 token/s有的只能跑到 10 token/s差距全在底层推理引擎的优化水平。第三做完微调的模型想直接拉到本地用中间还要处理格式转换、加载器兼容性这些杂事很打断节奏。Unsloth Desktop 的“天命”就是在这些痛点里长出来的。Unsloth 本身是做 LoRA 微调加速的知名开源库主打的是在保持模型精度的前提下把微调速度提升数倍、显存占用减少一大截。现在他们把这些优化能力做成桌面产品本质上是要打通“微调——本地部署——日常使用”这条链路的最后一环。你可以在一个界面里完成模型的下载、加载、对话、甚至轻量调整不用再拿一堆命令行工具来回拼凑。1.2 它和 Ollama、LM Studio 的核心差异在引擎如果你只是想找“另一个 Ollama”那 Unsloth Desktop 的定位其实不太一样。Ollama 的优势是模型管理极简、命令行友好、生态很成熟LM Studio 的优势是界面漂亮、可视化做得好。而 Unsloth Desktop 的核心卖点是它底层用的推理引擎不是简单的 llama.cpp 包装而是把 Unsloth 微调框架里那套经过大量 GPU 级优化的内核直接应用到了推理环节。用大白话解释一下这里有个类比同样是播放一段高码率视频有的播放器拿 CPU 硬解有的会用显卡驱动里的硬件解码单元区别不仅在于功耗更在于流畅度。Unsloth 团队在过去一年多里针对 GPU 算子、内存调度、KV Cache 访问方式做了大量底层改造这些优化直接往推理引擎里塞效果是在 NVIDIA 显卡上同样一个模型解码速度往往比通用方案快上不少。按照 Unsloth 官方公布的数字在推理阶段常见的加速大致是 2 到 4 倍显存占用减少 20% 到 40%实测下来虽然不一定每次都能跑满这个数但趋势是明显的。另外很多本地推理工具只实现了 GPT 风格或者 OpenAI 兼容接口。Unsloth Desktop 在接入层还提供了 Anthropic 风格的接口这正是它能够“一键接入 ClaudeCode”的关键。它把基础设施铺好了你要做的只是在 ClaudeCode 的配置里指过去。1.3 谁适合直接上车谁可以再等等我的个人建议是如果你用的是 NVIDIA 显卡平时有本地跑 7B 到 14B 模型的需求且希望后续能把手头的模型接入 AI 编程工具那 Unsloth Desktop 值得认真试试。如果你手头只有苹果芯片的 Mac或者干脆没有独立显卡那这工具也能用但优势没有在 NVIDIA 平台上那么明显CPU 推理的性能主要还看内存带宽软件层的优化对速度的影响会弱化很多。还有一类用户你如果只想要一个纯命令行、脚本友好的推理服务那 Ollama 暂时依然是更合适的选项。Unsloth Desktop 刚起步API 生态和工具链成熟度还在爬坡期它的体验价值目前更偏向“桌面端日常使用 一键接入 AI 编程工具”这个方向。2. 下载安装与选模型第一个 20 分钟该做什么2.1 安装流程和你最容易忽略的依赖Unsloth Desktop 的安装比我想象中要简单。你直接去 Unsloth 官网下载对应平台的安装包就行写这篇文章时它提供了 Windows 和 macOS 两个版本的安装程序。Windows 版下载回来是 .exe双击一路确认即可macOS 版是 .dmg拖到 Applications 完事。第一次启动时它会让你选择模型下载目录这个默认路径最好改成空间足够大的盘因为你后面随便拉一个 7B 模型就要占 5GB 到 8GB 空间如果模型下到系统盘用不了几天 C 盘就会报警。真正容易忽略的是显卡驱动和 CUDA 环境。Unsloth Desktop 虽然做成了图形界面但底层推理还是要依赖 NVIDIA 的 CUDA 运行时。好消息是你不需要手动装完整的 CUDA Toolkit应用会把必要的运行库一起打包。但前提是你的显卡驱动版本不能太老。实测发现如果驱动版本低于 545启动应用后模型加载大概率会报 CUDA 初始化失败的错。解决办法很简单去 NVIDIA 官网把驱动更新到最新版本重启电脑基本就正常了。建议装完之后先在启动界面随便跑一个自带的对话测试确认 GPU 能识别出来再开始正式使用。2.2 怎么选第一个模型参数量、量化、上下文的三重取舍模型选择是本地推理最核心的决策Unsloth Desktop 内置了模型下载页面能直接从 Hugging Face 搜索模型。我实测下来的经验是新手不要把目光一上来就放到最大参数量的模型上而是先算清楚自己的硬件账。NVIDIA 显卡选模型核心公式是“显存决定上限”。一个 7B 模型用 Q4_K_M 量化大概占 4.5GB 到 5GB 显存加 4K 到 8K 的 KV Cache总共需要 6GB 左右。8GB 显存的显卡会有点紧但还能跑如果显存不够Unsloth Desktop 会自动把部分层卸载到内存速度会明显下降但至少不至于闪退。14B 模型用 Q4 量化后需要大约 9GB 到 10GB 显存建议 12GB 以上的显卡再考虑。32B 以上的模型老实说个人 PC 会比较吃力除非你用多卡或者大显存卡。在量化格式上Unsloth Desktop 支持 GGUF 格式。GGUF 可以类比成“适配 CPU 和 GPU 的通用模型打包格式”里面既包含模型权重也包含分词器、模板、超参数信息。我优先推荐 Q4_K_M 这种量化档位它是质量和体积的平衡点。Q8 的质量更好但体积几乎翻倍Q2 和 Q3 虽然小但对话时能明显感觉到语言质量下降尤其在中文场景里可能会出现句式生硬、成语乱用的问题。上下文长度这里也要提个醒。现在很多模型宣称支持 128K 上下文但那是理论值。在本地设备上KV Cache 的大小和上下文长度成正比你直接把滑块拉到 128K显存瞬间就吃满。我自己的经验是8GB 显存跑 7B 模型上下文设置在 8K 以内比较稳16GB 显存可以放到 16K 到 32K。如果你只是拿来做普通问答或者写代码8K 其实已经够用了不要被标称的长上下文参数迷惑。2.3 首次加载实测一个充满挫败感和惊喜的过程我第一次加载的是一个 7B 模型Q4_K_M 量化文件大小 4.68GB。启动加载过程比 Ollama 快了不少Ollama 冷加载同样模型大约需要 8 到 10 秒Unsloth Desktop 只用了大概 5 秒这应该是应用在加载时做了内存映射优化不用完整地把整个文件一次性读入内存。从点击加载到可以输入对话界面上的状态栏会显示“Loading model”和“Warming up”两个阶段。Warming up 是它比较有特色的一步会先跑一小段推理来预热 GPU 算子本质上是把 CUDA kernel 提前编译缓存好避免第一次提问时等太久。预热完成之后我尝试了一个常规问题和一个长文本生成任务。常规问答首 token 延迟大约在 0.3 秒以内生成速度稳定在 28 token/s 到 32 token/s 之间这个速度在同一个 7B 模型上用其他引擎跑到过 20 出头Unsloth Desktop 确实是快了一截。长文本生成连续跑了 2000 多个 token速度没有明显劣化基本稳定在 25 token/s 上下。对于日常聊天和搭 AI 编程助手来说这个体验已经相当接近在线 API 的感知速度了。3. 核心功能拆解Chat、模型管理与本地 API 服务3.1 Chat 界面模板自动匹配和流式输出的细节Unsloth Desktop 的 Chat 界面做得比较克制没有太多花哨的功能但该有的都有了。左侧是会话列表右侧是主对话窗口。输入框下面可以选择模型、调整温度、顶部 token 数量这些参数。我实际用下来它最大的好处是会自动识别模型的 Chat Template你不用手动去拼“你是助手”之类的系统提示词它会在后台按照模型作者预设的格式组织输入。这里有个细节可能很多人没注意到同一句中文问题在不同模板的模型上表现差异会很大。Unsloth Desktop 在加载 GGUF 模型时会自动读取文件内置的 chat template 字段并套用。如果你从 Hugging Face 手动复制模型路径去下载务必确认模型卡页面上的 template 类型如果下载的是不带模板信息的纯权重转换 GGUF对话体验可能会变得很奇怪。这也是我建议优先从应用内置的模型库搜索下载的原因它过滤掉了那些格式不完整的模型。流式输出是另一个被低估的体验点。Unsloth Desktop 的流式输出做得相当平滑每个 token 到达后几乎立即渲染打字机效果没有明显卡顿感。和 Codex、ClaudeCode 这类工具联动时流式响应尤其关键因为编写代码的反馈延迟直接决定你会不会继续用它。3.2 一键开启本地 API 服务OpenAI 和 Anthropic 双端点进入正题。Unsloth Desktop 里有一个“API Server”的开关位于设置或者模型运行页面的顶部菜单。启动之后它会在本地开启一个 HTTP 服务默认端口是 8000不同版本可能不一样界面上会直接显示。这个服务同时提供两种接口样式一个是 OpenAI 风格的 /v1/chat/completions另一个是 Anthropic 风格的 /v1/messages。为什么要同时兼容两种风格因为现在市面上的 AI 编程工具分成两拨一拨只认 OpenAI 接口比如很多开源插件和 Continue另一拨是 Anthropic 家族的比如 ClaudeCode 默认只连 Anthropic 官方 API。Unsloth Desktop 在本地把一个模型同时包装成两种风格你就不需要再装额外的代理转换层了对哪个工具就启用哪个地址省事很多。开启 API Server 之后它会显示一个类似http://127.0.0.1:8000的地址。注意如果你只想本机使用保持默认设置就行如果你想让局域网里的另一台电脑也能访问需要手动把 host 改成 0.0.0.0但公共网络环境下不建议这么干因为窗口一旦放开局域网内任何人都可以请求你的模型既耗资源也可能有数据隐私风险。3.3 为什么要本地模型跑 ClaudeCode省钱与数据隐私之外的理由我猜不少读者看到标题里“接入 ClaudeCode”会先疑惑ClaudeCode 不是 Anthropic 官方出的命令行编程工具吗它默认必须用 Claude 模型的 API Key怎么接本地模型这里先把背景说清楚。ClaudeCode 是 Anthropic 出的一个终端 AI 编程助手它读取你的项目结构理解代码库在终端里以对话方式协助你完成增删改查代码、跑测试、提交 commit 等操作。它的设计默认确实是连接官方模型服务但 Anthropic 在环境变量层面留了后路通过ANTHROPIC_BASE_URL这个环境变量可以让 ClaudeCode 把请求发送到任意一个兼容 Anthropic API 的服务地址。Unsloth Desktop 的本地 API 服务可以在本地模拟这个协议于是“用 ClaudeCode 操作本地模型”就可以成立了。实际价值在哪里第一数据隐私。你把公司项目目录交给 ClaudeCode 时默认情况下所有代码内容都会上传到 Anthropic 服务器做处理。如果你的项目里有不能出内网的核心代码本地模型就提供了一个相对安全的兜底方案。第二成本。ClaudeCode 使用官方 API 是按 token 计费的日常频繁改代码一天烧掉几十美元并不是罕见事。本地模型跑起来之后支付的就是电费。第三开发调试的连续性。本地模型没有限流你连续对话数小时也不会被 429 限流打断对于超长 session 来说体验稳定得多。当然本地模型的代码能力暂时还无法和 Claude 系列官方模型相提并论。它对常见框架、常规 CRUD 操作的完成度已经相当不错但遇到冷门依赖、复杂架构重构时给出的方案经常需要手动修正。我的定位是本地模型负责量大管饱的代码生成官方模型负责关键节点的深度推理两者配合效率和成本会平衡很多。4. 一键接入 ClaudeCode从零配置到调通全流程4.1 安装 ClaudeCode 的前置准备要在本地接入 ClaudeCode首先得把它装上。ClaudeCode 是一个 npm 包你可以把它当作一个命令行程序来安装。这里需要提前确认你已经装好了 Node.js 18 以上版本。如果还没装直接去 Node.js 官网下载 LTS 版本。装完在终端里执行node -v能输出版本号再到下一步。安装 ClaudeCode 的方式很简单终端执行npm install -g anthropic-ai/claude-code安装完成后执行claude --version如果能看到版本号说明安装成功。第一次执行claude时会提示你登录或者输入 API Key这一步先不用登录因为我们后面要把它引导到本地模型服务上。这里补充一个常被吐槽的细节ClaudeCode 第一次启动时会要你确认读项目目录和自动执行命令的权限界面上会连续弹出好几个确认。如果你不想每次都手动点确认可以在首次进入后执行/permissions命令在权限设置里把需要自动批准的项加进去或者直接把--dangerously-skip-permissions参数加到启动命令里这个参数名字写得很吓人但它的作用只是跳过权限确认并非跳过安全沙箱。我自己日常使用时会加这个参数并配合 Git 仓库做代码变更管理这样即便模型给出错误操作也能随时回滚。4.2 配置本地模型地址核心环境变量逐一说清ClaudeCode 之所以能接到本地模型靠的就是几个环境变量。在 Windows 的 PowerShell 里你可以临时设置当前会话的变量但为了下次不用重复设置我更建议永久写入用户环境变量。Windows 在“系统属性 → 环境变量”里添加macOS 和 Linux 则写入~/.zshrc或~/.bashrc。最核心的一个环境变量是ANTHROPIC_BASE_URLhttp://127.0.0.1:8000这行配置把 ClaudeCode 所有的 Anthropic API 请求指向本地 Unsloth Desktop 开启的服务端口。除了这个你还需要让 ClaudeCode 以为你有一个可用的认证凭据它才会正常发起请求。具体做法是把ANTHROPIC_AUTH_TOKEN设置成任意的非空字符串比如ANTHROPIC_AUTH_TOKENunsloth-local这个值不会真的被拿去校验因为本地服务通常不会校验 token但 ClaudeCode 客户端如果发现没有这个变量会直接跳到登录界面而不是发出请求。还有两个环境变量算是个人建议。一个是把ANTHROPIC_MODEL设置为你要用的模型名比如qwen2.5-coder-7b-instruct这样 ClaudeCode 会把这个模型名放进请求体里Unsloth Desktop 识别并加载对应的模型。另一个是ANTHROPIC_SMALL_FAST_MODELClaudeCode 内部有些场景会调用一个轻量模型做后台任务通常官方设置为一个较小的 Claude 模型在我们本地模型场景里你可以把它设置成同一个本地模型或者稍微小一点的那个变体。配置完成之后在终端输入claude如果一切正常你会看到 ClaudeCode 的启动提示然后进入对话界面此时它背后连的就已经是本地模型了。4.3 实测让 ClaudeCode 配合本地模型写一个 Python 脚本为了验证这个链路是否真的通我建了一个临时测试目录在里面放了一个空的 Python 文件然后启动 ClaudeCode输入需求“写一个 Python 脚本用来批量重命名当前目录下所有 .txt 文件在文件名前加上日期前缀”。ClaudeCode 收到请求后的行为特征是它会先在终端里展示思考过程然后给出执行计划并且请求确认。由于我已经设置了跳过权限确认它直接创建了一个新的 Python 文件并在终端里展示脚本内容。这次连接本地模型ClaudeCode 整体响应速度没有连官方 API 那么快首 token 大约多等了 1 到 2 秒但后续的代码生成能稳定在 20 token/s 以上屏幕上的字在持续输出没有卡住的迹象。生成的脚本逻辑基本正确用了pathlib和datetime代码风格也很规范。唯一的问题在于它没有考虑到文件名里可能已经带日期前缀的重复情况后续我又回了一句“增加跳过已有日期前缀的逻辑”它立刻识别并修改了代码这两轮交互的流畅度超出了我的预期。不过要说实话交互体验和官方 API 还有肉眼可见的差距。本地模型在理解多轮修改意图、跨文件重构时偶尔会出现“答非所问”的情况例如让它修改 A 函数它却改了 B 文件里的同名函数。这种场景下我会在 prompt 里把路径和行号写得更明确准确率会提高不少。4.4 连接 codex 和 opencode 的扩展思路聊到“opencode、claudecode、codex 有什么区别”这个热搜问题时正好可以展开说说。Codex 是 OpenAI 出的终端编程工具默认连 GPT 系列模型接口开放策略上偏 OpenAI 风格。OpenCode 是一个开源实现它支持通过配置文件接不同后端包括 OpenAI、Anthropic、Ollama 等。ClaudeCode 则是 Anthropic 官方出的三者定位几乎重叠但各自的模型生态和接口风格不同。如果你用 Unsloth Desktop接 OpenAI 风格的工具比如 Continue 插件、一些自研脚本直接用/v1/chat/completions地址就行。接 OpenCode通常只需在配置文件的 provider 设置里把 baseURL 改成http://127.0.0.1:8000并把 apiKey 设置为一个占位符。接 Codex CLI 的话因为它内部也兼容 OpenAI 协议同样可以指向本地服务。也就是说Unsloth Desktop 作为一个本地推理网关可以成为你多个 AI 编程工具的共享后端这套架构能让本地模型“一层接入、多处复用”。5. 手头没有 NVIDIA 显卡CPU 推理和 Apple Silicon 的真实体验5.1 CPU 推理能不能用关键看内存带宽如果你的电脑没有独立显卡只靠 CPU 跑大模型很多人第一反应是“这能跑吗”。能跑但体验取决于你的内存通道和带宽。大模型推理在 CPU 上的瓶颈几乎不在计算而在内存读取。模型权重需要频繁从内存搬到 CPU 寄存器内存带宽越高每秒能处理的数据量越大token 生成速度也就越快。以一台消费级 Windows 机器为例双通道 DDR4-3200 内存的带宽大约在 50GB/s 左右跑 7B 模型的 Q4 量化文件约 4.2GB理论上每个 token 需要把全部权重读一遍所以理论上限大约是 50 / 4.2 12 token/s实际由于其他开销跑到 8 token/s 已经算不错。如果你用的是 DDR5 双通道或者 Mac 的统一内存架构带宽会高很多。Apple Silicon Mac 的内存带宽是 CPU 推理的天然助推器跑同样模型普遍能到 15 到 20 token/s。Unsloth Desktop 在 CPU 推理上的表现坦白说没有在 GPU 上那么惊艳但也没有拖后腿。它针对 GGUF 的内存映射和线程调度做了优化实测在 Intel i7 64GB 内存的配置上cpu 跑 7B 模型能到 9 token/s属于可用的边缘水平。如果你主要是 CPU 推理我建议选择 3B 到 4B 的小模型速度会舒服很多。5.2 显存不够时发生什么层卸载策略很多显卡显存小于模型需求时用户会担心“是不是直接跑不了”。这里其实有一层容错空间Unsloth Desktop 支持把模型的一部分层放到显存、一部分放到内存。以我手上另一张 8GB 显存的旧卡为例尝试加载一个 14B Q4 模型权重约 9GB显存放不下的部分会自动卸载到系统内存。这种状态下推理速度会有一截明显的下降。原因很好理解每次推理模型需要跨 PCIe 总线在显存和内存之间转移数据而 PCIe 的带宽远低于显存带宽一来一回就成了性能瓶颈。实测下来14B 模型半卸载到内存后生成速度掉到大约 6 token/s比纯显存运行慢了约四分之三。如果你的需求只是偶尔对话、不要求即时响应这种模式还能将就着用。但如果要配合 ClaudeCode 高频改代码这个速度会让你失去耐心我的建议还是不要超配太多宁可换小一点的模型或者高一点的量化。6. 常见问题与避坑实录两周实测下来的问题速查表6.1 频繁出问题的几个环节和解决方法两周用下来我记录了不少问题以下这几个是出镜率最高的供你排查时参考现象原因解决办法模型加载到 100% 后闪退显卡驱动过旧CUDA 初始化崩溃更新 NVIDIA 驱动到 545 以上重装并重启启动 ClaudeCode 提示需要登录没有设置 ANTHROPIC_AUTH_TOKEN设置成任意非空字符串例如unsloth-local对话速度突然掉到个位数模型部分层被卸载到内存降低上下文长度或换更小的量化模型中文输出出现乱码模型模板没匹配好在 Chat 设置里手动指定正确的 chat templateAPI Server 开启后外部无法访问host 默认绑定到 127.0.0.1在 API Server 设置中把 host 改成 0.0.0.0ClaudeCode 能跑但回复重复同一句话采样温度太低或模型自动续写模式异常把温度调到 0.7 以上清空会话后重试有一个问题值得多说两句如果你在 Unsloth Desktop 的模型库下载的是较冷门的模型加载后对话出现前言不搭后语的现象大概率不是模型坏了而是 GGUF 文件里的 chat template 字段缺失或写错了。你可以在模型加载页面的“Advanced”设置里手动填入 Hugging Face 模型卡上标注的 template 内容基本上都能修复。6.2 关于显存占用和“显存不够”的几条个人心得我踩过最深的坑是“只看模型权重不看 KV Cache”。很多刚入门的朋友拿一个 7B 模型量化后权重 4.5GB觉得自己 8GB 显存妥妥的结果把上下文滑块拉到 32K显存直接爆炸。实际上 KV Cache 的显存占用和“上下文长度 × 隐藏层大小 × 层数 × 2”成正比在 7B 模型上32K 上下文的 KV Cache 大约会额外占据 2GB 到 3GB 显存。你在加载模型时界面上会预估显存占用这个数字一定要认真看。还有一条经验是如果你想在本地跑代码类任务模型的“指令遵循能力”比“通用知识量”更重要。一个 7B 的代码专用模型如 Qwen2.5-Coder 系列在 ClaudeCode 里的实际好用程度往往超过一个 14B 的通用对话模型。因为它经过针对性的指令微调输出格式更稳定给到 ClaudeCode 后工具调用成功率高很多。通用模型在代码生成上经常出现只给思路不写完整代码、或者前后括号不匹配的问题这在终端工具场景里尤其让人抓狂。6.3 接入其他工具的避坑清单最后整理一份避坑清单这都是我自己反复踩过后总结出来的环境变量设置完记得重开终端否则 ClaudeCode 读不到新配置。PowerShell 设置了用户环境变量后已经打开的终端窗口不会自动刷新必须新开一个窗口重新读取。本地 API Server 端口不要和电脑上其他服务冲突。如果你已经有程序占用了 8000 端口Unsloth Desktop 会在日志里报address already in use你需要在 API Server 配置里换一个端口并同步更新 ANTHROPIC_BASE_URL。ClaudeCode 会话历史是长期持久化的如果换了一个模型旧会话里的上下文可能会让新模型产生奇怪的输出。建议切换模型后在 ClaudeCode 里新开一个会话不要沿用旧会话。不要把本地 API 直接暴露到公网。Unsloth Desktop 的默认设置不开启公网访问这个设置别动否则任何人扫到你的端口后都能免费使用你的显卡算力。在 Windows 上安装 ClaudeCode 之前请确保系统用户名和路径中不包含中文字符。npm 全局安装偶尔会在中文路径下出现权限和路径解析问题报错信息还不直观绕来绕去很容易劝退新手。这套方案最舒服的使用场景我觉得是这样的日常的代码补全、文件读写操作全部丢给本地小模型遇到架构设计、复杂重构这些高难度问题再手动切回官方 API 的 ClaudeCode。既能保护数据隐私又能控制成本还能在断网环境下保持基础的生产力。我在实际使用中发现本地模型因为“不要钱”你会更愿意让它去跑一些琐碎但耗 token 的任务比如格式化、批量生成测试用例、解释某段历史代码的作用——这些事情以前我舍不得用官方 API现在完全没有心理负担。如果你正在找 Ollama 之外的本地推理新选择我给 Unsloth Desktop 一个明确的推荐分。