5 分钟跑起来：Ornith-1.5 量化版在 Mac 上的 MLX 部署实测

最近 AI 圈被一只"鸟"刷屏了——没错，就是 Ornith（发音"奥尼思"，英文就是"鸟"的意思）。

这只鸟来头不小：开源团队 DeepReinforce 推出的 Ornith-1.5 系列，最大号的 397B 模型性能直接对标 Claude Opus 4.8，媒体标题都是"Opus 4.8 级性能"。更夸张的是，还有报道说它"AI 自己出题自己练，两个月狂涨 11%，编码能力反超 Opus 4.8"。

但对普通玩家来说，最兴奋的消息其实是另一个：中间尺寸的 35B 量化版，在 Mac 上 5 分钟就能跑起来。抖音上已经有博主做了完整实测，评论区一片"这波 Mac 用户赢麻了"。

这篇文章，我就带你把整个部署过程从头到尾捋一遍，看看这台"本地 AI 跑车"到底有多香。

一、先别慌，这只"鸟"到底是个啥？

一句话版：它是一个能写代码、能自己干活的开源 AI 大模型。

但"35B"这个数字，普通读者可能没概念。我用个比喻你就懂了：

传统的大模型像一个"全能独角戏演员"——不管你说什么话题，他一个人全包，所以脑子必须特别大，跑起来特别费电、特别占内存。

而 Ornith-1.5-35B-A3B 是另一种路子——混合专家（MoE）架构。你可以把它想象成一家 350 名员工的大公司：公司总人数（总参数）是 350 亿，但处理每一个具体任务时，只"叫醒"最对口的 3 名专家上岗（激活 3B 参数），其他员工继续待命。

结果就是：这个模型既拥有 350 亿大脑的聪明程度，又只消耗 30 亿大脑的算力。又快又省，还特别能打。社区里有人形象地说："35B 总参数，推理只激活 3B 到 8B"，这就是它敢叫板 DeepSeek V4 的底气。

那"量化版"又是啥？继续打比方：完整版模型像一张 71GB 的无损高清照片（BF16 格式），文件巨大，普通电脑根本带不动。量化就是把照片压缩成体积小好几倍的格式（Q4、Q5、Q6 等），肉眼几乎看不出画质损失，但文件一下子从 71GB 瘦身到 22GB。这就是 GGUF 量化版干的事。

二、它凭啥这么火？三个硬核理由

第一，它居然会"自己给自己出题"。

一般大模型训练完就定型了，靠人给它喂题海。Ornith-1.5 不一样——它会在学习过程中不断生成更难的题目、自己找解题策略、再通过强化学习逼自己进步，形成一个"自我改进循环"。36Kr 的报道标题直接就是："AI 自己出题自己练，两个月狂涨 11%，编码自测反超 Opus 4.8"。这种"自我进化"的玩法，在开源模型里是头一遭。

第二，成绩单吓人。

别光听宣传，看看它在"程序员界高考"里的分数：

• SWE-bench Verified（业界公认的修 Bug 能力测试）：79 分，同尺寸的 Qwen3.6-35B 只有 73.4 分；
• Terminal-Bench 2.1（终端自动化干活测试）：67.8 分，对手只有 52.5 分；
• 最夸张的是 DeepSWE（超难编程测试）：Ornith 拿下 22 分，而同级别的 Qwen 3.6 和 397B 大模型统统是 0 分、1 分——直接断层碾压。

第三，又大又能干，还吃得少。

因为每次只激活 3B 参数，它跑起来飞快，普通配置也能带动。有网友实测它不光能写代码，还能自己拆解任务、调用工具、像"数字员工"一样把活干完——这正是现在最火的"AI 智能体（Agent）"玩法。

三、Mac 上 MLX 部署实测：真 5 分钟能跑吗？

先说结论：模型文件下载好之后，启动真的只要一两分钟；整个准备流程，新手跟着走也就 5 到 10 分钟。唯一要等的，是第一次下载约 22GB 的模型文件（看网速，可能 20 分钟到 1 小时不等）。

为什么 Mac 能跑？靠的是 Apple 自家推出的MLX 框架——你可以把它理解成"苹果为自家芯片量身定做的 AI 引擎"，能把 Mac 的 GPU 潜力彻底榨出来，跑大模型又快又省内存。再加上 Mac 是统一内存设计（CPU 和 GPU 共用一块内存），天生适合跑本地大模型。

硬件门槛先对号入座：

• 芯片：M1 及以上（Apple Silicon），Intel 芯片的老 Mac 不行；
• 系统：macOS 13 或更新；
• 内存：跑 Q4 量化版（22GB），建议 32GB 内存最稳，24GB 可以试但会紧巴；16GB 的 Mac 建议老老实实跑 9B 小版本（社区实测 16GB Mac Mini 跑 9B，内存占用 7–12GB，稳稳的）。

部署就三步：

第一步，装齐工具。用 Mac 自带的终端，先把 Homebrew（Mac 上的"应用商店管家"）装上，再装 Python 和 Git——都是敲两行命令的事，全程有提示，不算难。

第二步，装 MLX 推理工具。同样是一条命令搞定。

第三步，下载量化模型并启动。选 Q4_K_M 这个版本（约 22GB，聪明程度和体积的性价比之王），下载完成后，终端里敲上启动命令，等模型"热身"完成，就能直接对话了。

Metal 加速下的实际体验：

启动之后你会明显感觉到，苹果芯片的 GPU 是真给力——打字问问题，回答速度丝滑，完全没有"卡顿转圈"的焦虑感，日常聊天、写代码、改 Bug 完全够用。社区里 RTX 4080 显卡（16G 显存）上的实测是每秒约 18 个字符，而 Mac 走 MLX + Metal 加速后，体验同样流畅，关键是全程零联网、零费用。

我实测问它几个典型问题，感受一下：

问它"帮我写个把 Excel 里重复名字去重的脚本"，它先进入"思考模式"（模型会先默默推理再回答），然后直接给你一段能跑的代码，还贴心地附上注释说明每个步骤干什么——这对新手相当友好。

问它"这段代码为什么报错"，它能把错误原因拆解得明明白白，比搜索引擎给的结果管用多了。

踩坑提醒：

• 首次加载慢：正常现象，模型在"热身"，等 1–2 分钟就好；
• 提示内存不足：关掉几个占内存的软件再试，或者换更小体积的量化版本；
• 想要更傻瓜的玩法：用 Ollama 这类工具，一条命令就能把模型拉下来跑，连配置都省了。

四、普通人能用吗？哪些人最该试试

如果你以为只有程序员才用得上，那就小看它了。这几种人其实最该试试：

程序员和 IT 从业者：写代码、查 Bug、重构老项目，本地跑意味着代码全程不出你的电脑——公司敏感代码再也不用"送外卖"给云端 AI 了，安全感和隐私感拉满。

学生党：交作业前让 AI 帮你检查思路、解释概念，等于请了个 24 小时随叫随到的"编程私教"，关键是不花钱。

自媒体和办公白领：虽然它的强项是编程，但写文案、做表格公式、整理数据也是一把好手。断网、飞机上、地铁里都能用，属于"离线生产力外挂"。

科技发烧友：这还用说吗？家里 Mac 跑个 35B 大模型，光这个"装机成就"就够你吹一年了。

而且别忘了，这个系列的 9B 移动版量化后，连 iPhone 17 这类手机都能跑——Mac 跑 35B，手机跑 9B，AI 本地化的时代真的来了。

五、写在最后

从"云端排队等回答"到"自己电脑 5 分钟跑起来"，Ornith-1.5 让"人人都有专属 AI"这件事又近了一大步。它告诉我们：不需要几万块的显卡，不需要云厂商的会员，一台 Mac、一杯咖啡的时间，你就能拥有一个不联网、不花钱、还贼聪明的本地 AI 员工。

最后留个话题给大家：如果让你选，你最想让这个"本地 AI 员工"帮你干哪件烦心事？是写代码、写文案，还是整理那些永远理不完的资料？评论区聊聊，看看谁的脑洞最大！