9B打赢30B！国产开源模型NeoHorse-1出手，端侧AI的军备竞赛换赛道了

【免费下载链接】NeoHorse-1-9B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-9B

最近AI圈有个挺反常识的消息：一个只有90亿参数的"小个子"模型，在十项测试的平均分上，把参数量是它三倍多的30B模型给压了下去。

更让人意外的是，这事儿不是哪家巨头发的新一代旗舰，而是一家成立不久的国内公司——基元律动（TokenRhythm），拉着无问芯穹、清华、北大、阿里一起做出来的开源模型，名字叫NeoHorse-1，这次放出来的是9B版本。

消息传开后，技术社区里已经有人开始拆它了：从Windows本地部署到Linux服务器，从Ollama到vLLM，教程一篇接一篇。而今日头条上关于它的讨论，也从"这马是什么来头"一路聊到了"端侧AI是不是要变天了"。

先把结论放前面：这不是一次普通的模型升级，而是一次"考试科目"的更换。

一、先看成绩单：小个子是怎么赢的

官方给出的十项测试平均分是这样的：

• NeoHorse-1-9B：69.04
• 它的"老师"Qwen3.5-9B：65.60
• 30B的Muse-Glimmer：67.86
• 12B的Gemma-4：63.51
• 8B的Granite-4.2：60.57

平均分涨了3.44，看着不算炸裂。但拆开看单项，就有意思了。

在多轮对话+调用工具的 τ²-Bench 上，它拿了90.82，是整个榜单第一；在模拟真实办公场景的 PinchBench 上拿了82.25，比自己的基座高出7.7分；函数调用测试BFCL v4拿到67.43，也是第一。

而写代码的HumanEval，它拿了98.17分——满分100。

当然也有"偏科"的地方：在"严格按指令格式输出"这类测试上，它和基座基本持平，有一项还微降了0.37分。

这恰恰说明了一件事：这匹马把力气全花在"把活干完"上，而不是"把话说漂亮"上。

二、它到底是个啥？一匹会自己找教练的马

官方的说法很拗口，叫"面向递归自我改进（RSI）的Agent原生模型"。翻译成人话就是：

它是一个不满足于"回答问题"，而是被训练成"接任务、查资料、动手干、干砸了再返工"的AI。

打个比方。普通聊天模型像一个知识渊博但手脚不利索的顾问，你问他什么他都能说，但你让他去把事办了，他可能中途就卡住了。

NeoHorse-1更像一个带工牌的项目助理：接到活儿先判断难度，难的自己啃，啃不动就去搬救兵，干完还要自己检查一遍。

它背后的做法，官方起了个名字叫"路由脚手架"（Routing Harness）。你可以理解成一个调度台：用户每提一个需求，调度台先判断"这活儿有多难"，然后决定派C0到C3哪个等级的资源去处理——C0是简单活儿，C3是压箱底的精锐。

关键在于，调度台会把整个过程录下来：怎么判断的、派了谁、用了什么工具、最后成没成。

这些"工作录像"不会白录。它们被清洗、打分、分类之后，回过头变成了模型下一轮的训练教材。模型干得越多，教材越厚；教材越厚，模型越能干。这就是所谓"递归自我改进"的朴素版本——一匹会自己找教练、还会给教练提意见的马。

三、三个最接地气的真本事

光说架构没意思，我们看几个官方放出来的真实案例。

第一件：它会"返工"。

在一个会议纪要式的任务里，基座模型读完了文件，发现数据对不上，于是反复改、反复重写，但最后还是把"26张工单"和"30条记录"混在一起，逻辑打架。

NeoHorse-1-9B的做法是：先把时间、部门、渠道三条线拆开，排除掉不该算的记录，最后报出"50条有效记录、19张工单"，跟人工重算的结果对得上。

它未必完美——官方也承认它在状态标签上错了两个——但它知道自己错在哪、肯回头查，这个差别在实际办公里太致命了。

第二件：它会"换路子"。

有个数据分析任务，模型跑进去发现环境里没装pandas这个工具库。基座模型的选择是：一遍遍尝试安装、手写解析、打补丁，越试越乱，最后报告没出来。

NeoHorse-1-9B发现这条路走不通，直接放弃，改用Python自带的表格库硬啃，把分析做完了。

结果很直观：请求次数少了约70.8%，耗时少了76.7%，消耗的token少了83.6%。

对企业来说，这三个数字就是账单。同样一个活，别人烧三倍的钱，你烧一份。

第三件：它写得出一盘能玩的五子棋。

这个案例特别有意思。官方让两个模型都用网页写一个五子棋小游戏，然后模拟点了26下。

基座模型写出来的页面，能打开、棋盘能显示，但点下去一颗子都不出现——因为它把鼠标坐标取错了，26次点击全部报错。

NeoHorse-1-9B写出来的页面，26次点击全部正常，黑白各13颗子，落子位置、颜色、轮到谁下，全对。

"能跑起来"和"真的能用"，中间隔着的就是这26次点击。

四、军备竞赛的下半场：比的不是参数，是"配套"

把视角拉远一点，你会发现今年轻量模型的发布节奏明显加密了。

IBM的Granite-4.2-8B主打企业私有化，谷歌的Gemma-4-12B继续走开源可商用路线，Ornith-1.5-9B专攻自我搭建能力，国内还有Nanbeige-4.2-3B、Spark-X2.5-4B这类主打端侧的小模型。

大家都在挤同一条赛道：用更小的体积，干更多的活。

但真正的分水岭已经不在"谁的分数高一点点"。

第一道坎是能不能跑得动。NeoHorse-1-9B的原始权重是BF16精度，整套下来接近18GB，普通笔记本的显卡是塞不进去的。想上家用设备，必须经过量化压缩，这就轮到llama.cpp、Ollama、GGUF这些工具出场了。

第二道坎是跑了之后好不好用。量化会掉精度，掉多少、哪些能力先掉，各家差别巨大。社区里已经有人拿它做Q4、Q8的对比测试，这就是生态在自我补课。

第三道坎，也是最要命的一道：有没有"调度层"。模型再强，也得有人告诉它什么时候该查资料、什么时候该调工具、什么时候该认怂。NeoHorse-1把这一层直接做进了训练流程里，这才是它和其他"刷榜模型"最本质的区别。

顺带一提，它还有个4B的小兄弟叫NeoHorse-Jev-4B，专门干"做选择题"的活：给一堆候选答案，它直接给出选择和概率，不写长篇大论。技术社区里关于它的部署教程已经出了十几篇，从客服工单分流到风控判断，全是企业内网的真需求。

这说明市场的胃口变了：企业不缺会聊天的AI，缺的是能拍板、能留痕、能算成本的AI。

五、普通人想上手，门槛到底多高？

说实话，它不是给"点点鼠标就能用"的普通用户准备的。

想正经跑起来，你需要一块像样的显卡，一套能装环境的电脑，外加一点命令行基础。官方的部署方式面向的是SGLang、vLLM这类服务器框架，属于"工程师向"的路径。

但生态正在快速填坑。前面提到的Ollama、llama.cpp已经能接这类模型，社区里的量化版本一旦跟上，一台带独立显卡的游戏本就有机会跑起来。如果你只是想在本地体验一下"AI帮我干活"，等一等量化包是最省事的路。

适合谁？

• 中小企业IT负责人：数据不能出内网，又想要一个能操作表格、能读文档、能调内部系统的"数字员工"；
• 开发者：想研究Agent怎么训练、怎么做工具调用，这是一个完全开源、可商用、可拆开看的样本；
• 内容与运营团队：批量处理长文档、做结构化整理，26万token的上下文意味着它能一口气吞下一整本长篇资料；
• 科技发烧友：想在家里那台机器上跑一个"能自己返工"的模型，这就是当下最好的实验品之一。

不适合谁？只想找个聊天搭子、问天气查菜谱的朋友——那用网页版的大模型更省心。

六、下一站的胜负手，我押这三样

聊到这儿，可以做个预判了。轻量模型的下一轮比拼，大概率不看参数表，而看三件事：

一是"数据回流"的能力。谁能把用户真实使用中产生的轨迹，低成本、高质量地变成下一轮训练数据，谁就能滚起雪球。NeoHorse-1把这条路跑通了一次，但官方自己也承认：目前只验证了一轮循环，能不能一轮轮滚下去、越滚越强，还没有答案。

二是"端侧体验"的打磨。量化之后还剩多少能力、内存占用能不能压到手机和车机级别、长时间运行的功耗怎么样——这些不上榜的指标，才是普通人真正感知得到的东西。

三是"调度层"会不会成为新入口。未来你用AI，可能不再关心背后是4B还是9B，只关心它有没有把事办成。谁掌握了"什么活派给谁"的调度权，谁就掌握了用户。

至于NeoHorse-1-9B本身，它更像一块路标，而不是终点。它证明了一件事：在算力越来越贵的今天，"把模型训得更聪明"这条路，可能比"把模型堆得更大"更划算。

最后一个问题留给你：如果有一天，你电脑里那个不联网的小模型，能自己查资料、自己改错、自己把活干完，你最先想让它替你干的是哪件事？

是整理那堆永远理不完的表格，还是替你盯着群里那些永远回不完的消息？

【免费下载链接】NeoHorse-1-9B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-9B