ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Occamy-1.0完整跑分报告:12项基准测试对比GPT-5.6 Sol等旗舰模型

Occamy-1.0完整跑分报告:12项基准测试对比GPT-5.6 Sol等旗舰模型
  • 人工智能
  • 大模型
  • 多模态
  • AI Agent
  • 工具调用
  • 代码模型

【免费下载链接】occamy-1.0

项目地址:https://ai.gitcode.com/hf_mirrors/Accio-Lab/occamy-1.0
点击查看免费下载

Occamy-1.0是 Accio-Lab 开源的 35B 参数(激活仅 3B)Agent 协作大模型。本文基于官方 README.md 的完整跑分数据,逐一解读它12 项基准测试的真实表现——对比 GPT-5.6 Sol、Qwen3.8-Max、DeepSeek V4 Pro 等旗舰模型,看看这款"小钢炮"到底强在哪、弱在哪、以及它的性价比为什么这么夸张。

📌 先花 30 秒认识 Occamy-1.0

一句话概括:为"真实工作场景"而生的开源协作智能体模型。

关键指标数值
总参数 / 激活参数35B / 3B(MoE 架构)
专家数256 个(每 token 激活 8 路由 + 1 共享)
上下文长度262,144 tokens
视觉能力带视觉编码器(图像输入)
训练配方SFT → HDPO → 专家合并 → SAO
开源协议Apache 2.0(见 LICENSE)

它的定位不是"取代 GPT 干所有事",而是专注长程、有状态的任务:连续调用搜索、代码、工具、文件和结构化 API 完成多步骤专业工作流。架构细节可查阅 config.json(qwen3_5_moe架构、40 层、混合线性/全注意力)。

🏆 跑分总览:12 项基准测试,四大能力维度

官方评测覆盖12 项基准测试,横跨 4 个维度,共 14 个细分指标。先看结论性的一句话:

在 35B 级别的开源模型中,Occamy-1.0 是综合第一;与 GPT-5.6 Sol 这类旗舰闭源模型正面交锋,部分科目不落下风,其余科目以约 1/5 ~ 1/10 的推理成本拿到接近的"性价比位置"。

维度基准测试Occamy-1.0 得分同级别冠军旗舰参考(GPT-5.6 Sol)
协作 Co-workClaw-Eval(平均分)82.20🥇69.9081.80
协作 Co-workClaw-Eval(Pass³)71.40🥇54.8068.90
协作 Co-workWildClawBench49.16🥇45.9167.20
协作 Co-workCommerceAgentBench37.3837.4049.50
协作 Co-workBusiness Arena$79,868 🥇$66,292$168,867
协作 Co-workGDPval1,128🥇1,0041,741
协作 Co-workOfficeQA Pro48.1059.4074.40
协作 Co-workτ³-Bench(Banking)37.10🥇25.8046.90
工具调用AutomationBench(Pass¹)27.60🥇18.5045.50
工具调用AutomationBench(部分分)69.10🥇58.0081.20
工具调用BFCL v465.4068.5164.33
工具调用VitaBench41.7546.0046.75
编程Terminal-Bench 2.159.0067.8088.80
指令遵循IFEval91.5391.6095.00

📊 注:加粗为该尺寸分组内的最高分,完整表格与脚注见 README.md 的Full Evaluation章节。

🤝 Co-work:主场作战,同级别断层领先

Co-work(协作工作流)是 Occamy 的核心训练目标,跑分也最能说明问题:

  • Claw-Eval 平均 82.20:不仅碾压同级别的 Qwen3.6-35B-A3B(69.50)、Ornith-1.5(64.40),甚至以微弱优势反超 GPT-5.6 Sol(81.80);
  • Claw-Eval Pass³ 71.40:Pass³ 是"连续跑 3 次都成功"的严格稳定性指标,Occamy 比同级别最强对手高出 26+ 分,说明它的长任务执行不只是"能跑通",而是"跑得稳";
  • Business Arena $79,868:该基准直接衡量"模型干活创造的生意价值",比基座 Qwen3.6-35B-A3B($44,751)翻倍,仅次于 GPT-5.6 Sol 的 $168,867;
  • τ³-Bench(Banking)37.10:多步骤金融客服类任务上,比同级别最强(25.80)高出 11+ 分。

💡给你的解读:如果你的场景是"让 AI 连续干完一整件事"(查资料→写代码→改文件→调 API),Occamy-1.0 是当前 35B 档开源模型里最稳的选择。

🔧 工具调用与编程:强项明显,但别高估

工具调用维度 Occamy 拿下AutomationBench 双料第一(Pass¹ 27.60 / 部分分 69.10),自动化编排能力在同级别中一骑绝尘;BFCL v4 的 65.40 则略胜 GPT-5.6 Sol(64.33)。

但需要诚实指出两块短板:

  1. Terminal-Bench 2.1 只得 59.00:与旗舰的 88.80 差距明显——纯终端编码深度上,Occamy 目前仍属"够用"而非"顶尖"(同级别 Ornith-1.5 的 67.80 更高);
  2. VitaBench 41.75:日常生活类工具场景未进前二。

官方也明确提醒:检索密集型任务和模拟用户交互仍有提升空间,原生浏览器/桌面视觉操作暂不支持。

💰 性价比:这份报告最炸裂的部分

上面这张图横跨 4 项基准(Claw-Eval、WildClawBench、AutomationBench、GDPval)做了归一化聚合:

  • 横轴是每个任务的推理成本(对数刻度),纵轴是归一化综合得分;
  • GPT-5.6 Sol 综合分最高(约 97),但每任务成本接近 $1;Qwen3.8-Max 约 $0.45;
  • Occamy-1.0 位于整条帕累托前沿的"最低成本拐点"(knee):综合分约 58,与 DeepSeek V4 Pro(0813)、GLM-5.2 几乎持平,但成本只有它们的1/3 ~ 1/3.5;
  • 相比自己的起点 Qwen3.6-35B-A3B:性能从约 22 跳到 58(2.6 倍),成本仅从 $0.049 涨到 $0.06 左右。

一句话:用一杯咖啡不到的成本,拿到一线旗舰约六成的综合能力——这就是"3B 激活参数"带来的推理成本优势。

🛠️ 上手提示:如何部署跑分同款模型

官方推荐 SGLang 或 vLLM 部署(vLLM ≥ 0.19.0,SGLang ≥ 0.5.10),8 卡张量并行 + 262K 上下文,暴露 OpenAI 兼容接口,可直接接入 OpenClaw、Hermes Agent 等 Agent 框架。完整启动命令见 README.md 的Deployment章节,推理参数(temperature=1.0、top_p=0.95、开启 thinking 保留)建议照抄Model Usage示例。

模型权重、GGUF / FP8 / NVFP4 等量化格式均已开源,对话模板为 chat_template.jinja,视觉预处理配置见 preprocessor_config.json。

✅ 总结:它适合谁?

你的情况建议
本地/私有化部署,需要低成本长任务 Agent⭐ Occamy-1.0 首选
需要最强综合智力、预算充足GPT-5.6 Sol 仍是天花板
纯终端编程深度任务优先考虑旗舰模型
关心开源协议与可商用Apache 2.0,放心使用

Occamy-1.0 证明了一件事:MoE 稀疏激活 + 专注后训练,完全可以在 3B 激活成本下逼近旗舰模型的协作能力——这正是这份 12 项跑分报告最值得记住的结论。

  • 人工智能
  • 大模型
  • 多模态
  • AI Agent
  • 工具调用
  • 代码模型

【免费下载链接】occamy-1.0

项目地址:https://ai.gitcode.com/hf_mirrors/Accio-Lab/occamy-1.0
点击查看免费下载

相关推荐

上一篇:企业微信开发终极指南:快速集成WeUI打造专业移动应用
下一篇:Vagrant多平台支持:Windows、macOS、Linux配置差异终极指南

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进