GATEWAYBENCH: UNIFIED CAPABILITY AND SECURITY EVALUATION PLATFORM FOR MCP GATEWAYS
背景：MCP（Model Context Protocol）已成为 AI agent 连接外部工具的标准介面。企业大规模部署 agent 时，各 agent 自行管理伺服器端点与凭证的做法难以扩展，因此出现了 MCP Gateway：它是夹在模型与上游 MCP 伺服器之间的中介层，负责汇整、治理和「塑形」暴露给 agent 的工具集。
缺口：gateway 决定了 agent 能看到哪些工具、怎样看到，会直接影响 token 用量、工具选择的难度和攻击面。但在此之前，没有研究系统性地评估 gateway 的设计如何影响 agent 的能力、效率与安全性。
作者把 gateway 分成两种范式：
扁平式（Flattened）：一开始就把所有伺服器的工具放进同一份清单交给 agent。
阶层式（Hierarchical）：只提供少数「工具探索 meta-tools」（例如分层浏览、语意搜寻、虚拟档案系统），agent 需要时再按需取得工具。
四个研究问题：
RQ1：工具数量增加（含无关的杂讯工具）时，不同架构下的任务成功率会怎样变化？
RQ2：不同架构在不同工具规模下的效率如何？
RQ3：不同架构對红队攻击（直接 prompt injection、间接的工具注入或環境注入）的抵抗力如何？
RQ4：底层LLM的能力和agent harness如何与gateway架构交互作用？
二、研究方法
- 任务资料集（524 题，6 个领域）
DTAP（DecodingTrust-Agent Platform）：选取 CRM、Finance、Travel 三个领域，每个领域各取 50 题良性任务、50 题直接攻击、50 题间接攻击，共 450 题。间接攻击中有 102 题是工具注入，48 题是环境注入。
MCP-Universe：选取 Repository Management、Browser Automation、Location Navigation 三個领域，人工剔除过易或过难的题目后剩 74 题。
评分沿用兩套资料集原有的规则式、可验证评判器，直接检查最终环境状态，不依赖 LLM 打分。
2. 真实杂讯工具池
从 Docker MCP Hub 和 Arcade.dev 收集 251 个 MCP 伺服器，共 11,118 个工具，保留完整描述與 JSON Schema。
用一个 mock MCP server 注册这些 schema，但不实作功能，任何呼叫都回传错误，以避免真实副作用。
领域感知过滤：先让 LLM 总结每个任务领域，再剔除与该领域语意重叠的杂讯伺服器，确保注入的工具与任务严格无关，避免 agent「合理地」呼叫 mock 工具而失败。
每个设定下的杂讯工具以确定性方式抽样，以保持 KV cache 友善和实验稳定。
- 实验设计
7 个gateway：
扁平式：AgentCore（AWS，闭源，附语意搜寻工具）、Agentgateway、LiteLLM、Lunar MCPX
阶层式：Enkrypt（分层探索）、Strata（语意搜寻）、Bifrost（虚拟档案系统加程式码呼叫）
杂讯工具数：0 / 500 / 1,000 / 1,500
Agent 设定：以 OpenAI Agents SDK + GPT-5.1 為基准，每次只改一个因素，共 3 组：
SDK + GPT-5.1
SDK + GPT-5.4
OpenClaw + GPT-5.1
指標：
TSR：良性任务成功率
ASR_d：直接攻击成功率
ASR_ind：间接攻击成功率，再拆成 ASR_tool 与 ASR_env
TSR_ind：受间接攻击时的任务成功率
效率：任务耗时、单次工具呼叫延迟、每轮 token 数
三、研究结果
- 架构決定「能力與安全」的取舍（Table 2，0 个杂讯工具）
阶层式在三种 agent 设定下的平均间接攻击成功率都明显较低
| Agent设定 | 阶层式ASR_ind | 阶层式ASR_ind |
|---|---|---|
| SDK + GPT-5.1 | 19.6% | 60.5% |
| SDK + GPT-5.4 | 30.9% | 47.2% |
| OpenClaw + GPT-5.1 | 15.6% | 42.5% |
在 GPT-5.4 下，兩者的 TSR 相当（85.1% vs 87.2%），所以安全上的收益几乎不用牺牲能力。
模型强度对阶层式影响更大
从 GPT-5.4 降到 GPT-5.1，阶层式平均 TSR 下降 37.6 个百分点，扁平式只降 11.9 个百分点。
Enkrypt 在 GPT-5.1 下崩溃到 23.3%，因为模型跳过探索步骤，直接呼叫幻觉出来的工具名称。作者特别提醒：这种情况下的低 ASR 是「能力崩溃」，不代表真的更安全。工具规模扩展呈现不对称性（Table 3）
杂讯工具从 0 增加到 1,500 时：扁平式平均 TSR 下降 10.0 / 3.9 / 6.0 个百分点（依三种设定）。
阶层式最多只降 5.5 个百分点；在 GPT-5.4 下完全没有下降（85.1% → 85.6%）。
在 GPT-5.4 下两者出现交叉：没有杂讯工具时扁平式领先 2.1 个百分点，到 1,500 个杂讯工具时反落后 2.3 个百分点。安全差距主要来自「工具注入」（Figure 4，OpenClaw + GPT-5.1）
工具注入 ASR：扁平式约 51.5% → 40.6%，阶层式稳定在约 16%。
环境注入：两种架构几乎没有差别。这符合预期，因为 gateway 控制的是哪些工具进入 context，而不是环境回传什么内容。
直接注入：在 GPT-5.4 下两者无差异（44.7% vs 44.2%），因为 gateway 不经手使用者 prompt。
附录补充：阶层式内部的差异也很大（GPT-5.4 下工具注入 ASR 从 Bifrost 约 20% 到 Enkrypt 约 41%）。所以「怎么呈现被注入的工具」与「是否采用阶层式」同样重要。效率没有绝对赢家（Figure 5，GPT-5.4）
Token：扁平式每轮 token 从 8.3k 线性增加到 233.3k；阶层式维持在 9.1k–12.6k。
耗时：
没有杂讯工具时扁平式更快（20.8s vs 30.1s），因为阶层式的探索要多花几轮。在 500 到 1,000 个工具之间，两者的快慢反转。到 1,500 个工具时，扁平式需 64.1s，阶层式只需 38.7s。Harness 也很关键
同样使用 GPT-5.1，把 SDK 换成 OpenClaw 后，7 个 gateway 的 TSR 全部提升，其中 6 个的 ASR_ind 也下降。作者的结论是：gateway、模型和 harness 必须当作一个系统一起选择、一起优化。其他观察
AgentCore 的搜寻工具在每组设定的 1,800 次执行中只被用了 1–19 次，几乎没有人用。当所有工具都已可见时，额外的搜寻工具作用有限。Bifrost 的问题：弱模型生成的 Python 会错误处理字串中的 \n，导致无法解析。Enkrypt 的问题：回传大量无关的 JSON 设定，而且列出全部工具时容易逾时
