note
- 研究背景：现有 Agent 自进化方法（AHE、GEPA、A-Evolve、Hyperagents）缺乏统一的执行、评测与组合框架，难以公平比较和复用。
- 核心方法：
- 统一进化闭环：Select → Rollout → Analyze → Mutate → Guardrail → Evaluate → Absorb，通过任务执行、失败分析、候选修改、独立评测和版本吸收，实现 Agent 持续迭代。
- 可组合进化策略：集成四种已有方法，支持优化 Prompt、Skills、Harness 等 Agent 组件，而非直接更新模型权重。
- 隔离评测机制：划分 Train、Gate、Sealed 三类任务，分别用于进化反馈、候选筛选和最终泛化评测，并支持版本追踪。
- Evolution Loop七阶段：
- Select：从已有版本中选择一个 Parent Agent，例如 Gen3。
- Rollout：让 Gen3 执行训练任务，收集成功、失败、工具调用和执行轨迹。
- Analyze：分析轨迹，提炼错误原因与改进建议。
- Mutate：修改允许编辑的 Agent 文件，产生新 Candidate。
- Guardrail：检查修改有没有越界，例如是否改动受保护的评测文件。
- Evaluate：使用冻结的评测器，在 Gate 任务上评估新 Candidate。
- Absorb：记录结果，按策略决定是否接纳候选版本。
- 实验结果：基于 MiniSWE、Codex 两类 Agent 基座，在 Terminal Bench 2 上最大实现 pass@1 提升 13.5 个百分点；不同进化策略各有优势，但存在对训练任务过拟合、未见任务泛化不足的问题。
文章目录
- note
- 一、研究动机：问题不在算法，在"账本"
- 二、论文核心：Recipe + 生命周期 + 可验证证据
- 1. 核心抽象：Recipe（配方）
- 2. 七阶段生命周期
- 3. 三层数据切分（可信度的关键）
- 4. 可验证存证（Certified Record）
- 三、实验设计：三组问题，对照近乎苛刻
- 四、实验结果
- 1. 进化有效性（表 1）
- 2. 执行保真度（表 2）
- 3. 完整性与恢复（表 3）
- 4. 开销与集成成本（附录 B）
- 五、分析：价值与边界
- 值得重视的三点
- 必须注意的局限（论文自承）
- 点评
- 六、延伸资源
- Reference
一、研究动机：问题不在算法，在"账本"
概括：RSIHub 不是一个新的"智能体自我进化算法"，而是一套让这些算法能在同一赛道、同一把尺子下公平比较的开源基础设施——把"进化策略"与"执行、打分、存证"拆开，用可审计的证据链解决该领域长期存在的复现与归因难题。
论文信息：arXiv:2610.32253v1，ByteDance / Simple Agent Lab 等机构，2026-10-22，Apache-2.0 开源。
链接：
https://simpleagentlab.com/RSIHub/
https://github.com/simple-agent-lab/RSIHub
智能体进化（agent evolution）指 LLM 智能体在任务执行后，依据反馈自动修改提示词、技能、工具或编排方式，把改进持久化。已有大量方法：Reflexion、Self-Refine、Promptbreeder、A-Evolve、AHE、GEPA、Hyperagents、DGM、AlphaEvolve 等。
作者指出一个尖锐的归因风险（attribution risk）：当一个方法既能改提示词、又能改工具链、甚至还能改"怎么打分、怎么记日志"时——
它声称的性能提升，到底是真的变聪明了，还是悄悄改了测量条件？
三种污染路径：
- 方法侧修改评估器→ 尺子被换了；
- 方法侧改写执行记录→ 证据被改写了；
- 方法侧越界编辑不该改的文件→ 改进不可归因。
工程层面同样浪费：各家都在重造 workspace、容器执行、轨迹采集、检查点恢复、血统追踪。想比较两种策略，先要对齐三套运行时。
这就是 RSIHub 的出发点：把方法策略做成可插拔"算子"，把执行、打分、存证、恢复做成方法碰不到的"受保护运行时"。
📊 关注Figure 1（论文第 1–2 页架构图）：直观展示 Recipe 驱动与 Agent 驱动两种模式下，方法算子与框架受控阶段如何分离。
二、论文核心：Recipe + 生命周期 + 可验证证据
1. 核心抽象：Recipe（配方）
一份声明式配置，做三件事：
- 绑算子：为每个生命周期阶段指定实现（如
select: pareto、mutate: gepa）； - 声明可变面：
include: [target/**]，明确"本实验允许改哪些文件"； - 指定运行配置：target 智能体、评估器、运行时、数据切分。
四条设计原则：可互换零件组装方法 / 明确能改什么能看什么 / 其余管线只实现一次 / 把打分挡在方法够不到的地方。
2. 七阶段生命周期
Select → Rollout → Analyze* → Mutate → Guardrail → Evaluate → Absorb- 必需算子（5）：Select、Rollout、Mutate、Gate、Record。
- 可选算子（4，标*）：Analyze、Validate、Novelty、Reflect。
要点：提案在Evaluate 之前不提交；Guardrail 对候选做真实目录树 diff，对照声明的 surface 强制校验；Validate / Novelty 在评估前过滤不合规或重复提案，节省预算。
3. 三层数据切分（可信度的关键）
| 切分 | 用途 | 参与反馈 |
|---|---|---|
| train | 进化反馈来源 | ✅ |
| gate | 候选准入判断 | ❌ |
| sealed | 留出集报告 | ❌ |
sealed 既不进反馈也不进选择，是真正的盲测。
4. 可验证存证（Certified Record）
每次评估把以下要素哈希绑定成一个内容寻址 contract：候选 commit、父代、配方快照、评估器指纹、数据/任务集摘要、切分与重复设置、模型与运行时身份、框架版本。
- 框架写受保护的打分字段；算子只能"提议"注解，由框架过滤后写入。
- 评估落盘后才允许 Gate 决策 → 天然形成恢复检查点。
三、实验设计：三组问题，对照近乎苛刻
| 问题 | 怎么测 |
|---|---|
| RQ1能否支持有效进化 | 4 方法 × 2 种子 × 2 benchmark，模型与评估器全固定 |
| RQ2框架本身是否改变能力 | Direct-A / RSIHub 第 0 代 / Direct-B 交错，各 3 次重复 |
| RQ3完整性与可恢复性 | mutation/evaluation/收据写入后断电重启；伪造改评估器、越界写、伪造归档 |
设置要点：
- 种子智能体：MiniSWE、Codex；模型统一GPT-5.4（高推理强度），变异智能体同模型 xhigh。
- Benchmark：Terminal Bench 2（89 任务：50 train / 19 gate / 20 sealed）、τ³ Banking（97：50/20/27）。
- 指标：pass@1，每任务 1 次；最多 10 代，每代 1 个子代。
📊 关注Table 1（论文第 7–8 页）：四种方法各自的算子组合与变异焦点（prompt / target / 全套等）。
四、实验结果
1. 进化有效性（表 1）
Terminal Bench 2 + MiniSWE（最强配置）：四种方法全部提升 7.8–13.5 个百分点，Hyperagents 与 A-Evolve 并列 69.7（+13.5），全文最大增幅。
换成更强的 Codex 种子（69.7 基线），空间骤小：AHE 71.9（+2.2），Hyperagents 与 A-Evolve +1.1，GEPA 原地不动（+0.0）。
τ³ Banking 上排名又换：Hyperagents 对 MiniSWE 最好（27.8→33.0，+5.2）；但AHE 对 Codex 最好（24.7→34.0，+9.3），GEPA 紧随 33.0。
分层结果暴露关键陷阱——只看 Overall 会误判：
- Terminal Bench 2 + Codex：AHE、Hyperagents 的gate 切分反而降 3.4 / 2.2 点；
- τ³ Banking + MiniSWE：Hyperagents 拿到最大 Overall 增益，但sealed 倒退 2.1 点；
- A-Evolve + MiniSWE 拿到最大 train 增益（+7.9），但gate 零提升。
作者结论很诚实：没有一种方法跨 benchmark、跨种子、跨切分占优；更高总分可能掩盖留出集回退。
📊 关注Table 1（论文第 8 页）：train / gate / sealed / overall 四项拆分数据，是全文最重要的一张表。
2. 执行保真度（表 2）
框架中介执行 vs Direct 执行：Terminal Bench 2 上两智能体均为−2.6 点；τ³ Banking 上为 −2.6 / +3.4 点。
关键：Direct 两次执行自己就在12.0%–18.9% 的任务上互相矛盾（D–D 一致性仅 80%–88%）。意味着 2–3 个百分点的差异很可能落在任务级随机性范围内，单轮微弱优势不能宣称显著。
📊 关注Table 2（论文第 9 页）：Avg@3、D–D 与 D–R 一致性、超额分歧。
3. 完整性与恢复（表 3）
420 次故障注入试验，全部 30/30 通过、无一例接纳损坏状态：mutation 中断恢复（4.72s）、evaluation 中断恢复、收据对账、拒绝评估器文件改动、剔除越界写入、屏蔽 gate/sealed/anchor 证据访问、伪造归档一律 fail-closed。
📊 关注Table 3（论文第 9–10 页）：7 类故障/越界场景 × 2 benchmark 的恢复与拦截结果。
4. 开销与集成成本（附录 B）
- 运行时开销可忽略：框架独占时间占整代0.019%–0.02%（中位数）。
- 集成成本极低：四种方法各需47–61 行配方、复用 2 个算子绑定、零框架源码改动；方法专属算子代码 216–1087 行。
📊 关注Table 6 与 Table 7（附录）：配方行数、算子代码量、运行时开销细分。
五、分析：价值与边界
值得重视的三点
- 定义了一种"诚实协议"——打分与存证置于方法权限外，用内容指纹把"改进"与"测量条件变化"分开，回应了自我改进研究中"改进还是改尺子"的元问题。
- 分层报告是方法论示范——train / gate / sealed 分列，让"总分提升但留出集回退"无所遁形，比单纯刷榜更有科学价值。
- 实验克制难能可贵——主动报告"框架本身带来 −2.6 点偏差"、声明单轮结果不显著、承认 420 次试验只覆盖既定攻击面，自我检验在同类工作中少见。
必须注意的局限（论文自承）
- 证据保证建立在信任框架服务之上：依赖宿主与文件系统保护、Git 与摘要运算、外部服务可信；不含恶意代码，更强部署需独立证明与隔离。
- 可审计 ≠ 可遏制：配方与候选适配器仍可在宿主机执行，越出容器隔离；审计与回滚不能撤销已发生的外部动作或数据泄露。
- 4 种方法均为"接口级适配"，非与原文逐字节等价——提示词、模型、预算、依赖不同，结论不能外推为"某方法本身更优"。
- 实验为固定配方的 run，未验证 agent-driven 自适应改配方路径；且仅测一个目标模型（GPT-5.4）。
- 数据成本：固定模型 + 10 代 + 双 benchmark，未给出精确 GPU/API 费用，复现预算需自行评估。
点评
RSIHub 的贡献更像"给混乱的 Agent 进化赛道修了一条有监控、有里程碑、有黑匣子的标准赛道"——它不替你赢比赛，但让每一次加速都可归因、可复现、可回滚。论文用 13.5 个百分点的实测增益证明赛道"跑得动"，又用分层回退与 420 次故障注入提醒你：跑得快不等于方向对。
六、延伸资源
- 代码：https://github.com/simple-agent-lab/RSIHub （Apache-2.0）
- 项目页：https://simpleagentlab.com/rsihub/
- 底层执行基座：Harbor Framework v0.18.0（容器化评估与轨迹采集）
- 对应领域综述：AI4AI survey（区分 measured gains / retention / held-out transfer）
Reference
[1] RSIHub: A Composable Frameworkfor Agent-Evolution Methods
[2] 字节联合开源RSI统一实验底座，Agent自进化策略可搭配组合
