RIPPLE：面向长视界代码智能体的过程级策略学习与效应感知信用分配的恢复能力内化框架

arXiv编号：arXiv:2610.31276v1 [cs.AI]

摘要
长视界代码智能体观测到执行失败后，可以生成逻辑合理的反思批判，但仍然继续沿着错误轨迹继续执行，本文将该现象称为批判‑动作交接鸿沟（Critique‑to‑Action Handoff Gap）。本文提出RIPPLE面向恢复能力的训练框架，把过程级的恢复指导内化为一套具备自恢复能力的单一策略。仅能访问轨迹前缀信息的教师模型提供基于证据的恢复监督，不需要访问未来动作或者终端任务结果。经过轻量蒸馏之后，强化学习对反思触发、问题诊断、纠正动作分配分阶段专属信用；局部有效性信号对轨迹优势做门控，避免中间恢复决策无差别继承整条轨迹的终端结果。
在4个代码仓库级软件工程基准上，RIPPLE相比基线策略算术平均提升4.8分；推理部署阶段不需要任何辅助批判器。受控消融实验证实局部、分阶段信用分配带来的收益；匹配前缀干预实验表明批判本身的语义内容会影响后续纠正效果。恢复带来的性能增益集中满足两个条件：轨迹前缀包含充分诊断证据，并且在剩余预算之内仓库状态仍然具备可逆性。

关键词
代码智能体；长视界智能体；自恢复；反思批判；过程级监督；信用分配；软件仓库级任务

目录

1. 引言
2. 相关工作
3. RIPPLE方法框架
   • 3.1 整体框架概述
   • 3.2 恢复监督与策略初始化
   • 3.3 面向恢复的强化学习与分阶段过程信用分配
4. 实验设置
5. 实验结果
6. 讨论与局限性
7. 结论
8. 附录简要说明

1 引言

基于大语言模型的代码智能体可以浏览软件仓库、编辑代码文件、执行测试，利用环境反馈迭代修改自身行为。仓库级评测基准与智能体框架支持智能体在真实软件环境下执行长交互轨迹。
但观测到反馈不等于可以有效利用反馈：当测试结果证伪早期假设，智能体仍然会继续朝错误方向编辑代码，反复查看无关文件，或者无法修正原有规划。虽然现代智能体可以完成动作‑观测闭环，但是从轨迹偏差中可靠恢复依旧是巨大挑战。

反思与批判是解决该类失败的常用手段：自我生成反馈、文本记忆、工具辅助批判、基于执行的调试都可以改善模型输出。现有的自校正训练方案使用监督微调或者强化学习，但性能提升并不能证明批判内容真正指导了后续动作。

批判‑动作交接鸿沟：智能体可以输出证据充分的批判反思，但后续执行动作和诊断结论互相矛盾。批判文本本身行为惰性，不会自动带来有效的纠正行为。

该鸿沟暴露现有训练目标与恢复功能结构之间的错配：

1. 批判模仿监督只训练模型“如何描述失败”，不保证后续动作实现诊断结论；
2. 终端奖励只监督整条轨迹是否成功，无法区分：反思触发时机是否恰当、诊断是否正确、纠正动作是否有效；
3. 过程监督与信用分配虽然提供细粒度信号，但大多评估中间推理，重分配轨迹最终结果，不会针对恢复流程的各个功能阶段分别优化。

想要弥合交接鸿沟，需要联合学习三件事：何时启动恢复流程、证据支持哪些诊断、如何改变后续行为。

本文提出RIPPLE，面向长视界代码智能体的恢复导向训练框架：

1. 轨迹前缀条件教师模型，仅使用每个决策点可获取信息，给出恢复边界与参考批判；
2. 轻量蒸馏初始化任务执行与交错式反思行为；
3. 面向恢复的强化学习，将恢复流程拆解为反思触发、基于证据诊断、纠正动作，为每个阶段分配独立过程信号；可执行验证器监督任务正确性，局部有效性门控决定每一段恢复区间继承正向/负向轨迹优势。
4. 全部辅助监督仅存在训练阶段；推理阶段只使用单一自恢复策略，不需要额外在线批判器。

本文主要贡献

1. 提出批判‑动作恢复形式化定义，识别交接鸿沟现象；将恢复建模为交错式策略，协同完成何时反思、诊断什么、如何修正后续行为。
2. 分阶段恢复优化：结合仅前缀监督，为触发、诊断、纠正动作分配效应感知信用，同时保留任务完成的终端监督。
3. 基于机制的实证评估：端到端对比、信用分配消融、匹配前缀干预，评估问题解决能力与批判的功能贡献；分析恢复有效的证据条件与仓库状态约束。

图1：批判‑动作交接鸿沟示意图（左）失败反馈生成有理有据批判，但行为没有改变；（右）RIPPLE学习一套完整恢复策略：触发时机 → 诊断 → 执行纠正动作。

2 相关工作

2.1 软件工程智能体

仓库级评测基准把真实issue解决、可执行实现任务作为重要评测场景。智能体能力提升来自专用交互接口、可执行训练环境、仓库轨迹强化学习；复用中间轨迹可以提升推理效率；轨迹分析定位长视界执行中的推理‑动作错配。RIPPLE学习内部恢复策略，当新证据证伪当前假设时做出响应，并且把诊断和后续纠正行为绑定。

2.2 反思批判能力内化

自我生成反馈、文本记忆、工具辅助批判、执行调试用于迭代修改模型输出；部分工作评估代码批判质量，通过SFT/RL训练模型自校正恢复。OPRD通过on‑policy蒸馏内化提醒条件式指导；外部干预系统在运行时检测问题轨迹并提供修正。RIPPLE聚焦批判‑动作交接鸿沟，在训练阶段把恢复指导内化为选择性策略，对反思触发、诊断、纠正动作分配独立信用。

2.3 过程监督与信用分配

过程监督提供终端结果之外的中间学习信号，包含生成式奖励建模、步级轨迹校准、从稀疏结果学习行为批判；信用分配通过回溯奖励传播、关键状态识别、回合价值估计优化多轮轨迹；部分工作针对功能角色、任务依赖设计信号。
RIPPLE保留终端任务奖励，同时使用分阶段有效性信号做本地门控；每个信号作用于对应的恢复片段，将局部信用与行为角色绑定，减少终端奖励广播与跨阶段信用错配。

3 RIPPLE方法框架

3.1 整体框架概述

RIPPLE目标：将外部过程监督，转化为长视界代码智能体的内部自恢复策略。
给定仓库级任务x xx，智能体和执行环境交互生成轨迹：
τ = ( x , a 1 , o 1 , . . . , a T , o T ) \tau=(x,a_1,o_1,...,a_T,o_T)τ=(x,a1​,o1​,...,aT​,oT​)
a t a_tat​代表智能体动作，o t o_tot​代表环境观测。除普通任务动作外，智能体可以在轨迹中插入显式自我批判。

将第k kk次恢复事件拆解为3个功能独立的决策片段：
e k = ( T k t r i g , T k c r i t , T k c a ) e_{k}=\left( T_{k}^{trig},T_{k}^{crit},T_{k}^{ca}\right)ek​=(Tktrig​,Tkcrit​,Tkca​)

• T k t r i g T_{k}^{trig}Tktrig​：触发反思的决策token序列（何时启动恢复）
• T k c r i t T_{k}^{crit}Tkcrit