📖标题:VERA: Scaling Verifiable Environments for Agentic co-Evolution
🌐来源:arXiv, 2610.05923v1
🛎️文章简介
🔸研究问题:如何让AI智能体在缺乏中间步骤反馈的长周期复杂任务(如医学研究)中,通过自我尝试实现稳定且持续的能力提升?
🔸主要贡献:论文提出了VERA框架,通过构建大规模可验证的训练环境,实现了大语言模型与其执行工具集(Harness)的协同进化,显著提升了长程任务性能。
📝重点思路
🔸构建可验证环境Auto-Rubric:将基准测试中的任务轨迹转化为可重启的沙盒环境。系统自动为每个阶段生成基于客观证据的二进制评分规则(Rubrics),并通过代码检查和Agent法官双重验证,确保只有可执行、可评分的环境进入训练库,防止奖励欺骗。
🔸模型与工具集协同进化:采用交替更新策略。首先冻结工具集,利用阶段评分作为奖励信号,通过GRPO算法微调模型参数;随后冻结模型,根据失败归因报告修改工具集技能(如添加、合并或删除技能),并通过配对实验验证改进效果。
🔸严格的验证门控机制:引入奖励验证器和工具集验证器。模型更新需满足开发集分数下降不超过阈值,工具集编辑需在相同模型下证明能提升特定阶段表现且不导致整体回退,确保每次迭代都有明确的因果归因。
🔎分析总结
🔸性能显著提升:在9B参数规模下,VERA协同进化代理在办公自动化和医学研究基准上分别比最强单轴基线高出10.3和13.0分。在27B规模下,其表现超越或接近Claude Opus 4.8等前沿闭源模型。
🔸协同效应关键:消融实验表明,同时更新模型和工具集的效果远优于单独更新任一组件,证明了双轴进化的必要性。
🔸泛化与能力保留:该方法在未见过的工作流中表现出良好的迁移能力。特别是在27B规模下,模型在提升领域特定性能的同时,还能保留甚至提升数学推理等通用能力,而较小规模模型则出现通用能力下降。
💡个人观点
论文通过自动化手段将长任务拆解为可独立验证的阶段,并赋予每个阶段客观的“打分表”。