### 摘要
最近 DeepSeek-R1 的发布展示了强化学习（RL）在提升大语言模型（LLMs）通用推理能力方面的巨大潜力。虽然 DeepSeek-R1 及后续工作主要聚焦于将 RL 应用于竞赛编程和数学问题，但本文介绍了 SWE-RL，这是第一种将基于 RL 的 LLM 推理扩展到实际软件工程中的方法。SWE-RL 利用轻量级的基于规则的奖励（例如，真实解决方案与 LLM 生成的解决方案之间的相似度得分），使 LLMs 能够通过从大量开源软件演化数据（软件整个生命周期的记录，包括代码快照、代码变更以及问题和拉取请求等事件）中学习，自主恢复开发者的推理过程和解决方案。在 Llama 3 的基础上进行训练，我们得到的推理模型 Llama3-SWE-RL-70B 在 SWE-bench Verified（一个经过人工验证的真实 GitHub 问题集合）上的解决率达到 41.0%。据我们所知，这是目前为止中型（<1000 亿）LLMs 中报告的最佳性能，甚至可与领先的专有 LLMs（如 GPT-4o）相媲美。令人惊讶的是，尽管仅在软件演化数据上进行 RL 训练，Llama3-SWE-RL 仍展现出了通用的推理技能。例如，它在五个跨领域任务（即函数编码、库使用、代码推理、数学和通用语言理解）上的结果有所改善，而监督微调基线在这些任务上的性能平均出现了下降。总体而言，SWE-RL 通过在大量软件工程数据上进行强化学习，为提高 LLMs 的推理能力开辟了新的方向。
### 引言
近年来，大语言模型（LLMs）在软件工程（SE）任务中的应用受到了广泛关注，研究人员探索了其在自动化各种复杂 SE 任务中的潜力，如库级和复杂代码生成（Zhuo 等人，2024；Zhao 等人，2024）、实际错误 / 问题解决（Xia 和 Zha
