)
### 一、文章主要内容总结
本文提出了首个基于统一多模态思维链（CoT）的奖励模型UNIFIEDREWARD-THINK，旨在通过显式长链推理提升多模态奖励模型的可靠性和鲁棒性。核心方法分为三个训练阶段：
1. **冷启动阶段**：使用少量图像生成偏好数据蒸馏GPT-4o的推理过程，使模型学习CoT推理的格式和结构。
2. **拒绝采样阶段**：利用大规模统一多模态偏好数据激发模型在各类视觉任务中的推理能力，保留正确推理样本以强化准确模式。
3. **组相对策略优化（GRPO）阶段**：对错误预测样本进行基于GRPO的强化微调，推动模型探索多样化推理路径，优化推理准确性。
实验表明，引入长CoT推理显著提升了奖励信号的准确性，且模型在掌握CoT后即使无需显式推理痕迹，也能通过隐式推理超越现有基线。
### 二、文章创新点
1. **首个统一多模态CoT奖励模型**：实现了视觉理解与生成任务的多维度、分步长链推理，突破了传统奖励模型仅提供直接响应或浅层推理的局限。
2. **三阶段强化微调框架**：结合冷启动蒸馏、拒绝采样和GRPO，有效激活模型的潜在推理能力，解决了CoT奖励数据稀缺的问题。
3. **显式与隐式推理结合**：证明显式CoT推理可增强模型可靠性，且模型在内部化推理能力后，隐式推理仍能提升奖励信号准确性，无需额外推理痕迹。
### 三、Abstract翻译
近期，多模态奖励模型（RMs）在提供奖励信号以对齐视觉模型与人类偏好方面展现出显著潜力。然而，当前RMs通常局限于提供直接响应或进行深度有限的浅层推理，常导致奖励信号不准确。我们认为，将显式长思维链（CoT）纳入奖励推理过程可显著增强其可靠性和鲁棒性。此外，我们相信一旦RMs内化CoT推理能力，其直接响应
)
