一. 强化学习
1.SFT与强化学习
2.RM（奖励模型）
ORM（结果奖励）：标注困难，成本高
PRM（过程奖励）： 简单， 但存在结果对， 过程错的情况。
3. 奖励方法：
基于规则 (Rule-based Rewards)的奖励， deepseek
基于模型（Reward Model)的奖励, openai
4. PPO：有value Model, openai用
2. GRPO: 没有Value Model, 让结果内卷。Deepseek原创。
目标函数是越大越好，目标函数代表了策略的预期累积收益（Expected Reward/Advantage）。
。
在公式中，代表Advantage（优势值/优势函数）。
在强化学习中，优势值的核心作用是衡量“当前生成的回答（或采取的动作）比平均期望水平好多少”。
具体到 GRPO 算法中其含义如下：
（正优势）：意味着当前生成的回答的奖励得分（Reward）高于同组其他回答的平均水平。系统判定这是一个“好回答”，因此在通过目标函数更新时，会鼓励模型，增大未来生成该类回答的概率。
（负优势）：意味着该回答的表现低于平均水平。系统判定这是一个“差回答”，在更新时会惩罚模型，降低其生成概率。
二. 思维链技术
1. 增强模型推理技术的手段
1）提高token数，2）生成更多个的输出
2. 思维链方法
（1）
iput: prompt
output: W1，W2, W3, R1
（2）并行搜索+自我优化
3. DeepSeek-R1训练过程
4. 强化学习与蒸馏技术
5.推理模型的未来趋势
