RLVR 与 GRPO:只给判分器,不给答案

loss = −A · log π(回答) + β · KL,按回答里的 token 平均。log π(回答) 就是第 8 章 SFT 的那个量:SFT 对标准答案做 −log π,相当于每条回答的 A 都是 1; GRPO 对模型自己采样的回答做,A 可正可负。KL 项用论文 (4) 式的估计 π_ref/π − log(π_ref/π) − 1,拉住模型别离热身起点太远。 这里每批采样只更新一次,更新前后是同一个策略,PPO 的比值裁剪 clip(π/π_old) 恒等于 1,代码里省掉了。

除以标准差之后,少数派的 |A| 大。1 对 7 错:均值 0.125,标准差 0.354,答对那条 A = 2.47,每条答错的 −0.35;7 对 1 错反过来。 效果是:难题上偶然答对的那一次被强力加强,容易题上偶然答错的那一次被强力压低。 按标准差归一化会让不同难度的题权重不同,Dr. GRPO(Liu et al., arXiv 2503.20783)认为这带来偏差,建议去掉除以标准差;本脚本按 DeepSeekMath 原式保留。

比 PPO 少了价值网络(critic)。PPO 要另训一个和策略差不多大的网络估计每个状态的期望回报当基线;GRPO 同一道题采 G 个,拿组内均值当基线,省掉这个网络。 DeepSeekMath §4.1 的动机就是省下 critic 的显存和算力。 和 DPO 比:DPO 用离线的成对数据,不在训练中采样;GRPO 每一步都用当前模型采样,判分器当场打分。

pass@k 是每道题采样 k 次、至少一次答对的比例。GRPO 训练时一组正好是 8 次采样,所以起点的 pass@8 基本就是"一道题能不能凑出至少一个对的"的概率: pass@8 低,大多数组全错,没有信号。热身 200 道的起点 pass@8 只有 –,热身 1000 道是 –。

R1-Zero(DeepSeek-AI,arXiv 2501.12948)从 DeepSeek-V3-Base 出发,基座本身已经能在一部分数学题上采样出正确答案,RL 有信号可放大。 这里的 124M 基座对两位数加法 pass@8 约为 0,RL 无从下手,所以要先热身。 同一篇报告里,R1 正式版在 RL 之前也先用几千条长思维链数据做了冷启动 SFT。

SFT:4096 道题的标准答案,每道题 1 次前向 + 反向。 DPO:不用答案,warm 对每道题采 8 次,判分器从中挑一对一错凑成偏好对,凑不出(全对或全错)的题丢掉;训练时同样 256 步。 GRPO:不用答案,每一步当场对 16 道题各采 8 次,判分器打分,8 条回答都参与反向。 所以"同样 4096 道题"指看过的题相同;GRPO 的生成和反向是 SFT 的约 8 倍。换成 SFT 看更多带答案的题,准确率也会继续涨,本页没有做这组。

每个学习率跑完整的 256 步,看 200 道 dev 题的贪心准确率,取最高的;评测题的准确率列在旁边,只用来对照,不参与挑选。dev 只有 200 道,差一两个百分点就是差两三道题,几个学习率接近时,挑中哪个带有偶然性;dev 并列时取较大的学习率。最优值落在扫描区间边上时,再往外补点,直到它落在区间内部。全部在 RTX 4090 上跑。

–

–

G 大,一组里更容易同时有对有错,全错 / 全对的组少,基线也估得更准;代价是每道题的采样和反向随 G 线性增加。 G = 2 时一组只有两条,要么一对一错(A 为 ±1),要么全同(无信号)。 DeepSeekMath §4.2 的设置是每题采 64 个。这里 G = 16 的开销是 G = 8 的两倍。 没有信号的组的比例随 G 单调下降,准确率却不是:G = 4 比 G = 2 还低。每个设置只跑了一个随机种子,这种先后可能来自噪声,不宜解读。

KL 项防止模型离起点太远:奖励只看最后的数字对不对,没有 KL 时模型可以把其他行为(比如续写别的文本的能力)改得面目全非,判分器看不见。 这里任务单一、只训 256 步,KL 的约束只表现为稍慢一点的提升。DAPO(Yu et al., arXiv 2503.14476)等后续工作在长思维链推理上去掉了 KL 项; 是否保留取决于任务和训练长度,本页的一组对照不足以下结论。