一个方程的四种解法:PPO / DPO / GRPO / GSPO
本系列开篇。系列目录:《一个方程的四种解法》——篇 0 总览 / 篇 1 PPO / 篇 2 DPO / 篇 3 GRPO / 篇 4 GSPO。
1. 从 InstructGPT 说起:RLHF 要优化的方程
1.1 InstructGPT 三阶段
预训练模型学会了”接话”,但没学会”好好回答”。原因很根本:预训练目标是预测下一个词,而”有用、诚实、无害”从来不是下一个词——目标错位。
InstructGPT(2022)给出的流水线分三步:
- SFT(监督微调):拿人工写的高质量示范回答做下一词预测,让模型学会”回答长什么样”
- RM(奖励模型):拿同一个问题的多个回答让人类排偏好,训一个模型学会打分
- RL(强化学习):用打分去优化生成模型
为什么 SFT 不够?示范数据又贵又有限,而且只能模仿——教不出超过示范水平的行为。
那有了 RM 为什么还要 RL?因为 RM 只会打分,不会生成。想找”得分最高的回答”,就得把所有可能的回答都拿出来比一遍。但可能的回答有多少?词表十几万,回答动辄几百上千个词,组合出来的候选数量是天文数字,根本没法一个个试。RL 的做法是:让模型自己生成回答,看分数,按分数调参数,一步步往高分方向走。
1.2 目标方程:多拿分,但别走太远
第三步要优化的目标,就是下面这个方程:
逐项拆开:
- :模型自己生成的回答,在打分器那里的平均得分——期望就是按概率加权的平均
- 是 KL 散度(Kullback–Leibler divergence,衡量两个概率分布差多远的一个量):这里衡量当前模型和参考模型(SFT 模型,训练全程冻结不动)的偏离程度——改了多少
- :约束强度。 越大,“偏得太远”被罚得越狠; 大到极限,模型完全不敢动(等于没做 RL); 小到 0,只顾刷分不管别的(模型会崩)
1.3 为什么必须有 KL 项
如果只最大化奖励会发生什么?——Reward Hacking(奖励作弊)。
RM 是从有限偏好数据里学出来的有缺陷的智能体。古德哈特定律说:当一个指标变成目标,它就不再是好指标。无约束地最大化一个有缺陷的代理,等于无限放大它的盲点——历史上真实发生过的行为:输出越来越长(长回答更容易被偏好)、堆砌讨好句式、重复”高分组句型”直到胡言乱语。
KL 项同时干三件事:限制作弊空间(RM 不可靠的区域通常离参考模型很远)、保住语言能力(语言能力存在参考模型的参数里,跑太远等于失忆)、保住多样性(无约束优化会让输出坍缩到少数几个高分模板上)。
后面要讲的四个算法,优化的都是这个方程,区别只在解法:PPO(Proximal Policy Optimization,近端策略优化)用在线强化学习老老实实解它;DPO(Direct Preference Optimization,直接偏好优化)把它的最优解直接推导成一个损失函数;GRPO(Group Relative Policy Optimization,组相对策略优化)和 GSPO(Group Sequence Policy Optimization,组序列策略优化)换掉它里面”优势”的估计方式。把方程记牢,后面每个算法都能对号入座。
2. 术语对照:强化学习的词放到 LLM 里是什么
强化学习文献里的一套词汇,放到 LLM 场景里都有明确对应:
| RL 概念 | LLM 中的对应物 | 说明 |
|---|---|---|
| 智能体 agent | 被训练的 LLM,即策略 | 一般由 SFT 模型初始化 |
| 环境 environment | prompt + 生成过程 | |
| 状态 | 已生成的 token 前缀 | 生成第 个 token 前的全部信息 |
| 动作 | 下一个 token | 从词表里选一个词 |
| 轨迹 | 一次完整回复 | |
| 奖励 | 对完整回复的标量分 | RM 打分 / 规则判分 / 偏好隐式 |
表格之后补两个容易卡住的点。
“马尔可夫”是什么意思。 上表说 LLM 生成是个”马尔可夫决策过程”,马尔可夫的意思只有一句话:决定下一步只需要当前状态,不需要更早的历史。对 LLM 来说,生成下一个词只看已有的前缀——而前缀本身就包含了全部历史——所以天然满足,不用额外做什么。
一条回复的生成概率,是逐词连乘的。 模型每一步做的事情是:看到前缀,给词表里每一个词算一个概率,然后按概率挑一个。第 步选中词 的概率,记作 ,其中 表示”第 步之前已经生成的所有词”。那么整条回复 被生成出来的概率,就是把每一步的概率乘起来:
举个数:一句 3 个词的回答,三步分别以 0.2、0.5、0.1 的概率选中了对应的词,整句的生成概率就是 。
这个连乘结构后面会反复用到——讲 GSPO 时它的”序列级比率”,本质上就是对这里每个词的折算系数取对数再平均。
3. 推导①:策略梯度——往哪个方向走
3.1 先把符号说清楚
- 目标:。 是一条完整回复, 是它的总分。LLM 里通常整条回复只打一个分,所以 就是
- 是模型参数; 表示”对参数求梯度”。训练就是靠这个梯度做梯度上升
- 一个重要前提:打分器是冻结的(RM 训好就不再动),所以 里不含 ,对 求导时是常数
3.2 三步推导
第一步:把期望拆成求和。 期望就是按概率加权的平均,对所有可能的回复 加总:
两边对 求导。 是常数(刚说过),有限项求和与求导可以交换顺序,所以导数只落在概率 上:
第二步:log 技巧——变成”采样能估”的形式。 (0.3) 有个现实问题:它要求遍历所有可能的回复,而回复数量是天文数字,列举不出来,只能采样。要让”采样平均”成为可能,先做一个恒等变形。由链式法则,,移项得:
代回 (0.3),再注意到""正是期望的定义,又变回期望形式:
现在是”某个量的期望”,而期望可以用采样平均估计:采 条回复,每条算一次 ,取平均。这就是能落地计算的形式。
第三步:把轨迹概率拆开。 一条回复的生成概率(式 0.2)是逐词连乘,再乘上 prompt 出现的概率 :。取对数,连乘变连加:
prompt 是数据集给的,跟模型参数无关,。所以 (0.4) 里的梯度只剩逐词的项:
3.3 因果修剪:过去的奖励可以扔掉
先看一个具体的”功劳分配”问题。假设模型生成 3 个词的回答 A、B、C,并且(先假设)每一步都有即时奖励:第 1 步选了 A 拿 2 分,第 2 步选了 B 拿 3 分,第 3 步选了 C 拿 5 分,总分 10。
按式 (0.5),A、B、C 三个词的梯度全都乘总分 10。但逐个检查”该乘多少”,会发现配额不对:
| 词 | 它的选择能影响什么 | 该乘的分数 |
|---|---|---|
| A | 影响后面的一切 | 10(2+3+5)✓ |
| B | 影响第 2 步及之后 | 8(3+5),多算了 2 |
| C | 只影响第 3 步 | 5,多算了 5 |
原因就是时间上的因果:轮到选 C 时,前两步的 2+3=5 分已经定死了——C 选什么词都改变不了它们。把不属于 C 的分数算到 C 头上,是错误归因。
为什么多算的部分可以放心扔掉? 看选 C 那一步:给定前缀(A、B 已生成),过去的奖励 r₁+r₂ = 5 是一个定值。而下一节的引理会说:任何”不偷看当前动作”的定值,乘上当前动作的 ,期望为零。过去的奖励恰好就是这种定值——跟 C 选什么无关。写成公式:
所以多乘的部分在期望上贡献为零:留着不改变梯度的期望,只让每次估计上下乱跳(这次采到的回复过去奖励大,下次小)——纯噪声。删掉,期望不变,波动变小。每个词只对”它之后发生的事”负责:
叫 reward-to-go,“从现在往后还能拿到的分”。上面例子里:A 乘 10、B 乘 8、C 乘 5。
式 (0.7) 就是 REINFORCE 算法:采样一批回复,对每个 token 沿”提高它生成概率”的方向走一步,步长正比于它身后的总奖励。
LLM 场景的一个特例:实际 RLHF 里通常整条回复只打一个总分——只有最后一个 token 有分(,)。这时每个词的 都等于总分 ,修剪看起来”没起作用”。它真正生效的场合是每步都有奖励的时候——讲 PPO 时会看到,KL 惩罚会被折进每一步的 reward,那时各词的配额才会真正不同。
一句话理解式 (0.7): 是”把 的概率推高”的方向;乘上 之后——好事迹的 token 被推高,坏事迹的( 为负时)被压低。
但它有个大问题,下一节用数字看。
4. 推导②:baseline——为什么能减一个数
4.1 先看数字:全是正分就是坑
设某个前缀下有三个候选词,当前概率和真实”好坏分”为:
| token | 概率 | 好坏分 |
|---|---|---|
| a | 0.7 | 10 |
| b | 0.2 | 8 |
| c | 0.1 | 6 |
这个前缀下的期望分 。
没有 baseline 的 REINFORCE(单样本):采到谁就推高谁。分数全是正的,所以哪怕采到最差的 c(6 分),梯度也在推高 c——方向完全错了。期望上没错(好的被推得更高),但单样本的方向噪声极大,收敛慢。
减去 baseline 之后:每个单样本的梯度方向都对了——
| 采到 | 优势 | 单样本梯度的方向 |
|---|---|---|
| a(10 分) | 推高 a ✓ | |
| b(8 分) | 压低 b ✓(低于期望就该压) | |
| c(6 分) | 压低 c ✓ |
每一步都朝正确方向走,方差骤降。这就是”优势”的含义:不是”绝对好不好”,而是”比期望好不好”。
4.2 三行证明:减一个数不会带偏梯度
凭空减一个数,会不会把梯度算歪?不会,只要这个数不依赖当前选的词。
引理:对任何不依赖 的函数 ——它可以使用前缀的任何信息,唯独不能偷看 本身——都有
\mathbb{E}_{y_t \sim \pi_\theta}\big[\, b \cdot \nabla_\theta \log \pi_\theta(y_t|x, y_{<t}) \,\big] = 0 \tag{0.8}
证明只有三行,每一行都有明确的理由:
- 第一行: 不依赖 ,对 求和时它是常数,可以提到求和号外面;再用 3.2 节的恒等式把 变回
- 第二行:有限项求和与求导可以交换
- 第三行:词表里所有词的概率加起来恒等于 1(概率分布的性质),而 1 的梯度是 0
(顺带一提:3.3 节的式 (0.6) 用的正是这条引理——给定前缀后,过去的奖励已经是定值,当然”不依赖 “,乘上 的期望为零。)
由引理,减去任何不偷看 的 都不改变梯度的期望,只降低方差。数学上还可以证明:让方差最小的 ,是下面这个”平均分”。到这里需要给两个量正式起名字:
- :还没选词时的平均分——“看到前缀、还没落笔,各种选法平均能拿多少分”
- :选定了某个词之后的平均分——“这一步选了 ,往后平均能拿多少分”
两者只差一件事:看没看到这一步选了什么。选 当 baseline,就得到优势函数:
回头看 4.1 的数字例子,其实就是这两个量的具体化:表格里”好坏分”一列(选 a 拿 10、选 b 拿 8、选 c 拿 6)扮演的正是 的角色,期望分 9.2 正是 。于是选 a 的优势是 ,选 c 的优势是 。
Q 不需要单独估,它可以从 V 拼出来。 想想”选了 之后”发生了什么:拿到这一步的即时奖励 ;前缀变成新的 ——又回到了”还没选下一个词”的局面,而那个局面的平均分还是 。所以:
(折扣因子 的意思是”未来的分打个折”,这里先不引入,不影响任何结论。)
也就是说:真正需要估的量只有 V 一个。有了 V 和每步的即时奖励,Q 按上式随手拼出来,优势也随之有了:
4.1 的例子是”选完就结算”的一步特例——没有”之后”,所以 Q 直接就是好坏分本身;真实的多步生成里,Q 要靠式 (0.10) 从 V 递推。
4.3 价值 V 从哪来——三个算法从这里分岔
到这一步,Q 有了着落(上一节末尾:从 V 拼出来),整个问题只剩一个: 怎么得到? 不同的答案,直接对应不同的算法:
- 学一个网络来估:单独训一个模型,输入前缀,输出 的估计值。这个专门估 的网络叫 Critic(也叫价值模型),规模通常和策略模型一样大——又准又贵。PPO 走这条路
- 用同一道题的多次回答来估:同一个 prompt 让模型答 次,组内的平均分就是现成的基准——糙,但一分钱不花。GRPO 走这条路
- 干脆不做 RL:连 都不要,把整个问题换一种形式直接算。DPO 走这条路
5. 推导③:重要性采样——旧数据怎么接着用
5.1 问题:数据用一次就过期
REINFORCE 是 on-policy(同策略)的:数据必须由当前参数的模型采出来。参数一更新,旧数据就过期了——旧模型采的样本,和新模型的分布对不上。于是采一批、用一次、扔掉,采样时间成了训练的大头。
5.2 恒等式:乘一除一的把戏
重要性采样回答的问题是:能不能用从分布 采的样本,去估分布 下的期望?可以:
证明只用了一个”乘一除一”:(乘了 再除以 ,值不变),代进左边的积分:
右边恰好是”对 取期望”的定义。
比值 是折算系数:一个从 采来的样本,乘上它,就能当成 的样本用。
放进 LLM 场景:采样阶段用 生成回答,训练中小批量更新几轮后参数变成 。每个 token 位置上的折算系数是
- :新参数比旧参数更愿意生成这个词
- :新参数在降低这个词的概率
这就是 PPO / GRPO 目标函数里那个 ratio 的来历。
5.3 两个坑:有的没法折算,单个样本折算不准
注意点一:旧模型从不生成的东西,没法折算。 如果 (旧策略几乎不会生成某个词)而 (新策略想生成它),折算系数 会爆炸。折算只对”两边都愿意生成”的样本有意义。
注意点二:单个样本的折算不可靠。 式 (0.11) 在期望意义下成立,但 和 差得越远,折算系数的波动越大,需要很多样本平均才能估准。反过来说:一个位置只有一个样本时, 更像噪声,起不到修正作用。这一点不是小事——GSPO 论文对 GRPO 的核心批评正是:GRPO 的折算系数按 token 逐个计算,每个位置只有单一样本,数学上根本完成不了分布修正。
由此还引出一个更基本的问题:折算系数按每个 token 算,还是按整条回答算?PPO 和 GRPO 按每个 token 算;GSPO 按整条回答算——对式 (0.2) 的连乘取对数再平均。这个差别的后果,讲 GSPO 时展开。
6. 一张决策树看全四个算法
PPO(2017,OpenAI)——老实做 RL 的全家桶。四个模型(策略 / 参考 / 奖励 / 价值),GAE(Generalized Advantage Estimation,广义优势估计)算优势,token 级 ratio + clip。它是后面所有算法拿来比较的基准。死因:太贵——四模型前向、两个要反向;且价值模型在稀疏奖励的长序列上难训准。
于是两拨人朝两个不同方向动刀:
DPO(2023,斯坦福)——干脆不做 RL。对式 (0.1) 直接求出最优解,把”奖励”反解成”策略与参考模型的概率比”,两步并一步变成偏好对上的二分类损失。只要两个模型。死因:只能吃离线偏好对,无法在线探索,复杂推理任务上上限受限。
GRPO(2024,DeepSeek)——保留 RL 框架,只砍价值模型。同一 prompt 采样一组回复,组内平均分当 (4.3 节的第二条路),优势直接用组内相对分。DeepSeek-R1 用它配上规则奖励训出了推理能力。死因:token 级 ratio 抖动——注意点二的问题被 MoE(Mixture of Experts,混合专家)模型的路由随机性放大,长回复训练会崩溃。
GSPO(2025,阿里千问)——把优化粒度从 token 抬到整条序列:序列级 ratio(几何平均 + 长度归一化)+ 序列级裁剪。Qwen3 系列同款,稳训 MoE,不需要任何额外补救技巧。
注意:DPO 和 GRPO 是 PPO 的两个不同方向的分支——一个换掉问题形式(不做 RL),一个换掉估计器(不要价值模型)——不是线性进化的四兄弟。
把四个算法放到一张表里,全部差异其实只有三个问题:
| 问题 | PPO | DPO | GRPO | GSPO |
|---|---|---|---|---|
| 优势怎么估 | 学一个 Critic 网络(GAE) | 不估,闭式解绕开 | 同题多条回复取组内均值 | 同 GRPO |
| 概率比按什么粒度算 | token 级 | 不需要 | token 级 | 序列级(几何平均) |
| 约束怎么加 | KL 折进 reward + clip | β 直接进损失(隐式 KL) | KL 进损失 + clip | 序列级 clip |
7. 小结
到这儿,手上的东西齐了:
- 一个方程:,后面四个算法优化的都是它
- 三件工具:
- 策略梯度 (0.7):沿”提高好 token 概率”的方向走
- 优势函数 (0.9):衡量的不是绝对好坏,是相对期望的好坏
- 重要性采样 (0.11):旧数据乘上折算系数继续用,但单个样本的折算不可靠
- 一张决策树:四个算法怎么从同一个方程里分出来,各自又死在哪
附录:符号表(全系列统一)
| 符号 | 含义 |
|---|---|
| prompt | |
| , | 完整回复 / 第 个 token; 表示第 步之前已生成的词 |
| 轨迹:一次完整回复 | |
| 策略模型(被训练的 LLM) | |
| 参考模型(冻结的 SFT) | |
| 采样时的旧策略(ratio 的分母) | |
| 奖励(RM 打分或规则分) | |
| 轨迹总分; 第 步即时奖励; reward-to-go | |
| , , | 价值函数 / 动作价值 / 优势函数 |
| 折算系数(重要性比率 ratio) | |
| KL 约束强度 | |
| clip 裁剪范围 | |
| 组大小(GRPO 每个 prompt 采样的回复数) |
参考资料
论文
- Ouyang et al., 2022. Training language models to follow instructions with human feedback.(InstructGPT 三阶段流程、RLHF 目标方程出处,对应本篇第 1 节) https://arxiv.org/abs/2203.02155
- Williams, 1992. Simple statistical gradient-following algorithms for connectionist reinforcement learning.(REINFORCE 原始论文,对应 3.3 节) Machine Learning, 8<229>229>–256.
- Sutton et al., 2000. Policy gradient methods for reinforcement learning with function approximation.(策略梯度定理,对应 3.2 节) NeurIPS 1999.
- Schulman et al., 2017. Proximal policy optimization algorithms.(PPO,第 6 节决策树) https://arxiv.org/abs/1707.06347
- Rafailov et al., 2023. Direct preference optimization: Your language model is secretly a reward model.(DPO,第 6 节决策树) https://arxiv.org/abs/2305.18290
- Shao et al., 2024. DeepSeekMath: Pushing the limits of mathematical reasoning in open language models.(GRPO 首次提出处,第 6 节决策树) https://arxiv.org/abs/2402.03300
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning.(规则奖励与 GRPO 的实际应用,第 6 节) https://arxiv.org/abs/2501.12948
- Zheng et al., 2025. Group sequence policy optimization.(GSPO,Qwen 团队;5.3 节”单样本折算不可靠”的完整论证见其第 3 节) https://arxiv.org/abs/2507.18071
网络文章
- Hugging Face Blog. A guide to reinforcement learning post-training for LLMs: PPO, DPO, GRPO, and beyond.(四算法关系与 KL 估计器位置差异) https://huggingface.co/blog/karina-zadorozhny/guide-to-llm-post-training-algorithms
- Hugging Face Blog. Understanding GRPO: PPO without the critic.(GRPO 目标函数的逐步推导,第 6 节延伸阅读) https://huggingface.co/blog/garg-aayush/derive-grpo-loss
系列目录:《一个方程的四种解法》—— 篇 0 总览 / 篇 1 PPO / 篇 2 DPO / 篇 3 GRPO / 篇 4 GSPO
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












