强化学习算法:OPD
paperreading
本文字数:2.2k 字 | 阅读时长 ≈ 8 min

强化学习算法:OPD

paperreading
本文字数:2.2k 字 | 阅读时长 ≈ 8 min

强化学习专项:1. 基本概念 · 2. DQN · 3. Policy Gradient · 4. PPO · 5. 如何理解强化学习 · 6. GRPO · 7. DPO · 8. OPD(本文)

1. 学生错在哪一步?

给模型一道题:“计算 \(2+3\times4\) 时,先做哪种运算?写出运算和这一步的结果。”正确回答是“乘,12”。如果模型写了“加,5”,它选错了运算顺序,但 \(2+3\) 确实等于 5。

在前文只看最终结果的 GRPO 例子里,这份回答得 0 分。如果同组有其他回答得 1 分,“加”和“5”都会分到同一个负优势。现在假设我们手上有一个更强的教师模型,能不能问得更细一点?在刚读完题目时,教师有多倾向于选“加”?在学生**已经选了“加”**之后,教师又有多倾向于接着写“5”?

这就是 On-Policy Distillation(OPD,在策略蒸馏) 的思路。学生用当前模型生成回答,教师读取学生写到一半的内容,给出下一个 token 的概率,学生再根据两者的概率差异更新参数。这里的 on-policy 指回答由当前学生采样。即使题目始终来自同一个数据集,学生在题目后面写出的内容也会随着训练改变。

这种做法解决了蒸馏中的一个具体问题。如果训练集只收录教师的示范“乘,12”,学生能学到选“乘”以及选“乘”后怎么继续。等到学生自己写出了“加”,它就走到了这条示范没有覆盖的前缀。OPD 让教师也在这个前缀上提供反馈。Agarwal 等人在 GKD 中讨论了如何在学生生成的前缀上匹配师生分布;下文采用 Thinking Machines Lab 的一种实现,只取实际采样 token 的对数概率来计算更新权重。GKD 论文 · On-Policy Distillation

2. 手算一份回答的两个权重

为了看清概率,假设每份回答只有两个 token,第一步选“乘”或“加”,第二步选“12”或“5”。学生和教师使用相同的词表。记 \(s_t=(q,o_{<t})\) 为题目和学生已经生成的前缀,\(o_t\) 为学生在这个位置实际采样的 token。

对同一个 \(s_t\) 和同一个 \(o_t\),取教师概率 \(\pi_T(o_t\mid s_t)\) 和采样时的学生概率 \(\pi_S(o_t\mid s_t)\),计算

\[ A_t=\log\frac{\pi_T(o_t\mid s_t)}{\pi_S(o_t\mid s_t)}. \]

这里用自然对数。教师给这个 token 的概率比学生高,\(A_t\) 就为正,这次更新会鼓励学生在同样的前缀下更常选它。反过来,学生给的概率越高于教师,权重就越负。

假设学生采样到“加,5”,两步的概率如下。

教师和学生读到的内容 学生采样的 token 学生概率 教师概率 \(A_t\)
题目 加 0.60 0.20 \(\log(0.20/0.60)\approx-1.099\)
题目 + 加 5 0.70 0.90 \(\log(0.90/0.70)\approx+0.251\)

第一步,学生有六成概率先做加法,教师只给两成,因此“加”得到负权重。第二步,前缀已经明确选了加法,教师给“5”的条件概率反而更高。这个正权重鼓励学生把已经选定的加法算对。整道题依然答错了。

训练时,学生先生成完整回答,再把“题目 + 学生回答”送进冻结的教师做一次前向计算。因果语言模型在每个位置只能看到之前的内容,所以一次前向就能取出表里两行所需的教师概率。若教师接口只能返回它自己生成的文本,这个公式所需的打分信息就不全。

3. 这个权重和反向 KL 有什么关系?

固定第一步的前缀,也就是刚读完题目的位置。简记 \(p(v)\) 为学生选 token \(v\) 的概率,\(u(v)\) 为教师选它的概率。把整个词表都考虑进来,学生到教师的反向 KL 为

\[ D_{\mathrm{KL}}(p\|u)=\sum_v p(v)\log\frac{p(v)}{u(v)}. \]

前面已经知道二者选“加”的概率分别为 0.6 和 0.2,所以选“乘”的概率分别为 0.4 和 0.8。代入就能算出这个位置的完整 KL:

\[ D_{\mathrm{KL}}(p\|u) =0.6\log\frac{0.6}{0.2}+0.4\log\frac{0.4}{0.8} \approx 0.382. \]

训练时只采一个 token。采到“加”的权重是 \(-1.099\),采到“乘”的权重是 \(\log(0.8/0.4)\approx+0.693\)。按学生的采样概率对这两种结果求平均,恰好得到 \(-0.382\)。这解释了为什么单个 token 可以得到正权重,而完整 KL 仍然非负。

3.1 从权重到 loss

沿用前面的符号,\(\pi_S\) 是采样时的学生,\(\pi_\theta\) 是参与反向传播的学生。本文每批回答只更新一次,计算梯度时两者的参数相同。对一份长度为 \(T\) 的回答,可以写出下面的逐 token 代理损失:

\[ L(\theta)=-\frac{1}{T}\sum_{t=1}^T \operatorname{stopgrad}(A_t)\log\pi_\theta(o_t\mid s_t). \]

\(\operatorname{stopgrad}\) 表示反向传播时把已经算好的权重当作常数。例如第一步采到了“加”,\(A_1<0\),降低“加”的对数概率就能降低这项 loss。下一批重新采样,再用更新后的学生计算新的权重。

为什么这样更新?在一个固定前缀上,令 \(p=\pi_\theta(\cdot\mid s_t)\)。对完整 KL 求导,利用 \(\sum_v\nabla_\theta p(v)=0\),可得

\[ \nabla_\theta D_{\mathrm{KL}}(p\|u) =\sum_v p(v)\log\frac{p(v)}{u(v)}\nabla_\theta\log p(v) =\mathbb E_{v\sim p}\left[-A(v)\nabla_\theta\log p(v)\right]. \]

右边正好是代理损失在这个位置的期望梯度。两者对应的是更新方向,直接打印出来的代理损失值可以和 KL 不同。这里固定了采到的前缀,每一步只使用当下的反馈。如果要对整条回答的序列 KL 求完整梯度,还要考虑当前选“加”或“乘”会改变后面访问的前缀和收到的反馈。

4. 两步生成的小实验

把前面的题写成一棵只有两个分支的树。学生有三个独立参数,分别控制开头选“乘”、选“乘”后写“12”、选“加”后写“5”的概率。三个位置的初始概率依次为 0.4、0.7、0.7,教师给出的目标概率是 0.8、0.95、0.9。

下面的 Python 代码只用标准库。每个位置用一个参数 \(z\) 表示,选该位置目标 token 的概率是 \(p=1/(1+e^{-z})\)。令 \(a=1\) 表示选中了目标 token,\(a=0\) 表示选中另一个,那么已选动作的对数概率对 \(z\) 的导数就是 \(a-p\)。因此只要把 \(z\) 沿 \(A_t(a-p)\) 的方向更新,就实现了上一节的梯度下降。

import math
import random

rng = random.Random(7)
teacher = {"开头": 0.8, "乘": 0.95, "加": 0.9}
initial = {"开头": 0.4, "乘": 0.7, "加": 0.7}
logits = {s: math.log(p / (1 - p)) for s, p in initial.items()}


def probability(state):
    return 1 / (1 + math.exp(-logits[state]))


def sample_token(state, updates):
    p = probability(state)
    u = teacher[state]
    action = int(rng.random() < p)
    student_prob = p if action else 1 - p
    teacher_prob = u if action else 1 - u
    weight = math.log(teacher_prob / student_prob)
    updates[state] += weight * (action - p)
    return action


batch_size = 64
for step in range(201):
    if step in (0, 20, 200):
        probs = [round(probability(s), 3) for s in initial]
        print(step, probs)
    if step == 200:
        break

    updates = dict.fromkeys(initial, 0.0)
    for _ in range(batch_size):
        multiply = sample_token("开头", updates)
        sample_token("乘" if multiply else "加", updates)

    for state in logits:
        logits[state] += 0.5 * updates[state] / (2 * batch_size)

每批有 64 份回答,每份恰好两个 token,所以梯度除以 128。第二次调用 sample_token 时走哪条分支,完全取决于学生第一次采到了什么。只有这一批采到“加”的回答,才会更新“加”之后的参数。

固定随机种子运行,三个位置的概率如下。

更新次数 开头选“乘” “乘”后写“12” “加”后写“5”
0 0.400 0.700 0.700
20 0.700 0.840 0.787
200 0.800 0.944 0.874
教师 0.800 0.950 0.900

看第一列和最后一列,学生越来越少先选“加”,但一旦选了“加”,它反而越来越会接着写“5”。这两个变化可以同时发生,因为更新发生在不同的前缀上。

如果用整题正确率来评估,还要把两步连起来。训练前学生答出“乘,12”的概率是 \(0.4\times0.7=0.28\),第 200 次更新后约为 \(0.8\times0.944=0.755\)。教师自己也只有 \(0.8\times0.95=0.76\) 的概率采到这份正确回答。这个差距说明了训练目标的区别:按题目标准评分,“乘,12”每次都应该得满分;按本文的蒸馏目标训练,即使学生已经学得和教师一样,它仍有两成概率先选“加”。