强化学习算法:DPO
paperreading
本文字数:5.1k 字 | 阅读时长 ≈ 20 min

强化学习算法:DPO

paperreading
本文字数:5.1k 字 | 阅读时长 ≈ 20 min

强化学习专项:1. 基本概念 · 2. DQN · 3. Policy Gradient · 4. PPO · 5. 如何理解强化学习 · 6. GRPO · 7. DPO(本文)

1. DPO 要解决什么问题?

前面介绍的 GRPO 会让模型对同一道题生成多份回答,给回答评分,再用组内相对优势更新策略。如果我们已经有一批数据,知道对于同一个输入,“回答 A 比回答 B 更好”,能不能直接使用这种比较关系训练模型?

DPO(Direct Preference Optimization,直接偏好优化) 就是这样一种方法:使用成对的偏好数据,直接调整模型对两份回答的相对倾向,不必先单独训练奖励模型,再运行 PPO 的在线采样与策略优化循环。DPO 原论文给出了这一转换。

它与 RLHF 的联系很紧密,所以放在这个系列中介绍。但更准确地说,原始 DPO 是离线偏好优化方法,不是 PPO、GRPO 那样的在线策略梯度算法。这里的“离线”指训练使用事先准备好的偏好对;构造数据时仍可能需要模型生成回答、人工标注或自动评判。

这篇文章以 VLM(Vision-Language Model,视觉语言模型)为例:输入包含图片和问题,模型学习哪一份回答更符合图像内容。

2. DPO 的训练数据是什么?

一条偏好数据写成:

\[ (x,y_w,y_l) \]

\(x\) 是输入,\(y_w\) 是被偏好的回答,通常称为 chosen;\(y_l\) 是相对不被偏好的回答,称为 rejected。下标 \(w\)、\(l\) 分别来自 win 和 lose。

对于 VLM,可以将输入写为:

\[ x=(I,q) \]

\(I\) 表示图片,\(q\) 表示问题。视频或多图输入也可以放进条件 \(x\) 中,下面只讨论单图。

假设图片中只有一个红色方块,问题是“方块是什么颜色?”:

字段 内容
image 红色方块图片
prompt 方块是什么颜色?
chosen 方块是红色的。
rejected 方块是蓝色的。

如果把图片换成蓝色方块,保持问题不变,两份回答的偏好顺序就应该反过来。这能帮助我们检查模型是否真的根据图片判断,而不是无论看到什么都倾向于回答“红色”。

红色方块图片偏好红色回答,蓝色方块图片偏好蓝色回答,相同问题的答案随图像改变

图 1:每个偏好对内部使用同一张图、同一个问题;在不同图片之间,偏好可以反转。

chosen 不一定是完美答案,rejected 也不一定完全错误。它们只表达一个相对比较:前者在这次标注采用的标准下更好。实际数据可能比较事实正确性、图像依据、推理质量、格式或表达方式,因此必须先明确偏好标准。

与普通 SFT 比较,SFT 主要使用 \((x,y_w)\) 提高示范答案的似然;DPO 同时使用 \(y_w\) 和 \(y_l\),学习两者之间的相对关系。

3. 从带 KL 约束的奖励目标推到 DPO

3.1 如果已经知道 reward,最优策略是什么?

先暂时假设每份回答都有一个已知的奖励函数 \(r(x,y)\)。固定输入 \(x\),希望策略获得高奖励,同时不要偏离参考策略太多:

\[ \max_\pi\; \sum_y\pi(y\mid x)r(x,y) -\beta\sum_y\pi(y\mid x) \log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} \]

这里 \(\pi\) 是回答分布,\(\pi_{\mathrm{ref}}\) 是固定的参考模型,\(\beta>0\) 控制 KL 惩罚强度。通常使用 SFT 后的模型作为参考,当前待训练策略也从同一个 checkpoint 初始化。

这一步在整个回答分布上求最优解,暂时不考虑神经网络的表达能力限制。对约束 \(\sum_y\pi(y\mid x)=1\) 引入拉格朗日乘子 \(\lambda\),求导后有:

\[ r(x,y) -\beta\left(\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+1\right) +\lambda=0 \]

整理并归一化,得到:

\[ \pi^*(y\mid x) =\frac{1}{Z(x)}\pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r(x,y)}{\beta}\right) \]

其中:

\[ Z(x)=\sum_y\pi_{\mathrm{ref}}(y\mid x) \exp\left(\frac{r(x,y)}{\beta}\right) \]

\(Z(x)\) 保证所有回答的概率之和为 1。这个结论要求相关回答在参考策略下有非零概率,并且归一化项有限。

它表达的含义很直接:在参考策略的基础上,奖励更高的回答会得到更大的相对权重。对于固定的 reward,\(\beta\) 越大,这种重新加权越温和。

3.2 把 reward 改写成策略概率

对上面的最优策略取对数并移项:

\[ r(x,y) =\beta\log\frac{\pi^*(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} +\beta\log Z(x) \]

看起来仍然需要计算 \(Z(x)\),但偏好数据只关心两份回答的比较。它们具有相同的输入 \(x\),因此相减时归一化项恰好消掉:

\[ \begin{aligned} r(x,y_w)-r(x,y_l) =\beta\left[ \log\frac{\pi^*(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)} -\log\frac{\pi^*(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)} \right] \end{aligned} \]

这就是“同一个输入下比较回答”在推导中的作用。两份回答的图片或问题如果不同,不能直接沿用这里的消项过程。

3.3 用奖励差解释偏好概率

DPO 的常用推导采用 Bradley–Terry 偏好模型:两份回答的奖励差越大,前者被偏好的概率越高。

\[ P(y_w\succ y_l\mid x) =\frac{\exp(r(x,y_w))}{\exp(r(x,y_w))+\exp(r(x,y_l))} =\sigma\bigl(r(x,y_w)-r(x,y_l)\bigr) \]

\(\succ\) 表示“更受偏好”,\(\sigma(z)=1/(1+e^{-z})\) 是 sigmoid。它是对偏好形成方式的建模假设,不表示真实人类偏好一定能被一个标量奖励完整描述。

将刚才的奖励差代入,再使用待训练模型 \(\pi_\theta\) 参数化这个偏好概率,定义:

\[ z_\theta =\beta\left[ \log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)} -\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)} \right] \]

于是预测的偏好概率就是 \(\sigma(z_\theta)\)。训练样本已经按 chosen、rejected 排好顺序,所以希望这个概率变大。

核心公式:DPO 损失

\[ L_{\mathrm{DPO}}(\theta) =-\mathbb E_{(x,y_w,y_l)\sim\mathcal D} \left[\log\sigma(z_\theta)\right] \]

实际代码对一个 batch 的偏好对取平均。这与一个标签固定为 1 的二分类交叉熵具有相同形式,不过它的分类 logit \(z_\theta\) 由四个回答 log probability 组成。

现在不需要显式训练 \(r_\phi\),也不需要计算 \(Z(x)\)。但从理论关系推到神经网络训练后,仍然存在有限数据、模型容量、标注噪声和优化误差,不能因此保证模型已经找到真实人类偏好下的最优策略。

4. 四个概率分别在做什么?

4.1 当前模型与参考模型各计算两份回答

将整份回答的 log probability 记为 \(\ell\):

\[ \begin{aligned} \ell_w&=\log\pi_\theta(y_w\mid x), & \ell_l&=\log\pi_\theta(y_l\mid x), \\ \ell_w^{\mathrm{ref}}&=\log\pi_{\mathrm{ref}}(y_w\mid x), & \ell_l^{\mathrm{ref}}&=\log\pi_{\mathrm{ref}}(y_l\mid x) \end{aligned} \]

则:

\[ z_\theta =\beta\left[ \underbrace{(\ell_w-\ell_l)}_{\text{当前模型的相对倾向}} -\underbrace{(\ell_w^{\mathrm{ref}}-\ell_l^{\mathrm{ref}})}_{\text{参考模型的相对倾向}} \right] \]

参考模型提供一个固定基准。DPO 希望当前模型相对于这个基准,更倾向于 chosen。

同一个视觉偏好对分别送入当前模型和冻结参考模型,得到四个回答 log probability,计算 DPO margin 和 loss,只更新当前模型

图 2:两条前向路径处理相同的图片、问题与回答。参考模型冻结,梯度只进入当前模型。

这里没有 GRPO 的旧策略 \(\pi_{\theta_{\mathrm{old}}}\)。参考策略不会在每个 batch 开始时刷新,而且比值不是为了修正当前 rollout 的采样分布。DPO 的“当前/参考”与 PPO、GRPO 的“当前/旧策略”不能互换。

4.2 手算一个偏好对

为了方便手算,把全部可能的回答归成三个互斥事件:chosen、rejected 和其他回答。假设整份回答的概率如下,剩余概率归入“其他”:

模型 chosen rejected 其他回答
参考模型 0.20 0.10 0.70
当前模型 0.30 0.05 0.65

当前模型的 chosen/rejected 比值为 6,参考模型的比值为 2。因此,当前模型相对于参考模型,把这个比值提高了 3 倍。

令 \(\beta=0.5\),使用自然对数:

\[ \begin{aligned} z_\theta &=0.5\left[\log\frac{0.30}{0.20}-\log\frac{0.05}{0.10}\right] \\ &=0.5\log3\approx0.5493 \\ \sigma(z_\theta)&\approx0.6340 \\ L&=-\log\sigma(z_\theta)\approx0.4557 \end{aligned} \]

这里的 \(0.6340\) 是偏好模型认为 chosen 胜过 rejected 的概率,不是模型直接生成 chosen 的概率。后者在表里是 \(0.30\)。

如果当前模型与参考模型完全相同,四个 log probability 相互抵消,\(z=0\),loss 为 \(\log2\approx0.6931\)。这只是“相对于基准还没有改变偏好”,不表示生成 chosen 和 rejected 的概率本来就相同。

4.3 梯度怎样改变回答概率?

对单个偏好对,记 \(L=-\log\sigma(z)\),则:

\[ \frac{\partial L}{\partial z}=-\sigma(-z) \]

结合 \(z\) 的定义:

\[ \nabla_\theta L =-\beta\sigma(-z) \left[ \nabla_\theta\log\pi_\theta(y_w\mid x) -\nabla_\theta\log\pi_\theta(y_l\mid x) \right] \]

它给 chosen 的 log probability 一个提高的局部信号,给 rejected 一个降低的局部信号。相对偏好还没有学好时,\(\sigma(-z)\) 较大;已经明显倾向 chosen 时,这个系数变小。

不过,整个网络共享参数,还要同时学习其他偏好对,所以不能保证每次更新后每条 chosen 的绝对概率都上升。甚至只从目标值看,chosen 和 rejected 的概率都下降,只要 rejected 降得更多,DPO loss 仍可能改善。

例如,仍以参考模型的 \((0.20,0.10)\) 为基准,当前概率变成 \((0.10,0.02)\):chosen 的概率减少了一半,但 chosen/rejected 的比值从 2 变成 5,仍然获得正 margin。这是相对优化与绝对似然优化的区别。

4.4 beta 不是学习率

在最初的奖励目标中,\(\beta\) 是 KL 惩罚系数;在 DPO loss 中,它又决定 margin 的缩放。对固定 reward,较大的 \(\beta\) 对应更接近参考策略的理论最优分布。

但实际 DPO 的梯度包含 \(\beta\sigma(-z)\),因此不能简单说“\(\beta\) 越大,梯度就越小”或“更新一定越强”。它与学习率、偏好数据和当前 margin 共同影响训练。

标准 DPO 不需要在公式之外再手工加一份 GRPO 式的 KL loss;参考策略和 \(\beta\) 已经进入了推导得到的目标。这也不等于实际训练中的 KL 被硬性限制在某个阈值内,仍应监控模型偏移和任务表现。

5. 回答概率怎样从 token logits 计算?

一份回答 \(y=(y_1,\ldots,y_T)\) 的概率可以按自回归方式分解:

\[ \log\pi_\theta(y\mid I,q) =\sum_{t=1}^T\log\pi_\theta(y_t\mid I,q,y_{<t}) \]

因此,只需要固定数据集中已有的回答,重新计算它在当前模型下的概率。这个过程使用 teacher forcing,不需要在每一步优化前重新生成答案。

原始 DPO 对回答的有效 token 求和,不是求平均。如果改成长度平均,就改变了目标;长回答与短回答的概率和长度偏差,需要作为明确的建模选择处理,不能悄悄换一个归一化方式。

实现时需要处理四件事:

  1. causal LM 位置 \(t\) 的 logits 用于预测位置 \(t+1\) 的 token,必须正确错位对齐。
  2. 只累计回答 token 的 log probability。prompt、图像占位和 padding 位置不进入这项求和;按数据协议生成的 EOS 一般属于回答。
  3. chosen 和 rejected 可以长短不同,但必须对应同一个图像条件和问题,并使用相同的预处理、模板与 tokenization 规则。
  4. 参考模型冻结,并通常关闭 dropout。缓存参考 log probability 时,必须连同图像预处理和文本模板一起固定。

图像 token 不直接计入文本回答 loss,并不代表图像分支没有梯度。回答概率依赖视觉特征,如果视觉编码器或连接层允许训练,梯度仍可通过回答概率传回这些模块。

对于真实 VLM,视觉 token 展开方式因模型而异。后面的通用函数假设 logits 与 labels 已经在相同位置上对齐;如果模型内部会插入额外的视觉 token,需要按它的前向接口和数据整理方式构造 mask。现成工具也应核对这一点,TRL 的 DPO 文档专门说明了 VLM 输入支持。

6. 一次可以手算核对的 CPU 更新

下面代码实现两个核心函数:从 logits 计算回答的 log probability,以及由四个 log probability 计算 DPO loss。最后用第 4.2 节的三个事件分布做一次 SGD 更新。

这只是验证 loss 与反向传播的极小例子,不训练视觉模型,不下载预训练权重,也不使用 GPU。代码固定为单线程 CPU,可以直接下载 dpo_demo.py。

import torch
import torch.nn.functional as F


def sequence_logps(logits, labels):
    # logits: [B, L, V];labels: [B, L]
    # labels 与模型位置对齐,prompt、图像占位和 padding 位置标为 -100。
    # 位置 t 的 logits 预测位置 t+1 的 token。
    target = labels[:, 1:]
    mask = target.ne(-100)
    safe_target = target.masked_fill(~mask, 0)
    token_logps = logits[:, :-1].float().log_softmax(dim=-1).gather(
        -1, safe_target.unsqueeze(-1)
    ).squeeze(-1)
    # 原始 DPO 使用完整回答的 log probability:有效 token 求和。
    return token_logps.masked_fill(~mask, 0.0).sum(dim=-1)


def dpo_loss(chosen_logps, rejected_logps,
             ref_chosen_logps, ref_rejected_logps, beta=0.5):
    policy_gap = chosen_logps - rejected_logps
    reference_gap = ref_chosen_logps.detach() - ref_rejected_logps.detach()
    margin = beta * (policy_gap - reference_gap)
    return -F.logsigmoid(margin).mean(), margin


def main():
    torch.set_num_threads(1)
    # 只验证一个偏好对的 loss 与梯度,不是 VLM 训练。
    # 把完整回答压缩成三个互斥事件:chosen、rejected、其他所有回答。
    reference_logps = torch.tensor([0.20, 0.10, 0.70]).log()
    logits = torch.nn.Parameter(torch.tensor([0.30, 0.05, 0.65]).log())
    optimizer = torch.optim.SGD([logits], lr=0.1)

    def evaluate():
        logps = logits.log_softmax(dim=-1)
        loss, margin = dpo_loss(
            logps[0:1], logps[1:2],
            reference_logps[0:1], reference_logps[1:2],
        )
        return logps.exp(), loss, margin

    before, loss, margin = evaluate()
    print('Before:', [round(x, 6) for x in before.detach().tolist()])
    print(f'z={margin.item():.6f}, preference={margin.sigmoid().item():.6f}')
    print(f'loss={loss.item():.6f}')
    optimizer.zero_grad()
    loss.backward()
    print('Logit gradient:', [round(x, 6) for x in logits.grad.tolist()])
    optimizer.step()
    after, new_loss, _ = evaluate()
    print('After: ', [round(x, 6) for x in after.detach().tolist()])
    print(f'new_loss={new_loss.item():.6f}')


if __name__ == '__main__':
    main()

在 CPU、PyTorch 2.4.1 上实际运行,得到:

Before: [0.3, 0.05, 0.65]
z=0.549306, preference=0.633975
loss=0.455746
Logit gradient: [-0.183013, 0.183013, 0.0]
After:  [0.304132, 0.048867, 0.647002]
new_loss=0.449086

这里的 logits 对应三个完整回答事件,不是模型词表中的三个 token。当前与参考的序列概率都是已知数值,所以可以直接验证 loss,不必先构造一个真实 VLM。

在真实模型中,先分别用 sequence_logps 得到 chosen、rejected 在当前与参考模型下的四组数值,形状都是 \([B]\),再传入同一个 dpo_loss。参考路径使用 no_grad(),当前路径保留计算图。

这次更新提高了 chosen 的概率、降低了 rejected 的概率,loss 也随之下降。它验证的是这个具体偏好对上的优化方向,并不代表 VLM 的准确率或视觉幻觉已经改善。

7. DPO 用到 VLM,关键问题是什么?

7.1 模型可能只学会语言上的偏好

如果 chosen 总是更详细、格式更整齐,而 rejected 总是很短,模型可能仅凭文本风格降低 loss,即使它没有更好地理解图片。

因此,构造视觉偏好数据时,应该尽量让两份回答在长度、措辞和格式上可比,而差异主要来自需要看图才能判断的内容,例如颜色、数量、对象属性或位置关系。

可以加入图 1 那样的成对检查:同一个问题,在改变关键视觉事实之后,正确回答应当跟着改变。也可以遮挡或移除关键区域,检查模型是否仍不合理地坚持原答案。评估要同时覆盖原图、受控的图像变化和未参与训练的样本;单纯观察训练 loss 或偏好对排序准确率并不足够。

mDPO(EMNLP 2024)专门研究了模型忽视图像条件的问题,通过额外的图像偏好和奖励锚定目标进行处理。这些额外目标有自己的定义,不能理解为把原始 DPO 的 rejected 随意替换成另一张图片。

7.2 偏好标签也可能不可靠

对于看不清的文字、被遮挡的物体或存在多种合理解释的图片,强行标出 chosen/rejected 会引入噪声。如果使用另一个模型做评判,它同样可能看错图,或者偏好更长、更像标准答案的措辞。

需要检查偏好依据,过滤含糊或矛盾的样本。尤其是图像内容已经变化,却仍沿用原先偏好标签的情况,会直接教给模型错误的视觉关系。

7.3 离线数据决定了它能纠正哪些错误

固定偏好集不会随着当前模型自动刷新。模型学会区分已有错误后,可能在新的问题上产生数据集没有覆盖的错误。这是离线 DPO 与在线奖励优化的重要区别。

可以重新生成回答、补充偏好、再进行下一轮训练,但这已经是迭代或在线偏好优化的流程设计,不能把它当成原始 DPO 自动具备的步骤。

8. 和 PPO、GRPO 放在一起比较

比较项 常见的 PPO-RLHF 前文的 GRPO 原始 DPO
主要训练数据 当前策略采样的 rollout 同题生成的一组回答 已标注的 chosen/rejected 对
更新依据 奖励与 Critic/GAE 构造的优势 组相对优势 相对参考模型的偏好 margin
是否训练 Critic 通常需要 不需要 不需要
策略优化阶段是否需要评分器 需要 需要,可能是规则或模型 不需要,偏好标签已在数据中
是否需要旧策略概率 需要 需要 不需要
是否使用参考模型 常用于 KL 约束 前文设置中用于 KL 原始目标需要固定参考模型
常见使用条件 能提供奖励,并承担在线训练流程 能为生成结果可靠评分 已有质量较好的成对偏好数据

选择方法时,先看训练信号从哪里来。如果能可靠判断视觉推理题的最终答案,在线奖励优化是一条自然路线;如果已经积累了图像描述、问答或幻觉纠正的偏好对,DPO 更容易直接利用这些数据。

9. VLM 后训练还可以接着读哪些方法?

下面是截至 2026 年 11 月查阅公开论文后整理的几条阅读路线,不是按热度或效果排序。DPO 本身是 2023 年提出的方法;VLM 中后续工作的重点,常常是如何让偏好或奖励真正依赖视觉证据。

路线 代表方法 主要关注点
视觉条件偏好优化 mDPO、V-DPO(2024) 减少只依赖语言先验、忽视图像的偏好学习
更丰富的视觉排序 LPOI(2025) 根据目标可见程度构造图像排序,学习更细的视觉偏好
可验证奖励的多模态推理 MM-Eureka 等工作(2025 起) 围绕视觉推理结果构造规则奖励,并处理在线训练稳定性
序列级策略优化 GSPO(2025) 从序列似然出发定义概率比和裁剪,可接着 GRPO 学习
平滑的策略更新 SAPO(2025) 用平滑门控替代硬裁剪,控制偏离采样策略的更新

SAPO 有明确的 VLM 应用例子:Qwen3-VL 技术报告第 4.4.1 节将它用于推理强化学习。GSPO 的原论文主要讨论语言模型,理解它有助于比较序列级与 token 级优化,但不能据此把所有 VLM 的训练都归到 GSPO。

RLVR 是“使用可验证奖励进行强化学习”的训练范式,RLAIF 则强调反馈由 AI 提供;它们与 DPO、GRPO 这样的具体优化方法不在同一个分类层级。阅读论文时,把“反馈来源”“数据怎样生成”“最后优化哪个 loss”分开看,比较会更清楚。