强化学习:基本概念

原创 强化学习

强化学习专项：1. 基本概念（本文） · 2. DQN · 3. Policy Gradient · 4. PPO · 5. 如何理解强化学习

强化学习中的概念非常多，如果概念上理解不了的话，后面的算法会非常难懂，这里我们先学习一下强化学习里面的常用概念。

1. 一次交互会产生什么？

在时间步 \(t\)，智能体（agent）观察状态 \(s_t\)，按照策略 \(\pi\) 选择动作 \(a_t\)。环境（environment）执行动作后，返回奖励 \(r_t\)、下一状态 \(s_{t+1}\) 和终止标记 \(d_t\)：

\[ s_t \xrightarrow[\pi]{a_t} (r_t,s_{t+1},d_t) \]

这一步产生的数据称为一条 transition：

\[ (s_t,a_t,r_t,s_{t+1},d_t) \]

动作空间可以是离散的，例如 CartPole 的“向左”和“向右”；也可以是连续的，例如机械臂的转动角度。在 Gymnasium 中，terminated 表示到达终点、失败等任务本身的终止，truncated 表示因时间上限等外部条件提前停止。

2. 从 transition 到 trajectory

连续执行动作，就会得到一串 transition。把它们按时间顺序连起来，便得到一条 trajectory（轨迹）：

\[ \tau= (s_0,a_0,r_0,s_1,a_1,r_1,\ldots,s_T) \]

几个相近的概念可以这样区分：

• episode：从环境重置开始，到终止或截断为止的一次完整交互；
• trajectory：交互过程中产生的状态、动作和奖励序列；
• rollout：使用某个策略实际采集的一段 trajectory，可以是完整 episode，也可以只有固定步数。

下图把一次交互和连续轨迹放在了一起：环境返回的 \(s_{t+1}\) 会成为下一步的状态，多条 transition 按时间顺序连接起来，就形成了 trajectory。

3. 从 reward 到 return

\(r_t\) 只表示当前一步的反馈，但一个动作可能在很多步之后才产生效果。比如迷宫中的一步没有立即获得奖励，却可能让智能体更接近终点。

因此，需要用 return（回报） 衡量从时间步 \(t\) 开始的长期收益：

\[ U_t =\sum_{k=0}^{T-t-1}\gamma^k r_{t+k} =r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\cdots \]

其中，\(T\) 是 episode 结束的时间步，\(\gamma\in[0,1]\) 是折扣因子：\(r_t\) 是一步反馈，\(U_t\) 是一段未来奖励的折扣和。

4. 从 return 到价值函数

一条实际轨迹只能得到一个具体的 \(U_t\)，但同一个状态可能因为动作采样或环境随机性产生不同结果。价值函数描述的不是某一次结果，而是这些可能回报的期望。

函数	定义	直观含义
状态价值 \(V_\pi(s)\)	\(\mathbb{E}_\pi[U_t\mid s_t=s]\)	处于状态 \(s\)，之后按照策略 \(\pi\) 行动，平均能获得多少回报
动作价值 \(Q_\pi(s,a)\)	\(\mathbb{E}_\pi[U_t\mid s_t=s,a_t=a]\)	在状态 \(s\) 先执行动作 \(a\)，之后按照策略 \(\pi\) 行动，平均能获得多少回报

两者的区别是：\(V_\pi(s)\) 只指定状态，\(Q_\pi(s,a)\) 还指定了当前动作。对于离散动作空间：

\[ V_\pi(s) =\sum_a\pi(a\mid s)Q_\pi(s,a) \]

也就是说，状态价值是各动作价值按照策略概率计算的加权平均。

\(V^*(s)\) 和 \(Q^*(s,a)\) 表示能够达到的最优价值。最优策略会选择 Q 值最大的动作，因此：

\[ V^*(s) =\max_a Q^*(s,a) \]

专项下一篇介绍的 DQN 使用神经网络近似 \(Q^*(s,a)\)，PPO 的 Critic 则近似当前策略的 \(V_\pi(s)\)。

5. 从价值估计到训练数据

\(V_\pi\) 和 \(Q_\pi\) 都是期望，但我们通常无法直接枚举所有可能的轨迹。蒙特卡洛方法（Monte Carlo Method）提供了一个基本思路：通过多次随机采样的平均值近似期望。

若 \(x_i\) 独立采样自分布 \(p(x)\)，则：

\[ \mathbb{E}_{X\sim p}[f(X)] =\int f(x)p(x)\,dx \approx\frac{1}{N}\sum_{i=1}^{N}f(x_i) \]

在强化学习中，\(U_t\) 是一条实际 trajectory 产生的采样结果；多次采样并取平均，便可以估计 \(V_\pi\) 或 \(Q_\pi\)。专项后面的算法虽然会使用 TD、Advantage 等不同方法构造学习信号，但数据仍然来自智能体与环境的交互。

根据“采集数据的策略”和“正在训练的策略”之间的关系，算法还可以分为：

• on-policy：主要使用当前策略或与其非常接近的策略刚刚采集的数据，例如 REINFORCE 和 PPO；
• off-policy：可以使用其他策略或过去策略产生的数据，例如 DQN 可以反复使用 replay buffer 中的历史 transition。

on-policy 和 off-policy 描述的是数据如何产生、能否重复利用，并不是网络结构的区别。

6. 用一个迷宫例子串起来

假设机器人位于迷宫路口 \(s_0\)，策略有 70% 的概率向左、30% 的概率向右：

\[ \pi(\text{向左}\mid s_0)=0.7,\qquad \pi(\text{向右}\mid s_0)=0.3 \]

为了只关注这些概念，假设选择第一个动作后，后续轨迹及奖励序列固定。令 \(\gamma=0.9\)：

动作 \(a_0\)	奖励序列	回报 \(U_0\)
向左	\((1,2,3,4)\)	\(1+0.9\times2+0.9^2\times3+0.9^3\times4=8.146\)
向右	\((0,1,1,1)\)	\(0+0.9\times1+0.9^2\times1+0.9^3\times1=2.439\)

由于这里的后续轨迹固定，实际回报也就是对应动作的期望回报：

\[ Q_\pi(s_0,\text{向左})=8.146,\qquad Q_\pi(s_0,\text{向右})=2.439 \]

再按照策略的动作概率加权，就得到状态价值：

\[ \begin{aligned} V_\pi(s_0) &=\sum_a \pi(a\mid s_0)Q_\pi(s_0,a) \\ &=0.7\times8.146+0.3\times2.439 \\ &=6.4339 \end{aligned} \]

这个例子中的关系可以概括为：

\[ \text{transition} \longrightarrow \text{trajectory} \longrightarrow U_0 \longrightarrow Q_\pi(s_0,a) \longrightarrow V_\pi(s_0) \]

其中，\(r_t\) 是一步反馈，\(U_0\) 是一次轨迹获得的回报，\(Q_\pi(s_0,a)\) 是指定第一个动作后的期望回报，\(V_\pi(s_0)\) 是按照当前策略选择动作时的期望回报。

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Oct 04, 2026 04:25 pm