1. 基本思想
Q-Learning算法使用一张完备的存储所有动作Q值的表格,但实际上我们往往不可能存储一个正常二维以及三维的Q值数据,这太大了。所以,我们转变思路,用函数拟合的方法来估计Q值,将这个Q值表格视为数据,并用参数化的函数Qθ来拟合数据。
近似方法往往存在较大的误差,而DQN 算法可以解决连续状态下离散动作的问题,由此减小误差。
1.1 CartPole 环境
环境定义与参数可查阅 Gymnasium CartPole-v1 官方文档。
它的状态值是连续的,动作值是离散的。
这是一个典型的倒立摆小车环境。智能体通过左右移动小车使杆保持竖直;杆的倾角或小车位置超出阈值时回合终止,达到 CartPole-v1 的 500 步时间限制时回合截断。状态是 4 维连续向量,动作空间包含 2 个离散动作。
我们可以列这个环境的状态空间的表格:
| 维度 | 意义 | 最小值 | 最大值 |
|---|
| 0 | 车的位置 | -2.4 | 2.4 |
| 1 | 车的速度 | -∞ | ∞ |
| 2 | 杆的角度 | ≈ -41.8° | ≈ 41.8° |
| 3 | 杆尖端的速度 | -∞ | ∞ |
动作空间:
现在我们想在类似车杆的环境中得到动作价值函数 Q(s,a)。由于状态每一维度的值都是连续的,无法使用表格记录,因此采用函数拟合的思想。神经网络凭借其强大的表达能力,成为理想的拟合工具。
对于不同的动作空间,Q网络有两种主要架构:
连续动作空间:
- 输入:状态 s 和动作 a
- 输出:标量值 Q(s,a)
- 数学表达:Qθ(s,a),其中 θ 为网络参数
离散动作空间:
- 输入:状态 s
- 输出:所有可能动作的Q值向量 [Q(s,a1),Q(s,a2),...,Q(s,an)]
- 数学表达:Qθ(s)=[Qθ(s,a1),Qθ(s,a2),...,Qθ(s,an)]
通常DQN(以及Q-learning)只能处理动作离散的情况,因为在价值更新过程中需要计算 maxaQ(s′,a) 操作。
回顾Q-learning的更新规则:
Q(st,at)←Q(st,at)+α[rt+γa′maxQ(st+1,a′)−Q(st,at)]定义时序差分(TD)目标:
yt=rt+γa′maxQθ(st+1,a′)对于一组经验数据 {(si,ai,ri,si+1)}i=1N,Q网络的损失函数构造为均方误差形式:
θ∗=argθmin2N1i=1∑N[Qθ(si,ai)−(ri+γa′maxQθ(si+1,a′))]2这个除以 2N 的形式在求导时会使平方项的系数变为 1,简化梯度计算:
∇θL(θ)=N1i=1∑N(Qθ