在 DQN 算法 中,经验回放和目标网络提升了训练稳定性。本篇介绍两种彼此正交的改进:Double DQN 改变 TD 目标的计算方式,Dueling DQN 改变 Q 网络的结构。二者可以同时使用。
1. Double DQN
1.1 过高估计
标准 DQN 的 TD 目标为
yDQN=r+γ(1−d)a′maxQθ−(s′,a′),其中 d 表示环境是否真正终止,Qθ− 是目标网络。最大化操作同时承担动作选择和价值评估;当各动作的估计都带有噪声时,max 更容易选中被高估的动作,使目标值产生正偏差。
若真实动作价值相同,且每个估计误差 ϵa 独立服从 U[−c,c],动作数为 m,则
E[amaxϵa]=cm+1m−1.这个简化模型说明:动作越多、估计噪声越大,最大化偏差通常越明显。
1.2 解耦选择与评估
Double DQN 使用训练网络 Qθ 选择动作,再使用目标网络 Qθ− 评估该动作:
a∗yDoubleDQN=arga′maxQθ(s′,a′),=r+γ(1−d)Qθ−(s′,a∗).它不需要第三个网络,只改变下一状态价值的计算方式。Double DQN 能减轻过高估计,但不能保证所有任务中的估计都无偏。
2. Dueling DQN
Dueling DQN 将 Q 网络拆成状态价值分支 V(s) 和优势分支 A(s,a):
Q(s,a)=V(s)+A(s,a).直接相加存在不可辨识性:给 V 加常数、同时从 A 减去同一常数,Q 值不会变化。实践中通常对优势做中心化:
Q(s,a)=V(s)+(A(s,a)−∣A∣1a′∑A(s,a′)).这样,网络可以在多个动作价值相近时重点学习“当前状态本身有多好”,并在优势分支中学习动作间的相对差异。Dueling DQN 改进的是表示方式,并不替代 Double DQN 的目标计算。
3. 自包含实现
下面的示例只依赖 gymnasium