DDPG 算法
1. DDPG 算法
之前的章节介绍了基于策略梯度的 REINFORCE、Actor-Critic、TRPO,以及上一章的 PPO 算法。这类算法有一个共同的特点:它们都是在线策略算法,这意味着它们的样本效率比较低。
我们回忆一下 DQN 算法,DQN 算法直接估计最优函数 Q,可以做到离线策略学习,但是它只能处理动作空间有限的环境,这是因为它需要从所有动作中挑选一个值最大的动作。如果动作个数是无限的,虽然我们可以将动作空间离散化,但这比较粗糙,无法精细控制。
深度确定性策略梯度(DDPG)算法解决了这个问题,它构造一个确定性策略,用梯度上升的方法来最大化 Q 值。DDPG 也属于一种 Actor-Critic 算法。我们之前学习的 REINFORCE、TRPO 和 PPO 学习随机性策略,而 DDPG 则学习一个确定性策略。