强化学习 | Leyan

📄️ 马尔可夫决策过程

1. 马尔可夫过程

动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到目标问题的解。

1. 时序差分方法

Dyna-Q 算法也是非常基础的基于模型的强化学习算法，不过它的环境模型是通过采样数据估计得到的。

1. DQN 算法

接下来主要介绍两种DQN的改进算法：Double DQN和Dueling DQN。

在前面的章节中，我们介绍了基于价值函数的一系列强化学习算法，包括 Q-learning、DQN 及其改进算法。这些方法的核心思想是学习值函数，然后基于值函数推导出最优策略。然而，在强化学习的广阔领域中，还存在另一类经典的方法——基于策略的方法。

10.1 简介

想象一下你在学习走钢丝——这就是传统的策略梯度算法。你小心翼翼地迈出每一步，但有时候步子太大，就会突然失去平衡摔下来。这种"一步走错，满盘皆输"的情况在深度强化学习中同样存在：当策略网络是深度模型时，沿着梯度方向更新参数，很可能因为步长太大导致策略性能急剧下降。

想象一下，你在学习骑自行车。

1. DDPG算法

想象一下，你正在训练一个机器人学习走路。早期的算法就像是一个严格的教练，要求机器人严格按照指令行动，但这往往导致学习过程缓慢且容易卡在局部最优。而SAC算法则像是一位开明的导师，鼓励机器人在学习过程中保持适度的好奇心，在追求高分的同时也不忘探索未知的可能性。