强化学习（8）：Asynchronous Advantage Actor-Critic（A3C）算法

本文主要讲解有关 A3C 算法的相关内容。

一、A3C 算法

直接引用莫烦老师的话来介绍 A3C 算法：Google DeepMind 提出的一种解决 Actor-Critic 不收敛问题的算法。它会创建多个并行的环境，让多个拥有副结构的 agent 同时在这些并行环境上更新主结构中的参数。并行中的 agent 们互不干扰，而主结构的参数更新受到副结构提交更新的不连续性干扰，所以更新的相关性被降低，收敛性提高。

除了上述提到的之外，在 A3C 算法中拥有副结构的 agent 还会定期地获取主结构的参数以更新自己的策略。A3C 算法实际上就是将 Actor-Critic 放在了多个线程中进行同步训练。可以想象成几个人同时在玩一样的游戏，而他们玩游戏的经验都会同步上传到一个中央大脑，然后他们又从中央大脑中获取最新的玩游戏方法。

下图是 A3C 网络结构的示意图：

二、A3C 算法流程

赏

谢谢你请我吃糖果

支付宝

微信

• 本文作者： 俎志昂
• 本文链接： zuzhiang.cn/2019/11/10/A3C/
• 版权声明： 本博客所有文章除特别声明外，均采用 Apache License 2.0 许可协议。转载请注明出处！