快速入门：完全合作下的多智能体强化学习 - 多智能体A2C

下面介绍“完全合作关系”设定下的多智能体 A2C 方法 (Multi-Agent Cooperative A2C)，缩写 MAC-A2C。简单点入手，本文只考虑离散控制问题。

策略网络和价值网络

MAC-A2C 使用两类神经网络：价值网络 v 与策略网络 π。

所有智能体共用一个价值网络。
每个智能体有自己的策略网络。

 

训练和决策

 

实现中的难点

最大的问题，在 MARL 的常见设定下，第 i 号智能体只知道 oi，而观测不到全局状态。

下面介绍中心化 (Centralized) 与去中心化 (Decentralized) 的实现方法。

• 中心化让智能体共享信息；优点是训练和决策的效果好，缺点是需要通信，造成延时，影响速度。
• 去中心化需要做近似，避免通信；其优点在于速度快，而缺点则是影响训练和决策的质量。