MADRL - COMA, VDAC

多智能体强化学习算法 - COMA， VDAC (Algorithm & Code)

1. COMA算法

1.1. COMA算法原理

COMA算法构建了AC算法的“值分解”类似的架构。

COMA算法的核心特点包括：

• 使用一个集中式的critic网络，在训练的过程中可以获取所有智能体的信息；
• 采用 counterfactual baseline （CB，反事实基线）来解决信用分配的问题（类似于值分解）；
• Critic网络要能够对CB进行高效计算。

在任务协作的多智能体系统中，奖励函数是全局共享的（所有智能体共享奖励信号），因此只需要设置一个critic网络。这导致所有的智能体优化目标完全一致。对每个actor网络而言，从critic网络反向传播过来的误差是相同的。这种“吃大锅饭”式的训练方式显然是低效的，因为每个actor网络对整体性能的贡献是不一样，贡献大的反向传播的误差应该要稍微小些，贡献小的其反向传播误差应该要大一些。这同时造成了“懒惰智能体”的现象：一些智能体因为对整体贡献不大，出现消极训练。

回顾一下，在基于值分解的方法中，各个智能体的贡献通过对Q值进行分解，并反馈到到各个智能体来衡量的。在COMA中，研究对象是AC算法。作者的思路是利用critic网络输出的Q值，Q值分解利用CB。

具体来说，作者受到了差分奖励 (difference rewards) 思想的启发。智能体 \(a\) 执行动作 \(u^a\) 的贡献，是通过它在同等条件下执行一个设定的的默认动作 \(u'^a\) 来衡量的。这里的同等条件是指相同状态且其他智能体依然保持动作不变。

EXAMPLE: \(Q(s, \{\mathbf{u^{-a}}, u^a\}\) 表示智能体 \(a\) 执行动作 \(u^a\) 后获得的Q值，其中 \(\mathbf{u^{-a}}\) 表示其余智能体的动作集合；\(Q(s, \{\mathbf{u^{-a}}, u'^a\}\) 表示智能体 \(a\) 执行默认动作 \(u'^a\) 后获得的奖励。这两个奖励值的差值，\(Q(s, \{\mathbf{u^{-a}}, u^a\} - Q(s, \{\mathbf{u^{-a}}, u'^a\}\) 定义为智能体 \(a\) 执行动作 \(u^a\) 后对整体Q值的贡献。此处的 \(Q(s, \{\mathbf{u^{-a}}, u'^a\}\) 就是CB。这个差值越大，说明智能体 \(a\) 的贡献越大。

问题的关键是，默认动作并不好确定。

作者的解决方案是直接利用actor网络的输出来确定这个默认动作。具体来说，critic网络的输入包括\(s\) 和 \(\mathbf{u}^{-a}\)，输出是 \(Q(s, (\mathbf{u}^{-a}, u'^a))|_{u'^a \in \mathcal{A}_a}\)。COMA的做法是以智能体 \(a\) 的Q值期望来代替 CB。贡献度 \(A^a(s, \mathbf{u})\) 形式化的表述是：

\[A^a(s, \mathbf{u}) = Q(s, \mathbf{u}) - \sum_{u'^a}{\pi^a(u'^a | \tau^a) Q(s, (\mathbf{u}^{-a}, u'^a))} \quad (1) \]

图1. COMA算法的结构

我们结合图1(c)，再来体会一下公式(1)。图1(c)给出了COMA算法中critic网络的设计细节。

它的输入是:

• \(s_t\)，当前全局状态；
• \(o^a_t\)，智能体 \(a\) 的局部观测；
• \(a\)，当前智能体的编号（文中假设智能体同质，所有智能体共享critic和actor网络参数，在critic引入一个区分位来区分不同的智能体）；
• \(\mathbf{u}_{t-1}\)，所有智能体在 \(t-1\) 时刻的动作集合；
• \(\mathbf{u}^{-a}_t\)，除了智能体 \(a\) 之外，所有智能体在 \(t\) 时刻的动作集合；

输出是，\(Q(u^a=1, \mathbf{u}^{-a}_t, \cdots), \cdots\)，表示智能体 \(a\) 在 \(t\) 时刻的各个工作的 Q 值。它们就是公式 (1) 中的 \(Q(s, (\mathbf{u}^{-a}, u'^a))\)。

REMARK:

• \(Q(s, \mathbf{u})\) 如何得到？
• 为何critic网络同时输入了 \(s_t\) 和 \(o^a_t\)？\(s_t\) 是全局状态，\(o^a_t\) 是智能体 \(a\) 对于全局状态从自身视角出发的局部观测。这两个信息在很多环境下并不相同，都是需要的。

1.2 COMA算法实现

2. VDAC算法