随笔- 36 文章- 0 评论- 24 阅读- 8050

学习日志-2021.09.27

论文阅读：

复杂网络上的合作行为演化研究 ——基于 Q-learning 算法

引言

研究背景

演化博弈论：理解合作行为如何在自私个体当中涌现和维持。
- 博弈个体是有限理性的。不能通过一次选择就可以实现策略均衡，而是需要不断地进行策略学习及调整。
  - 在符合条件的困境模型背景下，将参与者作为研究对象，并为其赋予固定的策略集。
  - 指定初始化条件以后，每轮博弈中所有参与者将与敌手进行策略交互来获取相应的收益，再根据学习规则完成策略的更新。
  - 重复上述过程，最终系统中所有博弈个体将会达到某种动态的演化稳定均衡点（非确定的纳什均衡）。
强化学习的基本思想是指智能体在与环境进行交互过程中，通过不断“试错”，逐步优化自己的学习策略，以使目标奖励最大化。

研究意义

理论意义
- 加强强化学习算法与演化博弈理论的研究深度，并且，还能够为合作行为的演化带来新的认识。除此之外，亦能够为控制论、生态生物学、心理学以及认知学等其他学科的发展带来相应的启发与思考。
现实意义
- 为解决生态、经济和人类社会中合作行为的存在以及维持提供了清晰的理论框架，有助于我们从新的角度去认识和理解生态、经济以及人类社会中的一些合作行为

国内外研究综述

复杂网络的发展
- 1992年，Martin A. Nowak 提出在囚徒困境问题的探究中将网络的空间结构引入在内。每个参与者会把自己当轮的收益与零剧中的最高收益作为对比，进而决定是否学习该邻居的策略，可以视为合作或背叛策略从一个结点到另外一个结点的传播。研究发现，空间结构的引入给合作者的幸存提供了条件，合作者可以通过在网络上形成互助的团簇来提高自身的适应度，从而低于背叛者的入侵。
- 1998年，Duncan J. Watts及其导师Steven H. Strogat将高集聚系数和低平均路径长度作为特征，提出瓦茨-斯特罗加茨模型（最经典的小世界网络模型，WS模型）
- 1999年，Albert-Laszlo Barabasi以及Eric Bonabeau发现许多复杂网络的度分布都近似服从幂律分布，在这一基础上引入了无标度网络的概念。
除了Well-mixed和网络结构人群中均衡理论的研究外，学者们同样关注于在任何情况下可以消除社会困境带来的不理解过。共演化机制（个人策略和网络拓扑结构的共同进化）亦成为合作问题研究的一个新的突破方向。
强化学习方法
- Q-learning算法，是Markov决策过程的一种变化形式，通过利用智能体所经历的动作序列来选择下一步的最优动作。这一算法具有环境无关性，不需要建立环境模型。
  - Minimax Q-learning算法，可应用于两人零和博弈；
    - 初始化 $Q_{i} (s_{i}, a_{i}, a_{- i}), V_{i} (s), π_{i}$
    - For iteration do:
      
      第 $i$ 个智能体根据当前状态 $s$ 采用探索-利用策略的到动作 $a_{i}$ 并执行
      
      得到下一个状态 $s^{'}$ ，以及智能体 $i$ 获得的奖励 $r_{i}$ ，并且观测智能体 $- i$ 在状态s执行的策略 $a_{- i}$
      
      更新 $Q_{i} (s, a_{i}, a_{- i})$ ：
      
      $Q_{i} (s, a_{i}, a_{- i}) \leftarrow (1 - α) Q_{i} (s, a_{i}, a_{- i}) + α [r_{i} + γ V_{i} (s^{'})]$
      
      利用线性规划求解 $V_{i}^{*} (s) = max_{π (s^{'})} min \sum_{a_{- i} \in A_{- i}} Q_{i}^{*} (s, a_{i}, a_{- i}) π (s_{i}, a_{i}), i = 1, 2$ 并更新 $V_{i} (s)$ 与 $π_{i} (s^{'})$
    - End for
    在利用线性规划求解中需要不断求解一个线性规划，这将造成学习速度的降低，增加计算时间。
    
    为了求解 $V_{i}^{*} (s)$ ，智能体 $i$ 需要知道所有智能体的动作空间，这个在分布式系统中将无法满足。
    
    只满足收敛性，不满足合理性。Minimax-Q算法能够找到多智能体强化学习的纳什均衡策略，但是假设对手使用的不是纳什均衡策略，而是一个较差的策略，则当前智能体并不能根据对手的策略学习到一个更优的策略。该算法无法让智能体根据对手的策略来调节优化自己的策略，而只能找到随机博弈的纳什均衡策略。
  - Nash Q-learning算法，适用于多人一般和博弈；
    - 初始化 $Q_{i} (s, a_{1}, . . ., a_{n}) = 0, \forall a_{i} \in A_{i}$
    - For iteration do:
      
      第 $i$ 个智能体根据当前状态 $s$ 采用探索-利用策略的到动作 $a_{i}$ 并执行
      
      得到下一个状态 $s^{'}$ ，以及智能体 $i$ 观测所有智能体的奖励 $r_{1}, . . ., r_{n}$ ，并且观测所有智能体在状态s执行的策略 $a_{1}, . . ., a_{n}$
      
      更新 $Q_{i} (s, a_{1}, . . ., a_{n})$ :
      
      $Q_{i} (s, a_{1}, . . ., a_{n}) \leftarrow (1 - α) Q_{i} (s, a_{1}, . . ., a_{n}) + α [r_{i} + γ N a s h Q_{i} (s^{'})]$
      
      利用二次规划求解状态 $s$ 处的纳什均衡策略并更新 $N a s h Q_{i} (s)$ 与 $π_{i} (s^{'})$
    - End for.
    该算法需要观测其他所有智能体的动作 $a_{i}$ 与奖励值 $r_{i}$ 。并且与Minimax-Q算法一样，只满足收敛性，不满足合理性。只能收敛到纳什均衡策略，不能根据其他智能体的策略来优化调剂自身的策略。
  - Friend-or-Foe Q-learning算法，可巧妙地求解多智能体一般和博弈中的纳什均衡解。
    - 初始化 $V_{i} (s) = 0, Q_{i} (s, a_{1}, . . ., a_{n}, o_{1}, . . . o_{n_{2}}) = 0$ ， $(a_{1}, . . ., a_{n})$ 表示 $i$ 所有 $f r i e n d$ 的动作， $(o_{1}, . . ., o_{n_{2}})$ 表示 $i$ 所有 $f o e$ 的动作
    - For iteration do：
      
      第 $i$ 个智能体根据当前状态 $s$ 采用探索-利用策略的到动作 $a_{i}$ 并执行
      
      得到下一个状态 $s^{'}$ ，以及智能体 $i$ 观测自身的奖励 $r_{i}$ ，并且观测所有 $f r i e n d$ 的动作 $(a_{1}, . . ., a_{n_{1}})$ 与所有 $f o e$ 的动作 $(o_{1}, . . ., o_{n_{2}})$
      
      更新 $Q_{i} (s, a_{1}, . . ., a_{n}, o_{1}, . . ., o_{n_{2}}) = 0$ ：
      
      $Q_{i} (s, a_{1}, . . ., a_{n}, o_{1}, . . ., o_{n_{2}}) \leftarrow (1 - α) Q_{i} (s, a_{1}, . . ., a_{n}, o_{1}, . . ., o_{n_{2}}) + α [r_{i} + γ V_{i} (s^{'})]$
      
      利用线性规划求解状态 $s^{'}$ 处的纳什均衡策略并更新 $V_{i} (s)$ 与 $π_{i} (s^{'})$ ，更新公式如下：
      
      $V_{i} (s) = max_{π_{1} (s^{'}), . . . π_{n_{1}} (s^{'})} min_{o_{1}, . . ., o_{n_{2}} \in O_{1} \times . . . \times O_{n_{2}}} \sum_{a_{1}, . . ., a_{n_{1}} \in A_{1} \times . . . \times A_{n_{1}}} Q_{i} (s, a_{1}, . . ., a_{n_{1}}, o_{1}, . . . o_{n_{2}}) π_{1} (s, a_{1}), . . ., π_{n_{1}} (s, a_{n_{1}})$
    - End for.
    有一种利用Minimax-Q算法进行多人博弈方法为，两队零和博弈，将所有智能体分成两个小组进行零和博弈。两队零和博弈中每一组有一个leader才控制这一队智能体的所有策略，获取的奖励值也是这一个小组的整体奖励值。
    
    FFQ算法没有team learder，每个人选择自己动作学习自己的策略获得自己的奖励值，但是为了更新 $Q$ 值，每个智能体需要在每一步观测其他所有friend与foe的执行动作。
    
    FFQ与Minimax-Q算法一样都需要利用线性规划，因此算法整体学习速度会变慢。

预备知识

困境模型

经典博弈论包含三个基本要素：参与者、策略集、收益。

在经典博弈论的研究中，参与者将遵循“理性人”假设，他们将以个人利益最大化为目标，根据计算与判断理智地做出决策。这样一来，往往会导致个人最佳选择与集体最佳选择恰好相反。

囚徒困境模型
公共物品博弈模型

（以上模型已经了解过，故不再详细记录）

演化博弈论

经典博弈论：个体是完全理性的（所有个体都知道其他人是理性的，每个人都选择采取纳什均衡状态下个人的最优策略）

演化博弈论：博弈参与者是有限理性的

重要概念：进化稳定策略——指的是当一个种群中的绝大多数个图都选择了该策略时，即使有一小部分群体突发选择了其他策略，它们依然无法入侵到该种群之中去。
复制动力学方程的核心思想：适应度越大的个体，其繁殖能力越强。
- 形式： $\overset{´}{x} = x (f_{c} (x) - \bar{f} (x))$
  - $x$ 表示的是选择合作策略的个体所占的人口比例
  - $f_{c} (x)$ 表示的是这部分个体对应的适应度。
  - $\bar{f} (x)$ 表示该种群所有个体的平均适应度
    
    $\bar{f} (x) = x f_{c} (x) + (1 - x) f_{d} (x)$
  - 当 $f_{c} (x) > \bar{f} (x)$ 时，选择合作策略的个体所占比重将增大；
    
    当 $f_{c} (x) < \bar{f} (x)$ 时，选择合作策略的个体所占比重将减小。

基于复杂网络的博弈演化

研究基本思路
- 确定博弈模型（囚徒困境、公共物品博弈等）
- 确定网络结构（规则格子网络、随机网络、小世界网络等）
- 确定参与个体的策略更新方式。产检规则一般有如下：
  - 学习最优者：将自己与邻居前一回合的收益对比。直接学习收益最高的个体（包括自身）对应的策略。
  - 模仿优胜者：每轮博弈中，当中心个体 $x$ 被选中更新策略时，它将找到比自己收益高的邻居 $y$ ，以正比于 $y$ 适应度的概率学习其策略。如果 $x$ 的收益就是最高的，就保持不变。
  - 概率更新。最常见的时费米更新规则，即根据更加符合有限理性假设的学习方式更新器策略，学习概率如下：
    
    $W_{S_{x} \leftarrow S_{y}} = \frac{1}{1 + \exp [(P_{x} - P_{y}) / K]}$
    其中， $x$ 和 $y$ 分别表示中心个体及其邻居， $S_{x}$ 和 $S_{y}$ 分别对应 $x$ 及 $y$ 的策略。 $P_{x}$ 和 $P_{y}$ 分别为 $x$ 及 $y$ 的利益。 $K$ 代表噪声因素，当 $K \to 0$ 时，表示个体完全理性，只要 $P_{x} > P_{y}$ ，就会直接学习 $y$ 的策略；而当 $K \to \infty$ 时，个体会随机（以0.5的概率）学习 $y$ 策略。
- 进行复杂网络上的演化博弈

强化学习算法

机器学习按照学习方式进行分类，可以分为：监督学习、非监督学习和强化学习三种。

与监督学习和非监督学习相比，强化学习无需依赖大规模的已有数据集（智能体在与环境进行交互的过程中，通过不断接收到的反馈信息来逐步调整自己的动作，以达到最优的状态）。
马尔可夫决策（MDP）
- MDP可用元组来表示 $< S, A, R, P >$ （ $< S, A, R, P, γ >$ ）
  - $S$ ：状态空间
  - $A$ ：动作空间
  - $R_{s}^{a}$ ：s状态下a动作的奖励值
  - $P_{s s^{'}}^{a}$ ：状态转移概率
  - $γ$ ：折扣函数
- 相关数学表达式：
  - 期望奖励函数 $R_{s}^{a} = E [R_{t + 1} | S_{t} = s, A_{t} = a]$
  - 转移概率函数 $P_{s s^{'}}^{a} = P [S_{t + 1} = s^{'} | S_{t} = s, A_{t} = a]$
  - 行为策略 $π$ ：从状态空间 $S$ 到动作空间 $A$ 的映射
    
    $π (a | s) = P [A_{t} = a | S_{t} = s]$
    则状态转移概率函数和奖励函数可以重新定义为：
    
    $P_{s s^{'}}^{π} = \sum_{a \in A} π (a | s) P_{s s^{'}}^{a}$
    $R_{s}^{π} = \sum_{a \in A} π (a | s) R_{s}^{a}$
    当一个策略 $π$ 的语气收益均大于其他策略的预期收益时，我们将策略 $π$ 称之为最优策略（可能存在多个），表示为：
    
    $Q^{*} (s, a) = max E_{π} [R_{t} | S_{t} = s, A_{t} = a]$ （最优价值函数）
    
    它遵循Bellman最有方程：
    
    $Q^{*} (s, a) = E_{s \to s^{'}} [r + γ max_{a^{'}} Q_{i} (s^{'}, a^{'}) | s, a]$