多智能体城市交通计算综合应用

城市交通信号控制的综合应用计算框架

1. 构建混合计算框架
2. 构建城市交通真实环境
   
3. 构建城市交通仿真环境

城市多交叉路口交通信号控制组合算法

1. 算法背景
   现存研究存在以下不足：
   (1) 现有的交通仿真环境无法模拟更加接近真实的交通环境，导致城市交通信号仿真控制效果和实际路测效果具有一定差距，不能完全体现真实城市交通的运行状况；
   (2) 针对多路口交通信号控制优化 MARL 模型算法本身的控制效果并不是非常理想，博弈论、通信理论和 MARL 的组合研究不够深入，算法本身具备提升空间；
   (3) 对于城市交信号控制 MARL 算法在城市多个路口的工业级部署研究还不足；
   （4）现今绝大多数城市的交通信号控制仍然沿用上世纪 50、60 年代的控制技术，智能交通信号控制应用落地仍然具有广阔的前景。
   Nash-A2C、Nash-A3C、MAAC 算法优势在于理论和MARL 算法的优化，Mixed-MARL 优势在于考虑混合架构部署和网络时延。
   Nash-A3C 的实验结果表现在不考虑网络延时的情况下最为出色；在考虑网络带宽和网络时延的情况下，Mixed-MARL 的实验表现最佳。
   

2. 算法过程
   城市多交叉路口交通信号控制组合算法 General-MARL 由三个子算法构成：
   （1）边缘计算节点算法 (Edge-General-control)：处理交通监控视频，生成当前路口的交通状态文本信息，引入城市交通流量预测算法 GCN-GAN，具有真实城市交通流量预测能力，并与仿真环境实时同步（该部
   分非常灵活，可以引入其他流量预测算法）
   （2）雾计算节点算法 (Fog-General-control)：融合 Nash-A2C 算法（Nash-A3C 算法的“平行宇宙”的节点）和 MAAC 算法汇总的智能通信部分，产生城市交通信号的控制信号
   （3）云计算节点的算法 (Cloud-General-control)：部署 Nash-A2C算法（Nash-A3C 算法的“平行宇宙”的中心节点）
   算法部署架构图：
   
   云计算算法步骤：
   
   边缘计算算法步骤：
   
   雾计算算法步骤：
   
   

仿真实验

配置：

考虑延时的训练过程：

实验结果：


每个模型的平均通过速度：

每个模型的平均等待时长：

每个模型的车辆累计等待时长：

每个模型的网络延时时间：

实验结论：
多智能体强化学习在城市交通信号控制研究需要考虑仿真环境、算法过程、部署架构等多方面因素。General-MARL 算法综合考虑了这些因素，从实验结果上分析，表现最佳。