Multi-Camera Coordination and Control in Surveillance Systems: A Survey 阅读笔记

原文：
Natarajan, Prabhu, Pradeep K. Atrey, and Mohan Kankanhalli. "Multi-camera coordination and control in surveillance systems: A survey." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 11.4 (2015): 57.

这篇论文主要调研了现有的监控系统中多摄像头协同控制(MC3)的一些技术，重点针对架构、方法策略和相关的监控任务进行介绍。

INTRODUCTION

• 监控系统中常用到的摄像头

  • pan-tilt-zoom (PTZ), 2010 PTZ摄像头，高分辨率的宽景相机，* 支持全方位（左右/上下）移动及镜头变倍、变焦控制 *
  • omni-directional, 2007 全方向摄像头
  • smart cameras, 2008 智能摄像头

• 多摄像头协同控制(MC3)

  一种可以让多个异构摄像头：

  (1) 捕捉和分析视频

  (2) 通过相邻的摄像机节点通信，收集和融合环境的信息

  (3) 计算并执行最佳控制措施，以协作方式执行所需的监视任务

  的机制。

EVOLUTION

• 物体识别 1985s
• 物体跟踪、宽景相机、遮挡处理 1990s
• 高分辨率、多智能体 2000s
• 协作传感、智能相机系统 2010s

ARCHITECTURES

• 分布型（Distributed）

  通过与相邻的摄像机节点交换信息实现

• 集中型（Centralized）

  主管节点（manager/supervisor node）负责管理下属摄像头节点，任意两个摄像头节点的信息交互都要经过管理员节点才能实现。

• 混合型（Hybrid)

  集中型和分布型的组合，摄像机节点执行低级功能，如目标检测、跟踪和分类，并将结果报告给主管节点。

• 多层次型（Multi-tier）

  混合型的一种变体，顶层中的摄影机节点以分层方式控制底层中的摄影机

STRATEGIES

• 多智能体系统（Multiagent System,MAS）

  一个摄像头就是一个智能体（Agent）

  • BDI(Belief, Desire, Intention) 知识模型

    有助于将高层次的应用目标整合到代理（即摄像机和传感器）中。

    Belief：信息，包括自己的和邻居智能体的

    Desire：监控目标

    Intention：为了目标采取的一系列行为动作

  只是架构层面，协作算法还需要细化。

• 控制理论方法（Control-Theoretic Approach）

  用来处理由系统环境、传感器测量和控制器组成的动态系统（dynamic systems）。

  引入反馈控制机制（feedback control
  mechanism），系统根据自身状态来进行控制，控制器计算被测输出和参考之间的误差，并选择最优控制信号以使误差最小化。

  在监控系统中不常使用，因为迁移函数复杂，而且不稳定。

• 决策理论方法（Decision-Theoretic Approach）

  监视环境充满了多种不确定因素，如目标的运动、位置、噪声摄像机观测等。基于效用理论(utility theory)和概率论的归纳应用(inductive use of probability theory)的概率模型可以说明这些不确定性

  利用：

  • 马尔科夫决策过程（Markov Decision Process, MDP）

  • 部分可观测马尔科夫决策过程（Partially Observable Markov Decision Process ,POMDP）

  来控制和协调多个代理。

  适用于不确定性，但是大状态空间不易计算

• 博弈论方法（Game-Theoretic Approach）

  是决策理论的一个分支，博弈论主要关注两个或两个以上的主体之间的相互作用，而决策论则是研究主体与环境之间的相互作用。

  博弈论模型中的博弈是一个由一组博弈者、博弈者的移动和博弈者的移动组合的目标状态（Utility）构成的数学对象。

  是集中式的，当系统复杂时，扩展性较差。

• 基于市场的方法（Market-Based Approach）

  摄像头之间的相互作用采用招投标机制（auction and bidding mechanism）

  为了最大限度地利用资源，如电源、处理单位、网络带宽、目标切换等，即这些资源以最佳方式分配给适当的传感器节点，以便利用率最大化。

• 启发式策略（Heuristic Strategies）

  • 层级的方法（Multi-tier, Layered Approach）

    低层执行低层任务，如目标检测跟踪

    中间层执行流程管理

    顶层执行对监视环境进行高级推理。

  • 特定优化技术（Ad-hoc Optimization Techniques）

    主要用于选择和切换摄像头，为行人分配摄像头（指定哪个摄像头追踪哪个行人）等等。

    适用于特定任务，不够泛化

  • 主从式手动控制框架（Master-Slave, Manual Control Framework）

    静态相机负责监控整体的异常行为，PTZ相机负责以高分辨率对特定异常的人进行进一步监控。

  • 状态机方法（State Machine Approach）

    每个摄像头都有不同的状态（搜索、跟踪、等待...），摄像头之间的协调是用一套状态转移规则来指定的，根据不同的摄像头的观察，他们通过有限的状态机来切换状态。

TASKS

• Low-level

  独立的，每个相机在本地做的任务：

  背景扣除和前景检测

  斑点检测和分析，特征提取以进行对象检测和分类

  摄像头标定

• Mid-level

  融合多摄像头的数据：

  目标检测

  目标跟踪

  识别/分类

  相机选择和移交

  视图通信

• High-level

  目标行为分析

  入侵/异常检测

  事件检测和分析

  人类活动总结

DATASETS AND SIMULATORS

• Surveillance Video Datasets

  这些数据集的摄像头都是static的，没有PTZ摄像头那样的

• Virtual World Simulators

  通过电脑模拟出来了，一般不受CV界认可。

OTHERS

[1].Roy-Chowdhury, Amit K., and Bi Song. "Camera networks: The acquisition and analysis of videos over wide areas." Synthesis Lectures on Computer Vision 3.1 (2012): 1-133.

[2].曹凯悦, and 阮秋琦. "大型追踪系统的多摄像头协同." 信号处理 34.4 (2018): 494-502.

提到了Java Agent Development Framework 开源框架