论文阅读笔记ECCV 2018: Factorizable net: an efficient subgraph-based framework for scene graph generation

一、contribution

提出了一种基于子图的场景图生成方法，该方法具有以下特点：

（1）首先，提出了一种自底向上的聚类方法，将图像分解为子图。通过共享子图中的区域表示，我们的方法可以显著减少冗余计算并加快推理速度。此外，较少的表示允许我们使用二维特征图来维护子图区域的空间信息。

（2）其次，提出了一种空间加权消息传递（SMP）结构，用于在对象特征向量和子图特征映射之间传递消息。

（3）第三，提出了一个空间敏感关系推理（SRI）模块，该模块利用主语、宾语和子图表示的特征来识别对象之间的关系。视觉关系检测和视觉基因组的实验表明，我们的方法优于最先进的方法，推理速度显著加快。

 

二、method

步骤：

(1)generate object region proposals with RPN(region proposal network)

(2)group the object proposals into pairs and establish the fully-connected relations

(3) cluster the  fully-connected  graph  into  several  subgraphs  and  share  the  subgroup  features for object pairs within the subgraph, then a factorized connection graph(映像连接图）is obtained by treating each subgraph as a node

(4)ROI pools the objects and subgraph features and transforms them into feature vectors and 2D feature maps respectively

 (5)  jointly  refine  the  object  and  subgraph  featuresby passing message along the subgraph-based connection graph for better rep-resentations

(6) recognize the object categories with object features and theirrelations (predicates) by fusing the subgraph features and object feature pairs