图渲染示例-几何深度学习图分割

图渲染示例-几何深度学习图分割

1 图分割示例

图分割是对图的每个组成部分，节点或边进行分类的任务，如图1所示。

从较大的语义分段数据集中，提取出了四足数据集，并显示了此任务的真实标签。在这种情况下，每一部分都有属于五种可能类别之一的标签：耳朵，头部，躯干，腿和尾巴。根据此局部级别的信息，生成节点或边缘标签就变得很简单。当前，这种直接在网格上工作的方法，可以在基准上实现很好的SOTA性能。

 图1 图分割示例

2 几何深度学习示例

几何深度学习，从对称性和不变性的角度，尝试对一大类机器学习问题进行统一。因此，几何深度学习，指的不是某一个算法，而是在许多算法中找到一个共同点。

深度学习（表征学习）领域的现状让人想起十九世纪的几何学情况：

一方面，在过去十年中，深度学习给数据科学带来了一场革命，使许多以前被认为是无法完成的任务成为可能--无论是计算机视觉、语音识别、自然语言翻译，还是下围棋。  

另一方面，现在有各种不同的神经网络架构，用于不同类型的数据，但很少有统一的原则。

因此，很难理解不同方法之间的关系，如图2所示。

希望找到算法的共性，以此为框架，作为一种思想，启发后人的算法结构设计。

图2 深度学习的动物园组织，几乎没有统一的模型框架

这是一种具有可控 Ricci 曲率的异构嵌入空间的构造，可以选择与图的曲率匹配的 Ricci 曲率，不仅可以更好地表示邻域（距离）结构，而且可以更好地表示三角形和矩形等高阶结构。这些空间被构造成同构、对旋转对称的流形的乘积，可以使用标准黎曼梯度下降方法进行有效优化，如图3所示。

 （a） 空间形式（球面、平面、双曲面） （b）乘积流形 （c）非均质流形

图3齐次流形空间，乘积以及非均质三种流行

在图3中，包括（a）空间形式和（b）空间形式的乘积（例如圆柱体），并且具有恒定的标量曲率。在它们的对应图下，（b）边与三角形的乘积，具有恒定的逐节点Forman曲率。非均匀流形（c）具有非常标量曲率，其图对应物具有变化的逐节点Forman曲率。

位置编码可以看作是域的一部分。将图看作连续流形的离散化，可以将节点位置坐标和特征坐标视为同一空间的不同维度。在这种情况下，图可以用来表示由这种嵌入引出的黎曼度规的离散类比，与嵌入相关的谐波能量是狄利克雷能量的非欧扩展，在弦论中称为 Polyakov 泛函。这种能量的梯度流是一个扩散型方程，它演化了位置坐标和特征坐标。在节点的位置上构建图是一种针对特定任务的图重连的形式，它也会在扩散的迭代层中发生变化。如图4所示。

图4通过带有重连的Beltrami流，对Cora图的位置和特征分量进行演化的结果

这是域的演化可替代图重连，如图5所示。作为一个预处理步骤，扩散方程可以应用于图的连通性，旨在改善信息流和避免过压缩。Klicpera 等人提出了一种基于个性化 Page Rank 的算法，这是一种图扩散嵌入。根据异构设定的缺陷，提出了一个受 Ricci 流启发过程的图重接的替代方案。这样的重连减少了负曲率造成的图瓶颈的影响。Ricci 流是流形的几何演化方程，非常类似于用于黎曼度规的扩散方程，这是微分几何中类流行且强大的技术（包括著名的 Poincaré 猜想的证明）。更广义地说，与其将图重连作为预处理步骤，还不如考虑一个演化过程的耦合系统：一个演化特征，另一个演领域。

 图5域的演化可替代图重连

在图5中，图中顶部表示曲面上曲率的演变可能会减少瓶颈。图中底部展示了如何在图上进行同样的操作，以提高GNN的性能。图中蓝色/红色表示负/正曲率。

流形上的谱卷积谱卷积，可以用公式（1）定义为：

 

  （1）

在公式（1）中，信号x和滤波器θ的傅立叶变换的乘积，注意，这里使用的经典傅立叶变换的一个性质（卷积定理），可以作为一种定义非欧几里得卷积的方法。

由于其结构，谱卷积是内在的，因此也是等距不变量。由于拉普拉斯算子是各向同性的，它没有方向感；由于邻居的排列不变性，整体图上有聚合。如图6所示。

 图6域扰动下光谱滤波器的不稳定性

在图6中，左图表示网格上的信号xΩ；中间图表示拉普拉斯算子∆on本征基中的频谱滤波结果Ω；右图表示应用于近似等距扰动域，通过拉普拉斯∆~的特征向量的相同频谱滤波器Ω~，产生了非常不同的结果。