关于图的 Laplace 矩阵

这些天看论文用到了图的Laplace 矩阵，准备来总结一下：

1. from： A co-regularization approach to semi-supervised learning with multiple views

设一个图 \(G\) 的邻接矩阵（similarity matrix）是 \(W\)，这里 \(W_{ij}\ge 0\) 表示数据点 \(x_i\) 和 \(x_j\) 之间的相似性。

图 \(G\) 的 Laplace 矩阵定义为：\(L \triangleq D-W\)，这里 \(D\) 是图节点度矩阵，一个对角矩阵，\(D_{ii}=\sum_jW_{ij}\)。

对于定义在图顶点集上的函数，图 Laplace 矩阵是一个半正定算子。它提供了如下的光滑泛函：

\[g^TLg=\frac{1}{2}\sum_{ij}W_{ij}(g_i-g_j)^2 \quad\quad\text{注： 论文原公式可能有错，缺少 1/2} \]

这里 \(g\in\mathbb{R}^n\) 是一个向量，确定了一个定义在图 \(G\) 上的函数，此函数在顶点 \(i\) 处的取值为 \(g_i\)。

2. from：Semi-weighted multiple kernel learning for graph-based clustering and semi-supervised classification

设图相似性矩阵 \(S\) 是非负的，即 \(S_{ij}\ge 0\)（矩阵的每个元素非负），则图的 Laplace 矩阵定义为 \(L\triangleq D-S\)，它具有如下重要 property [Mohar et al, 1991]:

The multiplicity \(c\) of the eigenvalue 0 of the Laplacian matrix \(L\) is equal to the number of connected components in the graph associated with \(S\)

3. from： Laplace matrix wikipedia

Laplace 矩阵有如下性质：

• L 是对称的

• L 是半正定的 (可由 L 对称，以及 L 对角占优证明）

• L 是一个 M 矩阵

• L 的每一行的行和为 0

• 由于对 \(v_0=(1,1,\dots,1)^T\)，\(L\cdot v_0 = \textbf{0} = 0\cdot v_0\)，由此 \(L\) 有 0 特征值，Laplace matrix 是奇异的。

• 对 L 的特征值: \(\lambda_0\le\lambda_1<\dots\le \lambda_{n-1}\)，有 \(\lambda_0=0\)

For a graph with multiple connected components, L is a block diagonal matrix, where each block is the respective Laplacian matrix for each component, possibly after reordering the vertices (i.e. L is permutation-similar to a block diagonal matrix).

---

2020.11.24 update:
最近看了一些 GCN 相关的 paper, 准备对此 blog 进行大规模的更新，以弥补之前的缺陷。

[1] 提到：

graph Laplacian 定义为：\(L := D-A\)， 有如下两种 normalized graph Laplacian 矩阵[Chung,1997] ：

• \(L_{sym} := D^{-1/2} L D^{-1/2}\quad\) (symmetric normalized)
• \(L_{rw} := D^{-1}L\quad\) (row normalized)

[Taubin 1995] 最早提到 Laplacian smoothing: \(\hat{Y} = (I-\gamma\tilde{D}^{-1}\tilde{L})X\)

[Von 2007] 证明了 \(L_{sym}\) 和 \(L_{rw}\) 有相同的 \(n\) 个特征值（对应的重数也相同），但对应的特征向量不同。
[Chung,1997] 证明了：如果一个图没有二分结构，那么其对应的 Laplace matrix 的特征值全部落在区间 \([0, 2)\) 中。

[COLT-03] 给出了为何将 \(L := D-A\) 称为 graph Laplacian 的缘由：与偏微分方程中的 Laplacian 算子 \(\Delta f = \frac{\partial^2 f}{\partial^2 x} + \frac{\partial^2 f}{\partial^2 y}+\cdots\) 之间的相似性。

Reference:
[1] AAAI-18. Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning.
[2] Chung, 1997. Spectral Graph Theory. 下载链接
[3] Taubin 1995. A signal processing approach to fair surface design.
[4] Von 2007. A tutorial on spectral clustering.
[5] COLT-03. Kernels and Regularization on Graphs.
[6] ICML-20 workshop. A Note on Over-Smoothing for Graph Neural Networks.