NEU(Fst Network Embedding Enhancement via High Order Proximity Approximation)

NEU(Fst Network Embedding Enhancement via High Order Proximity Approximation)

NEU：通过对高阶相似性的近似，加持快速网络嵌入

NRL的框架总结

• First, Clarify the notations and formalize the problem of NRL.
• Then, Introduce the concept of k-order proximity.
• Finally, Summarize an NRL framework based on proximity matrix factorization and show that the aforementioned NRL methods fall into the category.

定义本文处理的图是无权无向图。这也是他的局限性。这是一个NEU算法的缺点!

对角阵 \(D_{ii}=d_i\)是\(v_i\)节点的度。\(A=D^{-1} \widetilde A\) ，是对邻接矩阵\(\widetilde A\)的归一化结果。
Laplacian Matrix: \(\widetilde L = D - \widetilde A\), 这是把\(\widetilde A\)全取反再在对角线上加上\(v_i\)的度数。
Normalized Laplacian Matrix: $ L = D^{-\frac{1}{2}}\widetilde L D^{-\frac{1}{2}} $

这俩Laplacian matrix 拿来何用？

K-order proximity

$ A\(和\)\widetilde L$ characterize 一阶相似性，建模局部节点对的proximity。
还是沿用GraRep的K-step转移概率矩阵：transition probability matrix 作为k-order proximity matrix.
\(A^k = \underbrace{A \cdot A ... A}_{k}\)

NRL Framework

Step1: Proximity Matrix Construction 相似性矩阵建立
相似性矩阵\(M \in \mathbb R^{|V|\times |V|}\)编码了 \(k\) 阶相似性，\(k = 1,2,...,K\) .有\(A\)是normalized邻接矩阵， \(M=\frac{A+A^2+...+A^K}{K}\)表示了K阶相似性矩阵的联合再平均。\(M\)通常是由\(A\)的\(K\)级的多项式表示，文章记为\(f(A) \in \mathbb R^{|V|\times |V|}\), \(K\)级是多少，depends on 相似度矩阵proximity matrix要表达的最大的proximity阶数。

Step2: Dimension Reduction 维数约减
寻找2个矩阵，\(R\) 和 \(C\).

• \(R \in \mathbb R^{|V|\times d}\) 是节点的低维向量表达,
• \(C \in \mathbb R^{|V|\times d}\)是context角色时，节点的低维向量表达。

矩阵的乘积\(R \cdot C^T\)就是对原网络的相似性矩阵\(M\)的近似。这里，不同的算法对\(R \cdot C^T\)和\(M\)的距离有不同的描述，employ different distance function. 比如，用\(M- R \cdot C^T\)

前人的方法与本框架的关系
Spectral Clustering:
DeepWalk:
GraRep:
TADW:
LINE:

观察和Problem Formalization

既然是2步框架，第一步是建立proximity matrix，怎么建立一个好的proximity matrix for NRL.在这篇文章里讨论。
至于第二步，维数约减，future Work.

Observation 1: 更高阶的，和更精确的proximity matrix可以提升模型的学习效果。也就是说，如果探索一个更高阶的polynomial proximity matrix \(f(A)\)，NRL可以因此受益。

Observation 2：对大规模网络来说，对高阶的proximity matrix的精确计算是不可行的。实际上对proximity matrix的计算takes \(O(|V|^2)\) time. SVD的时间复杂度也随k 的增大，get dense，从而增加。

其实Observation1&2是矛盾的，前者要更精确，更高阶。后者又表明越高阶越难算。
因此如何高效地获得高阶的proximity matrix变为一个问题。
文章的解决方案是，先对低阶的proximity matrix的信息进行编码，以此作为一个基础，来避免重复的计算。

问题的构建：
有个假设，\(R\)和\(C\)是某个NRL算法学到的表达，\(R \cdot C^T\) 对\(K\)阶的多项式proximity matrix \(f(A)\) 构成近似。目的就是学到一个更好的\(R'\)和\(C'\)，它俩可以构成对\(g(A)\)的近似，这个\(g(A)\)比\(f(A)\)更高阶。并且，算法还要高效，should be efficient in the linear time of \(|V|\). 注意，时间复杂度下界是\(O(|V|d)\) ，which is the size of embedding matrix \(R\).