Commute Time Distance

概
符号说明
主要内容

Fouss F., Pirotte A., Renders J. M. and Saerens M. Random-walk computation of similarities between nodes of a graph, with application to collaborative recommendation. IEEE Transactions on Knowledge and Data Engineering (TKDE), 2007.

概

本文介绍 first-passage time / cost 以及相应的 CTD (Commute Time Distance) 的显式计算公式.

符号说明

$\mathcal{G} = \{\mathcal{V}, \mathcal{E}\}$ , 图;
$\mathcal{V} = \{v_1, \ldots, v_n\}$ , 顶点;
$\mathcal{E} = \{e_{ij}\}$ , 边集;
$W \in \mathbb{R}^{n \times n}$ , $w_{ij}$ 为边 $e_{ij}$ 上的权重, 若 $w_{ij} = 0$ 表示 $i, j$ 之间不存在边;
$\bm{d} \in \mathbb{R}^n$ , $d_i = \sum_j w_{ij}$ ;
$D := \text{diag}(\bm{d}) \in \mathbb{R}^{n \times n}$ , 对角化;
$L := D - W$ , 带权重的 Laplacian 矩阵;
$P = D^{-1}W \in \mathbb{R}^{n \times n}$ , $p_{ij} = P(j|i) = w_{ij} / d_i$ , 转移概率 ( $i \rightarrow j$ ).

假设图 $\mathcal{G}$ 是连通图, 此时可证明 $\text{rank}(L) = n - 1$ , 此时我们可以将 $L$ 表示为:

$\tag{1} L = U\Lambda U^T = \sum_{i=2}^n \lambda_i \bm{u}_i \bm{u}_i^T,$
其中

$U = [\bm{u}_2, \ldots, \bm{u}_n] \in \mathbb{R}^{n \times (n - 1)}, \\ \Lambda = \text{diag}([\lambda_2, \ldots, \lambda_n]) \in \mathbb{R}^{(n - 1) \times (n - 1)}, \\ 0 < \lambda_2 \le \ldots \le \lambda_n;$
注意到

$\tag{2} L \bm{1} = \bm{0},$
故实际上 $\bm{1}$ 是 $L$ 的对应 $\lambda_1 = 0$ 的特征向量,
于是我们可以定义其 $L$ 的伪逆

$L^{\dagger} := U \Lambda^{-1} U^T,$
且满足

$LL^{\dagger} = L^{\dagger}L = \sum_{i = 2}^n \bm{u}_i \bm{u}^T = I - \frac{1}{n} \bm{1}\bm{1}^T.$

主要内容

Random Walk

Random Walk 是指给定状态 $s(t) = i$ , 然后按照概率 $P(s(t + 1) = j | s(t) = i) = p_{ij}$ 的概率进行转移, 由此可以采样一个序列:

[s (0), s (1), \dots] .

$[s(0), s(1), \ldots].$

time/cost/distance

假设从状态 $s(t) = i$ 直接转移到状态 $s(t+1) = j$ 需要消耗 $c_{ij}$ , 则从 $s(0)$ 到 $s(t)$ 总共消耗了:

\sum_{τ = 1}^{t} c_{s (τ - 1) s (τ)},

$\sum_{\tau=1}^t c_{s(\tau - 1)s(\tau)},$

自然地, 我们关心从状态 $i$ 出发首次抵达状态 $j$ 所需的消耗:

ξ (i, j | s) = \sum_{τ = 1}^{T_{i j}} c_{s (τ - 1) s (τ)}, T_{i j} = min (t \geq 0 | s (t) = k and s (0) = i) .

$\xi(i, j | s) = \sum_{\tau=1}^{T_{ij}} c_{s(\tau - 1)s(\tau)}, \\ T_{ij} = \min (t \ge 0 | s(t) = k \text{ and } s(0) = i).$

注意到, $c_{ij} \equiv 1, \forall i, j$ , $\xi(i, j|s) = T_{ij}$ .

那么对于整个图 $\mathcal{G}$ 而言, 从状态 $i$ 到状态 $j$ 的平均消耗可以定义为:

\begin{matrix} (3) & o (j | i) := E_{s} [ξ (i, j | s)], \end{matrix}

$\tag{3} o(j|i) := \mathbb{E}_{s} [\xi(i,j|s)],$

特别地定义

\begin{matrix} (4) & m (j | i) := E_{s} [T_{i j}] . \end{matrix}

$\tag{4} m(j|i) := \mathbb{E}_{s} [T_{ij}].$

为状态 $i$ 到状态 $j$ 的平均首达时间.

此外, 我们可以用马氏链的方式去理解 (3) (4):

\begin{matrix} (5) & o (j | i) = p_{i j} \cdot c_{i j} + \sum_{k \neq j} p_{i k} (c_{i k} + o (j | k)), j \neq i, o (i | i) = 0. \end{matrix}

$\tag{5} o(j|i) = p_{ij} \cdot c_{ij} + \sum_{k \not = j} p_{ik} \big(c_{ik} + o(j|k) \big), \: \ j \not = i, \\ o(i|i) = 0.$

即从状态 $i$ 到状态 $j$ 的消耗等价于直接到 $j$ 的消耗 $p_{ij} c_{ij}$ 加上先到其它点 $j$ 的消耗 $p_{ik} c_{ik}$ 然后加上再从这个 $k$ 到 $j$ 的消耗 $p_{ik} o(j | k)$ . 类似地

\begin{matrix} (6) & m (j | i) = p_{i j} + \sum_{k \neq j} p_{i k} (1 + m (j | k)), j \neq i, m (i | i) = 0. \end{matrix}

$\tag{6} m(j|i) = p_{ij} + \sum_{k \not = j} p_{ik} \big(1 + m(j|k) \big), \: j \not = i, \\ m(i|i) = 0.$

无论是 $o(j|i)$ 还是 $m(j|i)$ , 一般来讲都不具有对称性, 而以下的 CTD 则符合这一性质. Commute-time distance 定义为:

n (i, j) = m (j | i) + m (i | j),

$n(i, j) = m(j|i) + m(i|j),$

此时满足一个距离的定义:
$n(i, j) \ge 0 \ n(i, j) = 0 \Leftrightarrow i = j \ n(i, j) = n(j, i) \ n(i, j) \le n(i, k) + n(k, j).$
注: 证明请参考文章中的参考文献.

私以为, 可以定义一个类似的 commute-cost distance

o (j | i) + o (i | j),

$o(j|i) + o(i|j),$

不知道有没有类似的概念存在.

利用伪逆求解 o, m

o (j | i) = \sum_{k} (L_{i k}^{†} - L_{j k}^{†} + L_{j j}^{†} - L_{i j}^{†}) d_{k} r_{k}, m (j | i) = \sum_{k} (L_{i k}^{†} - L_{j k}^{†} + L_{j j}^{†} - L_{i j}^{†}) d_{k} .

$o(j|i) = \sum_k (L_{ik}^{\dagger} - L_{jk}^{\dagger} + L_{jj}^{\dagger} - L_{ij}^{\dagger} ) d_k r_k, \\ m(j|i) = \sum_k (L_{ik}^{\dagger} - L_{jk}^{\dagger} + L_{jj}^{\dagger} - L_{ij}^{\dagger} ) d_k. \\$

其中 $r_k = \sum_j p_{kj} c_{kj}$ .

proof:

定义 $O = [o(j|i)], C = [c_{ij}]$ , 此外我们用 $\bm{o}_i, \bm{c}_i$ 来表示 $O, C$ 的第 $i$ 行, 其它的也是类似规定的.
注意到 ( $j \not = i$ )

\begin{array}{ll} o_{i j} = o (j | i) & = p_{i j} c_{i j} + \sum_{k \neq j} p_{i k} (c_{i k} + o_{k j}) \\ = [\sum_{k \neq j} p_{i k} (c_{i k} + o_{k j}) + p_{i j} (c_{i k} + {\tilde{o}}_{j j})] - p_{i j} {\tilde{o}}_{j j} . \end{array}

$\begin{array}{ll} o_{ij} = o(j|i) &=p_{ij} c_{ij} + \sum_{k \not = j} p_{ik}(c_{ik} + o_{kj}) \\ &=[\sum_{k \not = j} p_{ik}(c_{ik} + o_{kj}) + p_{ij} (c_{ik} + \tilde{o}_{jj})] - p_{ij} \tilde{o}_{jj}. \end{array}$

其中 $\tilde{o}_{jj}$ 是人为给定的数, 其存在的目的是为了方便我们用矩阵的形式表达.
令 $\bm{r} \in \mathbb{R}^n$ 满足 $r_i = \bm{p}_i^T \bm{c}_i$ , 并记 $\tilde{O}$ 满足 $[\tilde{O}]_{ii} = \tilde{o}_{ii}, [\tilde{O}]_{ij} = o_{ij}, j \not = i$ , 则
用矩阵形式表达即为:

\begin{matrix} (A1) & [\tilde{O}]_{i j} = [r 1^{T} + P (\tilde{O} - {\tilde{O}}_{d})]_{i j} j \neq i, \end{matrix}

$\tag{A1} [\tilde{O}]_{ij} = [\bm{r} \bm{1}^T + P(\tilde{O} - \tilde{O}_d)]_{ij} \: j \not = i,$

其中 $\tilde{O}_d := \text{diag}([\tilde{o}_{11},\ldots, \tilde{o}_{nn}])$ .

我们再来考察下列方程:

\begin{matrix} (A2) & \tilde{O} = r 1^{T} + P (\tilde{O} - {\tilde{O}}_{d}), \end{matrix}

$\tag{A2} \tilde{O} = \bm{r} \bm{1}^T + P(\tilde{O} - \tilde{O}_d),$

一般说来, 因为 $\tilde{O}_d$ 是给定的, 所以 (A1, A2) 是等价的 (如果二者均存在解), 但是注意到:

\begin{array}{ll} d^{T} \tilde{O} & = d^{T} r 1^{T} + d^{T} P (\tilde{O} - {\tilde{O}}_{d}) \\ = d^{T} r 1^{T} + d^{T} (\tilde{O} - {\tilde{O}}_{d}) \leftarrow d^{T} P = d^{T}, \end{array}

$\begin{array}{ll} \bm{d}^T \tilde{O} &=\bm{d}^T \bm{r} \bm{1}^T + \bm{d}^T P (\tilde{O} - \tilde{O}_d) \\ &=\bm{d}^T \bm{r} \bm{1}^T + \bm{d}^T (\tilde{O} - \tilde{O}_d) \: \leftarrow \bm{d}^T P = \bm{d}^T, \end{array}$

故 (A2) 有解必须满足:

\begin{matrix} (A3) & d^{T} {\tilde{O}}_{d} = d^{T} r 1^{T} \to {\tilde{o}}_{i i} = \frac{d^{T} r}{d_{i}} . \end{matrix}

$\tag{A3} \bm{d}^T \tilde{O}_d = \bm{d}^T \bm{r} \bm{1}^T \rightarrow \tilde{o}_{ii} = \frac{\bm{d}^T \bm{r}}{d_{i}}.$

这意味着, 倘若我们想通过 (A2) 来求解方程, 那么 $\tilde{O}_d$ 必须满足 (A3) 的条件.

故我们现在求解的思路是:

用 (A3) 的值指定 $o_{ii}$ ;
然后用 (A2) 求解 $\tilde{O}$ ;
令 (保证 $o_{ii} = 0$ ):
$O = \tilde{O} - \tilde{O}_d,$
此时 $O$ 为 (A1) 的解.

但是我们可以取巧, 直接通过下列方程求解 $O$ :

\tilde{O} - {\tilde{O}}_{d} = r 1^{T} + P (\tilde{O} - {\tilde{O}}_{d}) - {\tilde{O}}_{d} \leftrightarrow O = r 1^{T} + P O - {\tilde{O}}_{d} \leftrightarrow O = r 1^{T} + D^{- 1} W O - {\tilde{O}}_{d} \leftrightarrow D O = D r 1^{T} + W O - D {\tilde{O}}_{d} \leftrightarrow L O = D r 1^{T} - D {\tilde{O}}_{d} \leftrightarrow L^{†} L O = L^{†} D [r 1^{T} - {\tilde{O}}_{d}] \leftrightarrow (I - \frac{1}{n} 11^{T}) O = L^{†} D [r 1^{T} - {\tilde{O}}_{d}] .

$\tilde{O} - \tilde{O}_d = \bm{r}\bm{1}^T + P (\tilde{O} - \tilde{O}_d) - \tilde{O}_d \\ \leftrightarrow O = \bm{r}\bm{1}^T + PO - \tilde{O}_d \\ \leftrightarrow O = \bm{r}\bm{1}^T + D^{-1} W O - \tilde{O}_d \\ \leftrightarrow DO = D \bm{r}\bm{1}^T + W O - D \tilde{O}_d \\ \leftrightarrow LO = D \bm{r}\bm{1}^T - D \tilde{O}_d \\ \leftrightarrow L^{\dagger}LO = L^{\dagger} D [\bm{r}\bm{1}^T - \tilde{O}_d] \\ \leftrightarrow (I - \frac{1}{n} \bm{11}^T) O = L^{\dagger} D [\bm{r}\bm{1}^T - \tilde{O}_d]. \\$

令 $\bm{z}^T = \frac{1}{n} \bm{1}^T O$ 可得:

o_{i j} = z_{j} + \sum_{k} (L_{i k}^{†} - L_{i j}^{†}) d_{k} r_{k},

$o_{ij} = z_j + \sum_k (L_{ik}^{\dagger} - L_{ij}^{\dagger}) d_k r_k,$

通过 $o_{jj} = 0$ 可以得到

z_{j} = \sum_{k} (L_{j j}^{†} - L_{j k}^{†}) d_{k} r_{k},

$z_{j} = \sum_k (L_{jj}^{\dagger} - L_{jk}^{\dagger}) d_k r_k,$

于是

\begin{matrix} (A4) & o (j | i) = o_{i j} = \sum_{k} (L_{i k}^{†} - L_{j k}^{†} + L_{j j}^{†} - L_{i j}^{†}) d_{k} r_{k} . \end{matrix}

$\tag{A4} o(j|i) = o_{ij} = \sum_k (L_{ik}^{\dagger} - L_{jk}^{\dagger} + L_{jj}^{\dagger} - L_{ij}^{\dagger} ) d_k r_k.$

因为上式对于 $o(i, i) = 0$ 也满足, 所以 (A4) 就是最终的解. 此外, 在 $c_{ij} \equiv 1$ 的时候, $r_k = 1$ , 故

\begin{matrix} (A5) & m (j | i) = o_{i j} = \sum_{k} (L_{i k}^{†} - L_{j k}^{†} + L_{j j}^{†} - L_{i j}^{†}) d_{k} . \end{matrix}

$\tag{A5} m(j|i) = o_{ij} = \sum_k (L_{ik}^{\dagger} - L_{jk}^{\dagger} + L_{jj}^{\dagger} - L_{ij}^{\dagger} ) d_k.$

CTD

通过上面的结论, 我们可以知道

n (i, j) = m (j | i) + m (i | j) = (L_{i i}^{†} + L_{j j}^{†} - 2 L_{i j}^{†}) v o l (G) .

$n(i, j) = m(j|i) + m(i|j) = (L_{ii}^{\dagger} + L_{jj}^{\dagger} - 2L_{ij}^{\dagger}) vol(\mathcal{G}).$

这里 $vol(\mathcal{G}) = \sum_k d_k$ .

假设我们为每个结点 $v_i$ 指定一个 embedding $\bm{x}_i \in \mathbb{R}^{n-1}$ , 满足

X = [x_{1}, x_{2}, \dots, x_{n}] = Λ^{- \frac{1}{2}} U^{T} \in R^{(n - 1) \times n} .

$X = [\bm{x}_1, \bm{x}_2, \ldots, \bm{x}_n] = \Lambda^{-\frac{1}{2}} U^T \in \mathbb{R}^{(n - 1) \times n}.$

则

L^{†} = X^{T} X,

$L^{\dagger} = X^TX,$

于是

‖ x_{i} - x_{j} ‖_{2}^{2} = L_{i i}^{†} + L_{j j}^{†} - 2 L_{i j}^{†} .

$\|\bm{x}_i - \bm{x}_j\|_2^2 = L_{ii}^{\dagger} + L_{jj}^{\dagger} - 2L_{ij}^{\dagger}.$

故

n (i, j) = v o l (G) ‖ x_{i} - x_{j} ‖_{2}^{2} .

$n(i, j) = vol(\mathcal{G}) \|\bm{x}_i - \bm{x}_j\|_2^2 .$

故 CTD 实际上衡量了'最优' embeddings 的一个 $\|\cdot \|_2^2$ 度量.

posted @ 2022-07-24 19:05 馒头and花卷阅读(164) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· Graph Laplacians and Laplacian Embedding

· Neural Ordinary Differential Equations

· 做题笔记 III

· 做题笔记 II

· 2023~2024 赛季模拟赛记录

阅读排行：
· Obsidian + DeepSeek：免费 AI 助力你的知识管理，让你的笔记飞起来！
· 分享4款.NET开源、免费、实用的商城系统
· 解决跨域问题的这6种方案，真香！
· 一套基于 Material Design 规范实现的 Blazor 和 Razor 通用组件库
· 5. Nginx 负载均衡配置案例(附有详细截图说明++)

馒头and花卷

Commute Time Distance

概

符号说明

主要内容

Random Walk

time/cost/distance

利用伪逆求解 o, m

CTD

公告

搜索

随笔分类

Python相关

概率论-论文

收藏

优化问题-论文