1 Laplacian 算子
给定无向图G = ( V , E ) G = ( V , E ) ,我们在上一篇博客《谱图论:Laplacian二次型和Markov转移算子》 中介绍了其对应的Laplacian二次型:
E [ f ] = 1 2 ⋅ E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ] E [ f ] = 1 2 ⋅ E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ]
这里f : V → R f : V → R 为图的顶点标签,u ∼ v u ∼ v 表示服从均匀分布的随机无向边( u , v ) ∈ E ( u , v ) ∈ E 。直观地理解,Laplacian二次型刻画了图的“能量”(energy)。E [ f ] E [ f ] 的值越小,也就意味着f f 更加“光滑”(smooth),即其值不会沿着边变化得太剧烈。
事实上,我们可以做进一步地等价变换:
E [ f ] = 1 2 ⋅ E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ] = ⟨ f , f ⟩ − E u ∼ v [ f ( u ) f ( v ) ] = ⟨ f , f ⟩ − ⟨ f , K f ⟩ = ⟨ f , I f − K f ⟩ = ⟨ f , ( I − K ) f ⟩ E [ f ] = 1 2 ⋅ E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ] = ⟨ f , f ⟩ − E u ∼ v [ f ( u ) f ( v ) ] = ⟨ f , f ⟩ − ⟨ f , K f ⟩ = ⟨ f , I f − K f ⟩ = ⟨ f , ( I − K ) f ⟩
这K K 为我们在上一篇博客中提到的MarKov转移算子,它满足:( K f ) ( u ) = E v ∼ u [ f ( v ) ] ( K f ) ( u ) = E v ∼ u [ f ( v ) ] 。
对于最后一个等式而言,我们称算子
L = I − K L = I − K
为图G G 的 (归一化)Laplacian 算子。
注 对于d d -正则图G G 而言,我们有
L = I − 1 d A = 1 d ( d I − A ) L = I − 1 d A = 1 d ( d I − A )
这里A A 为G G 的邻接矩阵,d I − A d I − A 被称为非归一化Laplacian算子,或直接被简称为Laplacian算子。
和K K 一样,L L 也是定义在函数空间F = { f : V → R } F = { f : V → R } 上的线性算子,按照以下规则将f ∈ F f ∈ F 映射到L f ∈ F L f ∈ F ,满足
L f ( u ) = f ( u ) − E v ∼ u [ f ( v ) ] , L f ( u ) = f ( u ) − E v ∼ u [ f ( v ) ] ,
通过研究L L ,我们就能把握Laplacian二次型E [ f ] = ⟨ f , L f ⟩ E [ f ] = ⟨ f , L f ⟩ 的特性,从而把握图G G 的特性,这是谱图理论中至关重要的一点。
接下来再来看我们熟悉的那个示性函数例子。
例 设图顶点的子集S ⊆ V S ⊆ V , 0-1示性函数f = I S f = I S 用于指示顶点是否在集合S S 中,即:
f ( u ) = { 1 if u ∈ S 0 if u ∉ S f ( u ) = { 1 if u ∈ S 0 if u ∉ S
则我们有:
⟨ f , L f ⟩ = E [ f ] = Pr u ∼ v [ u ∈ S , v ∉ S ] ⟨ f , f ⟩ = E u ∼ π [ f ( u ) 2 ] = Pr u ∼ π [ u ∈ S ] = vol ( S ) ⟨ f , L f ⟩ = E [ f ] = Pr u ∼ v [ u ∈ S , v ∉ S ] ⟨ f , f ⟩ = E u ∼ π [ f ( u ) 2 ] = Pr u ∼ π [ u ∈ S ] = vol ( S )
直观地理解,这里Pr u ∼ v [ u ∈ S , v ∉ S ] Pr u ∼ v [ u ∈ S , v ∉ S ] 表示“伸出”S S 的边占总边数的比例;vol ( S ) vol ( S ) 表示S S 的“体积”。则上述两式的比值
⟨ f , L f ⟩ ⟨ f , f ⟩ = Pr u ∼ v [ v ∉ S ∣ u ∈ S ] = Pr ⎡ ⎢
⎢ ⎣ pick a random u ∈ S proportional to the degree , do 1 step, that you get out of S ⎤ ⎥
⎥ ⎦ ∈ [ 0 , 1 ] ⟨ f , L f ⟩ ⟨ f , f ⟩ = Pr u ∼ v [ v ∉ S ∣ u ∈ S ] = Pr [ pick a random u ∈ S ⏟ proportional to the degree , do 1 step, that you get out of S ] ∈ [ 0 , 1 ]
表示从集合S S 中的“逃出”概率。我们将这个比值称为S S 的电导(conductance) (我们在博客《图数据挖掘:重叠和非重叠社区检测算法》 中介绍过,当时是用来衡量社区划分的质量,这个值越小说明划分得越好),用Φ [ S ] Φ [ S ] 表示。
2 再论Laplacian二次型的极值
有了L L ,那么最小化/最大化E [ f ] E [ f ] 的问题就可以进行进一步的研究了。考虑下列优化问题:
max E [ f ] = ⟨ f , L f ⟩ = 1 2 E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ] continous func. f : R n → R s.t. ∥ f ∥ 2 2 = ⟨ f , f ⟩ = E u ∼ π [ f ( u ) 2 ] = 1 compat set , ellipsoid in R n ( ⇔ Var [ f ] = 1 ) max E [ f ] = ⟨ f , L f ⟩ = 1 2 E u ∼ v [ ( f ( u ) − f ( v ) ) 2 ] ⏟ continous func. f : R n → R s.t. ‖ f ‖ 2 2 = ⟨ f , f ⟩ = E u ∼ π [ f ( u ) 2 ] = 1 ⏟ compat set , ellipsoid in R n ( ⇔ Var [ f ] = 1 )
存在一个极大值点φ : V → R φ : V → R ,它满足:
L φ = λ φ for some λ ∈ R , L φ = λ φ for some λ ∈ R ,
也即L φ ∥ φ L φ ∥ φ 。此外,该极大点也可以被有效地找到。
推论
E [ φ ] = ⟨ φ , L φ ⟩ = ⟨ φ , λ φ ⟩ = λ ⟨ φ , φ ⟩ = λ ∈ [ 0 , 2 ] E [ φ ] = ⟨ φ , L φ ⟩ = ⟨ φ , λ φ ⟩ = λ ⟨ φ , φ ⟩ = λ ∈ [ 0 , 2 ]
事实
E [ φ ] = E u ∼ π [ φ ( u ) ] = E u ∼ π [ φ ( u ) ⋅ 1 ] = 0 ⇔ ⟨ φ , 1 ⟩ = 0 ⇔ φ ⊥ 1 Var [ φ ] = 1 E [ φ ] = E u ∼ π [ φ ( u ) ] = E u ∼ π [ φ ( u ) ⋅ 1 ] = 0 ⇔ ⟨ φ , 1 ⟩ = 0 ⇔ φ ⊥ 1 Var [ φ ] = 1
下面我们来证明为什么E [ f ] E [ f ] 的极大值点φ φ 满足L φ ∥ φ L φ ∥ φ 。
证明 我们采用反证法,即假设极大值点φ φ 满足L φ ∦ φ L φ ∦ φ ,如下图所示:
由于L φ ∦ φ L φ ∦ φ ,那么我们可以现在L φ L φ 与φ φ 之间的垂线方向上取f = φ + ε ψ f = φ + ε ψ (ε ≠ 0 ε ≠ 0 是一个很小的数,ψ ψ 为单位向量),根据勾股定理有∥ f ∥ 2 2 = 1 + ϵ 2 ‖ f ‖ 2 2 = 1 + ϵ 2 。则:
E [ f ] = ⟨ f , L f ⟩ ( 1 ) = ⟨ φ + ε ψ , L φ + L ε ψ ⟩ ( 2 ) = ⟨ φ , L φ ⟩ + ε ⟨ ϕ , L ψ ⟩ + ε ⟨ ψ , L φ ⟩ L is self-adjoint + ε 2 ⟨ ψ , L ψ ⟩ ( 3 ) = ⟨ φ , L φ ⟩ + 2 ε ⟨ ψ , L φ ⟩ > 0 + O ( ϵ 2 ) > ⟨ φ , L φ ⟩ E [ f ] = ⟨ f , L f ⟩ = ( 1 ) ⟨ φ + ε ψ , L φ + L ε ψ ⟩ = ( 2 ) ⟨ φ , L φ ⟩ + ε ⟨ ϕ , L ψ ⟩ + ε ⟨ ψ , L φ ⟩ ⏟ L is self-adjoint + ε 2 ⟨ ψ , L ψ ⟩ = ( 3 ) ⟨ φ , L φ ⟩ + 2 ε ⟨ ψ , L φ ⟩ ⏟ > 0 + O ( ϵ 2 ) > ⟨ φ , L φ ⟩
(其中等式( 3 ) ( 3 ) 用到了自伴算子的定义)而这与φ φ 为极大值点相矛盾。因此,E [ f ] E [ f ] 的极大值点φ φ 满足L φ ∥ φ L φ ∥ φ 。
3 Laplacian算子的谱性质
在上一小节,我们已经证明了φ φ 是一个极大值点。现在我们不采用φ φ 及所有与φ φ 平行的解,而将解限制在与φ φ 相正交的子空间中。这样,优化问题就变为了:
Max ⟨ f , L f ⟩ continous func. s.t. ∥ f ∥ 2 2 = ⟨ f , f ⟩ = 1 compat set , f ⊥ φ Max ⟨ f , L f ⟩ ⏟ continous func. s.t. ‖ f ‖ 2 2 = ⟨ f , f ⟩ = 1 ⏟ compat set , f ⊥ φ
求解该优化问题可以采用与之前相同的思路,也即存在极大值点φ ′ φ ′ 满足:
L φ ′ = λ ′ φ ′ for some λ ′ ⩽ λ , and E [ φ ′ ] = 0 ( ⇔ ⟨ φ ′ , 1 ⟩ = 0 ) L φ ′ = λ ′ φ ′ for some λ ′ ⩽ λ , and E [ φ ′ ] = 0 ( ⇔ ⟨ φ ′ , 1 ⟩ = 0 )
这里λ ′ < λ λ ′ < λ 的原因是λ λ 已经对应了极大值点,而我们添加了新的约束使f ∦ φ f ∦ φ ,故这里λ ′ λ ′ 对应的是第二大的极值点。
重复这个步骤,不断寻找第3大,第4 4 大……的极大值点,并使其与之前找到的所有极大值点正交,直到找到最后一个(第n n 大的)极大值点。在这个过程中得到的极大值点都会⊥ ⊥ 于1 1 (1 1 为全1向量),而最后一个极大值点即为所剩的1 1 向量本身,此时有
L 1 = 0 L 1 = 0
由此可见最后一个特征值(最小的特征值)为0。
通过上面所述的步骤,我们可以找到Laplacian算子的n n 个相互正交的规范化特征向量(范数为1)及其对应的特征值。而这事实上和我们在线性代数课程中所学过的谱定理密切相关。
谱定理 若T T 为一个实向量空间V V 上的自伴算子,则V V 有一个由T T 的特征向量组成的规范正交基(orthonormal basis)φ 1 , φ 2 , ⋯ , φ n φ 1 , φ 2 , ⋯ , φ n ,每个特征向量分别对应于实特征值λ 1 , λ 2 , ⋯ , λ n λ 1 , λ 2 , ⋯ , λ n 。
我们前面证明过Markov转移算子K K 是自伴的,则L = I − K L = I − K 也是自伴的(事实上,又由于⟨ f , L f ⟩ ⩾ 0 ⟨ f , L f ⟩ ⩾ 0 ,L L 还是半正定的)。于是,关于图G G 的Laplacian算子就有以下定理:
定理 给定G G 及其Laplacian算子L L ,则存在规范正交基(函数)1 ≡ φ 1 , φ 2 , ⋯ , φ n 1 ≡ φ 1 , φ 2 , ⋯ , φ n 及实数0 = λ 1 ⩽ λ 2 ⩽ ⋯ ⩽ λ n ⩽ 2 0 = λ 1 ⩽ λ 2 ⩽ ⋯ ⩽ λ n ⩽ 2 满足:
L φ i = λ i φ i L φ i = λ i φ i
我们将λ 2 λ 2 和更广泛的λ k λ k (k k 为一个较小的值)称为低频(low-frequency) 特征值,而将λ n λ n 称为高频(high-frequency) 特征值。
事实上,除了讨论Laplacian算子L L 之外,我们也可以讨论Markov转移算子K K 的特征向量及特征值。由L = I − K L = I − K ,我们有
K φ i = ( I − L ) φ i = I φ i − L φ i = φ i − λ i φ i = ( 1 − λ i ) φ i , K φ i = ( I − L ) φ i = I φ i − L φ i = φ i − λ i φ i = ( 1 − λ i ) φ i ,
则K K 拥有特征向量φ i φ i 及其相伴的特征值 κ i = 1 − λ i κ i = 1 − λ i ,且− 1 ⩽ κ n ⩽ ⋯ ⩽ κ 2 ⩽ κ 1 = 1 − 1 ⩽ κ n ⩽ ⋯ ⩽ κ 2 ⩽ κ 1 = 1 。
定义 给定f : V → R f : V → R 和正交基φ 1 , φ 2 , ⋯ φ n φ 1 , φ 2 , ⋯ φ n ,那么f f 能够唯一地表示为φ i φ i 的一个线性组合:
f = ^ f ( 1 ) φ 1 + ^ f ( 2 ) φ 2 + ⋯ ^ f ( n ) φ n , ^ f ( i ) ∈ R f = f ^ ( 1 ) φ 1 + f ^ ( 2 ) φ 2 + ⋯ f ^ ( n ) φ n , f ^ ( i ) ∈ R
这个性质会为我们带来许多新的结论。
命题 将L L 应用于f f ,就得到了:
L f = λ 1 ^ f ( 1 ) φ 1 0 + λ 2 ^ f ( 2 ) φ 2 + ⋯ + λ n ^ f ( n ) φ n , L f = λ 1 f ^ ( 1 ) φ 1 ⏟ 0 + λ 2 f ^ ( 2 ) φ 2 + ⋯ + λ n f ^ ( n ) φ n ,
可以看到,L L 应用于f f 可以转换为分别去应用于正交基。为了方便,我们常常会使用如下所示的记号:
ˆ L f ( i ) = λ i ^ f ( i ) L f ^ ( i ) = λ i f ^ ( i )
此外,我们也可以使用规范正交基来简化我们内积和范数的表示。
命题 给定另一个函数
g = ^ g ( 1 ) φ 1 + ⋯ + ^ g ( n ) φ n , g = g ^ ( 1 ) φ 1 + ⋯ + g ^ ( n ) φ n ,
则f f 和g g 的内积
⟨ f , g ⟩ = ∑ i , j ^ f ( i ) ^ g ( j ) ⟨ φ i , φ j ⟩ = ∑ 1 ⩽ i ⩽ n ^ f ( i ) ⋅ ^ g ( i ) ⟨ f , g ⟩ = ∑ i , j f ^ ( i ) g ^ ( j ) ⟨ φ i , φ j ⟩ = ∑ 1 ⩽ i ⩽ n f ^ ( i ) ⋅ g ^ ( i )
推论
根据内积我们可以诱导出范数
∥ f ∥ 2 2 = ⟨ f , f ⟩ = ∑ 1 ⩽ i ⩽ n ^ f ( i ) 2 , ‖ f ‖ 2 2 = ⟨ f , f ⟩ = ∑ 1 ⩽ i ⩽ n f ^ ( i ) 2 ,
f f 的均值可表示为:
E [ f ] = E u ∼ π [ f ( u ) ] = ⟨ f , 1 ⟩ = ⟨ f , φ 1 ⟩ = ˆ f ( 1 ) E [ f ] = E u ∼ π [ f ( u ) ] = ⟨ f , 1 ⟩ = ⟨ f , φ 1 ⟩ = f ^ ( 1 )
可以看到,f f 沿规范正交基的展开式中的第一项就是均值乘单位向量:
f = ^ f ( 1 ) E [ f ] φ 1 1 + ^ f ( 2 ) φ 2 + ⋯ ^ f ( n ) φ n , ^ f ( i ) ∈ R , f = f ^ ( 1 ) ⏟ E [ f ] φ 1 ⏟ 1 + f ^ ( 2 ) φ 2 + ⋯ f ^ ( n ) φ n , f ^ ( i ) ∈ R ,
f f 的方差可表示为:
Var [ f ] = E [ f 2 ] − E [ f ] 2 = ∑ 1 ⩽ i ⩽ n [ ^ f ( i ) 2 ] − ^ f ( 1 ) 2 = ∑ 1 < i ⩽ n ^ f ( i ) 2 Var [ f ] = E [ f 2 ] − E [ f ] 2 = ∑ 1 ⩽ i ⩽ n [ f ^ ( i ) 2 ] − f ^ ( 1 ) 2 = ∑ 1 < i ⩽ n f ^ ( i ) 2
(注意第1 1 项^ f ( 1 ) 2 − ^ f ( 1 ) 2 f ^ ( 1 ) 2 − f ^ ( 1 ) 2 抵消掉了)
Laplacian二次型E [ f ] E [ f ] 可表示为:
E [ f ] = ⟨ f , L f ⟩ = ∑ i , j λ i ^ f ( i ) ^ f ( j ) ⟨ φ i , φ j ⟩ = ∑ 1 < i ⩽ n λ i ^ f ( i ) 2 E [ f ] = ⟨ f , L f ⟩ = ∑ i , j λ i f ^ ( i ) f ^ ( j ) ⟨ φ i , φ j ⟩ = ∑ 1 < i ⩽ n λ i f ^ ( i ) 2
(注意第1 1 项由于λ 1 = 0 λ 1 = 0 就消失了)
参考
[1] CMU 15-751: TCS Toolkit
[2] Bilibili: CMU计算机科学理论(完结)—你值得拥有的数学和计算机课 )
[3] Spielman D. Spectral graph theory[J]. Combinatorial scientific computing, 2012, 18: 18.
[4] Axler S. Linear algebra done right[M]. springer publication, 2015.
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验