谱图论:Laplacian算子及其谱性质

1 Laplacian 算子

给定无向图G=(V,E),我们在上一篇博客《谱图论:Laplacian二次型和Markov转移算子》中介绍了其对应的Laplacian二次型:

E[f]=12Euv[(f(u)f(v))2]

这里f:VR为图的顶点标签,uv表示服从均匀分布的随机无向边(u,v)E。直观地理解,Laplacian二次型刻画了图的“能量”(energy)。E[f]的值越小,也就意味着f更加“光滑”(smooth),即其值不会沿着边变化得太剧烈。

事实上,我们可以做进一步地等价变换:

E[f]=12Euv[(f(u)f(v))2]=f,fEuv[f(u)f(v)]=f,ff,Kf=f,IfKf=f,(IK)f

K为我们在上一篇博客中提到的MarKov转移算子,它满足:(Kf)(u)=Evu[f(v)]

对于最后一个等式而言,我们称算子

L=IK

为图G(归一化)Laplacian算子。

对于d-正则图G而言,我们有

L=I1dA=1d(dIA)

这里AG的邻接矩阵,dIA被称为非归一化Laplacian算子,或直接被简称为Laplacian算子。

K一样,L也是定义在函数空间F={f:VR}上的线性算子,按照以下规则将fF映射到LfF,满足

Lf(u)=f(u)Evu[f(v)]

通过研究L,我们就能把握Laplacian二次型E[f]=f,Lf的特性,从而把握图G的特性,这是谱图理论中至关重要的一点。

接下来再来看我们熟悉的那个示性函数例子。

设图顶点的子集SV, 0-1示性函数f=IS用于指示顶点是否在集合S中,即:

f(u)={1 if uS0 if uS

则我们有:

f,Lf=E[f]=Pruv[uS,vS]f,f=Euπ[f(u)2]=Pruπ[uS]=vol(S)

直观地理解,这里Pruv[uS,vS]表示“伸出”S的边占总边数的比例;vol(S)表示S的“体积”。则上述两式的比值

f,Lff,f=Pruv[vSuS]=Pr[pick a random uSproportional to the degree, do  1 step, that you get out of S][0,1]

表示从集合S中的“逃出”概率。我们将这个比值称为S电导(conductance)(我们在博客《图数据挖掘:重叠和非重叠社区检测算法》中介绍过,当时是用来衡量社区划分的质量,这个值越小说明划分得越好),用Φ[S]表示。

2 再论Laplacian二次型的极值

有了L,那么最小化/最大化E[f]的问题就可以进行进一步的研究了。考虑下列优化问题:

maxE[f]=f,Lf=12Euv[(f(u)f(v))2]continous func. f: RnRs.t.f22=f,f=Euπ[f(u)2]=1compat set, ellipsoid in Rn(Var[f]=1)

存在一个极大值点φ:VR,它满足:

Lφ=λφ for some λR

也即Lφφ。此外,该极大点也可以被有效地找到。

推论

E[φ]=φ,Lφ=φ,λφ=λφ,φ=λ[0,2]

事实

E[φ]=Euπ[φ(u)]=Euπ[φ(u)1]=0φ,1=0φ1Var[φ]=1

下面我们来证明为什么E[f]的极大值点φ满足Lφφ

证明 我们采用反证法,即假设极大值点φ满足Lφφ,如下图所示:

证明Lphi平行于phi

由于Lφφ,那么我们可以现在Lφφ之间的垂线方向上取f=φ+εψε0是一个很小的数,ψ为单位向量),根据勾股定理有f22=1+ϵ2。则:

E[f]=f,Lf=(1)φ+εψ,Lφ+Lεψ=(2)φ,Lφ+εϕ,Lψ+εψ,LφL is self-adjoint+ε2ψ,Lψ=(3)φ,Lφ+2εψ,Lφ>0+O(ϵ2)>φ,Lφ

(其中等式(3)用到了自伴算子的定义)而这与φ为极大值点相矛盾。因此,E[f]的极大值点φ满足Lφφ

3 Laplacian算子的谱性质

在上一小节,我们已经证明了φ是一个极大值点。现在我们不采用φ及所有与φ平行的解,而将解限制在与φ相正交的子空间中。这样,优化问题就变为了:

Max f,Lfcontinous func. s.t.f22=f,f=1compat set,fφ

求解该优化问题可以采用与之前相同的思路,也即存在极大值点φ满足:

Lφ=λφ for some λλand E[φ]=0(φ,1=0)

这里λ<λ的原因是λ已经对应了极大值点,而我们添加了新的约束使fφ,故这里λ对应的是第二大的极值点。

重复这个步骤,不断寻找第3大,第4大……的极大值点,并使其与之前找到的所有极大值点正交,直到找到最后一个(第n大的)极大值点。在这个过程中得到的极大值点都会11为全1向量),而最后一个极大值点即为所剩的1向量本身,此时有

L1=0

由此可见最后一个特征值(最小的特征值)为0。

通过上面所述的步骤,我们可以找到Laplacian算子的n个相互正交的规范化特征向量(范数为1)及其对应的特征值。而这事实上和我们在线性代数课程中所学过的谱定理密切相关。

谱定理T为一个实向量空间V上的自伴算子,则V有一个由T的特征向量组成的规范正交基(orthonormal basis)φ1,φ2,,φn,每个特征向量分别对应于实特征值λ1,λ2,,λn

我们前面证明过Markov转移算子K是自伴的,则L=IK也是自伴的(事实上,又由于f,Lf0L还是半正定的)。于是,关于图G的Laplacian算子就有以下定理:

定理 给定G及其Laplacian算子L,则存在规范正交基(函数)1φ1,φ2,,φn及实数0=λ1λ2λn2满足:

Lφi=λiφi

我们将λ2和更广泛的λkk为一个较小的值)称为低频(low-frequency) 特征值,而将λn称为高频(high-frequency) 特征值。

事实上,除了讨论Laplacian算子L之外,我们也可以讨论Markov转移算子K的特征向量及特征值。由L=IK,我们有

Kφi=(IL)φi=IφiLφi=φiλiφi=(1λi)φi,

K拥有特征向量φi及其相伴的特征值 κi=1λi,且1κnκ2κ1=1

定义 给定f:VR和正交基φ1,φ2,φn,那么f能够唯一地表示为φi的一个线性组合:

f=f^(1)φ1+f^(2)φ2+f^(n)φn,f^(i)R

这个性质会为我们带来许多新的结论。

命题L应用于f,就得到了:

Lf=λ1f^(1)φ10+λ2f^(2)φ2++λnf^(n)φn

可以看到,L应用于f可以转换为分别去应用于正交基。为了方便,我们常常会使用如下所示的记号:

Lf^(i)=λif^(i)

此外,我们也可以使用规范正交基来简化我们内积和范数的表示。

命题 给定另一个函数

g=g^(1)φ1++g^(n)φn

fg的内积

f,g=i,jf^(i)g^(j)φi,φj=1inf^(i)g^(i)

推论

根据内积我们可以诱导出范数

f22=f,f=1inf^(i)2

f的均值可表示为:

E[f]=Euπ[f(u)]=f,1=f,φ1=f^(1)

可以看到,f沿规范正交基的展开式中的第一项就是均值乘单位向量:

f=f^(1)E[f]φ11+f^(2)φ2+f^(n)φn,f^(i)R

f的方差可表示为:

Var[f]=E[f2]E[f]2=1in[f^(i)2]f^(1)2=1<inf^(i)2

(注意第1f^(1)2f^(1)2抵消掉了)

Laplacian二次型E[f]可表示为:

E[f]=f,Lf=i,jλif^(i)f^(j)φi,φj=1<inλif^(i)2

(注意第1项由于λ1=0就消失了)

参考

[1] CMU 15-751: TCS Toolkit
[2] Bilibili: CMU计算机科学理论(完结)—你值得拥有的数学和计算机课)
[3] Spielman D. Spectral graph theory[J]. Combinatorial scientific computing, 2012, 18: 18.
[4] Axler S. Linear algebra done right[M]. springer publication, 2015.

posted @   orion-orion  阅读(658)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验
点击右上角即可分享
微信分享提示