多变量函数的微分学
多变量函数的微分学
矩阵范数
定义
称||⋅||:∪n,m∈NMn,m↦[0,+∞[||⋅||:∪n,m∈NMn,m↦[0,+∞[是一个矩阵范数,若
- ||A||≥0,||A||=0⇔A=0||A||≥0,||A||=0⇔A=0.
- ||aA||=|a|⋅||A||,∀a∈R||aA||=|a|⋅||A||,∀a∈R.
- ||A+B||≤||A||+||B||||A+B||≤||A||+||B||.
- ||AB||≤||A||⋅||B||,A∈Mn,m,B∈Mm,k||AB||≤||A||⋅||B||,A∈Mn,m,B∈Mm,k.
常用的矩阵范数
- 矩阵的2-范数(Hilbert-Schmidt范数):||A||2=√∑ni=1∑mj=1|aij|2,∀A∈Mn,m||A||2=√∑ni=1∑mj=1|aij|2,∀A∈Mn,m.
- 矩阵的算子范数||A||=sup|x|=1|Ax|,∀A∈Mn,m||A||=sup|x|=1|Ax|,∀A∈Mn,m.
RmRm上的范数等价性
对于两个范数||⋅||||⋅||和||⋅||2||⋅||2,称两者等价当且仅当∃c1,c2>0∃c1,c2>0满足∀x,c1||x||≤||x||2≤c2||x||∀x,c1||x||≤||x||2≤c2||x||.(即两个范数可以互相控制).RmRm上的任意两个范数都是等价的.
矩阵范数的等价性
对于两个矩阵范数||⋅||||⋅||和||⋅||∗||⋅||∗有∀n,m∈N,A∈Mn,m,∃a=a(m,n),b=b(m,n)∀n,m∈N,A∈Mn,m,∃a=a(m,n),b=b(m,n)满足a||A||≤||A||∗≤b||A||a||A||≤||A||∗≤b||A||.
Mn,mMn,m与Rn×mRn×m同构⇒||⋅||⇒||⋅||和||⋅||∗||⋅||∗等价.
多变量函数的微分
定义
集合的锥点
设E⊆RmE⊆Rm,称x∈Ex∈E是EE的一个锥点,如果存在矩阵A∈GLm(R)A∈GLm(R)和δ>0δ>0满足∀t∈[0,δ]m,x+At∈E∀t∈[0,δ]m,x+At∈E.(即存在一个以xx为端点的方体,在经过拉伸旋转等变形后包含在EE中).
显然当x∈˚Ex∈˚E,xx一定是EE的锥点(取A=ImA=Im).
方体∏mi=1[ai,bi]∏mi=1[ai,bi]的边界点也是锥点.
考虑锥点可以研究∂E∂E上点的微分.
高阶无穷小
-
假设有映射ϕ:E⊆Rm↦Rn,0∈E′∩Eϕ:E⊆Rm↦Rn,0∈E′∩E,称ϕ(h)ϕ(h)是E∋h→0E∋h→0的高阶无穷小,如果
∀ε>0,∃δ>0,∀h∈B(0,δ)∩E,|ϕ(h)|≤ε|h|∀ε>0,∃δ>0,∀h∈B(0,δ)∩E,|ϕ(h)|≤ε|h|记作ϕ(h)=o(h)(h→0)ϕ(h)=o(h)(h→0).
-
对于f,g:E⊆Rm↦Rn,x)∈E′∩Ef,g:E⊆Rm↦Rn,x)∈E′∩E.称f(x)f(x)是关于E∋x→x0E∋x→x0时相对于g(x)g(x)的高阶无穷小,如果
∀ε>0,∃δ>0,∀x∈B(x,δ)∩E,|f(x)|≤ε|g(x)|∀ε>0,∃δ>0,∀x∈B(x,δ)∩E,|f(x)|≤ε|g(x)|记作f(x)=o(g(x))(x→x0)f(x)=o(g(x))(x→x0).
- o(h)o(h)是向量值,每个分量是o(|h|)o(|h|),且|o(h)|=o(|h|)|o(h)|=o(|h|).
- 若有ϕ:E↦Mn,mϕ:E↦Mn,m,且suph∈E||ϕ(h)||<+∞suph∈E||ϕ(h)||<+∞,这里的||⋅||||⋅||是算子范数.那么有ϕ(h)o(h)=o(h)(h→0)ϕ(h)o(h)=o(h)(h→0).
- o(Ah+o(h))=o(h)o(Ah+o(h))=o(h).
映射的微分
设E⊆RmE⊆Rm,xx是EE的锥点,则称f:E↦Rmf:E↦Rm在xx处可微,如果存在一个线性变换(矩阵)Ax∈Mn,mAx∈Mn,m满足∀h∈E−x(:={z−x|z∈E}),f(x+h)−f(x)=Axh+o(h),(h→0)∀h∈E−x(:={z−x|z∈E}),f(x+h)−f(x)=Axh+o(h),(h→0).此时称AxAx为ff在点xx的微分(或切映射/导映射),记为Ax=df(x)=Df(x)=f′(x)Ax=df(x)=Df(x)=f′(x).如果EE上的每一点都是锥点,且ff在EE上处处可微,则称ff在EE上可微.
关于AxAx的唯一性的证明:
◂ 取x0∈E,假设∀h∈E−x0有{f(x0+h)−f(x0)=Ax0+o(h)f(x0+h)−f(x0)=Bx0+o(h)⇒(A−x0−Bx0)h=o(h)x0是E的锥点,∃C∈GLm(R),η>0满足xo+C[0,η]m⊆E记C=(→c1,→c2…→cm)⇒∀t≤η,1≤i≤m,t→ci∈E−x0又∀ε>0,∃δ>0满足∀h∈B(0,δ)∩(E−x0),|(Ax0−Bx0)h|≤ε|h|.取t=min{δη|ci|}⇒|(Ax0−Bx0)(t→ci)|≤ε|t→ci|⇒|(Ax0−Bx0)(→ci)|≤ε|→ci|⇒(Ax0−Bx0)→ci=0⇒(Ax0−Bx0)C=0⇒Ax0=Bx0. ▸◀ 取x0∈E,假设∀h∈E−x0有{f(x0+h)−f(x0)=Ax0+o(h)f(x0+h)−f(x0)=Bx0+o(h)⇒(A−x0−Bx0)h=o(h)x0是E的锥点,∃C∈GLm(R),η>0满足xo+C[0,η]m⊆E记C=(→c1,→c2…→cm)⇒∀t≤η,1≤i≤m,t→ci∈E−x0又∀ε>0,∃δ>0满足∀h∈B(0,δ)∩(E−x0),|(Ax0−Bx0)h|≤ε|h|.取t=min{δη|ci|}⇒|(Ax0−Bx0)(t→ci)|≤ε|t→ci|⇒|(Ax0−Bx0)(→ci)|≤ε|→ci|⇒(Ax0−Bx0)→ci=0⇒(Ax0−Bx0)C=0⇒Ax0=Bx0. ▶
下面只考虑EE的内点的可微性,结论对锥点也成立.
微分的几何意义
考虑函数f:E⊆Rm↦Rnf:E⊆Rm↦Rn.
函数的图像
记S={(x,y)|x∈E,y=f(x)}S={(x,y)|x∈E,y=f(x)}为ff的图像.
广义平面
对于b∈Rn,A∈Mn,m(R)b∈Rn,A∈Mn,m(R),由方程y=Ax+by=Ax+b决定的曲面,即Pb:={(x,y)∈Rm+n|(−A,I)(xy)=b}Pb:={(x,y)∈Rm+n|(−A,I)(xy)=b}称为一个广义平面.
- 当b=0b=0时,PbPb是一个线性空间,即(−A,I)(xy)=0(−A,I)(xy)=0的解空间.
- 当b≠0b≠0时,设x0x0满足(−A,I)x0=b(−A,I)x0=b,则Pb=P0+x0Pb=P0+x0,是一个仿射线性空间.
切平面与切空间
若x0∈˚Ex0∈˚E,且ff在x0x0处可微,则有f(x)=f(x0)+Df(x0)(x−x0)+o(x−x0),E∋x→x0f(x)=f(x0)+Df(x0)(x−x0)+o(x−x0),E∋x→x0.
记Df(x0)=(→a1→a2⋮→an),P={(x,y)|y−f(x0)=Df(x0)(x−x0),x∈Rm}Df(x0)=⎛⎜ ⎜ ⎜ ⎜⎝→a1→a2⋮→an⎞⎟ ⎟ ⎟ ⎟⎠,P={(x,y)|y−f(x0)=Df(x0)(x−x0),x∈Rm}.
则有∀1≤i≤n,yi−f(x0)i=→ai(x−x0)∀1≤i≤n,yi−f(x0)i=→ai(x−x0).该方程对应了一个Rm+1Rm+1上的超平面HiHi,且(x0,f(x0)i)∈Hi(x0,f(x0)i)∈Hi.PP是一个仿射线性空间且(x0,f(x0))∈P(x0,f(x0))∈P,称之为(x0,f(x0))∈S(x0,f(x0))∈S处的切平面.记y0=f(x0).y0=f(x0).称TS(x0,y0)=P−(x0,y0)TS(x0,y0)=P−(x0,y0)是SS在(x0,y0)(x0,y0)处的切空间,TS(x0,y0)TS(x0,y0)是线性空间.并且有TS(x0,y0)={(h,D(f0)h)|h∈Rm}TS(x0,y0)={(h,D(f0)h)|h∈Rm}.
下面证明SS在(x0,y0)(x0,y0)处的切空间是由过SS中的所有参数曲线σσ在(x0,y0)(x0,y0)处的切向量构成.即TS(x0,y0)={σ′(0)|∃δ>0,σ:[−δ,δ]↦S,σ(0)=(x0,y0)且σ在0处可微}TS(x0,y0)={σ′(0)|∃δ>0,σ:[−δ,δ]↦S,σ(0)=(x0,y0)且σ在0处可微}.
记W={σ′(0)|∃δ>0,σ:[−δ,δ]↦S,σ(0)=(x0,y0)且σ在0处可微}.W={σ′(0)|∃δ>0,σ:[−δ,δ]↦S,σ(0)=(x0,y0)且σ在0处可微}.
-
证明TS(x0,y0)⊆WTS(x0,y0)⊆W.
◂ x0∈˚E,∀h∈Rm,∃δ满足∀t∈[−δ,δ],x0+th∈E⇒σ(t)=(x0+th,f(x0,+th))∈S且σ(0)=(x0,y0)⇒σ′(0)形如(h,ddtf(x0+th)|t=0)=(h,Df(x0)h)∈TS(x0,y0).⇒TS(x0,y0)⊆W. ▸◀ x0∈˚E,∀h∈Rm,∃δ满足∀t∈[−δ,δ],x0+th∈E⇒σ(t)=(x0+th,f(x0,+th))∈S且σ(0)=(x0,y0)⇒σ′(0)形如(h,ddtf(x0+th)|t=0)=(h,Df(x0)h)∈TS(x0,y0).⇒TS(x0,y0)⊆W. ▶ -
证明W⊆TS(x0,y0)W⊆TS(x0,y0).
◂ 设σ:[−δ,δ]↦S满足σ(0)=(x0,y0)则σ(t)=(σx(t),σy(t))∈S,σy(t)=f(σx(t))σ′(0)=(ddtσx(t)|t=0,ddt(f∘σx)(t)|t=0)=(σ′x(0),Df(σx(0))σ′x(0))∈TS(x0,y0).⇒W⊆TS(x0,y0). ▸◀ 设σ:[−δ,δ]↦S满足σ(0)=(x0,y0)则σ(t)=(σx(t),σy(t))∈S,σy(t)=f(σx(t))σ′(0)=(ddtσx(t)|t=0,ddt(f∘σx)(t)|t=0)=(σ′x(0),Df(σx(0))σ′x(0))∈TS(x0,y0).⇒W⊆TS(x0,y0). ▶
RmRm上一般曲面SS上PP点的切空间
若σ:[−δ,δ]↦Sσ:[−δ,δ]↦S满足σ(0)=Pσ(0)=P则σ′(0)σ′(0)称为曲面SS在PP的一个切向量,切向量的全体称为SS在PP处的切空间.即TSP:={σ′(0)|∃δ>0,σ:[−δ,δ]↦S满足σ(0)=P且σ在0处可微}TSP:={σ′(0)|∃δ>0,σ:[−δ,δ]↦S满足σ(0)=P且σ在0处可微}.
而且有
即,Df(x0)是将E在x0处的切空间映射到f(E)在f(x0)处的切空间.因此Df(x0)也被称作切映射.
微分的计算
偏导数
有f:E⊆Rm↦Rn,x∗∈˚E,则∀1≤i≤m,∃δ>0,∀xi∈[x∗i−δ,x∗i+δ],(x∗1,x∗2,⋯,xi,c…,x∗m)∈E,若f(x∗1,x∗2,⋯,xi,c…,x∗m)在x∗i处可导,称ddxif(x∗1,x∗2,⋯,xi,c…,x∗m)|xi=x∗i为f(x)在x∗处关于xi的一阶偏导数,记为∂∂xif(x∗),∂∂xi也称为偏导数算子.也记为∂xif(x∗),Dif(x∗),f′xi(x∗).
不难看出∂∂xif(x∗)存在⇔f(x+t→ei)在t=0处可导.
数值函数微分的计算
-
设E⊆Rm,f:E↦R在x∈˚E处可微,则1≤i≤m,∂∂xif(x)存在且Df(x)=(∂∂x1f(x),∂∂x2f(x),⋯,∂∂xmf(x)).
-
(梯度的定义)若f:E⊆Rm↦R在x处可微,则称∇f(x)=(Df(x))T为f的梯度(列向量).
此时,若记S={(x,f(x))∈Rm+1|x∈E}.则S在点(x0,y0=f(x0))处的切平面P(x0,y0)={(x,y)|y−y0=∇f(x0)(x−x0)}.即P(x0,y0)的法向量为(∇f(x0)−1).
向量值函数微分的计算
有向量值函数f:Rm↦Rn,f(x)=(f1(x),f2(x),⋯fn(x)).
-
(Jacobi矩阵的定义)假设f的所有分量在x∈E处有所有一阶偏导数,则称
Jf(x):=(ai,j=∂fi∂xj(x))n×m=(Df1Df2⋮Dfn)=(∂f1∂x1(x)∂f1∂x2(x)⋯∂f1∂xm(x)∂f2∂x1(x)∂f2∂x2(x)⋯∂f2∂xm(x)⋮⋮⋱⋮∂fm∂x1(x)∂fm∂x2(x)⋯∂fm∂xm(x))为f在x处的Jacobi矩阵(或Jacobi).
-
f:E⊆Rm↦Rn,f=(f1,f2,⋯,fn),x∈˚E,则
- f在x处可微⇔∀1≤j≤n,fj在x处可微.
- 若f在x处可微,则Df(x)=Jf(x).
-
f:E⊆Rm↦Rn,f=(f1,f2,⋯,fn),x∈˚E,若f在x处可微,则有f在x处连续.
偏导数与可微性
-
可微性可以推出偏导数存在,但偏导数存在不能推出可微.一个例子是
f(x,y)={0xy=01xy≠0∂∂xf(0,0)与∂∂yf(0,0)都存在,但f在(0,0)处不连续.
切平面存在和m个切向量存在有本质不同.
-
f:Rm↦Rn,f=(f1,f2,⋯fn),x∗∈˚E.
- (偏导数有界⇒连续)若∃δ>0满足B(x∗,δ)⊆E且∀1≤i≤n,1≤j≤m,supx∈B(x∗,δ)|∂fi∂xj(x)|≤M<+∞,则f在x∗处连续.即若f的每个偏导数都在以x∗附近有界,f在x∗处连续.
- (Jacobi连续⇒可微)若∃δ>0满足B(x∗,δ)⊆E且Jf(x)在B(x∗,δ)上存在且在x∗处连续,则f在x∗处可微.(Jf(x)在x∗处连续指x→x∗时||Jf(x)−Jf(x∗)||→0).
C1函数类
若f:E⊆Rm↦Rn,∀1≤i≤n,1≤j≤m,∂fi∂xj∈C(E;R))则称f∈C1(E;Rn).
即C1(E;Rn)={f:E↦Rn|Jf(x)∈C(E,Mn,m)}.
E为Rm上开集,则f∈C1(E;Rn)⇔f在E上可微且Jf(x)在E上连续.
微分法的基本定律
线性算子
若T:(X,+,⋅,F)↦(Y,+,⋅,F)满足
- T(x+y)=Tx+Ty,∀x,y∈X
- ∀x∈X,a∈F,T(ax)=aTx
则称T是X到Y的线性算子.
微分与四则运算
若f:E⊆Rm↦Rn1,g:E⊆Rm↦Rn2均在x∈˚E处可微,则
- n1=n2时,D(αf+βg)(x)=αDf(x)+βDg(x).
- n2=1时,D(fg)(x)=Dfg(x)+fDg(x),若g(x)≠0,则D(fg)(x)=Dfg−fDgg2(x).
总的来说和R上的函数类似,注意矩阵运算规则即可.
复合映射的微分法
设f:X⊆Rm↦Y⊆Rn在点x∈˚X处可微,f(x)∈˚Y,g:Y↦Rk在y=f(x)处可微,则g∘f:X↦Rk在x处可微且
由此我们得知
-
若g(y)=(g1(y),g2(y),⋯,gk(y))T,y=f(x)=(f1(x),f2(x),⋯,fn(x))T.则
∂∂xj(gi∘f)(x)=n∑l=1∂∂ylgi(y)∂∂xjfl(x) -
(数值函数的复合求导公式)若f:X⊆Rm↦Rn,g:Y↦R,x∈˚X,f(x)∈˚Y则
D(g∘f)(x)=(∂∂x1(g∘f)(x),∂∂x2(g∘f)(x),⋯,∂∂xm(g∘f)(x))∂∂xi(g∘f)(x)=n∑l=1∂∂ylg(y)∂∂xifl(x)|y=f(x) -
设E⊆Rm是开集,f:E↦Rn处处可微,σ:I↦E处处可微(其中I是一个区间),则(f∘σ):I↦Rn处处可微,且
(f∘σ)′(t)=Df(σ(t))σ′(t),∀t∈I
微分中值不等式
欧式空间中的线段
若x,y∈Rm,定义[x,y]=[y,x]={tx+(1−t)y|t∈[0,1]},(x,y)=(y,x)={tx+(1−t)y|t∈(0,1)}为Rm中以xy为端点的闭线段与开线段.特别地,x=y时[x,y]=x.
微分中值不等式
设f:E⊆Rm↦Rn,x,y∈Rm满足[x,y]⊆E,(x,y)⊆˚E.f在[x,y]上连续且在(x,y)上处处可微,则∃ξ∈(x,y)满足
其中||⋅||是矩阵的算子范数.
由此有推论:
- 设Ω∈Rm是区域(连通开集),f:Ω↦Rn在Ω上处处可微,若∀x∈Ω,Df(x)=0,则f(x)≡C.
方向导数与梯度
方向导数
设x0∈Rm,f:B(x0,δ)↦R,给定非零向量→v∈Rm则若
存在且有限,则称D→vf(x0)为f在x0处沿着方向→v的导数,当|→v|=1时,称D→v(x)为f在x0处沿方向→v的方向导数.
显然偏导数是方向导数,且方向导数存在并不能说明f可微.
如果令σ(t)=x0+t→v,则有D→v(x0)=ddt(f∘σ)|t=0.
由复合求导的公式,若f在x0处可微,有D→v(x0)=Df(σ(0))σ′(0)=Df(x0)→v.因此
且f沿着正梯度方向(→v=∇f(x0)|∇f(x0)|)上升最快,负梯度方向(→v=−∇f(x0)|∇f(x0)|)下降最快.
多元数值函数的微分学
中值定理
有f:E⊆Rm↦R,[x,y]⊆E,(x,y)⊆˚E.f在[x,y]上连续且在(x,y)上可微,而∃θ∈(0,1)满足
或者
有推论:设Ω∈Rm是区域(连通开集),f:Ω↦R在Ω上处处可微,若∀x∈Ω,∇f(x)=0,则f(x)≡C.
高阶偏导数
(下面记Di=∂∂xi)
-
(定义):Ω是Rm上的开集,f:Ω↦R的一阶偏导数Dif(x)存在,若x↦Dif(x)在x0∈Ω处有一阶偏导数∂∂xj(Dif),则记
DjDif(x0):=∂2∂xj∂xif(x0):=∂∂xj(∂∂xif(x0))为f在x0处的一个二阶偏导数.若所有二阶偏导数在Ω上处处存在,则称f是Ω内的一个二阶偏导函数.
-
更一般地,称
DinDin−1…Di1f(x0):=∂n∂xin∂xin−1…∂xi1f(x0)=∂∂xin∂∂xin−1…∂∂xi1f(x0)为f在x0处的一个n阶偏导数.
偏导数的换序问题
-
(Ck函数类):若Ω是Rm上的开集,则
Ck(Ω;R)={f:Ω↦R|f所有阶数不大于k的偏导数在Ω上都存在且连续}那么显然有:
- C(Ω;R)⊇C1(Ω;R)⊇⋯Ck(Ω;R)⊇Ck+1(Ω;R)⊇⋯
- C∞:=∩k∈NCk(Ω;R)
-
(偏导数算子):若α=(α1,α2,⋯,αm)∈Nm(并记|α|=∑mj=1αj),则称
Dα:=∂α1x1∂α2x2⋯∂αmxm=(∂∂x1)α1(∂∂x2)α2⋯(∂∂xm)αm是一个α阶的偏导数算子.特别地,约定当αi=0时有∂αixi=∂0xi:=Id(恒等算子).
-
设m≥2,Ω是Rm上的开集,f∈Cr(Ω;R).则∀2≤k≤r,f的k阶偏导数∂k∂x1∂x2⋯∂xmf(x)不依赖于偏导数的顺序,即x1,x2⋯xm可交换次序.
-
(单次式的偏导数计算公式):设α=(α1,α2,⋯,αm),β=(β1,β2,⋯,βm),α,β∈Nm.定义
|α|=m∑j=1αjαβ=αβ11αβ22⋯αβmmβ!=β1!β2!⋯βm!由组合意义,可以发现
(m∑i=1αi)n=∑|β|=nn!β!αβ该结论可以延伸至交换环A上(A是具有乘法运算的线性空间,且加法乘法满足交换律,结合律和对应的分配律).
对于Rm上的开集Ω和f∈Ck(Ω;R),∀1≤n≤k,h=(h1,h2,⋯,hm),t∈[0,1]有
-
(m∑i=1hiDi)n(c1f+c2g)=∑|α|=nn!α!hαDα(c1f+c2g)
dndtn(f(x0+th))=(m∑i=1hi∂∂xi)nf(x0+th)=∑|α|=nn!α!hα(Dαf)(x0+th)同时有单次式的偏导数计算公式:
Dβxα={α!(α−β)!xα−βα−β∈Nm0α−β∉Nm -
多变量函数的Taylor公式
设Ω是Rm上的开集,n∈N,f∈Cn+1(Ω;R),x0∈Ω.∀x∈Ω,[x0,x]⊆Ω有
-
(具有Lagrange型余项的Taylor公式)
f(x)=n∑k=0∑|α|=kDαf(x0)α!(x−x0)α+∑|α|=n+1Dαf(ξ)α!(x−x0)α其中ξ∈(x0,x).∑nk=0∑|α|=kDαf(x0)α!(x−x0)α称为Taylor多项式.
-
(具有积分型余项的Taylor公式)
f(x)=n∑k=0∑|α|=kDαf(x0)α!(x−x0)α+(n+1)∑|α|=n+1(x−x0)αα!∫10(1−t)n(Dαf)(x0+t(x−x0))dt. -
(具有o(|x−x0|n)型余项的Taylor公式)
f(x)=n∑k=0∑|α|=kDαf(x0)α!(x−x0)α+o(|x−x0|n)
联系一元函数进行记忆:
φ(x)=n∑i=0φ(i)(x0)i!(x−x0)i+φ(n+1)(ξ)(n+1)!(x−x0)n+1,ξ=tx0+(1−t)x,t∈(0,1)φ(x)=n∑i=0φ(i)(x0)i!(x−x0)i+1n!∫xx0(x−t)nφ(n+1)(t)dtφ(x)=n∑i=0φ(i)(x0)i!(x−x0)i+o(|x−x0|n)
- (Taylor公式的唯一性)
Hessian矩阵
称
为f在x处的Hessian矩阵.
Hessian矩阵与二阶Taylor公式
设Ω是Rm上的开集,f∈C2(Ω;R).x0∈Ω,则∀x∈Ω,[x0,x]⊆Ω有
函数的极值问题
局部极值的定义
f:E⊆Rm↦R,x0∈˚E.若∃δ>0,B(x0,δ)⊆E满足∀x∈B(x0,δ),f(x)≥f(x0)(或f(x)≤f(x0)).则称x0是f的一个局部极小值点(或局部极大值点).f(x0)称为f的一个局部极小值(或局部极大值).
将以上≤替换为<,≥替换为>,则得到严格局部极小(大)值的定义.
可以类似定义整体最小(大)值,即f(x0)=minx∈Ef(x)(或f(x0)=maxx∈Ef(x)).
临界点的定义
设f:E⊆Rm↦Rn,x0∈˚E,若f在x0处可微且r(Df(x0))<min(n,m),则称x0为f的一个临界点,并称f(x0)为f的一个临界值.
特别地,当n=1即f为数值函数时,r(Df(x0))<1⇔∂f∂x1(x0)=∂f∂x2(x0)=⋯=∂f∂xm(x0).
Fermat极值原理
若f:E⊆Rm↦R,x0∈˚E,f在x0处可微.若x0是f的局部极值点,则x0是f的临界点.
即局部极值只能在临界点取到.
Rolle定理
Ω是Rm上的有界开集,f:¯Ω↦R连续且在Ω内可微.若f|∂Ω≡C,则∃ξ∈Ω,∇f(ξ)=0.
由Rolle定理和Fermat极值原理,可以得出:
Hessian矩阵判别
Ω是Rm上开集,f∈C2(Ω;R),设x0∈Ω是f的一个临界点,即∇f(x0)=0.则:
-
若Hf(x0)正定,则x0是f的一个严格局部极小值点.
-
若Hf(x0)负定,则x0是f的一个严格局部极大值点.
-
若x0是f的一个局部极小值点,则Hf(x0)半正定.
-
若x0是f的一个局部极大值点,则Hf(x0)半负定.
-
若Hf(x0)不定,则x0不是f的极值点.
临界点不一定是极值点,例如:
f(x,y)=x2−y2这个函数的形状类似马鞍面.不难发现(0,0)是f的临界点但不是极值点.
称不是极值点的临界点为f的"鞍点".
凸函数与凹函数的微分性质
凸函数的可微性
若Ω⊆Rm是凸开集,f:Ω↦R是凸函数,则
-
∀x∈Ω,f在x处可微⇔∃!V(x)满足∀y∈Ωf(y)≥f(x)+(V(x),y−x).即支撑平面唯一.此时V(x)=∇f(x).
-
若f∈C2(Ω;R),则f是凸函数⇔∀x∈Ω,Hf(x)半正定.
可以发现对于一般凸函数f:Ω↦R和x0∈˚Ω有x0是临界点⇔x0是整体最小值点.
凸函数的方向导数
定义
若Ω是Rm上的凸开集,f:Ω↦R是凸函数,B(x,δ)⊆Ω.则
-
∀→v∈Rm,D+→vf(x)存在.
-
D+a→vf(x)=aD+→vf(x),∀a>0且D+a→v+b→uf(x)≤aD+→vf(x)+bD+→uf(x),∀a,b>0,a+b=1.
-
|D+→vf(x)|≤L|→v|且|D+→vf(x)−D+→uf(x)|≤L|→v−→u|.
其中L是f在B(x,δ)上的Lipschitz连续系数.(凸函数在局部Lipschitz连续)
-
∀h∈B(0,δ),f(x+h)−f(x)−D+hf(x)=o(h).
Lipschitz函数f有全部偏导数⇔f可微.(不依赖凸性)
隐函数和反函数定理
隐函数问题
假设F(x0,y0)=0,x0∈Rm,y0∈Rn.求B(x0,δx)(或B(y0,δy))及其上的函数y=f(x)(或x=g(y)).满足F(x,f(x))=0(或(g(y),y)=0).
考虑最简单的情形.
若detA≠0,则有y=A−1(b−Bx)(detB≠0同理).
当r(A)<m时方程有多解或方程无解.不难发现F(x0,y0)=0排除了方程无解的情况.
Ck(Ω;Mn,l)函数类
设Ω是Rm上的开集,A:x∈Ω↦A(x)=(aij(x))n×l∈Mn,l.称A∈Ck(Ω;Mn,l)如果∀x∈Ω,1≤i≤n,1≤j≤l,aij(x)∈Ck(Ω,R).
即A的每个分量在Ω上都是Ck函数.
压缩映射的不动函数
U⊆Rm,V⊆Rn均为开集,Φ=(Φ1,Φ2,⋯,Φn)T:UׯV↦Rn满足
- Φ(UׯV)⊆V
- ∃0<q<1,∀x∈U,y,z∈¯V,|Φ(x,y)−Φ(x,z)|≤q|y−z|.(称Φ在¯V上是一致压缩的)
那么有
-
∀x∈U,∃!y∈V,Φ(x,y)=y.(由此引入f:U↦V,f(x)↦y,∀x∈U).
-
若Φ∈C(UׯV;V),则f∈C(U;V).
-
若Φ∈C(UׯV;V),则f∈C(U;V).
-
∀1≤k≤+∞,若Φ∈Ck(UׯV;V),则f∈Ck(U;V).且(I−DyΦ)在U×V上处处可逆,并有
Df(x)=(I−(DyΦ)(x,y))−1DxΦ(x,y)|y−f(x)
局部隐函数定理
Ω⊆Rm+n,F∈Ck(Ω;Rn).假设→p0∈Ω满足
- F(→p0)=0
- r((DF)(p0))=n.(即(DF)(p0)∈Mn,n+m行满秩)
则∃δ>0,η>0满足¯B(x0;δ)ׯB(y0,η)⊆Ω且
-
∀(x,y)∈¯B(x0;δ)ׯB(y0,η),det(DyF)(x,y)≠0
-
∀x∈B(x0,δ),∃!y∈B(y0,η)满足F(x,y)=0.由此,记f:B(x0,δ)↦B(y0,η),f(x)=y⇒F(x,f(x))=0,∀x∈B(x0,δ)且f(x0)=y0
此时称f是方程F(x,y)=0在(x0,y0)附近确定的满足f(x0)=y0的隐函数.
-
f∈Ck(B(x0,δ),B(y0,η))且Df(x)=−(DyF(x,y))−1(DxF)(x,y)|y=f(x)=−(DyF)(x,f(x))−1(DxF)(x,f(x)),∀x∈B(x0,δ).
反函数定理及应用
定义
同胚
设A⊆Rn,B⊆Rm,若f:A↦B是连续双射,即f∈C(A;B),f−1∈C(B;A).则称f:A↦B是一个同胚映射,若AB之间存在一个同胚映射,那么AB是同胚的.
微分同胚
设U,V是Rm上的开集,f:U↦V是同胚映射.若f和f−1都是可微函数,则称f:U↦V是一个微分同胚.进一步,若f∈Ck(U;V),f−1∈Ck(V;U),则称f是一个Ck类微分同胚(k=+∞时是光滑微分同胚).此时UV是Ck类微分同胚.
开映射
设Ω是Rm上的开集,若f将Ω中的开集映射到Rm中的开集,则称f是一个开映射.
区域
称G⊆Rm为一个区域,如果G是连通开集.
邻域
称U(x0)是x0的一个邻域,如果∃δ>0满足B(x0,δ)⊆U(x0).由于开集可以写成互不相交的联通分支的并,不妨假定U(x0)是一个区域.
可微映射的开映射定理
设Ω是Rm上的开集,f:Ω↦Rm可微且∀x∈Ω,det(Df(x))≠0,则f是开映射.
上面的条件∀x∈Ω,det(Df(x))≠0不是必备的,事实上有:
Brouwer区域不动定理
若Ω是Rm上的开集,f:Ω↦Rm连续且局部是一一映射,那么f是开映射.
事实上由之后的反函数定理,det(Df(x0))≠0⇒在x0附近f是一一映射.
反函数的可微性与微分法
设Ω是Rm上的开集,f:Ω↦Rm是单射且可微,满足∀x∈Ω,det(Df(x))≠0,则f(Ω)是开集并且
即
局部反函数定理
设Ω是Rm上的开集,f∈Ck(Ω;Rm),1≤k≤+∞.x0∈Ω满足(Df)(x0)可逆,即det(Df(x0))≠0,则存在x0的邻域U(x0)⊆Ω及f(x0)的邻域V(f(x0))⊆f(Ω).使得f:U↦V是Ck类微分同胚.此外
整体反函数定理
设Ω是Rm上的开集,f∈Ck(Ω;Rm),k≥1.若f满足
- f是Ω上的单射
- ∀x∈Ω,det(Df(x))≠0
则f:Ω↦f(Ω)是Ck类微分同胚且
反函数定理的应用
球极坐标(球面坐标)
x=(x1,x2⋯xm)=Ψ(r,θ1,θ2⋯θm−1),其中m≥2,r≥0,∀1≤i<m−1,θi∈[0,π],θm−1∈[0,2π].
具体的定义为:
有:
-
m=2时,(x,y)=Ψ(r,θ),Ψ在[0,+∞)×[0,2π)上是满射,在(0,+∞)×(0,2π)上是单射,且
∂(x,y)∂(r,θ)=r -
m=3时,Ψ在[0,+∞)×[0,π]×[0,2π]上是满射,在(0,+∞)×(0,π)×(0,2π)上是单射,且
∂(x,y,z)∂(r,θ1,θ2)=r2sinθ1 -
m≥4时,Ψ在[0,+∞)×[0,π]m−2×[0,2π]上是满射,在(0,+∞)×(0,π)m−2×(0,2π)上是单射,且
∂(x1,x2⋯xm)∂(r,θ1,θ2⋯θm−1)=rm−1sinm−2θ1sinm−3θ2⋯sinθm−2
同胚映射
- Rm中任意m维开空间和Rm是C∞同胚
- Rm中任意m维开球和Rm是C∞同胚
利用同胚确定曲面的维数
设P0=(x∗,y∗)∈Rk×Rn−k(1≤k<n).记I(x∗):=∏ki=1(x∗I−δ,x∗i−δ),J(y∗):=∏n−kj=1(y∗j−δ,y∗j+δ)且y∗=f(x∗).
考虑曲面S(P0)={(x,f(x))|x∈I(x∗)}
∃φ:U(P0)(:=I(x∗)×J(y∗))↦(−1,1)n是Ck类同胚.满足:
- φ(P0)=0
- φ(S(P0))=(−1,1)k×{0}
局部展平技术
若f:Ω⊆Rm↦Rn,函数图像S(f)={(x,f(x))|x∈Ω},有:
若f∈Ck(Ω;Rn),ψ是Ck类微分同胚.
映射的秩与函数相关性
秩定理
考虑f:Rm↦Rn,P∈Mn,Q∈Mm是置换矩阵.
若定义ˆf(x):=(P∘f∘Q)(x)
则f(x)=(P−1∘ˆf∘Q−1)(x)
如有必要,可以对x的分量与f的分量进行置换.
若P0∈Rm,U(P0)是P0的一个邻域.设f∈Ck(U(P0);Rn),k≥1满足∀p∈U(P0),rank(Df(p))≡r.
则有:
-
若r=m<n(即列满秩).存在P0的一个邻域O(P0),O(P0)⊆U(P0)以及m维的开空间I,且存在Ck同胚φ:O(P0)↦I.同时存在f(P0)的一个邻域O(f(P0))⊆Rn以及其上的Ck同胚ψ:O(f(P0))↦ψ(O(f(P0)))⊆Rn.满足f(O(P0))⊆O(f(P0))且:
ψ∘f∘φ−1(u)≡(u0)∈Rn,∀u∈I -
若r=n<m(即行满秩).存在P0的一个邻域O(P0),O(P0)⊆U(P0),以f(P0)为中心的n维开空间I,m−n维开空间J以及Ck同胚φ:O(P0)↦I×J.满足:
f∘φ−1(uv)≡u,∀(u,v)∈I×J -
若r<min(m,n).存在P0的一个邻域O(P0),O(P0)⊆U(P0),r维开空间I,m−r维开空间J,Ck同胚φ:O(P0)↦I×J以及f(P0)的一个邻域O(f(P0))⊆Rn,Ck同胚ψ:O(f(P0))↦ψ(O(f(P0)))⊆Rn.满足f(O(P0))⊆O(f(P0))且:
ψ∘f∘φ−1(uv)≡(u0)∈Rn,∀(u,v)∈I×J
函数相关性与独立性
定义
设U是Rm上的开集,有函数组f1,f2⋯fn∈C(U;R).记f=(f1,f2⋯fn).称函数组f1,f2⋯fn在U(x0)上是函数独立的,如果
否则,称f1,f2⋯fn在U(x0)上是函数相关.
函数相关性的定理
TBC
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战