最优化基础（三）

最优化基础（三）1

函数的可微性与展开

定义：设有n 元实函数f(x), 其中自变量x=(x1,⋯,xn)T∈Rn 称向量

∇f(x)=(∂f(x)∂x1,∂f(x)∂x2,⋯,∂f(x)∂xn)T

为f(x)在x处的一阶导数或梯度。称矩阵

∇2f(x)=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜∂2f(x)∂x21∂2f(x)∂x2∂x1⋮∂2f(x)∂xn∂x1∂2f(x)∂x1∂x2∂2f(x)∂x22⋮∂2f(x)∂xn∂x2⋯⋯⋮⋯∂2f(x)∂x1∂xn∂2f(x)∂x2∂xn⋮∂2f(x)∂x2n⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

为f(x) 在x处的二阶导数或Hesse 矩阵. 若梯度∇f(x)的每个分量函数在x都连续, 则称f在x 一阶连续可微；若Hesse 阵∇2f(x)的各个分量函数都连续，则称f 在x 二阶连续可微.

若f 在开集D的每一点都连续可微，则称f 在D上一阶连续可微；若f 在开集D 的每一点都都二阶连续可微，则称f在D上二阶连续可微.

泰勒展开

设函数f:Rn→R 连续可微，那么

f(x+h)=f(x)+∫10∇f(x+τh)Thdτ=f(x)+∇f(x+ξh)Th,ξ∈(0,1)=f(x)+∇f(x)Th+o(∥h∥)

进一步, 若函数f是二次连续可微的, 则有

f(x+h)=f(x)+∇f(x)Th+∫10(1−τ)hT∇2f(x+τh)hdτ=f(x)+∇f(x)Th+12hT∇2f(x+ξh)h,ξ∈(0,1)=f(x)+∇f(x)Th+12ht∇2f(x)h+o(∥h∥2)

及

∇f(x+h)=∇f(x)+∫10∇2f(x+τh)Thdτ=∇f(x)+∇2f(x+ξh)Th,ξ∈(0,1)=∇f(x)+∇2f(x)Th+o(∥h∥)

设有向量值函数F=(F1,F2,⋯,Fm)T:Rn→Rm,若每个分量函数Fi都是(连续) 可微的，则称F 是(连续) 可微的.向量值函数F 在x 的导数F′∈Rm×n是指它在x的Jacobi 矩阵, 记为F′(x) 或JF(x), 即

F′(x):=JF(x):=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜∂F1(x)∂x1∂F2(x)∂x1⋮∂Fm(x)∂x1∂F1(x)∂x2∂F2(x)∂x2⋮∂Fm(x)∂x2⋯⋯⋮⋯∂F1(x)∂xn∂F2(x)∂xn⋮∂Fm(x)∂xn⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

考虑到标量函数的梯度定义, 有时也把向量函数F的Jacobi 矩阵的转置称为F 在x 的梯度，记为

∇F(x)=JF(x)T=(∇F1(x),∇F2(x),⋯,∇Fm(x))

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩