最优化基础（二）
向量和矩阵范数
在算法的收敛性分析中，需要用到向量和矩阵范数的概念及其有关理论。范数(norm)，是具有“长度”概念的函数。
设Rn 表示实n维向量空间，Rn×n 表示实n阶矩阵全体所组成的线性空间.在这两个空间中，我们分别定义向量和矩阵的范数.
向量范数
向量x∈Rn的范数∥x∥是一个非负数，它必须满足以下条件:
1.非负性: ∥x∥≥0,且∥x∥=0当且仅当x=0时成立 。
2.齐次性:∥λ⋅x∥=|λ|⋅∥x∥,λ∈R
3.三角不等式:||x+y||≤||x||+||y||
向量x=(x1,⋯,xn)T的p-范数定义为
∥x∥p=(∑i=1n|xi|p)1p
可以验证
p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为
闵可夫斯基(Minkowski）不等式。
常用的向量范数有:
1-范数，计算方式为向量所有元素的绝对值之和
||x||1=∑i=1n|xi|
2-范数，计算方式跟欧式距离的方式一致。
||x||2=(∑i=1n|xi|2)2
∞-范数，所有向量元素中的最大值。
||x||∞=maxi|xi|
−∞-范数，所有向量元素中的最小值。
||x||−∞=mini|xi|
## 矩阵范数
矩阵A∈Rn×n的范数是一个非负实数，它除了满足跟向量范数相似的三条性质之外，还必须具备乘法性质：
4.∥AB∥≤∥A∥∥B∥,A,B∈Rn×n
如果一矩阵范数∥⋅∥μ 相对于某向量范数∥⋅∥满足下面的不等式
5.∥Ax∥≤∥A∥μ∥x∥,x∈Rn
则称矩阵范数∥⋅∥μ 和向量范数∥⋅∥是相容的. 进一步，若存在x≠0使成立
∥A∥μ=maxx≠0∥Ax∥∥x∥=max∥x∥=1∥Ax∥,A∈Rn×n
则称矩阵范数
∥⋅∥μ 是由向量范数
∥⋅∥诱导出来的算子范数，简称算子范数，有时也称为从属于向量范数
∥⋅∥的矩阵范数. 此时向量范数和算子范数通常采用相同的符号
∥⋅∥。
不难验证，从属于向量范数∥x∥∞, ∥x∥1, ∥x∥2 的矩阵范数分别为
∥A∥∞=max1≤i≤n∑j=1n|aij|
∥A∥1=max1≤j≤n∑i=1n|aij|
∥A∥2=max{λ√|λ∈λ(ATA)}
它们分别称作行和范数、列和范数和谱范数.
通常按下述方式定义的F-范数:
||A||F=⎛⎝∑i=1m∑j=1n|aij|2⎞⎠12=tr(ATA)−−−−−−−√
向量范数的等价定理以及矩阵范数的等价定理
定理
(1)设∥⋅∥和∥⋅∥′是定义在Rn上的两个向量范数，则存在两个正数c1, c2，对所有x∈Rn均成立
c1∥x∥≤∥x∥′≤c2∥x∥
(2)设
∥⋅∥和
∥⋅∥′是定义在
Rn×n上的两个矩阵范数，则存在两个正数
m1,
m2，对所有
A∈Rn×n均成立
m1∥A∥≤∥A∥′≤m2∥A∥
下面，我们利用范数的概念来等价地定义向量序列和矩阵序列的收敛性.
定理:
(1) 设{x(k)}为n维向列序列，∥⋅∥为定义在Rn上的向量范数，则
limk→∞x(k)=x⇔limk→∞∥x(k)−x∥=0
(2)设
{A(k)}为
n×n矩阵序列，
∥⋅∥为定义在
Rn×n 上的向量范数，则
limk→∞A(k)=A⇔limk→∞∥A(k)−A∥=0
