最优化 向量、矩阵范数

一、

范数(norm)，是具有“长度”概念的函数。

满足一定的条件，

即①非负性；②齐次性；③三角不等式。

它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

 

二、范数满足的三个特性

 

 

1.非负性: ||x||≥0，且||x||=0当且仅当x=0时成立 。
2.齐次性: ||k⋅x||=|k|⋅||x||
3.三角不等式: ||x+y||≤||x||+||y||

 

三、向量的范数

 

 

1-范数，计算方式为向量所有元素的绝对值之和。

||x||1=∑in|xi|

 

 

2-范数，计算方式跟欧式距离的方式一致。
||x||2=(∑i=1n|xi|2)12

 

 

∞-范数，所有向量元素中的最大值。
||x||∞=maxi|xi|

 

 

−∞-范数，所有向量元素中的最小值。
||x||−∞=mini|xi|

 

 

p-范数，所有向量元素绝对值的p次方和的1/p次幂。
||x||p=(∑i=1n|xi|p)1p

 

 

四、等价范数定理

 

 

 

五、矩阵的范数

 

 

首先假设矩阵的大小为m∗n，即m行n列。

 

1-范数，又名列和范数。

顾名思义，即矩阵列向量中绝对值之和的最大值。

||A||1=maxj∑i=1m|aij|

 

 

2-范数，又名谱范数

 

计算方法为ATA矩阵的最大特征值的开平方。
||A||2=λ1−−√

其中λ1为ATA的最大特征值。

 

∞-范数，又名行和范数。

顾名思义，即矩阵行向量中绝对值之和的最大值。

||A||∞=maxj∑i=1n|aij|

 

 

F-范数，Frobenius范数，

 

计算方式为矩阵元素的绝对值的平方和再开方。

 

||A||F=⎛⎝∑i=1m∑j=1n|aij|2⎞⎠12