数学基础(一)-标量、向量、矩阵、张量以及各范数的含义

1.标量、向量、矩阵、张量：

　　①标量指有大小没有方向的数。

　　②向量指既有大小也有方向的一组数。

　　③矩阵指二维的一组数，一行是一个对象，一列是一个对象的一个特征【一行一对象，一列一特征】。

　　④张量指一个数组分布在多维网格坐标中。

 

 2.向量的范数：

　　①向量的1范数(L1范数)：向量的各元素绝对值之和。

　　②向量的2范数(L2范数)：向量的各元素平方之和开根号。

　　③向量的负无穷范数：向量的所有元素的绝对值中最小的。

　　④向量的正无穷范数：向量的所有元素的绝对值中最大的。

 

3.矩阵的范数：矩阵的范数一般向量取不同范数就会得到不同的矩阵范数。　　

　　①矩阵的 1范数（列范数）范数（列范数） ：矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大）。

　　②矩阵的 2范数范数 ：矩阵 的最大特征值开平方根。

　　③矩阵的无穷范数（行范数） ：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）。

　　④矩阵的核范数 ：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小
化矩阵的秩——低秩）。

　　⑤矩阵的 L0范数范数 ：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏。

　　⑥矩阵的 L1范数范数 ：矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏。

　　⑦矩阵的 F范数范数 ：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在于它是一个凸函数，可
以求导求解，易于计算。

　　⑧矩阵的 L21范数范数 ：矩阵先以每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范
数（也可认为是向量的1范数）。