Deep Learning(花书)教材笔记-Math and Machine Learning Basics(线性代数拾遗)
I. Linear Algebra
1. 基础概念回顾
- scalar: 标量
- vector: 矢量，an array of numbers.
- matrix: 矩阵, 2-D array of numbers.
- tensor: 张量, 更高维的一组数据集合。
- identity Matricx：单位矩阵
- inverse Matrix：逆矩阵,也称非奇异函数。当矩阵A的行列式\(|A|≠0\)时，则存在\(A^{-1}\).
2. Span
3. Norm
\(L^p\) norm 定义如右: \(||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}\) for \(p∈R,p≥1\).
任何满足如下条件的函数都可视为norm:
- \(f(x)=0 \, \Rightarrow x=0\)
- \(f(x+y)≤f(x)+f(y)\) (三角不等式)
- \(\forall α ∈R,f(αx)=|α|f(x)\)
1) \(L^2\) Norm
最常用的是二范式，即\(L^2\) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导，二范式求导之后只与输入数据本身有关，所以比较实用。
2) \(L^1\) Norm
但是二范式在零点附近增长很慢，而且有的机器学习应用需要在零点和非零点之间进行区分，此时二范式显得力不从心，所以我们可以选择一范式,即\(L^1\) norm,其表达式为：\(||x||_1=\sum_i|x_i|\).
3) \(L^0\) Norm
0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的，因为它不满足第三个条件，but whatever~
4) \(L^∞\) Norm
无穷大范式，也叫max norm,它表示矢量中所有元素绝对值的最大值，即
5) F norm
F norm全称是Frobenius Norm,其表达式如下:
4.特殊矩阵和向量
1) Diagonal matrix(对角矩阵)
定义: a matrix \(D\) is diagonal if and only if \(D_{i,j}=0\) for all \(i≠j\).
仔细看定义！！！这里并没有说必须是squre matrix(方阵)，所以对角矩阵不一定是方阵，rectangle matrix也有可能是对角矩阵(只要对角线上不为0，其余部分都为0)。
2) Orthogonal Matrix(正交矩阵)
定义： 若\(A^TA=AA^T=I\),那么n阶实矩阵A则为正交矩阵。
注意矩阵A必须为方阵，另外有定义可知 \(A^{-1}=A^T\)
3) Orthonomal Matrix(标准正交矩阵)
定义: 满足正交矩阵的要求，且为x和y均为unit vector(单位矢量)。
5. Eigendecomposition(特征分解)
很多数学概念其实都可以分解成很小的组成部分，然后通过观察这些组成进而找出它们可能存在的通用的性质。例如对于一个整数12，我们会试着把它分解成12=2×2×3，由这个表达式我们可以得到一些有用的结论，例如12不能被5整除,任何数乘以12后都能被3整除等等。
很自然地，对于矩阵，我们也想看看他是否也能被拆分呢，所以就引入了特征分解的概念，通过特征分解我们会得到矩阵\(A\)的(一组)eigenvector(特征向量): \(v\) 和 eigenvalue(特征值): \(λ\),它们满足如下等式:
(特征向量当然也可以在右边，但是通常更习惯于放在右边。)
假设矩阵\(A\)有n个线性独立的特征向量\(\{v^{(1)}, ..., v^{(n)}\}\)以及对应的特征值\(\{ λ_1, ...,λ_n \}\)。记
\(V=[v^{(1)}, ..., v^{(n)}],λ=[λ_1, ...,λ_n ]\),则矩阵A的特征分解如下:
另外实对称矩阵的特征分解用得比较多，表达式为\(A=Q\Lambda Q^{-1}\),\(Q\)表示由特征向量组成的正交矩阵,\(\Lambda\)表示对角矩阵，注意\(Q\)和\(\Lambda\)的值是一一对应的。
- 当一个矩阵的特征值都为正时，该矩阵则为positive definite(正定矩阵).
- 当一个矩阵的特征值都大于等于0时，该矩阵则为positive semidefinite(半正定矩阵).
- 当一个矩阵的特征值都为负时，该矩阵则为negative definite(负定矩阵).
- 当一个矩阵的特征值都小于等于0时，该矩阵则为negative semidefinite(半负定矩阵).
6. Singular Value Decomposition(奇异值分解)
Singular Value Decomposition (SVD) 可以把一个矩阵分解得到 singular vectors和singular values。SVD可以像特征值分解一样帮助我们对一个矩阵进行分析，并且SVD适用性更广。每个实矩阵都能做SVD，但是不一定能做特征值分解。比如说如果一个矩阵不是方阵，那么就不能做特征分解，但是我们可以做SVD。
SVD分解后的矩阵表达式如下:
假设A是一个m×n矩阵，那么U定义为m×m矩阵,D是m×n矩阵,V是n×n矩阵。
除此以外
- 矩阵U和V都是orthogonal matrix，其中矩阵U的列向量是left-singular vectors，矩阵V的列向量是right-singular vectors。矩阵A的left-singular vectors是矩阵\(A^TA\)的特征向量，right-singular vectors是矩阵\(AA^T\)的特征向量。矩阵A的非零奇异值是矩阵\(AA^T\)或者\(A^TA\)的平方根。
- 矩阵D是diagonal matrix,注意不一定是方阵。D对角线上的即为矩阵A的奇异值(singular value)。
讲这么多，肯定对SVD还没有一个直观的理解，下面一节会介绍SVD的应用。
7. Moore-Penrose Pseudoinverse
我们在求一个矩阵的逆(matrix inverse)的时候，一般都需要规定这个矩阵是方阵。
假设有一个线性方程\(Ax=y\),为了解出这个方程，我们很直观地希望能够造出一个left-inverse矩阵B和A相乘，从而求出x，即\(x=By\)。
如果A是一个非方阵的矩阵，当它的row大于column时，很有可能此时无解；而当row小于column时，可能有多解。
Moore-Penrose Pseudoinverse就是为了解决这个问题的，矩阵A的伪逆定义如下:
U,D,V是上节中提到的矩阵A的奇异分解。\(D^+\)是矩阵D的伪逆，它是首先将D的非零元素取倒数得到一个矩阵，然后将这个矩阵转置之后就得到了\(D^+\)。
当矩阵A的row比column少时，使用伪逆可以得到很多解。但是，\(x=A^+y\)这个解是所有解中有最小Euclidean norm(\(||x||_2\))的。
当矩阵A的row比column多时，可能无解。但是使用伪逆求得的解x ，能使得\(Ax\)尽可能的接近\(y\),也就是说能使得\(||Ax-y||_2\)最小。
8. Trace Operator(迹)
trace运算符是将矩阵对角线上的所有元素求和，即\(Tr(A)=\sum_iA_{i,i}\)
