1.1 - 线性代数 - 初步认识

1.1.1 初了解

　　微积分中的 “以直代曲” 是人们处理数学问题的一种重要思想。在科研领域中，如果问题是非线性的，通常我们很难去处理它们。线性问题是人类少数可以研究的很透彻的数学基础性框架。因此，将非线性问题转换为线性问题，然后通过线性代数的知识来解决。这是数学领域解决非线性问题的一种常用思路。

 

1.1.2 向量，向量组，向量组的秩，向量组的极大无关组等等按照自己的理解来。

 

1.1.3 线性变换

　　线性变换的本质是一种映射。而矩阵本质是一个线性变换。

　　在一个线性空间V中，V的任意一个线性变换T都对应一个方阵。一个线性方程组表示的含义：一个向量x经过线性变换之后变成了另一个向量y，这个线性变换就是线性方程组的系数矩阵。

　因此说，一个矩阵实际就表示了一种线性变换。

　　相同维度空间中的线性变换类型可以分为：放缩，旋转。例如常见的旋转矩阵等。

 

1.1.4 矩阵的逆和行列式

　　类似于倒数。定义：对于n阶方阵A，如果存在n阶方阵B，使得 AB = BA = E，则方阵A和方阵B互为对方的逆矩阵。且有：逆矩阵的转置 = 转置的逆矩阵。

　　1）行列式的几何意义：矩阵代表一个线性变换，而矩阵的行列式则表示线性变换的放大率。

　　　　当行列式 |A| = 0时，A代表的线性变换会将向量降维，此时，变换后的向量不能再恢复到原来的向量，线性变换矩阵A是不可逆的。

　　　　当行列式 |A| ≠ 0时，矩阵A满秩，线性变换后的向量没有降维可以恢复为原向量，此时线性变换矩阵A是可逆的。

　　2）逆矩阵的几何意义：矩阵代表一个线性变换，而逆矩阵代表该矩阵的逆变换。

 

1.1.5 秩的几何意义

　　　　含义（1）：表示矩阵本身所形成空间的维度数。

　　　　含义（2）：表示矩阵变换后的空间维度。

 

1.1.6 相似矩阵

　　定义：若 B = P^-1AP，则矩阵A和矩阵B相似。

　　几何意义：两个相似矩阵实质是：同一个线性变换 在空间中 不同基下的表达。（为什么相似，因为在空间中是同一个变换；为什么不是相等，因为虽然是同一个变换，但是矩阵坐标是在不同基下得到的。）换句话说，对于空间中的一个线性变换，其在不同基下的呈现出的变换矩阵是相似的。

 

1.1.7 特征向量（非零向量）和特征值

　　矩阵就是线性变换，相同维度空间中的线性变换分为：伸缩，旋转。但是矩阵对空间中的一些向量做变换的时候，只会对向量伸缩，不会对向量进行旋转。这些向量成为矩阵的特征向量，伸缩的倍数成为矩阵特征向量对应的特征值。　　例如：矩阵E对任何向量都只做伸缩不旋转，因此，任何非零向量都是E的特征向量且特征值为1。旋转矩阵对任何向量都只做旋转不做伸缩，所以，旋转矩阵无特征值。

　　注：实对称阵的不同特征值对应的特征向量互相正交。（证明：λ₂α₁^Tα₂ = ... = λ₁α₁^Tα₂，因为λ不等，所以向量正交。）

　　　　实对称阵必定和一个对角阵相似，且该对角阵的元素为实对称阵的特征值。

 

1.1.8 特征多项式

　　| A - λI | = 0，用来求解特征值。

 

1.1.9 矩阵分解

　　类似于代数中的因式分解。

　　从矩阵乘法的角度看，矩阵分解将矩阵拆解为若干子矩阵的乘积；从几何变换的角度看，矩阵分解的结果对应 缩放，旋转，投影，剪切等各种几何变换。而原矩阵就是 这些几何变换按照特定次序的叠加。

　　常见的矩阵分解有：LU分解，Choleskey分解，QR分解，特征值分解(EVD)，奇异值分解(SVD)等。

　　　　对于特征值分解（EVD）：只有可对角化矩阵才能进行特征值分解。（如果一个矩阵相似于 一个对角矩阵，则称该矩阵为 可对角化矩阵。）

　　　　对于奇异值分解（SVD）：任意一个 m×n 阶矩阵都能够进行奇异值分解。

 

 

1.1.10 线代高阶 - 矩阵的奇异值分解

　　奇异值分解的应用 - 图像信息压缩存储。

　　奇异值分解的计算 - M^TM和MM^T均为实对称阵，实对称阵都可以通过特征值分解求解，由此可分别求出奇异值分解式的左右两侧；numpy：u, s, v = np.linalg.svd(M)。

1.1.11 线代高阶 - 格拉姆矩阵（Grame matrix）

　　在n维欧式空间中，任意k个向量两两内积组成的实对称矩阵称为 格拉姆矩阵。该矩阵直观上，即：M^TM 的形式。

1.1.12 方差，协方差，协方差矩阵，相关系数

　　方差：衡量 某一个变量，其各个值对均值的离散程度。

　　协方差：两个变量偏离各自均值的相关性。协方差为正，表示一个样本的A属性正向偏离均值，其B属性也正向偏离均值；协方差为负，表示......；协方差为0，表示 两个变量偏离均值没有相关性。

　　协方差矩阵：对于一系列样本，每个样本都有n个属性，这n个属性两两之间的协方差组成的矩阵称为协方差矩阵。协方差矩阵是 格拉姆矩阵，也是实对称阵。

　　相关系数：取值范围 [-1，1]。对一系列样本，样本的两个属性A和B，其相关系数约接近1，两个变量正相关性越强；其相关系数越接近-1，两个变量负相关性越强；其相关系数越接近0，二者越没有相关性。

1.1.13 向量的导数

　　设A为 m×n 的矩阵，x为 n×1 的列向量，有函数：y = Ax。

　　当 m = n = 1 时，函数为普通的一元代数函数，导数为斜率A；

　　当 m ≠ 1 且 n = 1 时，x为单个值，y为多维向量，向量的导数：y的各个维度分别对x求导，并依据分子布局；

　　当 m = 1 且 n ≠ 1 时，y为单个值，x为多维向量，向量的导数：y分别对x的各个维度求导，并依据分母布局；

　　当 m ≠ 1 且 n ≠ 1 时，x和y都是多维向量，向量的导数也按照分母布局。且导数为A的转置 A^T。