机器学习 吴恩达 第三章 笔记

三、线性代数回顾(Linear Algebra Review)

3.1 矩阵与向量

  矩阵的维数 = 矩阵的行数 $\times$ 矩阵的列数
  有时会用R表示矩阵,而$R^{4\times 2}$表示所有4$\times$2的矩阵的集合

  我们用$A_{ij}$表示第$i$行第$j$列.
  向量是一种特殊的矩阵,讲义中的向量一般都是列向量,也就是只有一列的矩阵.一般向量的行数就是它的维数.一个四维向量也可以用$R^4$表示.
  假设y是一个向量,我们使用$y_i$表示向量的第$i$个元素.下标从0开始还是从1开始视情况而定.但从1开始比较常见.但对于机器学习来说,从0开始提供了一个更方便的表达.在后面的笔记,没有特别标注都是1开始.

3.2 加法和标量乘法

  只有维度相同的矩阵才能相加.
  矩阵与标量做运算是逐元素做运算.

3.3 矩阵向量乘法

  矩阵和向量的乘法如图:$m\times n$的矩阵乘以$n\times 1$的向量,得到的是的向量$m\times 1$

  假如我们已经计算出三个假设函数,同时又有4个运行数据,我们需要给4个待运行数据分别使用三个假设函数计算出结果值.有一个利用矩阵乘法很简便的方法是让4个待运行数据构成矩阵,并再添加1列1辅助计算.

3.4 矩阵乘法

  矩阵乘法的顺序是不可交换的.
  矩阵的乘法满足结合律.即:

  顺便说明一下,我们用$I$来表示单位矩阵,即对角线都是1.
  对于单位矩阵,我们有:

$$A\times I=I\times A=A$$

3.5 逆和转置

  矩阵的逆:如果矩阵A是一个mxm矩阵(方阵),且有逆矩阵,则:

$$A{A}^{-1}=A^{-1}A=I$$

  实际上只有方阵才有逆矩阵.
  我们一般在OCTAVE或者MATLAB中进行计算矩阵的逆矩阵
  在术语方面,我们把不存在逆矩阵的矩阵称为奇异矩阵或退化矩阵.