机器学习 吴恩达 第三章 笔记

三、线性代数回顾(Linear Algebra Review)

3.1 矩阵与向量

  矩阵的维数 = 矩阵的行数 \(\times\) 矩阵的列数
  有时会用R表示矩阵,而\(R^{4 \times 2}\)表示所有4$\times$2的矩阵的集合

  我们用\(A_{ij}\)表示第\(i\)行第\(j\)列.
  向量是一种特殊的矩阵,讲义中的向量一般都是列向量,也就是只有一列的矩阵.一般向量的行数就是它的维数.一个四维向量也可以用\(R^{4}\)表示.
  假设y是一个向量,我们使用\(y_i\)表示向量的第\(i\)个元素.下标从0开始还是从1开始视情况而定.但从1开始比较常见.但对于机器学习来说,从0开始提供了一个更方便的表达.在后面的笔记,没有特别标注都是1开始.

3.2 加法和标量乘法

  只有维度相同的矩阵才能相加.
  矩阵与标量做运算是逐元素做运算.

3.3 矩阵向量乘法

  矩阵和向量的乘法如图:\(m \times n\)的矩阵乘以\(n \times 1\)的向量,得到的是的向量\(m \times 1\)

  假如我们已经计算出三个假设函数,同时又有4个运行数据,我们需要给4个待运行数据分别使用三个假设函数计算出结果值.有一个利用矩阵乘法很简便的方法是让4个待运行数据构成矩阵,并再添加1列1辅助计算.

3.4 矩阵乘法

  矩阵乘法的顺序是不可交换的.
  矩阵的乘法满足结合律.即:

  顺便说明一下,我们用$ I $来表示单位矩阵,即对角线都是1.
  对于单位矩阵,我们有:

\[A \times I = I \times A = A \]

3.5 逆和转置

  矩阵的逆:如果矩阵A是一个mxm矩阵(方阵),且有逆矩阵,则:

\[AA^{-1} = A^{-1} A = I \]

  实际上只有方阵才有逆矩阵.
  我们一般在OCTAVE或者MATLAB中进行计算矩阵的逆矩阵
  在术语方面,我们把不存在逆矩阵的矩阵称为奇异矩阵或退化矩阵.