【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 3_Linear Algebra Review
Lecture3 Linear Algebra Review 线性代数回顾
3.1 矩阵和向量
3.2 加法和标量乘法
3.3 矩阵向量乘法
3.4 矩阵乘法
3.5 矩阵乘法的性质
3.6 逆、转置
3.1 矩阵和向量
参考视频: 3 - 1 - Matrices and Vectors (9 min).mkv
3.2 加法和标量乘法
参考视频: 3 - 2 - Addition and Scalar Multiplication (7 min).mkv
3.3 矩阵向量乘法
参考视频: 3 - 3 - Matrix Vector Multiplication (14 min).mkv
3.4 矩阵乘法
参考视频: 3 - 4 - Matrix Matrix Multiplication (11 min).mkv
3.5 矩阵乘法的性质
参考视频: 3 - 5 - Matrix Multiplication Properties (9 min).mkv
矩阵的乘法有以下规律：
1、不符合交换律 commutative A × B ≠ B× A 【但是对于单位矩阵，有AI = IA = A】
2、符合组合律 associative A ×（B× C） =（A × B）× C
3.6 逆、转置
3.6.1 矩阵的逆 Inverse Matrix
矩阵的逆 A-1 Inverse Matrix。如矩阵 A 是一个 m× m 矩阵（方阵）， 如果有逆矩阵A-1 ，则：
I 称为 单位矩阵 Identity Matrix
没有逆矩阵的矩阵称为 奇异矩阵singular matrix 或者 退化矩阵 degenerate matrix。
规则：
1、只有方阵有逆矩阵。
2、零矩阵没有逆矩阵 （还有其他一些矩阵没有逆矩阵，可以想成是一些特别接近零矩阵的矩阵）
3.6.2 使用 Octave 计算矩阵的逆
计算矩阵的逆通常使用MATLAB 或者 Octave，打开Octave的bash界面。
以下是在Octave里计算逆矩阵的过程：
1 Please contribute if you find this software useful. 2 For more information, visit https://www.octave.org/get-involved.html 3 4 Read https://www.octave.org/bugs.html to learn how to submit bug reports. 5 For information about changes from previous versions, type 'news'. 6 7 octave:1> A = [3 4; 2 16] // 输入一个矩阵 A 8 A = 9 10 3 4 11 2 16 12 13 octave:2> pinv(A) // 计算其逆矩阵 InverseOfA 14 ans = 15 16 0.400000 -0.100000 17 -0.050000 0.075000 18 19 octave:3> inverseOfA = pinv(A) 20 inverseOfA = 21 22 0.400000 -0.100000 23 -0.050000 0.075000 24 25 octave:4> A * pinv(A) 26 ans = 27 28 1.0000e+00 5.5511e-17 // 由于计算精度的问题， 四舍五入导致次对角线元素不是0，而是10的-17方、10的-16方，可以近似于0 29 -2.2204e-16 1.0000e+00 30 31 octave:5> A * inverseOfA // 计算 A * InverseOfA 32 ans = 33 34 1.0000e+00 5.5511e-17 35 -2.2204e-16 1.0000e+00 36 37 octave:6> inverseOfA * A // 计算 InverseOfA * A 38 ans = 39 40 1.00000 -0.00000 41 0.00000 1.00000 42 43 octave:7>
3.6.3 矩阵的转置
矩阵转置 Transpose Matrix ，符号为AT 。
定义：设 A 为 m× n 阶矩阵（即 m 行 n 列），第 i 行 j 列的元素是 a(i,j)，即：A = a(i,j)。定义 A 的转置为这样一个 n× m 阶矩阵 B，满足 B=a(j,i)，即 b (i,j)=a (j,i)（B 的第 i 行第 j 列元素是 A 的第 j 行第 i 列元素），记 AT=B。 (有些书记为 A'=B）
直观来看，将 A 的所有元素绕着一条从第 1 行第 1 列元素出发的右下方 45 度的射线作镜面反转，即得到 A 的转置。
矩阵的转置基本性质：
(A ± B) T = AT ± BT
(A × B) T= BT × AT
(AT) T = A
(KA) T = KAT
MATLAB 和 Octave 中矩阵转置：直接打一撇， B = A'。
1 octave:7> B = A'
2 B =
3 3 2
4 4 16
术语
up to the numerical precision 由于计算精度的问题
essentially 根本上
ten to the minus seventeen 10的-17次方
round off 四舍五入
optimal matrices 最优矩阵
