18.06MIT线性代数(1)——线性代数理解

线性代数有什么用？

用于求解线性问题（即求解线性方程中的未知数）。如：化学方程式中的系数，杠杆平衡。怎么求解？答：用高斯消元法。什么是高斯消元法？高中教的解方程的那种方法就是消元法。任何计算机都是这么解方程的
图像就是矩阵。对图像进行处理就需要用到线性代数。如：可以使用矩阵卷积操作对图像进行模糊化。
求解物理问题。如位移，速度都是向量。
也可以把信号或者序列存入到向量，然后对向量进行操作。
文档相似性可以把两个文档向量化，然后算余弦相似度。
对有向图无向图操作。我们平常用的高德地图就是由很多个点组成的无向图。然后可以通过矩阵运算求距离。

线性代数一个最大的作用就是解线性方程组（因为很多工程问题都是由几千个线性方程组构成），比如下面这个方程组：

$\\ 4x_1+4x_2=5 \\ 2x_1-4x_2=1$

上面这个方程可以写作 $Ax=b$ ,

其中 $A=\begin{bmatrix} 4 &4 \\ 2&-4 \end{bmatrix}$ , $x=\begin{bmatrix} x_1\\ x_2 \end{bmatrix}$ , $b=\begin{bmatrix} 5\\ 1 \end{bmatrix}$ 。

它可以有两种理解，即按行理解和按列理解。

1. 按行理解,这种理解就是每行可以表示为一条直线。最终方程的解就是两条直线的交点。

$\begin{bmatrix} 4x_1+4x_2=5 \\ 2x_1+-4x_2=1 \end{bmatrix}$

在这里插入图片描述

2. 按列理解，这种理解就是方程组左边由两个列向量 $\begin{bmatrix} 4 \\ 2 \end{bmatrix}$ 和 $\begin{bmatrix} 4 \\ -4 \end{bmatrix}$ 的线性组合而成。整个方程组想表达的意思是，两个向量通过加权和使得加权和的结果是向量 $\begin{bmatrix} 5 \\ 1 \end{bmatrix}$ 。

$x_1 \begin{bmatrix} 4 \\ 2 \end{bmatrix} + x_2 \begin{bmatrix} 4 \\ -4 \end{bmatrix} = \begin{bmatrix} 5 \\ 1 \end{bmatrix}$

高中教过任意两个不平行的向量他们线性加权和可以到达平面上任意一个点。所以只要这两个列向量不平行就一定有解。两个向量平行在线性代数里面叫做线性相关。现在这个题目是2个2维列向量。那么拓展到100维呢？要想让这100个100维的向量进行线性组合能到达另外一个点，那么要求这100个向量一定两两不平行的。如果是按行理解那就很难想象100维的平面是怎么相交了。所以我觉得按列理解更容易。

而且矩阵乘法也会因为不同理解计算方式不同。我们经常用的那种是按行理解那种模式。接下来我介绍下按列理解的矩阵乘法是怎么做的：

$\begin{bmatrix} 4 &4 \\ 2&-4 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = x_1 \begin{bmatrix} 4 \\ 2 \end{bmatrix} + x_2 \begin{bmatrix} 4 \\ -4 \end{bmatrix} = \begin{bmatrix} 4x_1+4x_2 \\ 2x_1-4x_2 \end{bmatrix}$ 。

向量具体表示什么含义是我们去定义的。它可以表示点，可以表示速度，可以表示位移，可以表示时序信号。它具体含义不同，那么进行加减的时候结果含义也不同。

假设a和b都表示位移，向量a+b为何等于b+a

假设当向量p是点，向量a表示位移时，p+a表示从p点出发沿着a走一段距离

当向量p和向量q都表示点坐标，那么向量p-q表示从起点q到终点p之间的位移。（此时p-q这个向量它的起点就不是原点了，它就不能像p和q那样用坐标表示。只有以原点为起点才可以用坐标表示。）

当向量a和向量b都是表示一段声音信号，那么a+b表示两种声音的叠加

当向量a和向量b都是代表样本的特征时，那么a-b表示两个样本之间的差异

线性组合的几何意义：

当两个向量都是声音信号时，线性组合的意义就变成了两组声音信号不同程度的放缩音量然后混合。

名词概念大梳理：

矩阵不仅仅是往一个表格里面填充一些数,它是一个函数。输入一个向量输出一个向量。

内积（点乘）： $u \bullet v = u^T v$ 。外积（叉乘）： $u\times v=uv^T$ 。（注意其中 $u,v$ 都是列向量）

内积举例：

，这两个向量的内积：

向量的模(length/magnitude): $||v|| = \sqrt{v_1^2+v_2^2+..+v_n^2}$ ,其中 $v=[v_1,v_2,v_3,...,v_n]$ .然后 $||v||$ 是 $||v||_2$ 的简写，它叫做2范数。下标是几就是几范数。

两个向量垂直（也叫做正交）有： $u \bullet v = u^T v = 0$

内积的应用：

获取向量a的第i个元素
将各元素累加：
求各元素均值：
平方和：
选择性将向量a某些元素累加： $[0 1 0 1] a^T$ ，这个例子是把第2和第4个元素累加
统计两个事件同时发生的次数：
文章情感分析：各词语情感权重向量与各词语出现次数向量内积得到一个数值。根据这个数值来判断文章的情感。

正交矩阵： 1. $A^TA=I \rightarrow A^T=A^{-1}$ ；2.它是方阵（因为只有方阵才有逆矩阵）；3. 当矩阵A每个列向量都是相互正交的并且他们是单位向量那么这个矩阵也是正交矩阵（为啥？从定义看 $A^TA$ 就是列向量之间的相互内积，不同列向量内积是0, 相同列向量内积是1（对角线））。