ML#1 Math Base
ML#1 Math Base
这个系列的博文是为了记录我自己学习机器学习的过程与经验。
目录
1. 齐次线性方程组的求解
1.1 解的性质
齐次线性方程组如下：
\[\left\{
\begin{array}{ll}
a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n&=0 \\
\qquad \qquad \qquad \quad \vdots&=0 \\
a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn} &=0\\
\end{array}
\right.
\]
If:
\[A = \begin{bmatrix}
a_{11}& a_{12} &\cdots &a_{1n} \\
\cdots& \cdots & \ddots &\cdots\\
a_{m1}& a_{m2} &\cdots &a_{mn}
\end{bmatrix}
,\quad x = \begin{bmatrix} x_1\\ \vdots \\ x_n\end{bmatrix}
\]
则我们可以把上述线性方程组写为向量方程：\(\vec{A}\vec{x} = 0\)
如果，\(x_1 = \xi_{11}, \cdots,x_{n} = \xi_{n1}\)为向量方程的解，则\(\vec{x} = \vec{\xi_1}\)为齐次线性方程组的解向量。
那么什么是解空间呢？
已知有解向量\(\vec{x}\)，显然\(\vec{x}_1 + \vec{x}_2,k\vec{x}_1\)，依然满足向量方程\(\vec{A}\vec{x} = 0\)，因此方程组的全体解向量组成的集合对于加法和数乘（乘常数）是封闭的，因此构成一个向量空间，称该向量空间为齐次线性方程组\(\vec{A}\vec{x}=0\)的解空间。
向量空间 本Blog从简出发，主要从直观角度介绍。我们可以认为满足向量加法和标量乘法（数乘）的封闭性和一些运算的限制如结合律就是一个向量空间。
更为简单的说，向量空间里：
- 不同向量间叠罗汉（向量加法）不能超出向量空间
- 任意向量的伸头缩脑（标量乘法）也不能超出向量空间
至于解空间有什么用？ 更新到这的时候我也还不知道。
1.2 基础解系和求法
基础解系，毫无疑问是一组满足特定条件的解向量。设基础解系为：\(\{\vec{\eta}_1,\vec{\eta}_2,\cdots,\vec{\eta}_t\}\)，那么这些解向量需要满足什么条件呢？
- 不可替代，即\(\vec{\eta}_{i}\)显然不能被\(\eta -\vec{\eta}_i\)集合所表示，及\(\{\vec{\eta}_1,\vec{\eta}_2,\cdots,\vec{\eta}_t\}\)是\(\vec{A}\vec{x}=0\)的一组线性无关的解。
- 所谓道生一....，基础解系肯定需要能表达整个解空间，因此\(\vec{A}\vec{x}=0\)的任一解都可由\(\{\vec{\eta}_1,\vec{\eta}_2,\cdots,\vec{\eta}_t\}\)线性表出。
进一步，根据#1.1中所说的向量加法和标量乘法，显然\(\vec{A}\vec{x}=0\)的通解可以写成如下形式：
\[\vec{x} = k_1\vec{\eta}_1 + k_2\vec{\eta}_2 + \cdots + k_t\vec{\eta}_t \qquad;k_i\in C
\]
齐次线性方程组的解法就略了、、 ，比较basic。
