摘要： 尽管高斯消元法是解线性方程组的标准算法，但是当我们希望从数据中将重要信息与次要信息（噪声）分离时它就无能无力的。在线性代数中，我们要量化“好的与坏的基向量（basis vectors）。不严格的说，好的基向量是那些基本线性独立的向量，接近于正交。下面，就来领略如何利用正交向量进行计算。 在前面介绍最小二乘问题时，了解当选择了不恰当的基向量时会导致病态的正规方程。下面看个例子，两个非常相似的... 阅读全文

摘要： 1. 病态系统 系统的精确解为x=1，y=-1。若对b2=0.067进行轻微的扰动变为0.066，那么精确解变为x=-666，y=834。这个例子深刻说明了病态系统（ill-conditioned systems)的解对于小扰动非常敏感。而这种敏感是由于系统的内在特征，而不是数值求解的结果。这是没有任何数值求解的技巧可有消除这种敏感性。 对于2*2的系统，这种情况可以用图形来清晰说明。两... 阅读全文

摘要： 1. LU分解 LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法（Doolittle algorithm）：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。 ... 阅读全文