2022-2023 春学期 矩阵与数值分析 C1 绪论

2022-2023 春学期 矩阵与数值分析 C1 绪论

原文

封面

引言

本文内容来自于对矩阵与数值分析课程资料的整理；

本文所涉及的课程指东北某沿海高校，计算机学院硕士生必修课“矩阵与数值分析”，课程资料包括课程PPT、教材《计算机科学计算 第二版》^[1]，以及网络资料，师兄的笔记等。

C1 绪论

1.1 计算机科学计算研究对象与特点

该部分介绍了计算机科学计算研究对象与特点；

1.2 误差分析与数值方法的稳定性

误差的来源与分类

误差基本概念与有效数字

相对与绝对误差：

• 绝对误差：设 x 为精确值，a 为 x 的一个近似值，称 x-a 为近似值 a 的绝对误差，简称误差。误差 x-a 可正可负。通常准确值 x 是未知的，因此 x-a 也是未知的。
• 绝对误差界：设 x 为精确值，a 为 x 的一个近似值，若有常数 $e_a$ 使得 $|x-a|\le e_a$ ，则 $e_a$ 叫做近似值 a 的误差界（限）。它总是正数。显然有 $a-e_a\le x\le a+e_a$。
• 相对误差：若 $x\ne 0$，则将近似值的误差与准确值的比值$\frac{x-a}{x}$ 称为近似值 a 的相对误差。相对误差也可正可负。实际计算中，如果真值 x 未知时，通常取 $\frac{x-a}{x}\approx \frac{x-a}{a}$ 作为 a 的相对误差，条件是 $\frac{x-a}{x}$ 较小。
• 相对误差界（限）：相对误差的绝对值上限叫做相对误差界（限），记为 $\frac{x-a}{a}\le \frac{e_a}{|a|}$。

误差界的取法：当准确值 x 的位置比较多时，人们常常按照四舍五入的原则得到 x 的前几位近似值 a。

* 例如：

$x=\pi =3.1415926\cdots$

取3位：$a_1=3.14,\pi -a_1=0.00159265\cdots$

取5位：$a_2=3.1416,\pi -a_2=-0.00000735\cdots$

那么它们的误差界的取法应为：

$|\pi -3.14|\le \frac{1}{2}\times {10}^{-2},|\pi -3.1416|\le \frac{1}{2}\times {10}^{-4}$

有效数字相关

定义：设 x 为精确值，a 为 x 的一个近似值 ，a 由 n 位数组成，自左向右第 i 位为$a_i$，是 0 到 9 之中的一个数字，且$i\ge 1,a_1\ne 0$，表示为： $a=\pm {10}^k\times 0.a_1{a}_2\cdots a_n\cdots$，其中，n 为正整数，k 为整数，如果其绝对误差界 $|x-a|\le \frac{1}{2}\times {10}^{k-n}$，则称 a 为 x 的具有 n 位有效数字的近似值

有关结论：

• 有效数字位数与小数点的位置无关
• 一般来说，绝对误差与小数位数有关，相对误差与有效数字位数有关
• 如果一个近似值是由精确值四舍五入得到的，那么，从这个近似值的末尾数向前数起直至在五非零数字位置，所属到的数字均为有效数字

求有效数字位数的步骤：首先将近似值表示为定义中 a 的形式，可以得到 k，接下来一句上述定义计算绝对误差界，得到 k-n ，最后即可依据上述数据得到有效数字位数 n 。

* 例如1：

对于 $e=2.71828182\cdots$，下面各个值的有效数字的位数。

取 $a=2.718={10}^1\times 0.2718,k=1$，

其绝对误差界为 $|e-a|<0.0003<\frac{1}{2}\times {10}^{-3},k-n=-3,n=4$，

$a$ 是 $e$ 的具有4位有效数字的近似值。

取 $a_1=2.7182={10}^1\times 0.27182,k=1$，

其绝对误差界为 $|e-a_1|<0.00009<\frac{1}{2}\times {10}^{-3},k-n=-3,n=4$，

$a_1$ 是 $e$ 的具有4位有效数字的近似值。

* 例如2：

下列近似值的绝对误差界均为 0.005，问其有效数字的位数。

$a=138.00,b=-0.0312,c=0.86\times {10}^{-4}$

对于$a$, $|x-a|<\frac{1}{2}\times {10}^{-2},k-n=-2$，且 $a=138.00=0.138\times {10}^3,k=3,n=5$，a 具有5位有效数字。

对于$b$, $|x-b|<\frac{1}{2}\times {10}^{-2},k-n=-2$，且 $b=-0.0312=-0.312\times {10}^{-1},k=-1,n=1$，b 具有1位有效数字。

对于$c$, $|x-c|<\frac{1}{2}\times {10}^{-2},k-n=-2$，且 $c=0.86\times {10}^{-4},k=-4,n=-2$，不满足 $n$ 为正整数的条件，故 c 具有0位有效数字。

有效数字与相对误差界

关于有效数字与相对误差界有如下定理：

若实数 x 为某个精确值， a 为它的一个近似值，其表达式形式如

$a=\pm {10}^k\times 0.a_1{a}_2\cdots a_n\cdots$

• 如果 a 有 n 位有效数字，则其相对误差满足 $\frac{|x-a|}{|a|}\le \frac{1}{2a_1}\times {10}^{1-n}$.
• 如果其相对误差满足 $\frac{|x-a|}{|a|}\le \frac{1}{2(a_1+1)}\times {10}^{1-n}$，则 a 至少有 n 位有效数字。

其推导过程如下所示：

函数计算的误差估计

针对一元函数：

思路：使用 Taylor 展开计算解决这一问题，例如将 f(x) 在 x=a 展开：

$f(x)=f(a)+f(a{)}^{\prime }(x-a)+\frac{f^{″}(\xi )(x-a)}{2}$

$|f(x)-f(a)|\le |f^{\prime }(a)||x-a|+\frac{|f^{″}(xi)||(x-a){|}^2}{2}$

由上式可得，

近似绝对误差估计式为：$|f(x)-f(a)|\approx |f^{\prime }(a)||x-a|$

近似相对误差界为：$\frac{|f(x)-f(a)|}{|f(a)}\le \frac{f^{\prime }(a)}{f(a)}|x-a|$

* 例如1

计算 $\sqrt{a}$ 的相对误差界

解： 相对误差界为

$\frac{\sqrt{x}-\sqrt{a}}{\sqrt{a}}\le \frac{(\sqrt{x}{)}^{\prime }{|}_{x=a}}{\sqrt{a}}|x-a|=\frac{1}{2(\sqrt{a}{)}^2}|x-a|=\frac{1}{2}\frac{|x-a|}{|a|}$

可知，$\sqrt{a}$ 的相对误差为 $a$ 的相对误差的一半

类似的，针对多变元的情况，

如果 $f(x_1,x_2,\cdots ,x_n)$ 为 $n$ 元函数，自变量 $x_1,x_2,\cdots ,x_n$ 的近似值为 $a_1,a_2,\cdots ,a_n$ ，

则 $f(x_1,x_2,\cdots ,x_n)-f(a_1,a_2,\cdots ,a_n)\approx \sum _{k=1}^n(\frac{\partial f}{\partial x_k}{)}_a(x_k-a_k)$

的函数值的误差界 $|f(x_1,x_2,\cdots ,x_n)-f(a_1,a_2,\cdots ,a_n)|\approx \sum _{k=1}^n|(\frac{\partial f}{\partial x_k}{)}_a||x_k-a_k|$

* 例如2

可利用上述定义计算四则运算的误差估计

$|f(x_1,x_2)-f(a_1,a_2)|\le |(\frac{\partial f}{\partial x_1}{)}_a|\cdot |x_a-a_1|+|(\frac{\partial f}{\partial x_2}{)}_a|\cdot |x_2-a_2|$

针对加减法 $f(x_1,x_2)=x_1\pm x_2$， 有 $|(x_1\pm x_2)-(a_1\pm a_2)|\le |x_1-a_1|+|x_2-a_2|$

可知：两个近似数相加减，其运算结果的精度不必原始数据的任何一个精度高。

注意：在计算中应避免两个相近的数相减，否则容易导致有效数字的损失

针对乘法 $f(x_1,x_2)=x_1\cdot x_2$，有 $|x_1{x}_2-a_1{a}_2|\le |a_2||x_1-a_1|+|a_1||x_2-a_2|$

针对除法 $f(x_1,x_2)=\frac{x_1}{x_2}$，有 $|\frac{x_1}{x_2}-\frac{a_1}{a_2}|\le \frac{|x_1-a_1|}{|a_2|}+\frac{|a_1||x_2-a_2|}{|a_2{|}^2}\le \frac{|a_2||x_1-a_1|+|a_1||x_2-a_2|}{|a_2{|}^2}$

可知，计算中应尽力避免小数作除数

数值方法数值稳定性

定义：

用某一种数值方法求一个问题的数值解，如果在方法的计算过程中舍入误差在一定条件下能够得到控制（或者说舍入误差增长不影响产生可靠的结果），则称该方法是数值稳定的；出现与数值稳定相反的情况，则称之为数值不稳定的。（蝴蝶效应？）

* 例如：

可见，两种方法计算得到的误差是有显著区别的。方法一每次都会使误差放大5倍；方法二每次都会使误差缩小为原来的 $\frac{1}{5}$。递推计算多次后就会有相当大的差别。而事实上方法一符合通常的思路，因为方法一的起点是已知的；而方法二的起点是未知的，计算难以开始。

一种可能的思路是，由积分中值定理可知，显然积分的结果在 0-1 之间，那不妨假设 $I_{15}=\frac{1}{2}$，并以此利用方法二反推得到 $I_7$，这样最后递推计算 8 次后，误差被缩小为原来的 $(\frac{1}{5}{)}^8$，这对于 0-1 之间的结果来说是可以接受的，或者可以取大于 15 的数字开始递推更多次，使得误差被进一步缩小。

避免误差危害的基本原则

1. 避免有效数字的损失

• 避免计算机上出现的”大数吃小数“

例如：

• 利用求根公式求解一元二次方程时，若 b 远大于 ac 的积，则 $\sqrt{b^2-4ac}\approx |b|$，分母中的 $-b\pm \sqrt{b^2-4ac}\approx 0$， 出现了两相近的数相减的情况。

其例子与解决方法如下：

• 避免小数作除法或大数作乘数

2. 减少运算次数

• 使用秦九韶算法

例如求 $p_n(x)=a_n{x}^n+a_{n-1}{x}^{n-1}+\cdots +a_{1}x+a_0$ 的值，可通过如下过程：

$\begin{array}{rl}{p}_n(x)& =a_n{x}^n+a_{n-1}{x}^{n-1}+\cdots +a_{1}x+a_0\\ & =(a_{n}x+a_{n-1})x^{n-1}+\cdots +a_{1}x+a_0\\ & =((a_{n}x+a_{n-1})x+a_{n-2})x^{n-2}+a_{n-3}{x}^{n-3}+\cdots a_{1}x+a_0\\ & =\cdots =\\ & =((\cdots ((a_{n}x+a_{n-1})x+a_{n-2})x+\cdots +a_2)x+a_1)x+a_0\end{array}$

相较于直接逐项求和计算需要的 $2n-1$ 次乘法，使用秦九韶算法后，仅需要计算总共 $n$ 次乘法即可得到所需的结果。

例如：$P_5(x)=5x^5+x^3-3x^2+x-1$

$\begin{array}{rl}{P}_5(x)& =5x^5+x^3-3x^2+x-1\\ & =5x^5+0x^4+1x^3-3x^2+x-1\\ & =((((5x+0)x+1)x-3)x+1)x-1\end{array}$

• 使用泰勒展开

1.3 向量与矩阵范数

范数的概念是复数模的概念的自然推广

向量范数

条件

对任意向量 $x$ 和 $y$ 及复数 $a\in C$，$f(x)=||x||$函数满足以下三个条件：

1. 非负性

   $||x||\ge 0,||x||=0\iff x=0_{n\times 1}$

2. 齐次性

   $||ax||=|a|\cdot ||x||$

3. 三角不等式

   $||x+y||\le ||x||+||y||$

称函数 $||\ast ||$ 为 上的一个向量范数，是连续函数

常用的向量范数

p-范数

$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p},1\le p<+\mathrm{\infty }$

特别的，

$p=1,||x|{|}_1=(\sum _{i=1}^n|x_i|)$，$|x_i|$ 表示 $x_i$ 的模

$p=2,||x|{|}_2=(\sum _{i=1}^n|x_i{|}^2{)}^{1/2}=\sqrt{x^{H}x}=\sqrt{(x,x)}$，其中 $x^H$ 表示 向量$x$ 的共轭转置

$p=+\mathrm{\infty },||x|{|}_{\mathrm{\infty }}=\underset{1\le i\le n}{max}|x_i|$

向量加权范数

* 例如

等价性定理：

设 $||\cdot |{|}_{\beta }$ 和 $||\cdot |{|}_{\alpha }$ 为 $C^n$ 上的任意两种向量范数，则存在两个与向量无关的正常数 $c_1>0,c_2>0$，使得 $c_1||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le c_2||x|{|}_{\beta }$，并称 $||\cdot |{|}_{\beta }$ 和 $||\cdot |{|}_{\alpha }$ 为 $C^n$ 上的等价范数。

这一定理指出了尽管不同范数的值不一定相同，但都可以对向量进行度量。

特别的，

$||x|{|}_{\mathrm{\infty }}\le ||x|{|}_1\le n||x|{|}_{\mathrm{\infty }}$

$\frac{1}{\sqrt{n}}||x|{|}_1\le ||x|{|}_2\le ||x|{|}_1$

$\frac{1}{\sqrt{n}}||x|{|}_2\le ||x|{|}_{\mathrm{\infty }}\le ||x|{|}_2$

或者

$||x|{|}_{\mathrm{\infty }}\le ||x|{|}_2\le ||x|{|}_1\le \sqrt{n}||x|{|}_2\le n||x|{|}_{\mathrm{\infty }}$

矩阵范数 (m, F)

矩阵可以看（拉）做一个向量，可以把向量范数的概念直接推广到矩阵上

条件

对任意矩阵 $A$ 和 $B$ 及复数 $a\in C$ ，函数 $f(A)=||A||$ 满足以下四个条件：

1. 非负性

   $||A||\ge 0,||A||=0\iff A=0$

2. 齐次性

   $||\alpha A||=|\alpha |\cdot ||A||$

3. 三角不等式

   $||A+B||\le ||A||+||B||$

4. 相容性

   相比于向量范数，矩阵范数应考虑到矩阵乘法。

   对任意矩阵 $A\in C^{m\times l}$，$B\in C^{l\times n}$，满足 $||AB|{|}_{M1}\le ||A|{|}_{M2}\cdot ||B|{|}_{M3}$

满足非负性、齐次性、三角不等式、相容性的函数 $||||$ 称为矩阵范数

对于矩阵 $A_{m\times n}$，常见的矩阵范数有：

• $m_1$ 范数，$||A|{|}_{m_1}=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$；

• $F$ 范数，$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2{)}^{1/2}$；

• $m_{\mathrm{\infty }}$ 范数，$||A|{|}_{m_{\mathrm{\infty }}}=\sqrt{m\cdot n}\cdot \underset{ij}{max}|a_{ij}|$；

  注意 $||A|{|}_{m{‘}_{\mathrm{\infty }}}=\underset{ij}{max}|a_{ij}|$ 不构成 $A$ 的范数，理由如下图所示：

  

矩阵范数的等价性定理：设 $||\cdot |{|}_{\beta }$ 和 $||\cdot |{|}_{\alpha }$ 为 $C^{n\times n}$ 上的任意两种矩阵范数，则存在两个与矩阵无关的正常数 $c_1>0,c_2>0$，使得 $c_1||A|{|}_{\beta }\le ||A|{|}_{\alpha }\le c_2||A|{|}_{\beta }$，并称 $||\cdot |{|}_{\beta }$ 和 $||\cdot |{|}_{\alpha }$ 为 $C^{n\times n}$ 上的等价范数。

矩阵范数的性质

定义：

​ 称集合 $\sigma (A)=\{\lambda |det(\lambda I-A)=0\}$ 为矩阵 $A\in C^{n\times n}$ 的谱；也就是 $A$ 的所有的特征值全体；

​ 称实数 $\rho (A)=max|\lambda |$ 为矩阵 $A\in C^{n\times n}$ 的谱半径；也就是 $A$ 的绝对值最大的特征值；谱半径不是矩阵的范数。

三个重要定理

定理1：设 $||\cdot |{|}_M$ 为矩阵 $C^{n\times n}$ 空间的任一矩阵范数，则对任意的 $n$ 阶方阵 $A$ 均有 $\rho (A)\le ||A|{|}_M$，其中 $\rho (A)\le ||A|{|}_M$ 为 $A$ 方阵的谱半径

证明：

定理2：对于任给的 $\epsilon >0$ ，则存在 $C^{n\times n}$ 上的一种算子范数 $|||{|}_M$ （依赖矩阵 $A$ 和常数 $\epsilon$），使得 $||A|{|}_M\le \rho (A)+\epsilon$;

注意：对另一矩阵 $B$，不等式不一定成立

定理3： 设 $A\in C^{n\times n}$ ，如果有 $C^{n\times n}$ 上的一种矩阵范数 $||\cdot ||$，使得 $||A||<1$ 则

（1）$I\pm A$ 可逆；

（2）$||(I\pm A{)}^{-1}||\le \frac{||I||}{1-||A||}$；

（3）$||I-(I\pm A{)}^{-1}||\le \frac{||A||}{1-||A||}$；

注：如果 ${\lambda }_i,i=1,2,\cdots ,n$ 是矩阵 $A$ 的特征值，则矩阵 $I\pm A$ 的特征值为 ${\mu }_i=1\pm {\lambda }_i,i=1,2,\cdots ,n$

证明：

算子范数

由于矩阵与向量的乘积在矩阵计算中经常出现，所以希望矩阵范数与向量范数之间最好有某种协调性

相容性

矩阵范数与向量范数的相容性的定义： 对矩阵范数 $|||{|}_M$ 与向量范数 $|||{|}_V$，有 $||Ax|{|}_V\le ||A|{|}_M||x|{|}_V$

显然，不是任意的矩阵范数与任意的向量范数相容。

结论：

• 矩阵 m1-范数与向量 p-范数相容，即 $||Ax|{|}_P\le ||A|{|}_{m1}||x|{|}_p$
• 矩阵 F-范数与向量 2-范数相容，即 $||Ax|{|}_2\le ||A|{|}_F||x|{|}_2$
• 对任一矩阵范数均存在与之相容的向量范数

定理1.4（算子范数定义）：已知 $C^m$ 和 $C^n$ 上的同类向量范数 $||\cdot |{|}_V$，$A$ 为 $m\times n$ 矩阵，定义 $||A|{|}_M=\underset{x\ne 0}{max}\frac{||Ax|{|}_V}{||x|{|}_V}=\underset{||x|{|}_V=1}{max}||Ax|{|}_V$，则 $||A|{|}_M$ 是一种矩阵范数，且与已知的向量范数相容。

对于矩阵 $A_{m\times n}$，常用的算子范数有

• 列和范数：$||A|{|}_1=\underset{1\le j\le n}{max}\sum _{i=1}^m|a_{ij|}$

• 行和范数：$||A|{|}_{\mathrm{\infty }}=\underset{1\le i\le m}{max}\sum _{j=1}^n||a_{ij}||$

• 谱范数：$||A|{|}_2=\sqrt{{\lambda }_{max}(A^{H}A)}=\sqrt{\rho (A^{H}A)}$，（谱半径开根号）

  可以证明：$||A|{|}_2^2\le ||A|{|}_1||A|{|}_{\mathrm{\infty }}$

其中 ${\lambda }_{max}(A^{H}A)$ 表示矩阵 $A^{H}A$ 的最大特征值；（或 $\sqrt{\rho (A^{H}A)}$）

特别的，$||A|{|}_{m_1}$、$||A|{|}_F$ 不是算子范数

（下标带 m、F 的是矩阵范数，其他的是矩阵范数中的算子范数？）

* 例如1

针对单位矩阵

* 例如2

*酉矩阵的范数不变性

对于酉矩阵 $U,U^{H}U=U{U}^H=I$，（该矩阵与其共轭转置的乘积为单位矩阵），

有 $||U|{|}_2=1,||AU|{|}_2=||UA|{|}_2=||A|{|}_2$；

推导过程如下：

*F-范数的酉不变性

设 $A$ 为 $n$ 阶方阵，则存在 $n$ 阶酉阵 $U$ 和 $V$， 使得 $||UA|{|}_F=||AV|{|}_F=||UAV|{|}_F=||A|{|}_F$

推导过程如下：

其他的结论

---

1. 《计算机科学计算 第二版》 作者: 张宏伟 金光日 施吉林；出版社: 高等教育出版社；页数: 379；定价: 38.1元；装帧: 平装-胶订；ISBN: 9787040365955 出版年：2013；学科主题: 电子计算机 教材 科学计算-高等学校；中图法分类号: TP301.6； 一般附注: 高等学校教材 ↩︎