此处即为吾之天国。

\[\newcommand{\bf}{\mathbf} \newcommand{\d}{\mathrm d} \newcommand{\p}{\part} \newcommand{\D}{\mathrm D} \newcommand{\scr}{\mathscr} \]

I.极限与连续与一致连续

对于任何“定义域和值域上均有满足正定、对称、三角形不等式的距离函数”的映射，都可以定义极限和连续。

这里的空间可以是一些很抽象的东西，比如说区间上全体划分和代表点构成的 Riemann 和集合，距离被定义为两划分中最粗分段的长度差的绝对值。甚至，可以往空间里强行塞一些诸如无穷之类的概念，通过恰当地定义无穷与其它东西间的距离、和差之类的概念，也可以把趋于无穷的极限兼容。

现在来一些符号表示。对于 \(F:A\to B\)，其在 \(x\to x_0\) 时趋于 \(y\)，如果

• 对于每个 \(\epsilon>0\)，存在 \(\delta\)，使得 \(x_0\) 的 \(\delta\)-邻域中所有元素均映到 \(y\) 的 \(\epsilon\)-邻域中。

然后是一致极限的概念。对于 \(F:(A\times B)\to C\)，其在 \(x\to x_0\) 时关于 \(B\) 一致趋于 \(f(y)\)，如果：

• 对于每个 \(\epsilon>0\)，存在仅与 \(\epsilon\) 有关的 \(U(\epsilon)\)，使得对于一切 \(y\in B\)，使得 \(x_0\) 的 \(U(\epsilon)\)-邻域中所有元素均映到 \(f(y)\) 的 \(\epsilon\)-邻域中。

两极限是否可以换序，依赖于如下的分析：

对于任何定义于某种距离有定义的空间上的函数 \(\bf F(\bf x,\bf y)\)，如果：

• \(\lim\limits_{\bf x\to\bf x_0}\bf F(\bf x,\bf y)=\phi(\bf y)\)，且该极限关于 \(\bf y\) 一致成立。
• \(\lim\limits_{\bf y\to\bf y_0}\bf F(\bf x,\bf y)=\Phi(\bf x)\)。

那么 \(\lim\limits_{\bf y\to\bf y_0}\phi(\bf y)\), \(\lim\limits_{\bf x\to\bf x_0}\Phi(\bf x)\) 存在且相等。

对于任何 \(\epsilon\)，存在仅与 \(\epsilon\) 有关的 \(U(\epsilon)\) 使得对于一切 \(\bf y\) 都有在 \(\bf x_0\) 的 \(U(\epsilon)\)-邻域内，\(\|\bf F(\bf x,\bf y)-\Phi(\bf y)\|<\epsilon\)。

对于任何 \(\epsilon\) 和 \(\bf x_1,\bf x_2\)，存在 \(V(\epsilon,\bf x_1,\bf x_2)\) 使得在 \(\bf y\) 的 \(V(\epsilon,\bf x_1,\bf x_2)\)-邻域内，\(\|\bf F(\bf x_1,\bf y)-\phi(\bf x_1)\|<\epsilon,\|\bf F(x_2,\bf y)-\phi(\bf x_2)\|<\epsilon\)。

对于 \(U(\epsilon)\)-邻域中的 \(\bf x_1,\bf x_2\)，取 \(V(\epsilon,\bf x_1,\bf x_2)\)-邻域中的 \(\bf y\)，则

\[\|\phi(\bf x_1)-\phi(\bf x_2)\| \\\leq\|\phi(\bf x_1)-\bf F(\bf x_1,\bf y)\|+\|\bf F(\bf x_1,\bf y)-\Phi(\bf y)\|+\|\phi(\bf x_2)-\bf F(\bf x_2,\bf y)\|+\|\bf F(\bf x_2,\bf y)-\Phi(\bf y)\| \\\leq4\epsilon \]

这表明其满足 Cauchy 引理，于是有 \(\lim\limits_{\bf x\to\bf x_0}\phi(\bf x)\) 存在，可设之为 \(\bf A\)。于是，对于 \(\epsilon\)，取 \(U(\epsilon)\) 中的 \(\bf x_1\)，则有 \(\|\phi(\bf x_1)-\bf A\|\leq4\epsilon\)。

而，取定 \(U(\epsilon)\)-邻域中的 \(\bf x_1\)，考虑 \(V(\epsilon,\bf x_1)\) 邻域中的 \(\bf y\)，则

\[\|\Phi(\bf y)-\bf A\| \\\leq\|\Phi(\bf y)-\bf F(\bf x_1,\bf y)\|+\|\bf F(\bf x_1,\bf y)-\phi(\bf x_1)\|+\|\phi(\bf x_1)-\bf A\| \\\leq\epsilon+\epsilon+4\epsilon \\\leq6\epsilon \]

那么 \(\lim\limits_{\bf y\to\bf y_0}\Phi(\bf y)=A=\lim\limits_{\bf x\to\bf x_0}\phi(\bf x)\)，也即两极限可以换序。

有界闭集上连续函数必然一致连续，因此视情况而定一致连续的条件也有可能退化为连续。

II.同阶

认为当 \(x\to x_0\) 时，\(f(x)=O(g(x))\)，如果存在 \(x_0\) 的邻域以及 \(0<A<B\)，使得 \(A\|g(x)\|\leq \|f(x)\|\leq B\|g(x)\|\)。

存在不牛的教材认为必须得 \(\lim\limits_{x\to x_0}\dfrac{\|f\|}{\|g\|}=C\)；但是这会导致若干东西之间无法比较，而这是不牛的。

认为 \(f=o(g)\)，如果对于任意 \(\epsilon\) 都存在 \(x_0\) 的邻域使得 \(\|f\|\leq\epsilon\|g\|\)。

阶的定义仍然与基无关。

几种常用的“标准”阶，为 \(\|x\|^k\) 之类的。

所有的范数间彼此同阶。

III.微分

微分 \(\D f(x_0)(x)\)，是满足 \(f(x_0+x)=f(x)+\D f(x_0)(x)+o(\|x\|)\) 的、在第二维上线性的函数。

因为线性函数就仅仅是满足 \(\lambda L(x)=L(\lambda x),L(x)+L(y)=L(x+y)\) 的函数，所以微分的定义与基无关。

但是，微分的维数太高，人类无法准确地描述它。为了刻画它，我们尝试在某条直线上定义之。

沿着向量 \(v\) 的导数，是 \(\lim\limits_{t\to0}\dfrac{f(x_0+tv)-f(x_0)}t\)。仅当 \(v\) 是单位向量时，其可以被称作方向 \(v\) 的方向导数，可以记作 \(\p_vf,\dfrac\p{\p v}f\) 之类各种说法。

在微分存在时，方向导数有着很好的性质，比如说 \(\p_vf(x_0)=\D f(x_0)(v)\) 之类的。事实上，这个性质不仅对于方向导数生效，对于沿向量导数也是有效的。但是，沿向量导数往往没有类似于 \(\dfrac\p{\p v}f\) 之类简洁的符号表达，这是因为向量长度乘以 \(\lambda\)，沿向量导数也会乘以 \(\lambda\)，与这个“分数”形式的式子显得有些格格不入。相反，一维的时候，诸如 \(\dfrac{\d y}{\d x}\) 之类的定义，其实是 \(\dfrac{\Delta y}{\Delta x}\) 趋于 \(0\) 时的结果，\(x\) 这个东西确确实实是在分母上的，因此 \(\dfrac{\d y}{\d(\lambda x)}\) 之类的说法在一维时是合法的；但是在高维时，类似的说法是不存在的。

方向导数也是不依赖坐标系而独立存在的。——尽管在坐标系下，方向导数可能有着更牛的某些性质，更简单的刻画之类的。

线性函数总是可以用任一组基底处的值来唯一刻画。这其中，如果我们特意选取单位正交基，那么就有着如下优雅的性质：

• 令 \(\part_i\) 为 \(f\) 沿着第 \(i\) 个基底向量的导数（这种导数被称作 偏导数。偏导数仅在基底确定时有定义。视情况而定，可能有 \(\p_{x^i}\)，\(\dfrac{\p}{\p x^i}\) 之类的记法。）
• 则，对于 \(\bf x=\sum\xi_i\bf e_i\) 的场合，有 \(\D f(\bf x_0)(\bf x)=\sum\limits_{i=1}^n\xi_i\p_i(\bf x_0)\)。

在值域是一维的场合，有对应的梯度向量 \(\nabla f(x_0)=\sum\p_i(x_0)\bf e_i\)。梯度向量有着 \(L(\bf x_0)(\bf x)=\nabla f(x_0)\cdot\bf x\) 的优秀性质。在梯度非零时，梯度方向是函数值变化最剧烈的方向。

梯度本身其实亦是与坐标系无关的，因为任意线性函数都可以被转为与某一向量的内积，这一向量即为梯度。然而，具体对梯度的计算还是在坐标系下进行的。

在值域一维的情形下，梯度可以完美刻画微分。值域高维的情况下，使用 Jacobi 矩阵来刻画微分。

Jacobi 矩阵是在对值域和定义域同时建立坐标系后才有定义。对值域正交坐标系刻画后，\(\bf F(\bf x)\) 就被变成了若干个 \(F_i(\bf x)\) 构成的列向量。对每个列向量分开求偏导数，最终得到 Jacobi 矩阵

\[JF(\bf x_0)=\begin{bmatrix}\p_1F_1(\bf x_0)&\p_2F_1(\bf x_0)&\dots\\\p_1 F_2(\bf x_0)&\p_2F_2(\bf x_0)&\dots\\\vdots&\vdots&\ddots\end{bmatrix} \]

Jacobi 矩阵是 \(n\times m\) 矩阵，其中 \(n\) 是值域维数，\(m\) 是定义域维数。值域一维时，Jacobi 矩阵是行向量，其实就是梯度的转置。定义域一维时，Jacobi 矩阵是列向量，其实对应着“高维导数”，即向量导数的概念；值域、定义域均只有一维时，就是普通的一维导数。

值域是高维时，偏导是列向量，Jacobi 矩阵是偏导数向量的拼接。

由 Jacobi 矩阵可以直接刻画微分，即 \(L(\bf x_0)(\bf x)=JF(\bf x_0)\bf x\)，其中后者是直接的矩阵乘法，直接乘出来就得到微分（的向量表示）。回到微分的定义式，便有 \(F(\bf x_0+\bf x)=F(\bf x_0)+JF(\bf x_0)\bf x+o(\|\bf x\|)\)；如果是梯度，则有 \(f(\bf x_0+\bf x)=f(\bf x_0)+\nabla f(\bf x_0)\cdot\bf x+o(\|\bf x\|)=f(\bf x_0)+\nabla f(\bf x_0)\bf x^T+o(\|\bf x\|)\)。

微分的定义式比较难以应用。有微分的存在性定理，即如果每一维偏导数均存在，且所有偏导数均连续（注意这里是连续而非偏连续），则微分必然存在（事实上，可以有至多一维存在但不连续，证明使用 Lagrange 中值定理）；但是反之不亦然，即不存在连续偏导数则微分也可能存在。但是，如果偏导数不存在，则微分必然不存在。

特别地，多元函数本身就可以将每一维看作一个线性维度，不同的维度被类似于笛卡尔积一样的东西组合在一起，其实本质上也是一种坐标系展开罢了。不同的是，这里的坐标系是“内嵌”于函数定义域中的，不太能够随意变换。因此，下一节中，我们将使用函数嵌套的思想，来处理这种内嵌坐标系的变换。

IV.坐标系变动与函数嵌套

首先思考同一个线性空间下的坐标系变换。线性空间下坐标系变换可以用矩阵 \(A\) 刻画，事实上有 \(J'=JA\)。

更多的其实是非线性的变换，比如说 \(\bf y=\bf F(\bf x)\)，\(\bf z=\bf G(\bf y)\)。这时，通过一些推导，我们可以得到 \(\D\bf G(\bf F(\bf x_0))(\bf x)=\D\bf G(\bf y_0)\circ\D\bf F(\bf x_0)(\bf x)=\D\bf G(\bf y_0)(\D\bf F(\bf x_0)(\bf x))\)。或者，经历一些恼人的省略后，我们得到 \(\D\bf G(\bf F)=\D\bf G\circ\D\bf F\)。如何展开这一坨东西可以参考本人之前的作品。

比如说，我们来求偏导。

\[\dfrac{\p}{\p x_i}\bf G(\bf F(\bf x_0)) \\=\D\bf G(\bf y_0)(\dfrac\p{\p x_i}\bf F(\bf x_0)) \\=J\bf G(\bf y_0)\dfrac\p{\p x_i}\bf F(\bf x_0) \\=\sum\left(\dfrac\p{\p x_i}\bf F(\bf x_0)\right)_j\dfrac{\p}{\p y_j}\bf G(\bf y_0) \\=\sum\dfrac{\p y_j}{\p x_i}\dfrac{\p}{\p y_j}\bf G(\bf y_0) \]

一种思考方式是，\(\bf G\) 的线性近似，其实是所有的 \(\bf y_i\) 方向按照 \(\p_{\bf y_i}\bf G\) 的系数的线性组合；现在要对 \(\bf x\) 对应的基底处理，就可以先做一遍线性近似，展成各个 \(\bf y_i\)，然后再对 \(\bf y_i\) 分开在 \(\bf x\) 的每一项处理，即得上式。

写成矩阵的形式就是 \(JG(F)=JG\times JF\)。

V.高阶导数与 Taylor 展开

微分是普罗米修斯，为混沌的映射带来的线性的最初曙光。人有了火，就会想着去研发原子弹。Taylor 展开就是把线性完全撕碎，纠缠的高阶导数迸发的能量足以令人头晕目眩。

微分与原本函数并非同一类型：如果原函数是 \(U\to V\)，则微分是 \(U\times U\to V\)。但是，偏导数却和原始函数有相同的类型，都是 \(U\to V\) 的函数。因此，偏导数可以再求偏导，不论是与原本偏导同向还是换向。

称函数 \(\in\scr C^1\)，如果其在定义域中连续可偏导（指存在连续的一阶偏导数）。称 \(\in\scr C^k\)，如果所有的偏导函数都 \(\in\scr C^{k-1}\)。称 \(\in\scr C^\infty\)，如果任意高阶可微。

高阶偏导 \(f_{k_1,\dots,k_r}=\dfrac{\p^r}{\p x_{k_r}\dots\p x_{k_1}}f=\dfrac\p{\p x_{k_r}}\dfrac\p{x_{k_{r-1}}}\dots\dfrac\p{\p x_{k_1}}f\)。永远是靠近 \(f\) 的先求导。\(m\) 元函数的 \(r\) 阶偏导有 \(m^r\) 种。

Clairaut 定理：若对于同一组求偏导的元素，任意交换求偏导顺序得到的偏导函数全部都连续，则其全部都相等。于是有 \(\dfrac{\p^r}{\p x_1^{t_1}\dots\p x_n^{t_n}}f\) 这样的写法。

带 Peano 余项的 \(r\) 阶 Taylor 公式

\[f(\bf x_0+\bf v)=\sum\limits_{i=0}^r\sum\limits_{\sum t=i}\dfrac{\p^i}{\p x_1^{t_1}\p x_2^{t_2}\dots\p x_{n}^{t_n}}f(\bf x)\dfrac{\bf v_1^{t_1}\bf v_2^{t_2}\dots\bf v_n^{t_n}}{t_1!t_2!\dots t_n!}+o(\|\bf v\|^r) \]

带 Lagrange 余项的 \(r\) 阶 Taylor 公式

\[f(\bf x_0+\bf v)=\sum\limits_{i=0}^r\sum\limits_{\sum t=i}\dfrac{\p^i}{\prod\p x_i^{t_i}}f(\bf x)\prod\dfrac{\bf v_i^{t_i}}{t_i!}+\sum\limits_{\sum t=r+1}\dfrac{\p^{r+1}}{\prod\p x_i^{t_i}}f(\bf x_0+\theta\bf v)\prod\dfrac{\bf v_i^{t_i}}{t_i!} \]

特别需要注意不能忽略 Taylor 展开的阶乘系数。

VI.常义含参积分与换序初步

对于定义于矩形 \([a,b]\times[c,d]\) 上的函数 \(f(x,y)\)，可以定义对应的常义含参积分 \(I(y)=\int_a^bf(x,y)\d x\) 和 \(J(y)=\int_a^bf(x,y)\d y\)。

只要函数连续，常义含参积分就连续。这不仅适用于定义于矩形上的含参积分，更适用于某闭集上的 \(\bf x\) 乘以某闭区间 \([a,b]\) 上的 \(y\) 关于 \(\int_a^b\) 的含参积分，并直接知函数连续时，极限与积分可以交换。

两常义含参积分在函数连续时亦可以换序。

在原函数和偏导数均连续时，常义含参积分可以与偏导换序。这是因为求偏导只在意邻域附近的值，然后 \([a,b]\) 又是闭区间，所以连续可以推出一致连续。

由此得到变上下限含参积分导数求法：

\[F(y)=\int_{u(y)}^{v(y)}f(x,y)\d x \]

记 \(G(u,v,y)=\int_u^vf(x,y)\d x\)，则由 Newton-Leibniz 公式，\(\p_uG=-f(u,y),\p_vG=f(v,y)\)，且 \(\p_yG=\int_u^v\p_yf(x,y)\d x\)。

现在存在 \(u=u(y)\) 和 \(v=v(y)\) 的函数，于是 \(F(y)'=u'\p_uG+v'\p_v G+\p_yG=v'f(v,y)-u'f(u,y)+\int_{u(y)}^{v(y)}\p_yf(x,y)\d x\)。

同时，如果有一个孤立的不易计算的积分，可以尝试将其嵌入一族积分中，对该族积分求偏导并将偏导数移入积分内，求出偏导值再积分回去得到原积分。

VII. Hesse 矩阵与极值分析

Fermat 引理在多元时仍然成立。如果梯度非零，则顺梯度方向在充分小邻域内函数增，逆梯度方向则在充分小邻域内减，于是极值点必是零梯度点。零梯度点被称作 驻点 或 临界点。

同一元时一致，要想分析极值点的性质，得展开到二阶。驻点附近的二阶 Taylor 展开是 \(f(\bf x_0+\bf v)=f(\bf x_0)+\dfrac12\sum\limits_i\sum\limits_j\p_{i,j}f(\bf x_0)\bf v_i\bf v_j+o(\|\bf v\|^2)\)。

Hesse 矩阵或者 Hessian 是二阶偏导构成的矩阵 \(H_f(\bf x_0)=[\p_{i,j}f(\bf x_0)]\)。Hesse 矩阵是对称的，对称矩阵总有实特征值。

套用 Hesse 矩阵，得到 \(f(\bf x_0+\bf v)=f(\bf x_0)+\dfrac12\bf v^TH\bf v+o(\|\bf v\|^2)\)。

对于 \(\bf v\)，希望可以在特征空间里分解，分解为特征向量的线性组合。沿着 \(\xi_i\bf r_i\)——其中 \(\bf r_i\) 是对应特征值 \(\lambda_i\) 的特征向量——走，\((\xi_i\bf r_i)^T H(\xi_i\bf r_i)=(\xi_i\bf r_i)^T\lambda_i(\xi_i\bf r_i)=\lambda_i\|\xi_i\bf r_i\|^2\)。因此，这个值的正负性全看 \(\lambda_i\) 的正负性。

如果全体特征值均为正，则分解后得到的每一项也为正，于是向所有方向跑的增量都为正，则为极小值。均为负，则为极大值。某些特征值为正某些为负，则是鞍点。如果存在零特征值，则对应特征向量方向可能需要更细致的高阶展开。

于是得到：

• Hesse 矩阵正定是极小值的充分条件。
• Hesse 矩阵半正定是极小值的必要条件。

同理，负定、半负定是极大值的充分、必要条件。

如何快速判定正定性？对于 \(2\times2\) 对称矩阵 \(\begin{bmatrix}a&b\\b&c\end{bmatrix}\)，当 \(ac\neq b^2\) 时其非退化，此时：

• \(a>0,ac>b^2\) 则其正定。
• \(a<0,ac>b^2\) 则其负定。
• \(ac<b^2\) 则其不定。

VIII.函数的凹凸性

凸集，是任意两点连线上所有点都在集合内的集合。

凸集上定义的凸函数才有意义。取任意两点，如果其连线上点的函数值总是在该两点连线及其下方，则称其是凸函数。如果除了端点外其余点都在连线严格下方，则称其严格凸。凹函数的负函数是凸函数。

对于 \(\scr C^2\) 函数，若 Hesse 矩阵总是半正定，则其凸；若总是正定，则其严格凸。前者反之亦然：即凸函数的任意内点均有半正定 Hesse 矩阵；但后者反之不亦然，严格凸函数的 Hesse 矩阵并不需要处处正定。

\(\scr C^2\) 凸函数的临界点必为极小值、最小值。若严格凸，则必为唯一最小值。证明凸函数可以用于应对一些 Hesse 矩阵退化（即存在零特征值）的场合，因为零特征值 Hesse 矩阵处无法单靠 Hesse 矩阵判断极值性。

IX.隐函数定理与逆映射定理

如果说微分像火，高阶微分像原子弹：研究能量的尺度不断精细化；那么，隐函数定理就是火球术，其背后站着一整套完善的魔法体系——即线性代数相关内容。火球术虽然不起眼，但是却为我们打开了用火的新思路。

隐函数定理告诉我们，当 \(\bf F(\bf x,\bf y)=\bf 0\) 时，在任意解 \(\bf x_0,\bf y_0\) 处，若 \(\dfrac{\p\bf F}{\p\bf y}\) 对应的 Jacobi 矩阵可逆（这首先要求 \(\bf y,\bf F\) 的维数相同），则在解周围存在由 \(\bf x\) 唯一决定 \(\bf y\) 的方法 \(\bf y=\bf y(\bf x)\)。

隐函数定理使得我们可以用一种 恰当 的方式对方程进行线性近似，即对方程两侧同时关于 \(\bf x\) 求偏导，得到 \(\dfrac{\p\bf F}{\p\bf x}+\dfrac{\p\bf F}{\p\bf y}\dfrac{\p\bf y}{\p\bf x}=\bf 0\)，进而 \(\dfrac{\p\bf y}{\p\bf x}=-\left(\dfrac{\p\bf F}{\p\bf y}\right)^{-1}\dfrac{\p\bf F}{\p\bf x}\)。隐函数定理保证此式有定义。

• 如何简单求逆？Cramer 法则表明，\(\begin{bmatrix}a&b\\c&d\end{bmatrix}^{-1}=\dfrac{\begin{bmatrix}d&-b\\-c&a\end{bmatrix}}{\det\begin{bmatrix}a&b\\c&d\end{bmatrix}}\)。

同理有逆映射定理。逆映射定理其实比起隐函数定理，更好体现了线性近似的原则：若 \(\bf y=\bf F(\bf x)\)，则其线性近似为 \(\bf y-\bf y_0= J\bf F(\bf x_0)(\bf x-\bf x_0)\)；如果 Jacobi 矩阵 \(J\bf F(\bf x_0)\) 可逆（这首先要求 \(\bf x,\bf y\) 的维数相同），则逆映射满足 \(J\bf F^{-1}(\bf y_0)=J\bf F(\bf x_0)^{-1}\)。

目前没啥用处（？）的整体微分同胚定理：对于开集 \(U\in\R^n\)，考虑 \(F:U\to\R^n\) 是 \(\scr C^r\) 映射，则以下两陈述等价：

• \(F\) 是开集到开集的微分同胚，即存在有相同高阶可微性的逆映射。
• \(F\) 是单射，且 Jacobi 矩阵处处可逆。

微分同胚是一种非线性的可逆坐标变化。

X.曲面与切空间与法空间

高维的曲面，是一组点集，满足：

• 对于点集中每个点，考虑其邻域中所有点集里的点，这些点总是可以由一部分变量确定另一部分变量的值。

如果总是可以由 \(m\) 个变量确定剩下变量的值，那么这个曲面被称作 \(m\) 维曲面。如果这 \(m\) 个变量在邻域内彼此独立，且该性质对于曲面中每个点及其邻域均与 \(m\) 无关地成立，那么这个曲面被称作 \(m\) 维正则曲面。

常见的定义曲面的方式有三种，即显式表现法（直接对平面内每个点给出一部分坐标由另一部分坐标决定的法则）、正则水平集法（满足 \(\bf F(\bf x)=\bf 0\) 的元素集合），和正则参数方程法（参数 \(\bf t\) 对应曲面中某点 \(\bf x(\bf t)\)）。其中后两者比较有价值。

我们主要研究曲面的线性近似，即切平面。切空间是过原点的线性平面，其平移后得到过切点的仿射空间，是为切平面。切平面中任一向量为切向量。与切空间正交的空间是法空间，其平移后同样得到过切点的仿射空间，是为法平面。研究曲面的性质，大部分是在研究切空间与法空间相关性质。

正则水平集法，其刻画了正则曲面，如果 Jacobi 矩阵满行秩，此时直接由隐函数定理，可以摘出那些在秩里的列，由这些列对应的向量刻画其它向量。正则水平集的 Jacobi 矩阵是一个扁胖的矩阵，因为矩阵的每一行是一条限制，让点集失去一个自由度；因此，如果 Jacobi 矩阵满行秩，则在此点附近正则水平集刻画一列数减行数维的曲面。

正则水平集的线性近似是 Jacobi 矩阵的（列）零空间。事实上，这表明正则水平集的场合，切空间就是 Jacobi 矩阵的零空间：这是切空间的隐式表示。切空间如果要显式表示，那么就需要求零空间的一组基，然后用基的线性组合表示零空间。同理，法空间是零空间的正交空间，即 Jacobi 矩阵的行空间。我们习惯把空间当成列空间来看，因此思考法空间的列表示，发现 Jacobi 矩阵的每一行都对应着正则水平集方程组 \(\bf F(\bf x)=\bf 0\) 的某行的行方程，该行方程的梯度的转置。于是，法空间的列形式，就是方程组中所有方程的梯度的线性组合。同理，这是一组显式表示，如果要求隐式表示就要加以转化。

而，正则参数方程法，仅在 Jacobi 矩阵满列秩时刻画正则曲面，此时可以摘出若干行，由逆映射定理，可以由这些行的变量反推参数，然后由参数推出剩余变量。正则参数方程的 Jacobi 矩阵是一个瘦高的矩阵，因为矩阵的每一列本身就是一个自由元；因此，Jacobi 矩阵满列秩时，正则参数方程刻画一列数维曲面。

正则参数方程的线性近似是 Jacobi 矩阵的列空间，也即其切空间。于是，其切空间即为各个偏导的线性组合，此乃显式表示。因为正则所以偏导数线性无关，则如果曲面是超曲面（维度为空间维度减一，即 \(\bf t\) 的维度恰为 \(\bf x\) 的维度减一），切向量 \(\bf v\) 能被线性表出当且仅当方阵 \([\bf v\quad J\bf x]\) 不可逆，也即行列式为零。关于第一列作代数余子式展开，得到切平面的隐式形式 \(\sum\bf v_i\det J\bf x\setminus i=0\)，其中 \(J\bf x\setminus i=\dfrac{\p(\bf x_{i+1},\dots,\bf x_n,\bf x_1,\dots,\bf x_{i-1})}{\p\bf t}\)。此时，法平面为一维，也即直线，且有法向量 \([J\bf x\setminus i]^T\)，隐式法线方程 \(\dfrac{\bf v_1}{J\bf x\setminus 1}=\dots=\dfrac{\bf v_n}{J\bf x\setminus n}\)，显式方程即为法向量的任意倍数。

XI. Lagrange 乘子法

Lagrange 乘子法用于求某个曲面上的最值。考虑要最小/最大化 \(f(\bf x)\)，且 \(\bf x\) 位于 \(\bf F(\bf x)=\bf 0\) 的曲面上。

• 为什么曲面是正则水平集而不是正则参数？因为正则参数 \(\bf x(\bf t)\) 可以直接代入 \(\bf f\) 的式子中，变成最值化 \(f(\bf t)\)。

此时，\(f(\bf x)\) 的最值不再需要梯度为零，只需要梯度与曲面的切平面正交即可，也即梯度向量位于法平面中，即可以被 \(\bf F(\bf x)\) 的梯度向量们线性表出。考虑令 \(\Lambda\) 向量表示每个梯度前的线性系数，则得到 Lagrange 函数 \(L(\bf x,\Lambda)=f(\bf x)-\Lambda\cdot\bf F(\bf x)\)，则极值点必是 \(L\) 函数的驻点。

但是，此等分析只在内点有效，倘若曲面被加诸了比较“粗糙”的边界，则边界上点需要加诸额外限制并分析。

倘若只要求最值，那么一般而言不需要判定驻点的极值点类型，只需一股脑求出全体驻点并对它们求最值，并尝试处理趋于边界时的取值即可。同时，灵活运用“有界闭集上连续函数必然存在最大最小值”以及“当边界时函数值趋于负无穷时，连续函数存在最大值”及其相反条件可以省掉很多讨论。

但是问题在于，有些时候不得不判定极值点类型。这时就要分析切平面中 Hesse 矩阵的性质了。

从头开始推论。倘若在 \(\bf x^*\) 处满足 \(\bf F(\bf x^*)=0\)，则我们不妨假定 \(J\bf F(\bf x^*)\) 满行秩，这样可以应用隐函数定理，将 \(\bf x\) 中变量分成 \(\bf u,\bf v\) 两半，满足在 \(\bf x_0\) 周围存在隐函数 \(\bf v=\bf v(\bf u)\)。于是，\(f(\bf x)=f(\bf u,\bf v)=f(\bf u,\bf v(\bf u))=:\Phi(\bf u)\)，且此时新定义的 \(\Phi(\bf u)\) 即失去了 \(\bf F\) 加诸的性质，可以直接应用 Hesse 矩阵加以分析。

对 \(\Phi\) Taylor 展开，得到

\[\Phi(\bf u^*+\bf w)=f(\bf u^*+\bf w,\bf v(\bf u^*+\bf w)) \\=f(\bf u^*,\bf v^*)+\p_1f(\bf u^*,\bf v^*)+\p_2f(\bf u^*,\bf v^*)\D\bf v(\bf u^*)\bf w \\+\dfrac12\p_2f(\bf u^*,\bf v^*)\D^2\bf v(\bf u^*)\bf w+\dfrac12\p_{1,2}^2f(\bf u^*,\bf v^*)(\bf v,\D\bf v(\bf u^*)\bf w)+o(\|\bf v\|^2) \]

记 \(\bf z=\D\bf v(\bf u^*)\bf w,\Lambda^*=(\p_2f(\bf x^*,\bf y^*)\p_2\bf F(\bf x,\bf y)^{-1})^T\)，则极值点处的 \(\Phi\) 满足梯度为零，即 \(\p_1f(\bf x^*,\bf y^*)-\Lambda^{*T}\p_1\bf F(\bf x^*,\bf y^*)=0\)。其实就是 Lagrange 乘子的 \(\p_1L(\bf x,\Lambda)=0\)。也就是说，上述 Taylor 展开所需要的 \(\Lambda^*\) 刚好可以被 Lagrange 乘子表出。

二阶导一通推后，得到 \(\bf w^T(H_L)_\bf x\bf w\)。

考虑在驻点处的切平面是 \(\Xi\)，由 \(\bf F(\bf x)=\bf 0\) 以及极值点位置最终可以得到 \(G\Xi=\bf 0\) 的限制，其中 \(G\) 是常系数矩阵。应用上述推论，计算 \(\Xi^T(H_L)_\bf x\Xi\)，代入 \(\Xi\) 的性质（例如 \(G\Xi=\bf 0\)）来验证此式是否对于 \(\Xi\neq\bf0\) 恒正或恒负。

XII.广义含参积分

广义含参积分 \(\int_a^\omega f(x,y)\d y\) 是 \(\lim\limits_{b\to\omega}\int_a^bf(x,y)\d y\)。称 \(f\) 在 \(A\) 上逐点收敛，如果对于一切 \(x\in A\) 都有 \(\lim\limits_{b\to\omega}\int_a^bf(x,y)\d y\) 收敛。称 \(f\) 在 \(A\) 上一致收敛，如果对于一切 \(\epsilon\)，都存在共同的 \(\delta\)，使得在 \(\omega\) 的 \(\delta\)-邻域内的一切 \(b\)，对于一切 \(x\in A\)，都有 \(\int_a^bf(x,y)\d y\) 与最终极限的差不超过 \(\epsilon\)。

判定一致收敛有所谓的 Cauchy 准则：若 \(\int_a^\omega f(x,y)\d y\) 在 \(A\) 上一致收敛，当且仅当对于一切 \(\epsilon>0\)，存在常数 \(\delta\) 使得一切在 \(\omega\) 的 \(\delta\)-邻域内的 \(b_1,b_2\) 都有 \(|\int_{b_1}^{b_2}f(x,y)\d y|<\epsilon\) 成立，不论 \(x\) 取何值。

一致绝对收敛：取绝对值后的函数仍然一致收敛。

Weierstrass 判别法：如果 \(|f(x,y)|<F(y)\) 且 \(\int_a^\omega F(y)\d y\) 收敛，则广义含参积分一致（绝对）收敛。

Dirichlet 判别法和 Abel 判别法是衡量乘积 \(f(x,y)g(x,y)\) 的一致收敛性的方法。

其中，Dirichlet 判别法的条件为：

• \(\int_a^bf(x,y)\d x\) 一致有界，也即对于一切 \(a<b<\omega\) 和一切 \(x\)，该式均被常数 \(B\) 限制。
• \(g(x,y)\) 在 \(y\) 固定时，关于 \(x\) 单调。
• 当 \(x\to\omega\) 时，\(g\) 关于 \(y\) 一致趋于 \(0\)。

而 Abel 则为：

• \(\int_a^bf(x,y)\d x\) 一致收敛。
• \(g(x,y)\) 在 \(y\) 固定时，关于 \(x\) 单调。
• \(g\) 一致有界。

定义 \(g(x)=\int_a^\omega f(x,y)\d y\)。对于开集或闭集上的 \(g\)，如果 \(g(x)\) 一致收敛且 \(f\) 连续，则 \(g\) 连续。这同时得到推论，极限可以和广义含参积分换序。

当函数连续且积分一致收敛时，广义积分可以和 Riemann 积分换序。

当满足下文中提到性质时，广义积分可以和广义积分换序。

XIII.换序大全

我们最开始介绍了万能换序公式：对于任何含距离空间上的 \(\bf f(\bf x,\bf y)\)，只要其中一者有一致的极限、另一者有极限，则累次极限均存在且相等。

换序的两方可能是以下东西中任意两个：极限、Riemann 积分、偏导、广义积分。我们不仅在意函数被操作的维数，更在意在未操作的维数上的信息。

但是大概率不会涉及到这么复杂的东西。

• 极限与极限的换序。

最经典的一集。

函数：\(f(x,y)\)，定义域可以看作某点 \((x_0,y_0)\) 的邻域 \(A\times B\)。

\[\lim_{x\to x_0}\lim_{y\to y_0}f(x,y)=\lim_{y\to y_0}\lim_{x\to x_0}f(x,y) \]

一个充分条件是，\(\lim_{y\to y_0}f(x,y)=A(x)\) 此式对于一切 \(x\in A\) 一致且有 \(\lim_{x\to x_0}f(x,y)=B(y)\)。

如果还牵扯到一些无关变量 \(z\)，想要分析 \(g(z)=\lim_{x\to x_0}\lim_{y\to y_0}f(x,y,z)\) 的连续性等性质怎么办？

凉拌。

• 极限与 Riemann 积分的换序。

定义域：\(A\times[a,b]\)。

\[\lim_{x\to x_0}\int_a^bf(x,y)\d y=\int_a^b\left(\lim_{x\to x_0}f(x,y)\right)\d y \]

需要 \(\lim_{x\to x_0}f(x,y)\) 的极限一致。

需要 \(f\) 连续。这本质是因为，\(f\) 连续推出常义含参积分连续。

• 极限与偏导的换序。

定义域：有界闭区间，\(y_0\) 的有界闭邻域，有界闭集合 \(C\)。

\[\p_x\lim_{y\to y_0}f(x,y,z)=\lim_{y\to y_0}\p_x f(x,y,z) \]

要求在 \(y_0\) 邻域内等度可导（？）（指导数收敛速度可以被同一个东西所 bound（？））

其实，一个充分条件是，导数及其偏导数均连续即可。

• 事实上需要的是一致连续，不过因为定义域的有界闭性所以由连续可以推出有界闭。
• 其实，本质还是因为导数是局部性质，对要分析导数的每一点取邻域展开即可。

另一种更常见（？）的离散形式是，若函数列 \(\{f_n(x)\}\) 在 \((a,b)\) 收敛于 \(f(x)\)，且 \(f_n(x)\) 的导数连续且一致收敛，则导函数的极限等于极限的导函数。

• 极限与广义积分的换序。

\[\lim_{x\to x_0}\int_a^\omega f(x,y)\d y=\int_a^\omega\left(\lim_{x\to x_0}f(x,y)\right)\d y \]

要求 \(f\) 连续，且广义积分一致收敛。

这里本质是因为，\(f\) 连续且广义积分一致收敛则广义积分函数也连续。

• Riemann 积分与 Riemann 积分的换序。

\[\int_a^b\int_c^df(x,y)\d y\d x=\int_c^d\int_a^bf(x,y)\d x\d y \]

（Fubini 定理）最简单的一集，只要连续即可，因为连续即推出一致连续。

• Riemann 积分与偏导的换序。

若 \(f\in\scr C^r[\alpha,\beta]\times[\lambda,\mu]\times[a,b]\)，则 \(\dfrac{\part^k}{(\part x)^i(\part y)^j}\int_a^bf(x,y,z)\d z=\int_a^b\dfrac{\part^k}{(\part x)^i(\part y)^j}f(x,y,z)\d z\)，其中 \(i+j=k\leq r\)。

• Riemann 积分与广义积分的换序。

\[\int_a^b\int_c^\omega f(x,y)\d y\d x=\int_c^\omega\int_a^bf(x,y)\d x\d y \]

需要连续，且关于 \(\omega\) 一致收敛。

• 偏导与偏导的换序。

\[\p_x\p_y=\p_y\p_x \]

Clairaut 定理，两个偏导数均连续是偏导可换序的充分条件。

• 偏导与广义积分的换序。

\[\p_x\int_a^\omega f(x,y)\d y=\int_a^\omega\p_xf(x,y)\d y \]

要求：\(f\) 和 \(\p_xf\) 均连续、\(\int_a^\omega f(x,y)\d y\) 逐点收敛、\(\int_a^\omega\p_xf(x,y)\d y\) 一致收敛，则上式成立，且偏导连续。

事实上，\(\int_a^\omega f(x,y)\d y\) 逐点收敛可以弱化为在 \(A\) 内单点收敛，只需单点收敛即可推出逐点收敛。

如果只想求出单点导数，可以对于每个要求导数的点取其邻域。一些积分，可能在例如 \((0,+\infty)\) 这样的场合不一致收敛，但是你取点 \(t\) 的邻域 \(t_1<t<t_2\)，在 \([t_1,t_2]\) 内函数就可能是一致收敛的，此时就可以推出在 \(t\) 处偏导的换序性；对每个 \(t\) 应用上述分析，就得到处处偏导的换序性。

• 广义积分与广义积分的换序。

\[\int_a^{\omega_1}\int_b^{\omega_2}f(x,y)\d x\d y=\int_b^{\omega_2}\int_a^{\omega_1}f(x,y)\d y\d x \]

1. \(f(t,s)\) 在 \([a,\omega_1)\times[\alpha,\omega_2)\) 上连续；
2. 关于两维的积分分别一致收敛（即，\(\int_a^{\omega_1}f(t,s)\d s\) 在 \([\alpha,\omega_2)\) 一致收敛，另一个同理）；
3. 至少有一个绝对收敛。（即，\(\int_a^{\omega_1}\int_\alpha^{\omega_2}|f(t,s)|\d s\d t\) 或 \(\int_\alpha^{\omega_2}\int_a^{\omega_1}|f(t,s)|\d t\d s\) 至少一个收敛）

则上式成立。

INF.总结

这里有可能放一些东西。这里确实放了一些东西。

某些特殊积分的计算：

• 含参积分可以尝试把参数作为变量然后开导。

• 有些是隐含参积分。如果看到一些奇怪的、多次出现的常数，例如 \(\dfrac12\) 之类，可以尝试将其作为参数处理。

• 如果函数具有“重复相减”的片段，那么可能对应着 Newton-Leibniz 公式的展开：

  \[\int_0^{+\infty}\dfrac{\arctan bx-\arctan ax}x\d x \\=\int_0^{+\infty}\dfrac{\int_{ax}^{bx}\dfrac1{1+y^2}\d y}x\d x \\=\int_0^{+\infty}\int_a^b\dfrac1{1+(xy)^2}\d y\d x \\=\int_a^b\int_0^{+\infty}\dfrac1{1+(xy)^2}\d x\d y&(这步换序需要说明广义积分一致收敛) \\=\int_a^b\dfrac1y\arctan(xy)|_0^{+\infty}\d y \\=\dfrac\pi2\ln(\dfrac ba) \]

等高线意味着沿等高线处处切方向导数为零；反之，如果一阶偏导满足齐次线性方程，那么该方程确定了一条等高线。

\[\Gamma(x)=\int_0^{+\infty}t^{x-1}e^{-t}\d t \\\Beta(P,Q)=\int_0^1x^{P-1}(1-x)^{Q-1}\d x \\\Beta(P,Q)=\dfrac{\Gamma(P)\Gamma(Q)}{\Gamma(P+Q)} \\\Gamma(n+1)=n! \]

余元公式：\(\Beta(x,1-x)=\Gamma(x)\Gamma(1-x)=\dfrac\pi{\sin(\pi x)}\)。