本文整理一些与极限和连续有关的概念和定理。
1 实数线的拓扑
我们先从探讨“距离”的概念出发。我们知道对于\(x,y\in R\)，可以定义一个非负的Euclidean distance\(|x-y|\)。通过这个，我们可以定义某个点\(x\in R\)的\(\varepsilon\)-邻域（\(\varepsilon\)-neighbourhood）为集合\(S(x,\varepsilon)=\{y:|x-y|\lt \varepsilon\}\)，其中\(\varepsilon\gt 0\)。
如果对于集合\(A\subseteq R\)，\(\forall x\in A\)，都\(\exists \varepsilon\gt 0\)，使得该点的\(\varepsilon\)-邻域是\(A\)的子集，这样的集合\(A\)叫开集（open set）。\(R\)和\(\emptyset\)也都为开集。
\(R\)上的所有开集组成的collection，称为topology of \(R\)（拓扑），或者usual topology on \(R\)（通常拓扑）。我们还可以在\(R\)的子集或子空间（subspace）上讨论topology，对于\(A\subseteq \mathbb{S}\subseteq R\)，如果\(\forall x\in A\)，都\(\exists S(x,\varepsilon)\)，使得\(S(x,\varepsilon)\cap \mathbb{S} \subseteq A\)，就称\(A\)在\(\mathbb{S}\)中是开的（\(A\) is open in \(\mathbb{S}\)）。比如\([0,1)\)，在\(R\)中不是开的，但在\(\mathbb{S}=[0,2]\)中是开的。所有这些集合定义了relative topology on \(\mathbb{S}\)（相对拓扑），由定义直接可得以下定理。
定理：若\(A\)在\(R\)中是开的，则\(A\cap \mathbb{S}\)在relative topology on \(\mathbb{S}\)中是开的。
对于某个点\(x\in R\)，若\(\forall \varepsilon \gt 0\)，\(A\cap S(x,\varepsilon)\)均为非空集合，则称\(x\)为集合\(A\)的一个闭包点（closure point），它不一定是\(A\)中的元素。\(A\)的所有的闭包点组成了\(A\)的闭包（closure），记作\(\bar A\)或\((A)^-\)。
对于某个点\(x\in R\)，若它是\(A-\{x\}\)的闭包点，则称它是\(A\)的会聚点（accumulation point）。若\(x\)是\(A\)的闭包点且\(x\notin A\)，则\(x\)也是\(A\)的会聚点。而那些不是会聚点的闭包点，就是\(A\)的孤点（isolated point）。比如集合\(A=\{0\}\cup[1,2]\)，则\(x=0\)为\(A\)的孤点。
若点\(x\in \bar A\)满足\(\forall \varepsilon\gt 0\)，\(A^c\cap S(x,\varepsilon)\)均非空，则\(x\)称为集合\(A\)的边界点（boundary point）。可以将\(A\)的所有边界点组成的集合记为\(\partial A\)，则\(\bar A = A\cup\partial A\)。
\(A\)的内部（interior）就是集合\(A^o=A-\partial A\)。
闭集（Closed set）就是包含了该集合自己所有的闭包点的集合，对这样的集合来说，\(\bar A=A\)。
定理：\(R\)上的开集，其补集是闭集。
这是闭集的另一个定义。可以看出，\(R\)和\(\emptyset\)都既是开集又是闭集。推广至relative topologies，有如下定理。
定理：若\(A\)在\(\mathbb{S}\subseteq R\)中是开的，则\(\mathbb{S}-A\)在\(\mathbb{S}\)中是闭的。
定理：（1）开集的collection的并是开的；（2）若\(A\)和\(B\)都是开的，那么\(A\cap B\)也是开的。
定理：每个开集\(A\in R\)都可表达为可数个不交开区间的并。
定理：\(\mathscr{B}\)包含了\(R\)中的开集和闭集。
若一个collection \(\mathscr{C}\)满足对于一个\(A\subseteq R\)，\(A\subseteq \cup_{B\in\mathscr{C}}B\)，则称\(\mathscr{C}\)为\(A\)的一个覆盖（covering）。若这里每个\(B\)都是开集，则称该覆盖为开覆盖（open covering）。
定理 （Lindelof's covering theorem）：对于由\(R\)上的开子集组成的任意的一个collection\(\mathscr{C}\)，必定存在可数的subcollection \(\{B_i\in \mathscr{C}, i\in N\}\)，使得
这也就是说，若\(\mathscr{C}\)是\(R\)中某个集合的覆盖，那么它必定包含了一个可数的子覆盖。这也叫Lindelof property。
由覆盖的概念，可以导出一个更重要的概念：紧致性（compactness）：若对于集合\(A\)，每个\(A\)的开覆盖都包含了一个有限的子覆盖，则称\(A\)是紧的（compact）。
理解这个概念的关键在于“每个”和“开覆盖”。举个例子，对于\((0,1]\)，可数collection\(\{(1/n,1],n\in N\}\)是一个开覆盖，但没有有限的子覆盖，因此\((0,1]\)不是紧的。
若\(\exists x\in A\)和\(\varepsilon \gt 0\)，\(A\subseteq S(x,\varepsilon)\)，则称\(A\)是有界的（bounded）。换句话说，有界集合必须被一个有限区间所包含。有了有界的概念，我们回到紧致性。
定理：在\(R\)中的一个集合是紧的，当且仅当它是闭的、有界的。
对于\(A\)的子集\(B\)，若\(B\subseteq A\subseteq \bar B\)，则称\(B\)在\(A\)中稠密（dense）。
定理：若\(A\)是\(R\)上的区间，\(C\subseteq A\)是一个可数集合，则\(A-C\)在\(A\)中稠密。
2 序列和极限
实序列（real sequence）是一个从\(N\)到\(R\)的映射，定义域中的元素称为indices，它们的值域称为序列的项/成员/坐标（terms/members/coordinates）。
称\(\{x_n\}_1^{\infty}\) 收敛于（converge to）极限\(x\)，若\(\forall \varepsilon \gt 0\)，\(\exists N_\varepsilon\)，使得\(\forall n>N_\varepsilon, |x_n-x|\lt \varepsilon\)。若序列趋于\(\pm\infty\)则称发散（diverge），有时这也叫在\(\bar R\)中收敛，这是为了区别它们与那些不收敛到一个固定点的序列。
定理：任意在紧集中的单调序列均收敛。
即使序列不收敛，也可能会无限次地到达某个点。若存在子序列（subsequence）\(\{x_{n_k},k\in N\}\)和常数\(c\)，使得\(x_{n_k}\to c\)，则称\(c\)为序列的聚集点（cluster point）。比如序列\(\{(-1)^n,n=1,2,\ldots\}\)，可以用它的奇数位置元素和偶数位置元素分别构造出收敛子列。
子序列的概念很重要。典型的推理路线是这样的，先确定一个收敛子列（可能是单调序列），再利用序列的其他特性来说明聚集点是一个极限。由于序列的成员都是在紧集中的，一方面紧集是有界的，所以这样的序列不可能发散至无穷大，另一方面紧集又是闭的，所有的极限点或聚集点都在集合中。
定理：在\(R\)上的紧集中的任意序列，都有至少一个聚集点。
定理：在紧集中的序列，要不就有两个或更多的聚集点，要不就收敛。
例子：考虑序列\(\{1,x,x^2,\ldots\}\)，若\(|x|\lt 1\)则收敛于\(0\)，若\(x=1\)则收敛于\(1\)，若\(x\gt 1\)则其在\(R\)中发散，或者叫在\(\bar R\)中收敛至\(+\infty\)，若\(x=-1\)则在两个聚集点\(+1\)和\(-1\)之间摇摆，若\(x\lt -1\)则在\(R\)中发散，或者说在\(\bar R\)中的两个聚集点\(+\infty\)和\(-\infty\)之间摇摆。
接下来讨论实数序列。实数序列\(\{x_n\}\)的上极限（superior limit）定义为
类似可定义下极限（inferior limit）为
当\(\limsup_n x_n\)与\(\liminf_n x_n\)相等，序列收敛。
这几个概念可用来处理极限问题。有时候，直接假设极限存在是不合理的，但limsup和liminf是总是存在的，只需推导它们，再说明它们相等就行，另一个充分条件是\(\liminf_n x_n\gt \limsup_n x_n\)，也可以推出极限存在。
对于实数序列，有一个判断收敛的Cauchy准则（Cauchy criterion）：\(\{x_n\}\)收敛，等价于，\(\forall \varepsilon\gt 0\)，\(\exists N_\varepsilon\)，使得对于\(n\gt N_\varepsilon\)，\(m\gt N_\varepsilon\)，有\(|x_n-x_m|\lt \varepsilon\)。满足这个条件的，也叫Cauchy序列（Cauchy sequence）。满足本节开头对收敛的定义的数列必为Cauchy数列，实数Cauchy数列也必定有极限，两种极限的定义在\(R\)上等价。但Cauchy准则在很多时候更容易检验。
在集合\(A\)中的Cauchy序列，它的极限是\(A\)的会聚点；反之，每个\(A\)的会聚点\(x\)，都存在极限为\(x\)的Cauchy序列。因此，极限点（limit point）有时是会聚点（accumulation point）的同义词。
定理：任意实数都是某个有理数Cauchy序列的极限。
该定理意味着，任一实数的任一\(\varepsilon\)-邻域中，必定存在一个有理数，即\(Q\)在\(R\)中是稠密的。另外，\(Q\)的补集\(R-Q\)也是稠密的，因此，正常人的直觉“稠密的集合的补集是稀疏的”是错误的。
定理：任意开区间都是某个端点为有理数的闭子区间序列的极限。
这说明了，开集序列的极限不一定是开的，闭集序列的极限不一定是闭的。但是，非递减的开集序列的极限是开的，非递增的闭集序列的极限是闭的。
3 函数和连续
本节讨论函数及其连续性的概念。现有一个在实变量上的函数\(f: \mathbb{S}\mapsto \mathbb{T}\)，\(\mathbb{S}\in R\)，\(\mathbb{T}\in R\)，对于“连续性”（continuity），\(f\)在\(x\in\mathbb{S}\)处连续的正式定义为：\(\forall \varepsilon \gt 0\)，\(\exists \delta \gt 0\)，使得只要\(|y-x|\lt \delta\)就有\(|f(y)-f(x)|\lt \varepsilon\)。若\(f\)在\(\mathbb{S}\)的每个点上都连续，则称它在\(\mathbb{S}\)上连续。
定理：假设\(f: \mathbb{S}\mapsto \mathbb{T}\)在\(\mathbb{S}\)的所有点上连续，那么，若\(A\)在\(\mathbb{T}\)上是开的则\(f^{-1}(A)\)在\(\mathbb{S}\)上是开的，若\(A\)在\(\mathbb{T}\)上是闭的则\(f^{-1}(A)\)在\(\mathbb{S}\)上是闭的。
注意，这条定理没有说，若\(A\)是开的则\(f(A)\)是开的。如果一个映射满足若\(A\)是开的则\(f(A)\)是开的，可以称为开映射（open mapping）。由于\(f(A^c)\neq [f(A)]^c\)，因此开映射未必是闭映射（closed mapping）。但有一种特殊的函数，就是同胚（homeomorphism）。同胚是这样的一种函数，它是\(1\)-\(1\) onto（满射、单射）、连续，并且反函数也连续。若\(f\)为同胚，则\(f^{-1}\)也是同胚，同胚既是开映射，又是闭映射。
目前我们定义的连续，是关于函数在某个点处的性质，并不是函数自身的性质，为此还需要引入一致连续（uniformly continuous）的概念：\(\forall x,y\in \mathbb{S}\)，\(\forall \varepsilon\gt 0\)，\(\exists \delta\gt 0\)，使得，只要\(|x-y|\lt \delta\)，就有\(|f(x)-f(y)|\lt \varepsilon\)。
定理：如果一个函数在紧集\(\mathbb{S}\)上处处连续，则它在\(\mathbb{S}\)上必定是有界且一致连续的。
连续性是关于函数光滑性（smoothness）的最弱的概念，另外还有Lipschitz条件、可微、有界变差等概念。
我们来看Lipschitz条件（Lipschitz condition）：对于某个\(\delta\gt 0\)，\(\forall y\in S(x,\delta)\)，若\(\exists M\gt 0\)，使得\(|f(y)-f(x)|\leq Mh(|x-y|)\)，其中\(h:R^+ \mapsto R^+\)满足当\(d\downarrow 0\)时\(h(d)\downarrow 0\)，则称函数\(f\)在点\(x\)处满足Lipschitz条件。若固定\(M\)，\(\forall x,y\in \mathbb{S}\)上面的条件都成立，则称\(f\)满足一致Lipschitz条件（uniform Lipschitz condition）。
可微（diffrentiable）也是一种光滑性的概念。
当定义域是区间时，另一个光滑性的概念是有界变差（bounded variation）。若\(\exists M\lt \infty\)，使得，对于区间\([a,b]\)，任意一种用有限个点\(a=x_0\lt x_1\lt \cdots\lt x_n = b\)产生的划分，满足\(\sum_{k=1}^{n} |f(x_i)-f(x_{i-1})|\leq M\)，则称函数\(f\)是有界变差的。
定理：\(f\)是有界变差的，当且仅当存在非递减函数\(f_1\)和\(f_2\)使得\(f=f_2-f_1\)。
另外，在\([a,b]\)上由\(h(|x-y|)=|x-y|\)满足一致Lipschitz条件的函数，在\([a,b]\)上是有界变差的。
4 向量向量与函数
以上几节的结论，一般都可推广到\(R^k\)空间上。
定理：现有\(f:\mathbb{S}\mapsto\mathbb{T}\)，其中\(\mathbb{S}\in R^k\)，\(\mathbb{T}\in R^m\)，当且仅当\(f\)是连续的时，有：若\(A\)在\(\mathbb{T}\)上是开的则\(f^{-1}(A)\)在\(\mathbb{S}\)上是开的，若\(A\)在\(\mathbb{T}\)上是闭的则\(f^{-1}(A)\)在\(\mathbb{S}\)上是闭的。
5 函数的序列
取函数\(f_n:\Omega \mapsto \mathbb{T}\)，其中\(\mathbb{T}\in R\)，\(\Omega\)可以是任意集合（不一定是\(R\)的子集），则\(\{f_n,n\in N+\}\)就是函数的序列。
若存在一个\(f\)，\(\forall \omega\in\Omega\)，\(\forall \varepsilon\gt 0\)，\(\exists N_{\varepsilon \omega}\)，使得当\(n\gt N_{\varepsilon \omega}\)时必有\(|f_n(\omega)-f(\omega)|\lt \varepsilon\)，则称\(f_n\)在\(\Omega\)上逐点收敛于\(f\)（converge to \(f\), pointwise on \(\Omega\)）。
同理，我们可以定义函数序列的一致收敛（uniform convergence）：若存在一个\(f\)，使得\(\forall \varepsilon \gt 0\)，都\(\exists N\)使得当\(n\gt N\)时有\(\sup_{\omega\in\Omega} |f_n(\omega)-f(\omega)|\lt \varepsilon\)，则称\(f_n\)在\(\Omega\)上一致收敛于\(f\)（converge to \(f\) uniformly on \(\Omega\)）。
6 Summability与序关系
对于实数序列\(\{x_n\}_1^{\infty}\)，它的项的和称为级数（series），写为\(\sum_{n=1}^{\infty} x_n\)（或\(\sum x_n\)）。序列\(\{\sum_{m=1}^{n} x_m,n\in N+\}\)称为级数的部分和（partial sums）。对于一个级数来说，若部分和收敛于有限的极限，则称该级数收敛。另外，若单调序列\(\{\sum_{m=1}^{n} |x_m|,n\in N+\}\)收敛，则称对应的级数绝对收敛（converge absolutely）。
比如几何级数（geometric series）\(\sum_{j=1}^{\infty} x^j\)，若\(|x|\lt 1\)则它收敛于\(1/(1-x)\)，且它也是绝对收敛的，若\(x=-1\)则它在两个聚集点\(-1\)和\(0\)之间摇摆，若\(x\)取其他值则它发散。
定理：若级数绝对收敛，则它必收敛。
对应的一个术语叫summability，有时翻译成可求和性，但它是对应于数列的。若级数\(\sum x_n\)收敛则称\(\{x_n\}_1^{\infty}\)是summable，若\(\{|x_n|\}_1^{\infty}\)是summable则称\(\{x_n\}_1^{\infty}\)是absolutely summable。Summable序列必定收敛于\(0\)，反之不然，除非尾部和（tail sums）收敛于\(0\)，这是个充要条件，见下面定理。
定理：\(\{x_n\}_1^{\infty}\)是summable，当且仅当\(n\to\infty\)时有\(\sum_{m=n}^{\infty} x_m\to 0\)。
还有一个比普通的收敛更弱的概念：若\(\{n^{-1}\sum_{m=1}^{n} x_m\}_{1}^{\infty}\)收敛，则称\(\{x_n\}_1^{\infty}\)是Cesaro-summable的。
定理：若\(\{x_n\}_1^{\infty}\)收敛于\(x\)，则它的Cesaro和（Cesaro sum）也收敛于\(x\)。
注意，不收敛的序列也可能是Cesaro-summable的，比如序列\(\{(-1)^n\}_0^{\infty}\)，它不收敛，它的Cesaro和收敛于\(0\)，它的部分和序列\(\{\sum_{m=0}^{n}(-1)^m\}_0^{\infty}\)的Cesaro和收敛于\(1/2\)。
记号\(x_n\sim a_n\)表示，\(\exists N\gt 0,A\gt 0, B\geq A\)，使得\(\inf_{n\geq N}(x_n / a_n)\geq A\)，\(\sup_{n\geq N}(x_n / a_n)\geq B\)。下面是有关收敛速率的定理。
定理：\(\{x_n\}\)为正的实数序列，\(x_n\sim n^{\alpha}\)，则
- 若\(\alpha \gt -1\)，则\(\sum_{m=1}^{n} x_m\sim n^{1+\alpha}\)；
- 若\(\alpha = -1\)，则\(\sum_{m=1}^{n} x_m \sim \log n\)；
- 若\(\alpha \lt -1\)，则\(\sum_{m=1}^{n} x_m \lt \infty\)且\(\sum_{m=n}^{\infty} x_m=O(n^{1+\alpha})\)。
事实上，\(x_n\sim n^{\alpha}\)就意味着存在\(A\gt 0\)和\(B \geq A\)，使得\(A\sum_{m=N}^{n}m^\alpha \leq \sum_{m=N}^{n}x_m \leq B\sum_{m=N}^{n}m^\alpha\)，而\(n\to\infty\)时\(\sum_{m=1}^{n} m^\alpha\)的极限值，就是以\(\alpha\)为参数的Riemann Zeta函数，其中\(\alpha\lt -1\)。
若对于\(x\gt 0\)和\(-\infty\lt\rho\lt \infty\)，当\(v\to\infty (0)\)时，有\(U(vx)/U(v)\to x^\rho\)，则称\(U\)是regularly varying at infinity (zero)。若对于\(x\gt 0\)，当\(v\to\infty (0)\)时，有\(L(vx)/L(v)\to 1\)，则称\(L\)是slowly varying at infinity (zero)。显然，一个regularly varying函数\(U\)可以写作\(U(v)=v^\rho L(v)\)，其中\(L\)是slowly varying的。举个例子，\((\log v)^\alpha\)对于任意\(\alpha\)都是slowly varying at infinity。
这两种函数都定义在实数上，但也可以限制在\(N^+\)上，这样就可以将它们的概念引入到正数序列上。
定理：若\(L\)是slowly varying at infinity，则\(\forall \delta\gt 0\)，\(\exists N\geq 1\)，使得\(\forall v\gt N\)，都有\(v^{-\delta} \lt L(v) \lt v^{\delta}\)。
推论：若\(x_n=O(n^\alpha L(n))\)，则\(\sum_{n=1}^{\infty} x_n \lt\infty\)，这对于任意的\(\alpha \lt -1\)和slowly varying at infinity的函数\(L(n)\)都成立。
定理：若\(x_n\sim 1/[n(\log n)^{1+\delta}]\)，\(\delta\gt 0\)，则\(\sum_{n=1}^{\infty} x_n \lt\infty\)。若\(\delta =0\)，则\(\sum_{n=1}^{\infty} x_n \sim \log\log n\)。
定理（Feller，1971）：若正的单调函数\(U(v)\)满足\(\forall x\in D\)，\(\dfrac{U(vx)}{U(v)}\to\Psi(x)\)，其中\(D\)在\(R^+\)上稠密，\(0\lt \Psi(x)\lt \infty\)，则必有\(\Psi(x)=x^\rho\)，其中\(-\infty\lt \rho\lt\infty\)。
定理：单调的regularly varying的函数的导数，必定regularly varying at \(\infty\)。
7 Arrays
所谓array，就是定义域为可数的linearly ordered的集合的Cartesian product（或它的子集）的映射。
有限个序列组成的collection\(\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}\)，\(n\to\infty\)时有\(k_n \uparrow \infty\)，称这样的collection为triangular array。
Toeplitz's Lemma：假设\(\{y_n\}\)是实数序列，\(y_n\to\infty\)，若\(\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}\)为triangular array，并且
- 对于每个固定的\(t\)，当\(n\to 0\)时，\(x_{nt}\to 0\)；
- \(\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} |x_{nt}| \leq C \lt \infty\)；
- \(\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} x_{nt} = 1\)，
则\(\sum_{t=1}^{k_n} x_{nt} y_n \to y\)。对于\(y=0\)，条件3可忽略。
满足上述引理的条件的一个典型例子就是\(x_{nt}=(\sum_{s=1}^{n} y_s)^{-1}y_t\)，其中\(\{y_t\}\)为正数序列且\(\sum_{s=1}^n y_s\to \infty\)。
Kronecker's Lemma：考虑正数序列\(\{a_t\}_1^\infty\)和\(\{x_t\}_1^\infty\)，其中\(a_t\uparrow\infty\)，若当\(n\to\infty\)时，\(\sum_{t=1}^{n} x_t/a_t\to C\lt \infty\)，则\(\dfrac{1}{a_n}\sum_{t=1}^{n}x_t\to 0\)。
关于array的收敛性，可以理解为在序列上的概念延伸。考虑子序列\(\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}\)，其中\(\{n_k,k\in N^+\}\)是正整数的递增序列。若\(x_m = \lim_{k\to\infty} x_{m n_k}\)对于每个\(m\in N^+\)都存在，则称array就是收敛的，它的极限就是无穷序列\(\{x_m,m\to\infty\}\)，至于这个序列是否收敛，那就是另外一个问题了。
现在考虑一个有界array即\(\sup_{k,m} |x_{m{n_k}}|\leq B\lt \infty\)，由前文定理可知，\(R\)上紧集中的任意序列必有至少一个聚集点，可将\(\{x_{m{n_k}},k\in N^+\}\)的某个聚集点记为\(x_m\)，这是对于array内部的序列来说的聚集点。那么，对于整个array来说，它有聚集点吗？有如下定理。
定理：对于任一有界array \(\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}\)，都存在一个对应的的序列\(\{x_m\}\)，它是当\(k\to\infty\)时\(\{\{x_{m{n_k^*}}, k\in N^+\},m\in N^+\}\)的极限，其中\(\{n^*_k\}\)是\(\{n_k\}\)的子序列，且对于每个\(m\)都相同。
参考文献
- Davidson, J., 1994. Stochastic limit theory: An introduction for econometricians. OUP Oxford.
