Appendix A Overview on Suprema and Limits

Appendix A Overview on Suprema and Limits

A. 1 Supremum and maximum

这里我们回顾了有关上确界和极限的基本结果，这些结果对于发展信息理论编码定理非常有用。

• 我们的讨论始终在 \(\mathbb{R}\) 的子集上进行，即实数集。

定义 A.1（集合的上界）如果一个实数 \(u\) 是非空子集 \(\mathcal{A}\) 的上界，即 \(\mathcal{A}\) 中的每一个元素都小于或等于 \(u\)，我们说 \(\mathcal{A}\) 是有上界的。符号上，定义表示为：

\(\mathcal{A} {\subset} \mathbb{R}\) 有上界 \({\Leftrightarrow} \left( {\exists}u {\in} \mathbb{R} \right)\) 使得 \(\left( {\forall}a {\in} \mathcal{A} \right),a {\leq} u\)​。

Definition A. 1 (Upper bound of a set) A real number \(u\) is called an upper bound of a non-empty subset \(\mathcal{A}\) of \(\mathbb{R}\) if every element of \(\mathcal{A}\) is less than or equal to \(u\) ; we say that \(\mathcal{A}\) is bounded above. Symbolically,the definition becomes:

\(\mathcal{A} {\subset} \mathbb{R}\) is bounded above \({\Leftrightarrow} \left( {\exists}u {\in} \mathbb{R} \right)\) such that \(\left( {\forall}a {\in} \mathcal{A} \right),a {\leq} u\) .

定义 A.2（最小上界或上确界）假设 \(\mathcal{A}\) 是 \(\mathbb{R}\) 的一个非空子集。如果实数 \(s\) 是 \(\mathcal{A}\) 的上界，并且对于 \(\mathcal{A}\) 的任何其他上界 \(s^{{\prime}}\)，都有 \(s {\leq} s^{{\prime}}\)，那么我们说实数 \(s\) 是 \(\mathcal{A}\) 的最小上界或上确界。在这种情况下，我们写 \(s = \sup\mathcal{A}\)；其他表示方法包括 \(s = {\sup}_{x {\in} \mathcal{A}}x\) 和 \(s = \sup\{x : x {\in} \mathcal{A}\}\)​。

Definition A. 2 (Least upper bound or supremum) Suppose \(\mathcal{A}\) is a non-empty subset of \(\mathbb{R}\) . Then we say that a real number \(s\) is a least upper bound or supremum of \(\mathcal{A}\) if \(s\) is an upper bound of the set \(\mathcal{A}\) and if \(s {\leq} s^{{\prime}}\) for each upper bound \(s^{{\prime}}\) of \(\mathcal{A}\) . In this case,we write \(s = \sup\mathcal{A}\) ; other notations are \(s = {\sup}_{x {\in} \mathcal{A}}x\) and \(s = \sup\{x : x {\in} \mathcal{A}\}\) .

完备性公理：（最小上界性质）让 \(\mathcal{A}\) 是一个有上界的非空子集 \(\mathbb{R}\)。那么 \(\mathcal{A}\) 存在最小上界（在 \(\mathbb{R}\)​ 中）。

Completeness Axiom: (Least upper bound property) Let \(\mathcal{A}\) be a non-empty subset of \(\mathbb{R}\) that is bounded above. Then \(\mathcal{A}\) has a least upper bound (in \(\mathbb{R})\)

完备性公理可能不适用于，比如，\(\mathbb{Q}\)，有理数集。

定义 A.1'（有理数集中的上界）如果有理数 \(u\) 是非空子集 \(\mathcal{A}\) 的上界，即 \(\mathcal{A}\) 中的每一个元素都小于或等于 \(u\)，我们说 \(\mathcal{A}\) 是有上界的。符号上，定义表示为：

\(\mathcal{A} {\subset} \mathbb{Q}\) 有上界 \({\Leftrightarrow} \left( {\exists}u {\in} \mathbb{Q} \right)\) 使得 \(\left( {\forall}a {\in} \mathcal{A} \right),a {\leq} u\)。

定义-A.2′（有理数集中的最小上界或上确界）假设 \(\mathcal{A}\) 是 \(\mathbb{Q}\) 的一个非空子集。如果有理数 \(s\) 是 \(\mathcal{A}\) 的上界，并且对于 \(\mathcal{A}\) 的任何其他上界 \(s^{{\prime}}\)，都有 \(s {\leq} s^{{\prime}}\)，那么我们说有理数 \(s\) 是 \(\mathcal{A}\) 的最小上界或上确界。在这种情况下，我们写 \(s = \sup\mathcal{A}\)；其他表示方法包括 \(s = \mathop{\sup}\limits_{x {\in} \mathcal{A}}x\) 和 \(s = \sup\{x : x {\in} \mathcal{A}\}\)。

示例。\(\mathcal{A} = \left\{x {\in} \mathbb{Q} : x^{2} < 2 \right\}\)。那么，\(\mathop{\sup}\limits_{x {\in} \mathcal{A}}x\) 应该是“小于 \(\sqrt{2}\) 的最大有理数”！

A. 1 Supremum and maximum

• It follows directly that if a non-empty set in \(\mathbb{R}\) has a supremum,then this supremum is unique.

• By definition,the empty set \(({\varnothing})\) and any set not bounded above do not admit a supremum in \(\mathbb{R}\)​ .

• 直接推论，如果 \(\mathbb{R}\) 中的一个非空集合有上确界，那么这个上确界是唯一的。

• 根据定义，空集 \(({\varnothing})\) 和任何没有上界的集合在 \(\mathbb{R}\) 中都不存在上确界。

Property A.4 (Properties of the supremum)

1. 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\)（扩展的实数集）中任何集合的上确界总是存在的。

\[\sup\mathcal{A} \mathrel{\text{:=}} \begin{cases} {-} {\infty}, & \text{ 如果 }\mathcal{A} = {\varnothing} \\ + {\infty}, & \text{ 如果 }\mathcal{A}\text{ 没有上界。 } \end{cases} \]

这些扩展定义将在本课程中采用。

1. The supremum of any set in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) (the set of extended real numbers) always exits.

\[\sup\mathcal{A} \mathrel{\text{:=}} \begin{cases} {-} {\infty}, & \text{ if }\mathcal{A} = {\varnothing} \\ + {\infty}, & \text{ if }\mathcal{A}\text{ is not bounded above. } \end{cases} \]

These extended definitions will be adopted in this course.

2. \(\left( {\forall}a {\in} \mathcal{A} {\subset} \mathbb{R}{\cup}\{{-} {\infty},{\infty}\} \right)a {\leq} \sup\mathcal{A}\)​ 。
3. 如果 \({-} {\infty} < \sup\mathcal{A} < {\infty}\) ，则对于任何 \(\varepsilon > 0\)，都存在 \(a_{0} {\in} \mathcal{A}\) 使得 \(a_{0} > \sup\mathcal{A} {-} \varepsilon\) 。

（在 \(\left| \sup\mathcal{A} \right| < {\infty}\) 的条件下，存在 \(a_{0} {\in} (\sup\mathcal{A} {-} \varepsilon,\sup\mathcal{A}\rbrack\)​ 被称为上确界的逼近性质。）

3. If \({-} {\infty} < \sup\mathcal{A} < {\infty}\) ,then \(({\forall}\varepsilon > 0)\left( {\exists}a_{0} {\in} \mathcal{A} \right)a_{0} > \sup\mathcal{A} {-} \varepsilon\) .

(The existence of \(a_{0} {\in} (\sup\mathcal{A} {-} \varepsilon,\sup\mathcal{A}\rbrack\) for any \(\varepsilon > 0\) under the condition of \(\left| \sup\mathcal{A} \right| < {\infty}\) is called the approximation property for the supremum.)

4. 如果 \(\sup\mathcal{A} = {\infty}\) ，则对于任何 \(L {\in} \mathbb{R}\)，都存在 \(B_{0} {\in} \mathcal{A}\) 满足 \(B_{0} > L\) 。

5. 如果 \(\sup\mathcal{A} = {-} {\infty}\) ，则 \(\mathcal{A}\) 为空集。

定义 A. 3（最大值）如果 \(\sup\mathcal{A} {\in} \mathcal{A}\) ，则 \(\sup\mathcal{A}\) 也称为 \(\mathcal{A}\) 的最大值，并用 \(\max\mathcal{A}\) 表示。然而，如果 \(\sup\mathcal{A} {\notin} \mathcal{A}\)，则我们说 \(\mathcal{A}\) 的最大值不存在。

例如，如果 \(\mathcal{A} = (0,1\rbrack\)，则 \(\max\mathcal{A} = \sup A = 1\)。

例如，如果 \(\mathcal{A} = (0,1)\)，则 \(\sup\mathcal{A} = 1\) 但 \(\max\mathcal{A}\)​ 不存在！

Definition A. 3 (Maximum) If \(\sup\mathcal{A} {\in} \mathcal{A}\) ,then \(\sup\mathcal{A}\) is also called the max-imum of \(\mathcal{A}\) ,and is denoted by \(\max\mathcal{A}\) . However,if \(\sup\mathcal{A} {\notin} \mathcal{A}\) ,then we say that the maximum of \(\mathcal{A}\) does not exist.

E.g.,if \(\mathcal{A} = (0,1\rbrack\) ,then \(\max\mathcal{A} = \sup A = 1\) .

E.g.,if \(\mathcal{A} = (0,1)\) ,then \(\sup\mathcal{A} = 1\) but \(\max\mathcal{A}\) does not exist!

观察 A. 5（集合的上确界与信道编码定理）在信息理论中，典型的信道编码定理表明一个（有限的）实数 \(\alpha\) 是集合 \(\mathcal{A}\) 的上确界。因此，为了证明这样的定理，必须证明 \(\alpha\) 同时满足上面的第 2 和第 3 属性，即，

正向/直接部分：\(\alpha {-} \epsilon\) 在 \(\mathcal{A}\) 中是可达的：\(({\forall}\varepsilon > 0)\left( {\exists}a_{0} {\in} \mathcal{A} \right)a_{0} > \alpha {-} \varepsilon\)(A.1.1)

和

反向部分：\(\underline{\alpha}\) 是 \(\mathcal{A}\) 中所有可达值的界限：\(\left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \alpha\) 。(A.1.2)

\[({\forall}\epsilon > 0)\alpha {-} \epsilon {\leq} \sup\mathcal{A} {\leq} \alpha \]

Observation A. 5 (Supremum of a set and channel coding theorems) In information theory, a typical channel coding theorem establishes that a (finite) real number \(\alpha\) is the supremum of a set \(\mathcal{A}\) . Thus,to prove such a theorem,one must show that \(\alpha\) satisfies both properties 3 and 2 above,i.e.,

Forward/Direct part: \((\alpha {-} \epsilon)\) is achievable in \(\mathcal{A} : ({\forall}\varepsilon > 0)\left( {\exists}a_{0} {\in} \mathcal{A} \right)a_{0} > \alpha {-} \varepsilon\)

(A.1.1)

and

Converse part: \(\underline{\alpha}\) is a bound for all achievable values in \(\mathcal{A} : \left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \alpha\) .

(A.1.2)

\[({\forall}\epsilon > 0)\alpha {-} \epsilon {\leq} \sup\mathcal{A} {\leq} \alpha \]

性质 A. 6（最大值的性质）

1. \(\left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \max\mathcal{A}\) ，如果 \(\max\mathcal{A}\) 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中存在。

2. \(\max\mathcal{A} {\in} \mathcal{A}\) 。

• 根据上述性质，为了得到 \(\left\lbrack \alpha = \max\mathcal{A} \right\rbrack\)，需要证明 \(\alpha\) 同时满足

反向部分：\(\underline{\alpha}\) 是 \(\mathcal{A}\) 中所有可达值的界限：\(\left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \alpha\)。和

可达性/正向/直接部分：\(\underline{\alpha}\) 在 \(\mathcal{A}\) 中是可达的：\(\alpha {\in} \mathcal{A}\)

例如，计算二进制对称信道的信道容量。

Property A. 6 (Properties of the maximum)

1. \(\left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \max\mathcal{A}\) ,if \(\max\mathcal{A}\) exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) .

2. \(\max\mathcal{A} {\in} \mathcal{A}\) .

• From the above property,in order to obtain \(\left\lbrack \alpha = \max\mathcal{A} \right\rbrack\) ,one needs to show that \(\alpha\) satisfies both

Converse part: \(\underline{\alpha}\) is a bound for all achievable values in \(\mathcal{A} : \left( {\forall}a {\in} \mathcal{A} \right)a {\leq} \alpha\) . and

Achievability/Forward/Direct part: \(\underline{\alpha}\) is achievable in \(\mathcal{A} : \alpha {\in} \mathcal{A}\)

E.g. Computation of the channel capacity of a binary symmetric channel.

A. 2 Infimum and minimum

下确界和最小值的概念与上确界和最大值的概念相对应。

The concepts of infimum and minimum are dual to those of supremum and maxi-mum.

定义 A. 7（集合的下界）如果实数 \({\ell}\) 是 \(\mathbb{R}\) 中非空子集 \(\mathcal{A}\) 的下界，即 \(\mathcal{A}\) 中的每个元素都大于或等于 \({\ell}\)；我们说 \(\mathcal{A}\)​ 是有下界的。符号上，定义表示为：

Definition A. 7 (Lower bound of a set) A real number \({\ell}\) is called a lower bound of a non-empty subset \(\mathcal{A}\) in \(\mathbb{R}\) if every element of \(\mathcal{A}\) is greater than or equal to \({\ell}\) ; we say that \(\mathcal{A}\) is bounded below. Symbolically,the definition becomes:

\(\mathcal{A} {\subset} \mathbb{R}\) 有下界 \({\Leftrightarrow} \left( {\exists}{\ell} {\in} \mathbb{R} \right)\) 使得 \(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} {\ell}\)​。

\(\mathcal{A} {\subset} \mathbb{R}\) is bounded below \({\Leftrightarrow} \left( {\exists}{\ell} {\in} \mathbb{R} \right)\) such that \(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} {\ell}\) .

定义 A. 8（最大下界或下确界）假设 \(\mathcal{A}\) 是 \(\mathbb{R}\) 的一个非空子集。如果实数 \({\ell}\) 是 \(\mathcal{A}\) 的下界，并且对于 \(\mathcal{A}\) 的任何其他下界 \({{\ell}}^{{\prime}}\)，都有 \({\ell} {\geq} {{\ell}}^{{\prime}}\)，那么我们说实数 \({\ell}\) 是 \(\mathcal{A}\) 的最大下界或下确界。在这种情况下，我们写 \({\ell} = \inf\mathcal{A}\)；其他表示方法包括 \({\ell} = \mathop{\inf}\limits_{x {\in} \mathcal{A}}x\) 和 \({\ell} = \inf\{x : x {\in} \mathcal{A}\}\)​。

Definition A. 8 (Greatest lower bound or infimum) Suppose \(\mathcal{A}\) is a non-empty subset of \(\mathbb{R}\) . Then we say that a real number \({\ell}\) is a greatest lower bound or infimum of \(\mathcal{A}\) if \({\ell}\) is a lower bound of \(\mathcal{A}\) and if \({\ell} {\geq} {{\ell}}^{{\prime}}\) for each lower bound \({{\ell}}^{{\prime}}\) of \(\mathcal{A}\) . In this case,we write \({\ell} = \inf\mathcal{A}\) ; other notations are \({\ell} = \mathop{\inf}\limits_{x {\in} \mathcal{A}}x\) and \({\ell} = \inf\{x : x {\in} \mathcal{A}\}\) .

完备性公理：（最大下界性质）让 \(\mathcal{A}\) 是一个有下界的非空子集 \(\mathbb{R}\)。那么 \(\mathcal{A}\)​ 存在最大下界。

Completeness Axiom: (Greatest lower bound property) Let \(\mathcal{A}\) be a

non-empty subset of \(\mathbb{R}\) that is bounded below. Then \(\mathcal{A}\)​ has a greatest lower bound.

A. 2 Infimum and minimum

• It directly follows that if a non-empty set in \(\mathbb{R}\) has an infimum,then this infimum is unique.

• By definition,the empty set \(({\varnothing})\) and any set not bounded below do not admit an infimum in \(\mathbb{R}\)​ .

• 直接推论，如果 \(\mathbb{R}\) 中的一个非空集合有下确界，那么这个下确界是唯一的。

• 根据定义，空集 \(({\varnothing})\) 和任何没有下界的集合在 \(\mathbb{R}\) 中都不存在下确界。

Property A. 10 (Properties of the infimum)

1. 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中任何集合的下确界总是存在的。

\[\inf\mathcal{A} \mathrel{\text{:=}} \begin{cases} + {\infty}, & \text{ 如果 }\mathcal{A} = {\varnothing} \\ {-} {\infty}, & \text{ 如果 }\mathcal{A}\text{ 没有下界。 } \end{cases} \]

这些扩展定义将在本课程中采用。

1. The infimum of any set in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) always exists.

\[\inf\mathcal{A} \mathrel{\text{:=}} \begin{cases} + {\infty}, & \text{ if }\mathcal{A} = {\varnothing} \\ {-} {\infty}, & \text{ if }\mathcal{A}\text{ is not bounded below. } \end{cases} \]

These extended definitions will be adopted in this course.

2. \(\left( {\forall}a {\in} \mathcal{A} {\subset} \mathbb{R}{\cup}\{{-} {\infty},{\infty}\} \right)a {\geq} \inf\mathcal{A}\)。

3. 如果 \({\infty} > \inf\mathcal{A} > {-} {\infty}\)，则对于任何 \(\varepsilon > 0\)，都存在 \(a_{0} {\in} \mathcal{A}\) 使得 \(a_{0} < \inf\mathcal{A} + \varepsilon\)。

（在 \(\left| \inf\mathcal{A} \right| < {\infty}\) 的假设下，存在 \(a_{0} {\in} \lbrack\inf\mathcal{A},\inf\mathcal{A} + \varepsilon)\)​ 被称为下确界的逼近性质。）

(The existence of \(a_{0} {\in} \lbrack\inf\mathcal{A},\inf\mathcal{A} + \varepsilon)\) for any \(\varepsilon > 0\) under the assumption of \(\left| \inf\mathcal{A} \right| < {\infty}\) is called the approximation property for the infimum.)

4. 如果 \(\inf\mathcal{A} = {-} {\infty}\)，则对于任何 \(L {\in} \mathbb{R}\)，都存在 \(B_{0} {\in} \mathcal{A}\) 满足 \(B_{0} < L\)。

5. 如果 \(\inf\mathcal{A} = {\infty}\)，则 \(\mathcal{A}\) 为空集。

定义 A. 9（最小值）如果 \(\inf\mathcal{A} {\in} \mathcal{A}\)，则 \(\inf\mathcal{A}\) 也称为 \(\mathcal{A}\) 的最小值，并用 \(\min\mathcal{A}\) 表示。然而，如果 \(\inf\mathcal{A} {\notin} \mathcal{A}\)，我们说 \(\mathcal{A}\) 的最小值不存在。

观察 A. 11（集合的下确界与信道编码定理）

Definition A. 9 (Minimum) If inf \(\mathcal{A} {\in} \mathcal{A}\) ,then inf \(\mathcal{A}\) is also called the min-imum of \(\mathcal{A}\) ,and is denoted by \(\min\mathcal{A}\) . However,if inf \(\mathcal{A} {\notin} \mathcal{A}\) ,we say that the minimum of \(\mathcal{A}\) does not exist.

Observation A. 11 (Infimum of a set and channel coding theorems)

在信息理论中，典型的源编码定理表明一个（有限的）实数 \(\alpha\) 是集合 \(\mathcal{A}\) 的下确界。因此，为了证明这样的定理，必须证明 \(\alpha\) 同时满足上面的第 2 和第 3 属性，即，

正向/直接部分：\((\alpha + \epsilon)\) 在 \(\mathcal{A}\) 中是可达的：\(({\forall}\varepsilon > 0)\left( {\exists}a_{0} {\in} \mathcal{A} \right)a_{0} < \alpha + \varepsilon\)

(A.2.1)

和

反向部分：\(\underline{\alpha}\) 是 \(\mathcal{A}\) 中所有可达值的界限：\(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \alpha\)。

(A.2.2)

In information theory, a typical source coding theorem establishes that a (finite) real number \(\alpha\) is the infimum of a set \(\mathcal{A}\) . Thus,to prove such a theorem,one must show that \(\alpha\) satisfies both properties 3 and 2 above,i.e.,

Forward/Direct part: \((\alpha + \epsilon)\) is achievable in \(\mathcal{A} : ({\forall}\varepsilon > 0)\left( {\exists}a_{0} {\in} \mathcal{A} \right)a_{0} < \alpha + \varepsilon\)

(A.2.1)

and

Converse part: \(\underline{\alpha}\) is a bound for all achievable values in \(\mathcal{A} : \left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \alpha\) .

(A.2.2)

性质 A. 12（最小值的性质）

1. \(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \min\mathcal{A}\)，如果 \(\min\mathcal{A}\) 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中存在。

2. \(\min\mathcal{A} {\in} \mathcal{A}\)。

• 根据上述性质，为了得到 \(\left\lbrack \alpha = \min\mathcal{A} \right\rbrack\)，需要证明 \(\alpha\) 同时满足

反向部分：\(\underline{\alpha}\) 是 \(\mathcal{A}\) 中所有可达值的界限：\(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \alpha\)。和

可达性/正向/直接部分：\(\underline{\alpha}\) 在 \(\mathcal{A}\) 中是可达的：\(\alpha {\in} \mathcal{A}\)

例如，计算二进制离散记忆无源（DMS）和汉明距离度量下的率失真函数（参见定理 6.23）。

Property A. 12 (Properties of the minimum)

1. \(\left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \min\mathcal{A}\) ,if \(\min\mathcal{A}\) exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) .

2. \(\min\mathcal{A} {\in} \mathcal{A}\) .

• From the above property,in order to obtain \(\left\lbrack \alpha = \min\mathcal{A} \right\rbrack\) ,one needs to show that \(\alpha\) satisfies both

Converse part: \(\underline{\alpha}\) is a bound for all achievable values in \(\mathcal{A} : \left( {\forall}a {\in} \mathcal{A} \right)a {\geq} \alpha\) . and

Achievability/Forward/Direct part: \(\underline{\alpha}\) is achievable in \(\mathcal{A} : \alpha {\in} \mathcal{A}\)

E.g. Computation of the rate-distortion function for binary DMS and Hamming distance measure (cf. Theorem 6.23).

A. 3 Boundedness and suprema operations

定义 A. 13（有界性）如果 \(\mathbb{R}\) 的子集 \(\mathcal{A}\)​ 既有上界也有下界，我们称它为有界的；否则称为无界的。

Definition A. 13 (Boundedness) A subset \(\mathcal{A}\) of \(\mathbb{R}\) is said to be bounded if it is both bounded above and bounded below; otherwise it is called unbounded.

引理 A. 14（有界性的条件）一个 \(\mathbb{R}\) 的子集 \(\mathcal{A}\) 是有界的当且仅当存在实数 \(k\)，使得集合中的所有元素 \(a\) 都满足 \(|a| \leq k\)​。

Lemma A. 14 (Condition for boundedness) A subset \(\mathcal{A}\) of \(\mathbb{R}\) is bounded iff \(\left( {\exists}\ k {\in} \mathbb{R} \right)\) such that \(\left( {\forall}\ a {\in} \mathcal{A} \right)\ |a| {\leq} k.\)

引理 A.15（单调性质）假设 \(\mathcal{A}\) 和 \(\mathcal{B}\) 是非空的 \(\mathbb{R}\) 子集，并且 \(\mathcal{A} \subset \mathcal{B}\)。那么：

1. \(\sup\mathcal{A} \leq \sup\mathcal{B}\)。

2. \(\inf\mathcal{A} \geq \inf\mathcal{B}\)。

Lemma A.15 (Monotone property) Suppose that \(\mathcal{A}\) and \(\mathcal{B}\) are non-\(\textbf{empty subsets of}\mathbb{R}\) such that \(\mathcal{A} {\subset} \mathcal{B}\) . Then

1. \(\sup\mathcal{A} {\leq} \sup\mathcal{B}\) .

2. \(\inf\mathcal{A} {\geq} \inf\mathcal{B}\) .

引理 A.16（集合运算的上确界）定义两个集合 \(\mathcal{A}\) 和 \(\mathcal{B}\) 的“加法”为：

\[\mathcal{A} + \mathcal{B} \mathrel{\text{:=}} \{c \in \mathbb{R} : c = a + b \text{，对某些 }a \in \mathcal{A} \text{ 和 }b \in \mathcal{B}\}。 \]

定义一个集合 \(\mathcal{A}\) 与一个标量 \(k \in \mathbb{R}\) 的“标量乘法”为：

\[k \cdot \mathcal{A} \mathrel{\text{:=}} \{c \in \mathbb{R} : c = k \cdot a \text{，对某些 }a \in \mathcal{A}\}。 \]

最后，定义集合 \(\mathcal{A}\) 的“取反”为：

\[{-} \mathcal{A} \mathrel{\text{:=}} \{c \in \mathbb{R} : c = {-} a \text{，对某些 }a \in \mathcal{A}\}。 \]

那么以下结论成立：

1. 如果 \(\mathcal{A}\) 和 \(\mathcal{B}\) 都有上界，那么 \(\mathcal{A} + \mathcal{B}\) 也有上界，并且 \(\sup(\mathcal{A} + \mathcal{B}) = \sup\mathcal{A} + \sup\mathcal{B}\)。

2. 如果 \(0 < k < \infty\) 并且 \(\mathcal{A}\) 有上界，那么 \(k \cdot \mathcal{A}\) 也有上界，并且 \(\sup(k \cdot \mathcal{A}) = k \cdot \sup\mathcal{A}\)。

3. \(\sup\mathcal{A} = {-} \inf({-}\mathcal{A})\) 并且 \(\inf\mathcal{A} = {-} \sup({-}\mathcal{A})\)。

4. If \(\mathcal{A}\) and \(\mathcal{B}\) are both bounded above,then \(\mathcal{A} + \mathcal{B}\) is also bounded above and \(\sup\left( \mathcal{A} + \mathcal{B} \right) = \sup\mathcal{A} + \sup\mathcal{B}.\)

5. If \(0 < k < {\infty}\) and \(\mathcal{A}\) is bounded above,then \(k {\cdot} \mathcal{A}\) is also bounded above and \(\sup\left( k {\cdot} \mathcal{A} \right) = k {\cdot} \sup\mathcal{A}\) .

6. \(\sup\mathcal{A} = {-} \inf\left( {-}\mathcal{A} \right)\quad\) and \(\quad\inf\mathcal{A} = {-} \sup\left( {-}\mathcal{A} \right)\)​​ .

A. 3 Boundedness and suprema operations

• 对于两个集合的“乘积”，性质 1 不成立，其中集合 \(\mathcal{A}\) 和 \(\mathcal{B}\) 的“乘积”定义为：

\[\mathcal{A} {\cdot} \mathcal{B} \mathrel{\text{:=}} \{c \in \mathbb{R} : c = ab \text{，对某些 }a \in \mathcal{A}\text{ 和 }b \in \mathcal{B}\}。 \]

在这种情况下，可能发生以下两种情况：

\[\left. \sup\left( \mathcal{A} {\cdot} \mathcal{B} \right) > \left( \sup\mathcal{A} \right) {\cdot} \left( \sup\mathcal{B} \right) \right) \]

\[\sup\left( \mathcal{A} {\cdot} \mathcal{B} \right) = \left( \sup\mathcal{A} \right) {\cdot} \left( \sup\mathcal{B} \right). \]

例如，\(\mathcal{A} = \lbrack {-} 1,0)\) 和 \(\mathcal{B} = \lbrack {-} 1,0)\) 。则

\[\sup\left( \mathcal{A} {\cdot} \mathcal{B} \right) = 1\text{，而 }\sup\mathcal{A} = \sup\mathcal{B} = 0。 \]

例如，\(\mathcal{A} = \lbrack {-} 1,0)\) 和 \(\mathcal{B} = \lbrack 0,1)\) 。则

\[\sup\left( \mathcal{A} {\cdot} \mathcal{B} \right) = \sup\mathcal{A} = 0\text{，而 }\sup\mathcal{B} = 1。 \]

A. 3 Boundedness and suprema operations

引理 A. 17（单调函数的上确界/下确界）

1. 如果 \(f : \mathbb{R} \rightarrow \mathbb{R}\) 是一个非递减函数，则有：

\[\sup\{x \in \mathbb{R} : f(x) < \varepsilon\} = \inf\{x \in \mathbb{R} : f(x) \geq \varepsilon\} \]

并且

\[\sup\{x \in \mathbb{R} : f(x) \leq \varepsilon\} = \inf\{x \in \mathbb{R} : f(x) > \varepsilon\}. \]

2. 如果 \(f : \mathbb{R} \rightarrow \mathbb{R}\) 是一个非递增函数，则有：

\[\sup\{x \in \mathbb{R} : f(x) > \varepsilon\} = \inf\{x \in \mathbb{R} : f(x) \leq \varepsilon\} \]

并且

Lemma A. 17 (Supremum/infimum for monotone functions)

1. If \(f : \mathbb{R} {\rightarrow} \mathbb{R}\) is a non-decreasing function,then

\[\sup\{x {\in} \mathbb{R} : f(x) < \varepsilon\} = \inf\{x {\in} \mathbb{R} : f(x) {\geq} \varepsilon\} \]

and

\[\sup\{x {\in} \mathbb{R} : f(x) {\leq} \varepsilon\} = \inf\{x {\in} \mathbb{R} : f(x) > \varepsilon\}. \]

2. If \(f : \mathbb{R} {\rightarrow} \mathbb{R}\) is a non-increasing function,then

\[\sup\{x {\in} \mathbb{R} : f(x) > \varepsilon\} = \inf\{x {\in} \mathbb{R} : f(x) {\leq} \varepsilon\} \]

and

\[\sup\{x {\in} \mathbb{R} : f(x) {\geq} \varepsilon\} = \inf\{x {\in} \mathbb{R} : f(x) < \varepsilon\}. \]

Illustration of Lemma A. 17

\[\sup\{x \in \mathbb{R} : f(x) \geq \varepsilon\} = \inf\{x \in \mathbb{R} : f(x) < \varepsilon\}. \]

• \(\mathbb{N}\) 表示“自然数”（正整数）\(1,2,3,{\cdots}\)。

• 从实值函数中得到的序列表示为：

\[f : \mathbb{N} \rightarrow \mathbb{R}\text{.} \]

换句话说，\(f(n)\) 对每个 \(n = 1,2,3,{\ldots}\) 都是一个实数。

• 通常我们写 \(f(n) = a_n\)，并且我们经常用以下任一符号表示序列：

\[\left\{a_1,a_2,a_3,{\cdots},a_n,{\cdots} \right\}\text{ 或 }{\left\{a_n \right\}}_{n = 1}^{\infty}. \]

• 关于序列的一个重要问题是，当 \(n\) 变大时会发生什么。具体来说，我们想知道当 \(n\) 足够大时，每个 \(a_n\) 是否接近某个固定数 \(L\)（即 \(\left. a_n \right)\) 的极限）。

定义 A. 18（极限）序列 \({\left\{a_n \right\}}_{n = 1}^{\infty}\) 的极限是实数 \(L\)，满足：\(({\forall}\varepsilon > 0)({\exists}N)\) 使得 \(({\forall}n > N)\)

\[\left| a_n - L \right| < \varepsilon \]

在这种情况下，我们写 \(L = \mathop{\lim}\limits_{n \rightarrow \infty}a_n\)。如果没有这样的 \(L\) 满足上述条件，我们说序列 \({\left\{a_n \right\}}_{n = 1}^{\infty}\) 的极限不存在。

性质 A.19 如果序列 \({\left\{a_n \right\}}_{n = 1}^{\infty}\) 和 \({\left\{b_n \right\}}_{n = 1}^{\infty}\) 都在 \(\mathbb{R}\) 中有极限，则以下成立：

1. \(\mathop{\lim}\limits_{n \rightarrow \infty}\left( a_n + b_n \right) = \mathop{\lim}\limits_{n \rightarrow \infty}a_n + \mathop{\lim}\limits_{n \rightarrow \infty}b_n\)。
2. \(\mathop{\lim}\limits_{n \rightarrow \infty}\left( \alpha \cdot a_n \right) = \alpha \cdot \mathop{\lim}\limits_{n \rightarrow \infty}a_n\)​。
3. \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( a_{n}b_{n} \right) = \left( \mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n} \right)\left( \mathop{\lim}\limits_{n {\rightarrow} {\infty}}b_{n} \right)\) .

Definition A. 18 (Limit) The limit of \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is the real number \(L\) satisfying: \(({\forall}\varepsilon > 0)({\exists}N)\) such that \(({\forall}n > N)\)

\[\left| a_{n} {-} L \right| < \varepsilon \]

In this case,we write \(L = \mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) . If no such \(L\) satisfies the above statement, we say that the limit of \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) does not exist.

Property A.19 If \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) and \({\left\{b_{n} \right\}}_{n = 1}^{{\infty}}\) both have a limit in \(\mathbb{R}\) ,then the fol-lowing hold.

1. \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( a_{n} + b_{n} \right) = \mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n} + \mathop{\lim}\limits_{n {\rightarrow} {\infty}}b_{n}\) .

2. \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( \alpha {\cdot} a_{n} \right) = \alpha {\cdot} \mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) .

3. \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( a_{n}b_{n} \right) = \left( \mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n} \right)\left( \mathop{\lim}\limits_{n {\rightarrow} {\infty}}b_{n} \right)\)​ .

A. 4 Sequences and their limits

• 请注意，在上述定义中，\({-} {\infty}\) 和 \({\infty}\)​ 不能作为任何序列的合法极限。

Note that in the above definition, \({-} {\infty}\) and \({\infty}\) cannot be a legitimate limit for any sequence.

• 实际上，如果对于所有的 \(L\) 都存在 \(N\) 使得当 \(n > N\) 时，\(a_{n} > L\)，那么我们说 \(a_{n}\) 发散到 \({\infty}\)，并写作 \(a_{n} {\rightarrow} {\infty}\)。对于 \(a_{n}\) 发散到 \({-} {\infty}\) 也有类似的说法。

• 为了方便，我们将在扩展的实数集中工作，因此声明发散到 \({\infty}\) 或 \({-} {\infty}\) 的序列 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中有极限。

引理 A.20（单调序列的收敛性）如果 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 随 \(n\) 增加而非递减，则 \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中存在。如果 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 还被限制在上界 - 即对于某些实数 \(L\)，所有的 \(n\) 都有 \(a_{n} {\leq} L\)，那么 \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) 在 \(\mathbb{R}\) 中存在。

同样地，如果 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 随 \(n\) 增加而非递增，则 \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) 在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中存在。如果 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 还被限制在下界 - 即对于某些实数 \(L\)，所有的 \(n\) 都有 \(a_{n} {\geq} L\)，那么 \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) 在 \(\mathbb{R}\) 中存在。

Lemma A.20 (Convergence of monotone sequences) If \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is non-decreasing in \(n\) ,then \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) . If \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is also bounded from above - i.e., \(a_{n} {\leq} L{\forall}n\) for some \(L\) in \(\mathbb{R} {-}\) then \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) exists in \(\mathbb{R}\) .

Likewise,if \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is non-increasing in \(n\) ,then \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) . If \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is also bounded from below - i.e., \(a_{n} {\geq} L{\forall}n\) for some \(L\) in \(\mathbb{R} {-}\) then \(\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n}\) exists in \(\mathbb{R}.\)

A. 4 Sequences and their limits

• 序列的极限可能不存在。

例如，\(a_{n} = {(-1)}^{n}\)。

那么对于较大的 \(n\)，\(a_{n}\) 将接近 -1 或 1。

• 因此，需要更通用的定义来描述序列的一般极限行为。

定义 A. 21（上极限和下极限）\({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 的上极限是在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中定义的扩展实数

\[\mathop{\limsup}\limits_{n {\rightarrow} {\infty}}a_{n} \mathrel{\text{:=}} \mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( \mathop{\sup}\limits_{k {\geq} n}a_{k} \right), \]

而 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 的下极限是通过以下方式定义的扩展实数

\[\mathop{\liminf}\limits_{n {\rightarrow} {\infty}}a_{n} \mathrel{\text{:=}} \mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( \mathop{\inf}\limits_{k {\geq} n}a_{k} \right). \]

有些人还使用符号 \(\overline{\lim}\) 和 \(\underline{\lim}\)​ 分别表示上极限和下极限。

• Hence, more generalized definitions that can describe the general limiting be-havior of a sequence is required.

Definition A. 21 (limsup and liminf) The limit supremum of \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is the extended real number in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) defined by

\[\mathop{\limsup}\limits_{n {\rightarrow} {\infty}}a_{n} \mathrel{\text{:=}} \mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( \mathop{\sup}\limits_{k {\geq} n}a_{k} \right), \]

and the limit infimum of \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) is the extended real number defined by

\[\mathop{\liminf}\limits_{n {\rightarrow} {\infty}}a_{n} \mathrel{\text{:=}} \mathop{\lim}\limits_{n {\rightarrow} {\infty}}\left( \mathop{\inf}\limits_{k {\geq} n}a_{k} \right). \]

Some also use the notations \(\overline{\lim}\) and \(\underline{\lim}\) to denote limsup and liminf,respectively.

• 注意，序列的上极限和下极限总是在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) 中定义，因为序列 \(\mathop{\sup}\limits_{k {\geq} n}a_{k} = \sup\left\{a_{k} : k {\geq} n \right\}\) 和 \(\mathop{\inf}\limits_{k {\geq} n}a_{k} = \inf\left\{a_{k} : k {\geq} n \right\}\) 随 \(n\) 单调（参见引理 A.20）。

引理 A.22（极限）对于序列 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\)，

\[\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n} = L {\Leftrightarrow} \mathop{\limsup}\limits_{n {\rightarrow} {\infty}}a_{n} = \mathop{\liminf}\limits_{n {\rightarrow} {\infty}}a_{n} = L. \]

• Note that the limit supremum and the limit infimum of a sequence is always defined in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) ,since the sequences \(\mathop{\sup}\limits_{k {\geq} n}a_{k} = \sup\left\{a_{k} : k {\geq} n \right\}\) and \(\mathop{\inf}\limits_{k {\geq} n}a_{k} = \inf\left\{a_{k} : k {\geq} n \right\}\) are monotone in \(n\) (cf. Lemma A.20).

Lemma A.22 (Limit) For a sequence \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) ,

\[\mathop{\lim}\limits_{n {\rightarrow} {\infty}}a_{n} = L {\Leftrightarrow} \mathop{\limsup}\limits_{n {\rightarrow} {\infty}}a_{n} = \mathop{\liminf}\limits_{n {\rightarrow} {\infty}}a_{n} = L. \]

Property A. 23 (Properties of the limit supremum)

1. 上极限在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\)​ 中总是存在的。

The limit supremum always exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) .

1. 如果 \(\left| \limsup_{m \rightarrow {\infty}} a_{m} \right| < {\infty}\)，则 \(({\forall}\varepsilon > 0)({\exists}N)\) 使得 \(({\forall}n > N)a_{n} < \lim\mathop{\sup}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\)。 （注意这适用于所有 \(n > N\)​。）

If \(\left| \limsup a_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\) ,then \(({\forall}\varepsilon > 0)({\exists}N)\) such that \(({\forall}n > N)a_{n} <\) \(\lim\mathop{\sup}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\) . (Note that this holds for every \(n > N\) .)

1. 如果 \(\left| \limsup_{m \rightarrow {\infty}} a_{m} \right| < {\infty}\)，则 \(\left( {\forall}\varepsilon > 0\text{且为整数}K \right)({\exists}N > K)\) 使得 \(a_{N} > \limsup_{m \rightarrow {\infty}}a_{m} - \varepsilon\)。 （注意这只适用于一个大于 \(K\) 的 \(N\)​。）

If \(\left| \limsup{}_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\) ,then \(\left( {\forall}\varepsilon > 0\text{and integer}K \right)({\exists}N > K)\) such that \(a_{N} > \limsup{}_{m {\rightarrow} {\infty}}a_{m} {-} \varepsilon\) . (Note that this holds only for one \(N\) ,which is larger than \(K\) .)

Property A. 24 (Properties of the limit infimum)

1. 下极限在 \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\)​ 中总是存在的。

The limit infimum always exists in \(\mathbb{R} {\cup} \{{-} {\infty},{\infty}\}\) .

1. 如果 \(\left| \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\)，则 \(\left( {\forall}\varepsilon > 0\text{和}K \right)({\exists}N > K)\) 使得 \(a_{N} < \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\)。 （注意这只适用于一个大于 \(K\) 的 \(N\)。）

2. 如果 \(\left| \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\)，则 \(({\forall}\varepsilon > 0)({\exists}N)\) 使得 \(({\forall}n > N)a_{n} > \liminf_{m {\rightarrow} {\infty}}a_{m} - \varepsilon\)。 （注意这适用于所有 \(n > N\)。）

定义 A. 25（足够大）如果一个性质对于序列 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 几乎总是成立，或者对所有足够大的 \(n\) 成立，那么我们说这个性质在某个 \(N\) 之后的每个 \(n > N\) 都成立。

定义 A. 26（无限次数）如果一个性质对于序列 \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) 无限次成立，或者对无限多的 \(n\) 成立，那么我们说对于每个 \(K\)，这个性质在某个特定的 \(N > K\)​ 上成立。

Definition A. 25 (Sufficiently large) We say that a property holds for a se-quence \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) almost always or for all sufficiently large \(n\) if the property holds for every \(n > N\) for some \(N\) .

Definition A. 26 (Infinitely often) We say that a property holds for a sc-quence \({\left\{a_{n} \right\}}_{n = 1}^{{\infty}}\) infinitely often or for infinitely many \(n\) if for every \(K\) ,the property holds for one (specific) \(N\) with \(N > K\) .

• 那么，性质 A. 23 的第 2 和第 3 条可以分别重新表述为：

如果 \(\left| \lim\mathop{\sup}\limits_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\)，则 \(({\forall}\varepsilon > 0)\)

\[a_{n} < \mathop{\limsup}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\text{ 对所有足够大的 }n \]

和

\[a_{n} > \mathop{\limsup}\limits_{m {\rightarrow} {\infty}}a_{m} - \varepsilon\text{ 对无限多的 }n。 \]

• 类似地，性质 A.24 的第 2 和第 3 条变为：如果 \(\left| \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\)，则 \(({\forall}\varepsilon > 0)\)

\[a_{n} < \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\text{ 对无限多的 }n \]

和

\[a_{n} > \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} - \varepsilon\text{ 对所有足够大的 }n。 \]

• Then Properties 2 and 3 of Property A. 23 can be respectively re-phrased as:

if \(\left| \lim\mathop{\sup}\limits_{m {\rightarrow} {\infty}}a_{m} \right| < {\infty}\) ,then \(({\forall}\varepsilon > 0)\)

\[a_{n} < \mathop{\limsup}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\text{ for all sufficiently large }n \]

and

\[a_{n} > \mathop{\limsup}\limits_{m {\rightarrow} {\infty}}a_{m} {-} \varepsilon\text{ for infinitely many }n. \]

• Similarly,Properties 2 and 3 of Property A.24 becomes: if \(\left| \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} \right| <\) \({\infty}\) ,then \(({\forall}\varepsilon > 0)\)

\[a_{n} < \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} + \varepsilon\text{ for infinitely many }n \]

and

\[a_{n} > \mathop{\liminf}\limits_{m {\rightarrow} {\infty}}a_{m} {-} \varepsilon\text{ for all sufficiently large }n. \]

A. 4 Sequences and their limits

引理 A.27：

1. \(\mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} \leq \lim\mathop{\sup}\limits_{n \rightarrow \infty}a_{n}\)。

2. 如果对于所有足够大的 \(n\)，\(a_{n} \leq b_{n}\)，那么

\[\mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} \leq \mathop{\liminf}\limits_{n \rightarrow \infty}b_{n}\quad\text{且}\quad\mathop{\limsup}\limits_{n \rightarrow \infty}a_{n} \leq \mathop{\limsup}\limits_{n \rightarrow \infty}b_{n}。 \]

3. \(\lim\mathop{\sup}\limits_{n \rightarrow \infty}a_{n} < r \Rightarrow a_{n} < r\) 对所有足够大的 \(n\) 成立。

4. \(\lim\mathop{\sup}\limits_{n \rightarrow \infty}a_{n} > r \Rightarrow a_{n} > r\) 对无限多的 \(n\) 成立。

\[\mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} + \mathop{\liminf}\limits_{n \rightarrow \infty}b_{n} \leq \mathop{\liminf}\limits_{n \rightarrow \infty}\left( a_{n} + b_{n} \right) \]

\[\leq \mathop{\limsup}\limits_{n \rightarrow \infty}a_{n} + \mathop{\liminf}\limits_{n \rightarrow \infty}b_{n} \]

\[\leq \mathop{\limsup}\limits_{n \rightarrow \infty}\left( a_{n} + b_{n} \right) \]

\[\leq \mathop{\limsup}\limits_{n \rightarrow \infty}a_{n} + \mathop{\limsup}\limits_{n \rightarrow \infty}b_{n}。 \]

6. 如果 \(\mathop{\lim}\limits_{n \rightarrow \infty}a_{n}\) 存在，则

\[\mathop{\liminf}\limits_{n \rightarrow \infty}\left( a_{n} + b_{n} \right) = \mathop{\lim}\limits_{n \rightarrow \infty}a_{n} + \mathop{\liminf}\limits_{n \rightarrow \infty}b_{n} \]

且

\[\mathop{\limsup}\limits_{n \rightarrow \infty}\left( a_{n} + b_{n} \right) = \mathop{\lim}\limits_{n \rightarrow \infty}a_{n} + \mathop{\limsup}\limits_{n \rightarrow \infty}b_{n}。 \]

• 上极限等于最大的聚点。

• 下极限等于最小的聚点。

• 聚点是序列 \(a_{n}\)​ 无限次接近的点。

• Limsup \(=\) largest clustering point

• Liminf \(=\) smallest clustering point

• • A clustering point is a point that the sequence \(a_{n}\) hits close for infinitely many times.

例如，\(a_{n} = \sin(n\pi/2)\)

\({\Rightarrow} {\left\{a_{n} \right\}}_{n \geq 1} = \{1,0, -1,0,1,0, -1,0,{\ldots}\}\)

这个序列中有三个聚点，分别是 \(-1, 0\) 和 \(1\)。

因此，

\[\mathop{\limsup}\limits_{n \rightarrow \infty}a_{n} = 1 = \text{ 最大的聚点 } \]

\[\mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} = -1 = \text{最小的聚点} \]

例如，\(a_{n} = -n\)。那么 \(\lim\mathop{\sup}\limits_{n \rightarrow \infty}a_{n} = \mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} = -\infty\)。

例如，\(a_{n} = n\)。那么 \(\lim\mathop{\sup}\limits_{n \rightarrow \infty}a_{n} = \mathop{\liminf}\limits_{n \rightarrow \infty}a_{n} = \infty\)

。

A. 5 Equivalence

• 我们通过提供一些常用于简化证明的等价陈述来结束这个附录。

• 例如，不是直接证明量 \(x\) 小于等于量 \(y\)，可以取一个任意常数 \(\varepsilon > 0\) 并证明 \(x < y + \varepsilon\)。

• 由于 \(y + \varepsilon\) 是比 \(y\) 大的量，在某些情况下，证明 \(x < y + \varepsilon\) 可能比证明 \(x \leq y\) 更容易。定理 A. 28 对于任何在 \(\mathbb{R}\) 中的 \(x, y\) 和 \(a\)，

1. 对所有 \(\varepsilon > 0\)，\(x < y + \varepsilon\) 当且仅当 \(x \leq y\)；

2. 对某个 \(\varepsilon > 0\)，\(x < y - \varepsilon\) 当且仅当 \(x < y\)；

3. 对所有 \(\varepsilon > 0\)，\(x > y - \varepsilon\) 当且仅当 \(x \geq y\)；

4. 对某个 \(\varepsilon > 0\)，\(x > y + \varepsilon\) 当且仅当 \(x > y\)；

5. 对所有 \(\varepsilon > 0\)，\(|a| < \varepsilon\) 当且仅当 \(a = 0\)。

key notes

• 实数线上子集的上确界和下确界

• 上极限和下极限（及其性质）

• 足够大和无限次

• 等价性