RE:ゼロから始める PKU 生活
RE:ゼロから始める PKU 生活 episode 1
zsy也成为大学生了呢!开学都一周了才意识到吗
也想不到有什么成体系的内容可以完整地记录下来,索性就每天随便写点东西吧。
9.25
互信息(Mutual Information)
首先定义一下信息。一个离散随机变量\(X\)的信息定义为
两个离散随机变量\(X,Y\)的互信息定义为
互信息顾名思义就是指变量\(X,Y\)之间共享的信息。比方说假如\(X,Y\)相关性很强,那么在传输了\(X\)后,传输\(Y\)所需要的信息量就会大大减少。
一些性质
非负性
琴生不等式:若\(f(x)\)是\([a,b]\)上的凸函数(默认定义为下凸),\(x_1,x_2...x_n \in [a,b], 0 \le a_1, a_2 ... a_n \le 1, \sum_{i=1}^na_i=1\),则
\[f(\sum_{i=1}^na_ix_i)\le \sum_{i=1}^na_if(x_i) \]
由于\(f(x)=\log x\)是上凸函数(不等号反向),故将\(a_i = p(x,y), x_i = \frac{p(x)p(y)}{p(x,y)}\)代入可得
因此\(I(X;Y) \ge 0\)。
对称性
直观理解即可,即,\(X,Y\)之间的互信息,等于在传输\(X\)后可以少传输的\(Y\)的信息,等于在传输\(Y\)后可以少传输的\(X\)的信息。
下面推导一下\(I(X;Y)=H(Y)-H(Y|X)\):
9.26
一些数学题
证明:\(\sup_{n \in \mathbb N}\{sin(n)\}=1\)。
考虑证明一个一般化的命题:\(\alpha\)是一个无理数,\(\{n\alpha-\lfloor n\alpha\rfloor:n \in \mathbb N\}\)在\((0,1)\)上稠密。稠密就是指任意一个区间里都存在,规范化定义为:\(\forall (l,r) \subset (0,1),\exists k\in \mathbb N, s.t. k\alpha-\lfloor k\alpha\rfloor\in(l,r)\)。
这个命题可以等价于:\(\forall m \in \mathbb N, \exists k\in \mathbb N, s.t. k\alpha-\lfloor k\alpha\rfloor < \frac 1m\),证明这个命题可以考虑\(\alpha-\lfloor\alpha\rfloor, 2\alpha-\lfloor2\alpha\rfloor...(m+1)\alpha-\lfloor(m+1)\alpha\rfloor\)这\(m+1\)个数,在\((0,\frac 1m),(\frac 1m,\frac 2m)...(\frac{m-1}m,1)\)这\(m\)个区间中至少存在一个区间包含了至少两个数,那么这两数的差就必然\(< \frac 1m\)。
回到原问题,只需要证明\(\forall\epsilon>0, \exists n \in \mathbb N, s.t.1-\epsilon < sin(n) < 1\),即\(\frac{\arcsin(1-\epsilon)}{2\pi}<\frac n{2\pi}-\lfloor\frac n{2\pi}\rfloor<\frac 14\),利用稠密性说明即可。
证明:\(\mathbb Q(\sqrt[n]2)=\{\sum_{i=0}^{n-1}a_i\sqrt[n]{2^i}|a_0, a_1...a_{n-1}\in \mathbb Q\}\)是一个数域。
主要考虑证明\(\mathbb Q(\sqrt[n]2)\)对除法封闭。进一步的,我们证明\(\forall x = \sum_{i=0}^{n-1}a_i\sqrt[n]{2^i}\in \mathbb Q(\sqrt[n]2), x \neq 0, \exists y \in \mathbb Q(\sqrt[n]2), s.t. xy=1\)。
定义\(\xi_k=\sqrt[n]2e^{\frac{2\pi ik}{n}}(k=0,1...n-1)\)为方程\(x^n-2=0\)的\(n\)个解,记\(f(x)=\sum_{i=0}^{n-1}a_ix^i\)。考虑构造矩阵
观察发现
于是有
由于\(f(\xi_i) \neq 0\),故\(|A| \neq 0\)。这说明方程组
有唯一解,即可以唯一构造\(y=\sum_{i=0}^{n-1}b_i\sqrt[n]{2^i}\)使得\(xy=1\)成立。
10.12
最近有点忙,随缘更。
数分习题课小记
\((\frac{*}{\infty})\)型Stolz定理的证明
\(\{b_n\}\)严格单调增且\(\lim\limits_{n \to \infty}b_n = + \infty\)
证明:若\(\lim\limits_{n \to \infty}\frac{a_{n+1}-a_n}{b_{n+1}-b_n}=l\),则\(\lim\limits_{n \to \infty}\frac{a_n}{b_n}=l\)。
当\(l=0\)时,\(\lim\limits_{n \to \infty}\frac{a_{n+1}-a_n}{b_{n+1}-b_n}=0\),也即\(\forall \epsilon > 0, \exists N \in \mathbb{N}, s.t.\forall n > N, |\frac{a_{n+1}-a_n}{b_{n+1}-b_n}| < \epsilon,|a_{n+1}-a_n|<\epsilon(b_{n+1}-b_n).\)
累加若干不等式可以得到
不等式两边同除以\(b_n\)
\(a_N,b_N\)是常数,而\(\lim\limits_{n \to \infty}b_n = + \infty\),故\(|\frac{a_n}{b_n}|<\epsilon(1-\frac{b_N}{b_n})+\frac{a_N}{b_n}\)两边取极限得\(\lim\limits_{n \to \infty}|\frac{a_n}{b_n}| < \epsilon\)。故\(\lim\limits_{n \to \infty}|\frac{a_n}{b_n}| = 0\)。
当\(l \neq 0\)且有限时,构造序列\(a_n' = a_n + lb_n\),则有
当\(l = \pm \infty\)时,以\(+ \infty\)为例,不难证明此时\(\{a_n\}\)也满足严格单调增,且\(\lim\limits_{n \to \infty} a_n = + \infty\),从而说明\(\lim\limits_{n \to \infty}\frac{b_{n+1}-b_n}{a_{n+1}-a_n}=0_+\),利用\(l=0\)时的结论即可完成证明。
例题
判断\(\{x_n\},\{y_n\}\)极限的存在性,若存在则求之。
由数学归纳法可证\(x_n^2+y_n^2 = 1\)。
由此可设\(x_n = \cos \theta_n, y_n = \sin \theta_n\)
可知
有界性:\(\theta_1 = \arcsin \frac 45 \in (0,\pi)\),若\(\theta_k < \pi\),记\(\theta_k = \pi - \epsilon(\epsilon > 0)\),则\(\theta_{k+1} = \pi - \epsilon + \sin(\pi - \epsilon) = \pi - \epsilon + \sin \epsilon < \pi\),因此\(\theta_n \in (0,\pi)\)对于\(\forall n \in \mathbb N\)均成立。
单调性:\(\theta_n \in (0,\pi)\)故\(\sin \theta_n > 0\),故成立。
根据单调收敛原理\(\{\theta_n\}\)收敛,易得其极限为\(\pi\)。
故
例题
\(\{q_n\}\)满足\(0 < q_n < 1,(1-q_n)q_{n+1} > \frac 14\)。证明:\(\{q_n\}\)单调递增且极限为\(\frac 12\)。
反证。若\(\exists n, s.t. q_{n+1} \le q_n\),则\(\frac 14 < (1-q_n)q_{n+1} \le (1-q_n)q_n \le \frac 14\)矛盾,故\(\{q_n\}\)单调递增。
因为单调有界,所以极限存在,设之为\(a\),则\((1-a)a \ge \frac 14\),可知\(a = \frac 12\)。
10.15
高代习题课小记
求行列式
补充一行一列,看成是关于\(y\)的\(n\)次多项式
所以
包含\(e\)的最小数域\(\mathbb Q(e)\)
是\(\{\frac{p(e)}{q(e)}\}\),其中\(p,q\)是有理多项式且\(q(e) \neq 0\)。
10.16
序列\(\{x_n\}\)满足$\forall n,m \in \mathbb N, 0 \le x_{n+m}\le x_n + x_m $
求证\(\{\frac{x_n}{n}\}\)收敛。
记\(a = l_1 = \inf_{n \ge 1}\{\frac{x_n}{n}\}\),显然有\(a \le \sup_{n \ge 1}l_n=\underline\lim\limits_{n\to\infty}\frac{x_n}{n}\)。
由于\(a\)是下确界,故\(\forall \varepsilon > 0, \exists N,s.t. \frac{x_N}{N} < a + \varepsilon.\)
$\forall n > N, $ 将 \(n\) 写成 \(mN+k\) 的形式,其中 \(0 \le k < N,\) 于是
考虑到\(\lim\limits_{n \to \infty}\frac{mN}{n}=1\),两边取上极限可得
由于\(\varepsilon\)的任意性,故
综上,
即
\(\{\frac{x_n}{n}\}\)极限存在。
10.19
zyy教育的是
当\(\lim\limits_{n\to\infty}(a_{n+1}-a_n)=a\)时,构造\(b_n=n\),根据\(Stolz\)定理可以得到\(\lim\limits_{n\to\infty}\frac{a_n}{n}=a\)。
其实是挺trivial的东西,可能是我太傻了吧。
10.20
谢惠民3.7.3第一组参考题10.
\(\{x_n\}\)是正数列,求证\(\overline\lim\limits_{n\to\infty}n(\frac{1+x_{n+1}}{x_n}-1) \ge 1\)
反证,假设\(\overline\lim\limits_{n\to\infty}n(\frac{1+x_{n+1}}{x_n}-1) = \inf_{k \ge 1}\sup_{n \ge k}\{n(\frac{1+x_{n+1}}{x_n}-1)\}< 1\),故\(\exists N \in \mathbb N, s.t.\forall n > N, n(\frac{1+x_{n+1}}{x_n}-1) < 1\)
故\(\{\frac{x_n}{n}\}\)严格递减,且\(\frac{x_n}{n}-\frac{x_{n+m}}{n+m} > \sum_{k = n+1}^{n+m}\frac{1}{k}\),当固定\(n\)时,\(\lim\limits_{m \to \infty}(\frac{x_n}{n}-\frac{x_{n+m}}{n+m}) \ge \lim\limits_{m \to \infty}\sum_{k = n+1}^{n+m}\frac{1}{k} = + \infty\)
因此\(\exists N\),\(\frac{x_N}{N} < 0\)与题设不符。
10.21
淑芬习题2 29.
设\(\{a_n\} \subset [a, b]\),求证若\(\{a_n\}\)发散,则\(\{a_n\}\)必有两个子列收敛于不同的数。
证明:由于\(\{a_n\}\)有界,故\(\exists \{n_k\}, s.t.\lim\limits_{k\to\infty}a_{n_k} = c\),因为\(c\)不是\(\{a_n\}\)的极限,故\(\exists \min\{c-a, b-c\} > \delta > 0, s.t.(c-\delta, c+\delta)\)区间外有\(\{a_n\}\)的无穷多项,那么\([a,c-\delta]\)和\([c+\delta, b]\)中至少一个区间内包含\(\{a_n\}\)的无穷多项,将这些项视作一个序列,根据Bolzano-Weierstrass定理,必存在一个收敛子列收敛于\(c'\notin (c-\delta, c+\delta)\),即\(c' \neq c\)。
淑芬习题2 33.
求证:若非负有界序列\(\{x_n\}\)对任何序列\(\{y_n\}\)都满足下列等式之一成立:
则序列\(\{x_n\}\)收敛。
证明:反证,假设\(\{x_n\}\)发散,则\(\{x_n\}\)中必存在两个子序列分别收敛于\(\{x_n\}\)上下极限,记\(\lim\limits_{k\to\infty}x_{n_k} = \overline\lim\limits_{n\to\infty} x_n = a, \lim\limits_{k\to\infty}x_{m_k} = \underline\lim\limits_{n\to\infty} x_n = b\)其中\(a > b\),不难说明\(\{n_k\}\)与\(\{m_k\}\)的交集只有有限项,在两个子序列中分别去除这部分交集后,可以认为\(\{n_k\}\cap\{m_k\} = \varnothing\)。
构造序列\(\{y_n\}\)满足
不难发现
矛盾。故\(\{x_n\}\)收敛。
10.22
三对角行列式的通项
行列式
显然有
记\(\alpha, \beta\)为方程\(x^2 - ax + bc = 0\)的两根,可得\(D_n\)的通项公式为
可以用特征方程解线性递推的那一套理论就能算出来,放在这儿就当是记个结论。
(\(\alpha, \beta\)可以取到复数,最终算出来的通项仍然会是实数)
高代习题课小记
例题
在\(\mathbb C^n\)中解方程组
记\(S_k = \sum_{i=1}^nx_i^k, P_k = \sum_{i_1i_2\cdots i_k}\prod_{j=1}^kx_{i_j}\)
考虑到\(S_k = S_{k-1}P_1 - S_{k-2}P_2 + \cdots + (-1)^{k-1}S_1P_{k-2}+(-1)^{k-1}kP_k\)(牛顿恒等式)
根据题意\(S_1 = S_2 = \cdots = S_n = 0\)
\(\Rightarrow P_1 = P_2 = \cdots = P_n = 0\)
$\Rightarrow \prod_{i=1}^n(y+x_i) = y^n $
\(\Rightarrow x_1 = x_2 = \cdots = x_n = 0\)
例题
若行列式
中元素满足
求证\(D > 0\)
证明:考虑归纳,显然当\(n=2\)时成立
其中\(b_{ij}=a_{ij}-a_{1j}\frac{a_{i1}}{a_{11}}\)
故\(D = a_{11}\begin{vmatrix} b_{22}&\cdots&b_{2n}\\ \vdots&\ddots&\vdots\\ b_{n2}&\cdots&b_{nn} \end{vmatrix}_{n-1}\)
后面那个行列式满足题设条件,由归纳可知\(D > 0\)
线性空间的交与并
交是子空间
并不是子空间(考虑两条不重合的直线)
不过\(W_1 + W_2 = \{\alpha + \beta| \alpha \in W_1, \beta \in W_2\}\)是子空间
10.24
一道有趣(?)的几何题
理论上记几何题是没什么太大意义的,所以写在这里可能只是比较有意思吧。
给定\(\Delta ABC\),在其内部随机选一个点\(P\),求\(E[\max\{S_{\Delta PAB}, S_{\Delta PBC}, S_{\Delta PCA}\}]\)。
答案只与\(S_{\Delta ABC}\)正相关(想一想为什么?)可以认为\(S_{\Delta ABC} = 1\)。
考虑\(\min-\max\)容斥,可以发现(猜到?)所有\(\min\)里面项数相同的\(E\)的值都是一样的。
所以只要求\(E[S_{\Delta}], E[\min\{S_{\Delta_1},S_{\Delta_2}\}], E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}]\)。
定义\(f(x) = P(E \ge x)\)即答案大于等于\(x\)的概率,那么\(\int_{0}^{1}f(x)dx\)就是答案。这里的\(x\)其实也就是内部三角形高的缩小比例。
\(E\)取\(E[S_{\Delta}]\)时,\(f(x) = (1-x)^2, \int_0^1f(x)dx=\frac 13\);
\(E\)取\(E[\min\{S_{\Delta_1},S_{\Delta_2}\}]\)时,\(f(x) = \max\{(1-2x)^2,0\}, \int_0^1f(x)dx=\frac 16\);
\(E\)取\(E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}]\)时,\(f(x) = \max\{(1-3x)^2,0\}, \int_0^1f(x)dx=\frac 19\)。
于是\(E[\max\{S_{\Delta PAB}, S_{\Delta PBC}, S_{\Delta PCA}\}] = 3E[S_{\Delta}] -3E[\min\{S_{\Delta_1},S_{\Delta_2}\}]+E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}] = \frac{11}{18}\)
非常有趣的结果(?)
10.27
谢惠民例题
\(\{a_n\}\)是正数列,求证\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} \le 1\)的充要条件是\(\forall l > 1, \lim\limits_{n\to\infty}\frac{a_n}{l^n} = 0\)。
充分性:反证,假设\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} > 1\),记\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} = a\),故\(\exists \{n_k\}, s.t. \lim\limits_{n\to\infty}\sqrt[n_k]{a_{n_k}} = a\),即\(\forall \varepsilon > 0, \exists K, \forall k > K, |\sqrt[n_k]{a_{n_k}} - a| < \varepsilon, a_{n_k} > (a - \varepsilon)^{n_k}\)。
取\(\varepsilon < a - 1, 1 < l < a - \varepsilon\),故\(a_{n_k} > (a - \varepsilon)^{n_k} > l_{n_k}, \lim\limits_{k \to \infty}\frac{a_{n_k}}{l^{n_k}} > 1\),这与\(\lim\limits_{n\to\infty}\frac{a_n}{l^n} = 0\)矛盾。
必要性:\(\forall l > 1, \overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} \le 1 < \frac{1+l}{2}, \exists N, s.t. \forall n > N, \sqrt[n]{a_n} < \frac{1+l}{2}, a_n < (\frac{1+l}{2})^n\),故\(0 < \frac{a_n}{l^n} < (\frac{l+1}{2l})^n\),由夹逼定理可知\(\lim\limits_{n\to\infty}\frac{a_n}{l^n}=0\)。
10.29
证明:\(\mathbb R^n\)不能表示为
(1)两个真子空间的并
反证,假设\(\mathbb R^n = W_1 \cup W_2\),由\(W_1, W_2\)都是真子空间可知\(\exists \alpha_1 \in W_1\setminus W_2\)(否则\(W_1 \subseteq W_2, \mathbb R^n = W_1 \cup W_2 = W_2\)与假设不符),同理\(\exists \alpha_2 \in W_2 \setminus W_1.\)
于是\(\alpha_1 + \alpha_2 \notin W_1 \cup W_2\),这与\(R^n = W_1 \cup W_2\)矛盾。
(2)有限个真子空间的并
数学归纳,\(k=2\)时成立。假设\(\mathbb R^n\)不能写成\(k-1\)个真子空间的并,接下来证明\(\mathbb R^n\)不能写成\(k\)个真子空间的并。
仍考虑反证,假设\(\mathbb R^n = \cup_{i=1}^kW_i\),那么存在\(\alpha \in W_1\setminus(\cup_{j\neq 1}W_j), \beta \in W_k\setminus(\cup_{j\neq k}W_j)\)(否则\(W_i \subseteq \cup_{j\neq i}W_j\),\(\mathbb R^n\)写成了\(k-1\)个真子空间的并,与归纳假设矛盾),考虑所有形如\(\alpha + \lambda\beta\)的向量,当\(\lambda \neq 0\)时\(\alpha + \lambda\beta \notin W_1 \cup W_k\),而对于\(\forall 2 \le i \le k-1\),至多存在一个\(\lambda_i\)满足\(\alpha + \lambda_i\beta \in W_i\)(否则两个向量相减会得到\(\beta \in W_i\))由此满足\(\alpha + \lambda\beta \in \cup_{i=1}^kW_i = \mathbb R^n\)的\(\lambda\)仅有有限个,显然矛盾。
(3)可列(countable)个真子空间的并
继续反证,假设\(\mathbb R^n = \cup_{i=1}^{\infty}W_i\),考虑\(\varepsilon_1, \cdots, \varepsilon_n\)是\(\mathbb R^n\)的一组标准基,记\(S = \{\varepsilon_1 + a\varepsilon + \cdots + a^{n-1}\varepsilon_n|a\in\mathbb R\}\),则\(S \cap W_i\)至多含有\(n-1\)个元素。
(否则,令\(v(a_i) = \sum_{j=1}^na_i^{j-1}\varepsilon_j\)其中\(a_i\)互不相同,则它们都在\(W_i\)中,由Vandermonde行列式可知其系数行列式非零,故\(\varepsilon_1, \cdots, \varepsilon_n\)与\(v(a_1), \cdots, v(a_n)\)可以互相线性表出,这与\(\dim W_i < n\)矛盾。)
从而\(S = S \cap \mathbb R^n = \cup_{i=1}^{\infty}(S \cap W_i)\),推出\(S\)是可列的,这与\(S = \{\varepsilon_1 + a\varepsilon + \cdots + a^{n-1}\varepsilon_n|a\in\mathbb R\}\)矛盾(因为\(\mathbb R\)是不可列的)。
11.2
\(f:[0,1]\to[0,1]\)为一个单调递增函数,且\(f(0)>0, f(1)<1\),证明\(\exists x_0\in(0,1), f(x_0)=x_0.\)
区间套,说明套出来的那个点就是\(x_0.\)
一个关于不可数集的简单性质:设\(A\)为\(\mathbb R\)中一个不可数集,则存在\(\mathbb R\)中一个区间\(T\)满足\(\#\{T\cap A\} = +\infty\)
取\(T_n = [-n, n]\),则\(A = \cup_{i=1}^{\infty}(T_n \cap A)\),因为\(A\)是不可数的,所以\(\exists n, T_n \cap A\)是不可数的。
\(f:\mathbb R \to \mathbb R\)单调,则\(\lim\limits_{x\to a-0}f(x) \neq \lim\limits_{x \to a+0}f(x)\)只对可数个点成立。
不妨假设\(f\)单增,则\(\lim\limits_{x\to a-0}f(x) \le \lim\limits_{x \to a+0}f(x)\)
记左边集合为\(A\),右边每项集合为\(A_n\)
若\(A\)不可数,则存在\(A_n\)不可数
\(\exists [-k,k], s.t.[-k,k]\cap A_n\)中有无穷多个点,经过每个点时函数值都要增加\(\frac 1n\)而\(f(k)-f(-k)\)是有限数,因而矛盾。故\(A\)可数。
\(f:\mathbb R \to \mathbb R\)满足\(\forall a \in \mathbb R, \lim\limits_{x\to a-0}f(x)\)与\(\lim\limits_{x\to a+0}f(x)\)均存在,则\(\lim\limits_{x\to a-0}f(x) \neq \lim\limits_{x \to a+0}f(x)\)只对可数个点成立。
给上一题的定义里加个绝对值
记左边集合为\(A\),右边每项集合为\(A_n\)
若\(A\)不可数,则存在\(A_n\)不可数
\(\exists [-k,k], s.t.[-k,k]\cap A_n\)中有无穷多个点,由BW定理可知存在单调上升序列\(\{x_n\}, s.t.\lim\limits_{n\to\infty}x_n = x_0\),容易证明\(\forall \varepsilon > 0, (x_0-\varepsilon, x_0)\)内可以找到两个取值差\(\ge \frac 1n\)的点,从而\(\lim\limits_{t\to x_0-0}f(t)\)不存在