作业 50%，期中期末各 25%。

Lecture 1: Probability Theory Basics

概率空间 probablity space

随着概率问题变得越来越复杂，我们需要概率的精确的数学定义。

离散情况下，概率空间 $P=(U,p)$ 由以下组成：

• 样本空间 universe $U$ 是非空有限集。
• 概率函数 probability function $p:U\to [0,1]$ 且 $\sum _{x\in U}p(x)=1$。

$P$ 的一个 事件 event $T$ 是 $U$ 的子集，$T$ 的概率 $Pr(T)=\sum _{x\in T}p(x)$。

三门问题 Monte Hall problem

一个经典问题。

一个门后有大奖，选定一个门之后会得知一个不是当前门的没有大奖的门。

• 如果不切换，那么概率是一开始选中的概率 $\frac{1}{3}$。
• 如果在剩下两个门随机选，那么概率是 $\frac{1}{2}$。
• 如果切换，那么概率是一开始没选中的概率 $\frac{2}{3}$。

在描述概率空间时需要小心：直觉有可能导致错误的结果！

基本计数规则 basic counting rule

生日悖论 birthday paradox

$U=\{(x_1,\cdots ,x_n)\mid 1\le x_i\le 365\}$，$T=\{(x_1,\cdots ,x_n)\mid \mathrm{\exists }j\ne k,x_j=x_k\}$。

$$q(n)=1-\prod _{i=0}^{n-1}(1-\frac{i}{365}).$$

根据经典不等式 ${\mathrm{e}}^{-x}\ge 1-x,\mathrm{\forall }x\ge 0$ 可知

$$q(n)\ge 1-\exp (-\frac{n(n-1)}{2\times 365})\equiv d(n).$$

$d(n)$ 是对 $q(n)$ 的良好近似。给定概率 $0.5$，计算 $q(n)=0.5$ 的 $n$ 可以用 $d(n)=0.5$ 近似。

$$\begin{array}{rl}\exp (-\frac{n(n-1)}{2\times 365})& =0.5,\\ \frac{n(n-1)}{2\times 365}& =\ln 2=0.69,\\ x& =\sqrt{2\times 365\times 0.69}=22.44.\end{array}$$

基本计数规则 basic counting rules：对于均匀的概率函数，$Pr(T)=|T|/|U|$。计算 $Pr(T)$ 等价于计算 $T$ 的大小。

• 加法原理 addition rule：如果 $S$ 是 $S_{1\sim k}$ 的无交并，则 $|S|=\sum _{i=1}^k|S_i|$。
• 乘法原理 multiplication rule：如果 $S$ 的每个元素可以和 $s=(i_1,\cdots ,i_m)$ 一一对应，其中 $1\le i_k\le c_k$，则 $|S|=\prod c_{1\sim m}$。

37% 法则 the 37% rule

$x$ 是均匀随机的 $1\sim n$ 的排列。在不知道之后的数的情况下依次决定每个数是否选择，最多选一个数，希望选中 $n$。

策略 $k$：跳过前 $k$ 个数，选择第一个 $x_j$ 使得 $x_j>max{x}_{1\sim k}$。分析其概率：

• （加法原理）设 $T$ 是使得策略成功的排列，$T_j$ 为 $T$ 中使得 $x_j=n$ 的排列，则 $T$ 是 $T_{k<j\le n}$ 的无交并。
• （乘法原理）使得 $x_j=n$ 的排列有 $(n-1)!$ 个，落在 $T$ 中要求 $max{x}_{1\sim j-1}=max{x}_{1\sim k}$，概率是 $\frac{k}{j-1}$。

综上，

$$Pr(T)=\sum _{j=k}^{n-1}\frac{k(n-1)!}{(j-1)n!}=\frac{k}{n}(H_{n-1}-H_{k-1})\approx -\frac{k}{n}\ln \frac{k}{n}.$$

求导可知在 $\frac{k}{n}=\frac{1}{\mathrm{e}}$ 时最优，最优值为 $\frac{1}{\mathrm{e}}=0.37$。

基本概率工具 essential probability tool

#1 布尔不等式 Bool's inequality, union bound：对有限多个事件 $T,T_1,\cdots ,T_m$，若 $T\subseteq \bigcup _{i=1}^m{T}_i$，则 $Pr(T)\le \sum _{i=1}^{m}Pr(T_i)$。若 $T_i$ 两两无交且 $T$ 是 $T_i$ 的无交并，则不等式取等。

这些很简单的不等式可以给出很惊人的结论。

拉姆齐数 Ramsey number：点数不小于 $R(r,s)$ 的图一定存在 $r$ 个点的团或 $s$ 个点的独立集。$R(k)=R(k,k)$。

Ramsey 定理：对任意 $k\ge 3$，存在 $N$ 使得对任意 $N$ 个点的图，图上有大小为 $k$ 的完全图或独立集。$R(3)=6$。

作业：证明 $R(k)\le (\genfrac{}{}{0ex}{}{2k-2}{k-1})<4^k$。具体是先证明 $R(r,s)\le R(r-1,s)+R(r,s-1)$ 然后归纳。

Theorem

$$R(k)\ge \lfloor 2^{k/2}\rfloor .$$

Paul Erdos 1947.

Proof

设 $n\le 2^{k/2}$。

对于大小为 $k(k\ge 3)$ 的点集 $V$，在随机图上 $V$ 形成完全图的概率为 $2^{-k(k-1)/2}$。根据布尔不等式，至少存在一个完全图或独立集的概率不超过

$$(\genfrac{}{}{0ex}{}{n}{k})\times 2\times 2^{-k(k-1)/2}\le 2\frac{n^k}{k!2^{k(k-1)/2}}\le 2\frac{2^{k^2/2}}{k!2^{k(k-1)/2}}=\frac{2^{k/2+1}}{k!}<1.$$

$◻$

概率方法 probabilistic method：通过概率分析而非显式构造来证明一个数学对象的存在性。由 Paul Erdos 创立。

#2a 条件概率 conditional probability：给定 $T$ 之后 $S$ 发生的概率称为 $S$ 关于 $T$ 的条件概率。

在逻辑上，$Pr(S\cap T)$ 和 $Pr(S\cup T)$ 经常写为 $Pr(S\wedge T)$ 和 $Pr(S\vee T)$。

#2b 链式法则 chain rule：

将链式法则应用在生日悖论上：设 $S_j$ 是所有 $x_j\notin x_{1\sim j-1}$ 的 $x$ 的集合。

分配律 distributive law：设 $T\subseteq W_1\cup \cdots \cup W_m$，那么

若 $W_j$ 两两无交，则不等式取等。注意这里不要求 $T$ 是它们的无交并。这是加法原理和乘法原理的推广。

Lecture 2: Statistics on a Probability Space

条件概率（续）conditional probability continued

两个事件 $S,T$ 相互 独立 independent，若 $Pr(S\mid T)=Pr(S)$。即 $Pr(S\cap T)=Pr(S)Pr(T)$。也就是说，$S,T$ 之间，一个事件发生不会影响另一个事件发生的概率。

当 $S_n\subseteq S_{n-1}\subseteq \cdots \subseteq S_1$ 时，

排列的环长 cycle length in a permutation

设 $L_i(\sigma )$ 表示 $\sigma$ 的包含 $i$ 的环长。注意到

$$Pr(L_1>s\mid L_1>s-1)=\frac{n-s}{n-s+1}.$$

而 $Pr(L_1>0)=1$。由链式法则，对任意 $1\le s\le n$，

$$Pr(L_1=s)=\frac{1}{n}.$$

团的贪心算法 greedy clique algorithm

贪心地检查每个点能否和当前的团形成团。

设 $A(G)$ 是最终得到的团，则对于随机图，

$$Pr(|A(G)-{\log }_{2}n|\le {\log }_2{\log }_{2}n)=1-o(1).$$

上界

在集合已经有 $c$ 个元素时，新加入一个点的概率为 $\frac{1}{2^c}$。

设 $K={\log }_{2}n+{\log }_2{\log }_{2}n$，设 $T_i$ 表示第 $K$ 个加入的点是 $i$ 的事件，由分配律，

$$Pr(|A(G)|>K)=\sum _{i=2}^{n}Pr(T_i)Pr(|A(G)|>K\mid T_i).$$

考虑到

$$Pr(|A(G)|>K\mid T_i)\le \frac{n-i}{2^K}\le \frac{n}{2^K}=\frac{1}{{\log }_{2}n},$$

于是

$$Pr(|A(G)|>K)\le \frac{1}{{\log }_{2}n}\sum _{i=2}^{n}Pr(T_i)\le \frac{1}{{\log }_{2}n}=o(1).$$

上界的 ${\log }_{2}n+f(n)$ 中，$f(n)$ 可以是增长任意缓慢的函数，只要 $f(n)\to +\mathrm{\infty }$。

下界见本章最后。

N 门问题 n doors problem

每个人只允许打开 $\frac{n}{2}$ 扇门。

一个人的成功概率是 $\frac{1}{2}$，但是两个人都成功的概率可以大于 $\frac{1}{4}$。策略：两个人事先约定门的排列 $\sigma$，每个人从自己对应的门开始找。成功的概率是两个人的宠物所在环长均不超过 $\frac{1}{2}$ 的概率，是 $\frac{3}{8}$。

所有人都成功的概率等于没有环长超过 $\frac{1}{2}$ 的概率，使用组合数学得到 $1-(H_n-H_{n/2})=1-\ln 2\approx 31\mathrm{\%}$。

随机变量 random variable

一个 随机变量 是一个函数 $X:U\to R$。它的 期望 expectation $E[X]=\sum _{u\in U}p(u)X(u)$。

定义期望的和 $Z=aX+bY$ 为 $Z(u)=aX(u)+bY(u)$。

#3 期望的线性性 law of linear expectation：若 $X=\sum _{i=1}^n{C}_i{X}_i$，则

环的个数的期望 expected number of cycles

设 $X$ 表示环的数量，则 $X=\sum _{i=1}^n\frac{1}{L_i(\sigma )}$。由期望的线性性，

$$E[X]=nE\left[\frac{1}{L_i}\right]=n\sum _{i=1}^n\frac{1}{n}\cdot \frac{1}{i}=H_n.$$

条件期望 conditional expectation：

#4 期望的分配律 distributive law for expectation：设 $U$ 是 $W_1,\cdots ,W_n$ 的无交并，则

几何分布的期望 mean of the geometric distribution

抛掷一枚正面概率为 $p$ 的硬币，设 $X$ 是第一次抛出正面的次数。

$$E[X]=p+(1-p)(1+E[X])⟹E[X]=\frac{1}{p}.$$

随机变量 $X$ 的 方差 variance：

标准差 standard deviation：

因此方差通常也写作 ${\sigma }^2$。

几何分布的方差 variance of the geometric distribution

$$E[X^2]=p+(1-p)E[(1+X{)}^2]⟹{\sigma }^2(X)=\frac{1-p}{p^2}.$$

称 $X,Y$ 是 独立随机变量 independent random variable，若

此时

方差衡量了随机变量的分散程度。

尾部估计 tail estimate

概率工具其五。

马尔可夫不等式 Markov's inequality：

设 $X$ 是非负随机变量。对任意 $c>0$，

Proof

$$E[X]>Pr(X>cE[X])\cdot cE[X]$$

$◻$

另一种形式为

切比雪夫不等式 Chebyshev's inequality：

Proof

对 $|X-E[X]|$ 使用 Markov 不等式，得到

$$Pr(|X-E[X]|>c\sigma (X))=Pr((X-E[X]{)}^2>c^2{\sigma }^2(X))<\frac{1}{c^2}.$$

$◻$

界不是很紧，但适用范围非常广泛。

团的贪心算法的下界 lower bound of the greedy clique problem

设 $X_j$ 表示第 $j$ 个加入的结点编号，$Y_j=X_{j+1}-X_j$。

Observation

$Y_j$ 是概率为 $b_j=\frac{1}{2^j}$ 的几何分布。

$$E[Y_j]=2^j,{\sigma }^2(Y_j)=\frac{1-b_j}{b_j^2}=4^j-2^j.$$

设 $K={\log }_{2}n-{\log }_2{\log }_{2}n$，那么问题等价于

$$Pr((X^{\prime }\equiv \sum _{j=1}^K{Y}_j)\le n-1)=1-o(1).$$

根据期望的线性性，

$$E[X^{\prime }]=\sum _{j=1}^K{2}^j=2^{1+K}-2\le \frac{2n}{{\log }_{2}n}.$$

因为 $Y$ 是独立随机变量，所以

$${\sigma }^2(E^{\prime })=\sum _{j=1}^K(4^j-2^j)=\frac{4}{3}(4^K-1)-2(2^K-1)\le 2{\left(\frac{n}{{\log }_{2}n}\right)}^2.$$

若 $X^{\prime }>n-1$，那么 $X^{\prime }-E[X^{\prime }]>\frac{n}{2}$。于是

$$Pr(X^{\prime }\ge n-1)\le Pr(X^{\prime }-E[X^{\prime }]>\frac{n}{2}).$$

由 Chebyshev 不等式，

$$Pr(X^{\prime }-E[X^{\prime }]>\frac{n}{2})\le \frac{4{\sigma }^2(X^{\prime })}{n^2}\le \frac{8}{({\log }_{2}n{)}^2}.$$

$◻$

Lecture 3: Tail bounds continued

切比雪夫不等式 Chebyshev's inequality

使用 Chebyshev 不等式时，需要计算 $E[X]$ 和 $\sigma (X)=E[X^2]-E[X{]}^2$。$E[X^k]$ 称为 k 阶矩 the k-th moment。

随机图的最大团（下界） largest clique of a random graph (lower bound)

设 $m=(2-\epsilon ){\log }_{2}n$，$M$ 是所有大小为 $m$ 的子集。

对每个 $V\in M$ 设随机变量 $A$，$A_V(G)=1$ 当且仅当 $V$ 是团。考虑 $X=\sum _{V\in M}{A}_V(G)$，$T$ 表示 $w(G)\ge m$，则 $Pr(T)=Pr(X>0)$。

考虑以下两个命题：

1. 当 $n\to +\mathrm{\infty }$ 时，$E[X]\to \mathrm{\infty }$。
2. ${\sigma }^2(X)=E[X{]}^2\cdot o(1)$。

若命题成立，则根据 Chebyshev 不等式，

$$Pr(X\le 0)\le Pr(|X-E[X]|>\frac{1}{2}E[X])\le \frac{{\sigma }^2(X)}{\frac{1}{4}E[X{]}^2}=o(1).$$

Proof (2)

对 $|V\cap V^{\prime }|=1$，$A_V$ 和 $A_{V^{\prime }}$ 是独立的。于是

$$\begin{array}{rl}{\sigma }^2(X)& \le E\left[\sum _{V,V^{\prime }}{A}_V{A}_{V^{\prime }}\right]-\sum _{|V\cap V^{\prime }|\le 1}E[A_V]E[A_{V^{\prime }}]\\ & =E[\sum _V{A}_V+\sum _{|V\cap V^{\prime }|>1}{A}_V{A}_{V^{\prime }}]\\ & \le E[X]+\sum _{2\le k\le m}\sum _{|V\cap V^{\prime }|=k}E[A_V{A}_{V^{\prime }}]\\ & =E[X]+\sum _{2\le k\le m}\sum _{|V\cap V^{\prime }|=k}Pr(A_{V^{\prime }}=1\mid A_V=1)Pr(A_V=1)\\ & =E[X]+\sum _{2\le k\le m}\sum _{V}Pr(A_V=1)\frac{(\genfrac{}{}{0ex}{}{n}{k})(\genfrac{}{}{0ex}{}{n-m}{m-k})}{2^{(\genfrac{}{}{0ex}{}{m}{2})-(\genfrac{}{}{0ex}{}{k}{2})}}\\ & =E[X]+E[X]\sum _{2\le k\le m}\frac{(\genfrac{}{}{0ex}{}{n}{k})(\genfrac{}{}{0ex}{}{n-m}{m-k})}{2^{(\genfrac{}{}{0ex}{}{m}{2})-(\genfrac{}{}{0ex}{}{k}{2})}}\\ & \le E[X]+\frac{64m^5}{n}E[X{]}^2.\end{array}$$

其中最后一步用到引理（作业）

$$\sum _{2\le k\le m}\frac{(\genfrac{}{}{0ex}{}{n}{k})(\genfrac{}{}{0ex}{}{n-m}{m-k})}{2^{(\genfrac{}{}{0ex}{}{m}{2})-(\genfrac{}{}{0ex}{}{k}{2})}}\le \frac{m^5}{n-m+1}E[X].$$

而 $m\le 2{\log }_{2}n$，所以 (2) 成立。$◻$

概率估计的几何解释

设随机变量 $X=\sum _{i=1}^n{X}_i$，其中 $X_i$ 分别有 $\frac{1}{2}$ 的概率等于 $0$ 和 $1$。

计算得 $E[X]=\frac{n}{2}$，$\sigma (x)=\sqrt{\sum {\sigma }^2(X_i)}=\frac{\sqrt{n}}{2}$。使用 Chebyshev 不等式，

如果使用 Markov 不等式，则会得到很差的结果，因为标准差和均值不在同一个数量级。

考虑 $f(x)=1(x\ge a)$，则 $Pr(X\ge a)=E[f(x)]$。考虑 $g(x)\ge f(x)$，则

如果 $g(x)$ 是一个方便计算期望的函数，那么我们就得到了 $Pr(X\ge a)$ 的一个估计。

当 $g(x)=\frac{x}{a}$ 时，得到 Markov 不等式：

当 $g(x)=\frac{(x-\mu {)}^2}{(\mu -a{)}^2}$ 时，得到 Chebyshev 不等式：

现在我们考虑更激进的估计方法：指数函数。

切诺夫界 Chernoff bound

因为 $f(x)$ 在 $x\ge a$ 时等于 $1$，所以指数上 $x$ 的系数必须是正数。考虑到 $g(a)=1$ 的条件，$g(x)={\mathrm{e}}^{t(x-a)}$，其中 $t$ 是待定系数。另一种解释是使用 Markov 不等式

$t=0$ 时得到 $Pr(X\ge a)\le 1$，没有用。$t\to +\mathrm{\infty }$ 时，$x\ge a$ 的部分又会增长太快导致估计得不好。我们要找到最好的 $t$ 使得 $E[g(x)]$ 最小。

切诺夫界 Chernoff bound：设随机变量 $X=\sum _{i=1}^n{X}_i$，其中 $Pr(X_i=1)=b_i$，$Pr(X_i=0)=1-b_i$，则

Proof

设 $a=(1+\delta )\mu$。

由 Markov 不等式，

$$Pr(X>(1+\delta )\mu )\le \frac{E[{\mathrm{e}}^{tX}]}{{\mathrm{e}}^{t(1+\delta )\mu }}.$$

根据经典不等式 $1+x\le {\mathrm{e}}^x$，

$$\begin{array}{rl}E[{\mathrm{e}}^{tX}]& =\prod {\mathrm{e}}^{t{X}_i}\\ & =\prod (1-b_i+b_i{\mathrm{e}}^t)\\ & \le \prod \exp (b_i({\mathrm{e}}^t-1))\\ & =\exp (({\mathrm{e}}^t-1)\sum b_i)\\ & =\exp (({\mathrm{e}}^t-1)\mu ).\end{array}$$

最小化 $({\mathrm{e}}^t-1)\mu -t(1+\delta )\mu$，得到 $t_0=\ln (1+\delta )$，所以

$$Pr(X>(1+\delta )\mu )\le {\left(\frac{{\mathrm{e}}^{\delta }}{(1+\delta {)}^{(1+\delta )}}\right)}^{\mu }.$$

根据 $\ln (1+x)\ge \frac{2x}{2+x}$ 得到

$$\delta -\ln (1+\delta )(1+\delta )\le -\frac{{\delta }^2}{2+\delta }.$$

于是

$$Pr(X>(1+\delta )\mu )\le \exp (-\frac{{\delta }^2}{2+\delta }\mu ).$$

类似可以证明

$$Pr(X<(1-\delta )\mu )\le {\left(\frac{{\mathrm{e}}^{-\delta }}{(1-\delta {)}^{(1-\delta )}}\right)}^{\mu }\le \exp (-\frac{{\delta }^2}{2}\mu ).$$

$◻$

取 $\delta =10\sqrt{\frac{1}{n}}$，则当 $n\to +\mathrm{\infty }$ 时，

Corollary 1

Corollary 2

当 $c>7E[X]$ 时，

$$Pr(X>c)<2^{-c}.$$

Chernoff 界的平均值形式：对于 $\bar{X}=\frac{1}{n}X$，${\mu }^{\prime }=\frac{\mu }{n}$，有

其中最后一个不等号成立是因为 $\mu \le n$。常数 $2$ 是对两侧分别使用 Chernoff 界得到的。

霍夫丁不等式 Hoeffding's inequality：设 $X_i\in [a,b]$ 是有界随机变量，则对任意 $t\ge 0$，

还讲了一个关于鞅的 Azuma 不等式。

LAZYTAG

Lecture 4: Advanced Applications

熵 extropy

信息熵 是定量化地描述随机性的工具。随机变量 $X$ 的熵定义为

当 $X$ 是二元随机变量时，设 $p=Pr(X=1)$，则

接下来主要研究二元随机变量。

熵和二项系数 entropy and binomial coefficients

设 $nq$ 是整数。

$$\frac{2^{nH(q)}}{n+1}\le (\genfrac{}{}{0ex}{}{n}{nq})\le 2^{nH(q)}$$

Proof

对于上界，直接二项展开。

$$(\genfrac{}{}{0ex}{}{n}{nq})\le q^{-qn}(1-q{)}^{-(1-q)n}=2^{-qn{\log }_{2}q-(1-q)n{\log }_2(1-q)}=2^{nH(q)}$$

对于下界，考虑相邻两个二项系数的差，则

$$(\genfrac{}{}{0ex}{}{n}{k})q^k(1-q{)}^{n-k}-(\genfrac{}{}{0ex}{}{n}{k+1})q^{k+1}(1-q{)}^{n-k-1}=(\genfrac{}{}{0ex}{}{n}{k})q^k(1-q{)}^{n-k}(1-\frac{q}{1-q}\frac{n-k}{k+1})$$

可知当 $k\le nq-1+q$ 时差非负，所以当 $k=nq$ 时取到最大值，其大于平均值 $\frac{1}{n+1}$，再使用类似上界的方法即可。$◻$

熵衡量了多少 unbiased，独立的 bits 可以从随机变量中取出。

extraction function

Theorem

如果想保证均匀随机但如果映射到太长的序列，会导致总概率大于 1

Compression

将一个随机变量的结果压缩到更短的长度上，使得期望长度小于随机变量结果的长度，但不能有一个压缩是另一个压缩的前缀。Huffman tree

对于 $p>1/2$，对任意 $\delta >0$，当 $n$ 足够大时，存在 $Com$ 使得期望长度不超过 $(1+\delta )nH(p)$，且对任意 $Com$ 都有期望长度至少 $(1-\delta )nH(p)$。

Shannon’s Theorem

the problem of reliable communication over a noisy channel.

有 $p$ 的概率翻转。添加冗余。

给定 $n$，找到最大的 $k$ 使得成功概率不小于 $1-\epsilon$。

香农定理：$k=n(1-H(p))$。

对任意 $\delta ,\epsilon >0$，当 $n$ 足够大时，对任意 $k\le n(1-H(p)-\delta )$，存在 $(k,n)$ 编码解码使得错误率不超过 $\epsilon$。

对任意 $k\ge n(1-H(p)+\delta )$，不存在 $(k,n)$ 解码编码使得错误率不超过 $\epsilon$。

最简单的编码方式：对每个 $2^k$ 都有若干 Enc，考虑 Hamming distance。

设 ${\tilde{c}}_i=c_i\oplus z$，则 $z$ 分布在 $np$ 个 $1$ 附近。

有 $1-\epsilon /2$ 的概率，

$$(p-\gamma )n\le d_H(c_i,{\tilde{c}}_i)\le (p+\gamma )n$$

$$Ring(c_i)=\{c:|d_H(c_i,c)-np|\le \gamma n\}$$

那么有 $1-\epsilon /2$ 的概率 ${\tilde{c}}_i\in R(c_i)$.

设 $Su{c}_i(C)$ 表示 ${\tilde{c}}_i\in R(c_i)$ 且对任意 $j\ne i$，${\tilde{c}}_i\notin R(c_j)$。

我们希望 $P(Su{c}_i(C))$ 对每个 $i$ 都很大。

Lemma

$R(c_i)$ 的大小不超过 $2^{(H(p)+{\delta }^{\prime })n}$，其中当 $n\to +\mathrm{\infty }$ 时 ${\delta }^{\prime }\to 0$。

作业，气笑了。

均匀随机选 $c_1\sim c_M$，考虑不成功的概率，使用 union bound

$$\{\mathrm{\exists }i,{\tilde{c}}_i\notin R(c_i)\vee \mathrm{\exists }i\ne j,{\tilde{c}}_i\in R(c_j)\}$$

$$Pr({\tilde{c}}_i\in R(c_j))=\frac{Vol(R)}{2^n}=2^{(H(p)+{\delta }^{\prime }-1)n}$$

$$Pr(Fail)\le M^{2}Pr()=2^{2k+(H(p)-1+{\delta }^{\prime })n}\to +\mathrm{\infty }$$

小技巧：

• 第一步：先选 $2M$ 个，平均下来是好的。
• 第二步：丢掉最差的那一半。

不要对所有 pair 都用 union bound，设 ${\lambda }_i(C)=1-P(Su{c}_i(C))$。

Lemma

$$E[{\lambda }_i(C)]\le \epsilon$$

这里的期望对所有 $i$ 和 $C$。

那么一定有一个 $C$ 是好于平均的，即

$$\frac{1}{M}\sum _{i=1}^M{\lambda }_i(C^{\ast })\le \epsilon$$

于是让 $C^{\ast }$ 只保留最好的那部分，即 ${\lambda }_i$ 最小的那些，于是对任意 $i$，${\lambda }_i(C^{\ast })\le 2\epsilon$。

Hypercude networking routing problem

transmit message, a cable transmit 1 messgage in 1 sec

在超立方体上考虑问题。

rounting task 是一个排列。希望找到一个合理时间内能够完成的传输方式。

bit-fixing algorithm：找到第一个不同的位然后翻转。长度是 $d_H(i,\sigma (i))$。指数级别的延时。