离散数学与结构

ZFC 集合论

哥德尔不完备定理

设 ZFC 命题一致且完备

存在 TM M1 判定一个命题和证明过程是否正确

那么存在 TM M2 可以在有限时间搜出证明（因为一致且完备，必然停机）

那么对于停机问题，传入 <m,x>，可以将图灵机是否停机写成一个 ZFC 命题

\[\exists t,(\forall t,\forall i,\varphi(t+1,i)=\{\text{一些和}\varphi(t,\dots)\text{有关的式子}\})\land(\varphi(0,i)=\text{初始状态})\land (\varphi(t,i)=\text{终止状态}) \]

因此，存在图灵机可以判定停机问题，矛盾

信息论

熵(Entropy)

对于随机变量 \(X\)，\(X\) 上分布 \(P_X\)，定义 \(X\) 的信息熵：

\[\begin{aligned} H(x)&=\sum_x P_X(x)\log\frac{1}{P_X(x)}\\ &=\mathbb{E}\left[\log\frac 1{P_X(x)}\right] \end{aligned} \]

联合熵(Joint Entropy)

条件熵(Conditional Entropy)

KL 散度/相对熵

对于分布 \(P,Q\)，定义 \(P,Q\) 的 KL 散度：

\[\begin{aligned} D(P||Q)&=\sum_x P(x)\log \frac{P(x)}{Q(x)}\\ &=\mathbb E_{x\sim P}\left[\log\frac{P(x)}{Q(x)}\right]\\ &=\mathbb E_{x\sim Q}\left[\frac{P(x)}{Q(x)}\log \frac{P(x)}{Q(x)}\right] \end{aligned} \]