回顾不可知 PAC 的定义
定义 一个假设类 \(\mathcal H\) 是不可知 PAC 可学习的，如果存在函数 \(m_{\mathcal H} : (0, 1)^2 \to \mathbb N\) 和一个学习算法满足，对任意 \(\epsilon, \delta \in (0, 1)\)、\(\mathcal X \times \{0, 1\}\) 上的分布 \(\mathcal D\)，学习算法接收长度为 \(m \geq m_{\mathcal H}(\epsilon, \delta)\) 的训练集可以给出一个假设 \(h\)，使得有至少 \(1 - \delta\) 的概率
\[L_{\mathcal D}(h) \leq \min_{h' \in \mathcal H} L_{\mathcal D}(h') + \epsilon
\]
其总是关心泛化的结果，而不在乎其过程。但一般地讲来，所谓泛化能力，是指在有限的测试集（就是上文的训练集，但此时不关注训练）上能够体现真实分布上的损失的能力。即
\[|L_S(h) - L_{\mathcal D}(h)| \leq \epsilon
\]
定义 一个数据集 \(S\) 被称作（关于作用域 \(\mathcal Z\)，假设类 \(\mathcal H\)，损失函数 \(\ell\)，分布 \(\mathcal D\)）\(\epsilon\)-representative 的，如果
\[\forall h \in \mathcal H, |L_S(h) - L_\mathcal D(h)| \leq \epsilon
\]
这是看似比 PAC 更严的条件。因为其不仅仅要求了找到好的假说的能力，还要求了所有假说的泛化能力。
推论 \(S\) 是 \(\epsilon / 2\)-representative 的，则
\[L_{\mathcal D}(h_S) \leq \min_{h \in \mathcal H} L_{\mathcal D}(h) + \epsilon
\]
证明
\[L_{\mathcal D}(h_S) \leq L_S(h_S) + \frac \epsilon 2 \leq L_S(h) + \frac \epsilon 2 + \frac \epsilon 2 = L_{\mathcal D}(h) + \epsilon \tag*{$\square$}
\]
对于一个单一的假说 \(h\)，\(\mathcal D^m(S \mid |L_S(h) - L_{\mathcal D}(h)| > \epsilon) \to 0\) 的条件，便是采样的均值随着采样数增大高概率 \(\epsilon\)-靠近分布的期望的条件，即 Measure Concentration。这一点在概统中有相当多的结论（注意 Chernoff bound 描述的是两者的比值而不是差，所以这里不用）
引理 (Hoeffding's Ineq) 令 \(\theta_1, \ldots, \theta_m\) 为独立同分布随机变量，\(\mathbb E[\theta_i] = \mu, \mathbb P[a \leq \theta_i \leq b] = 1\)，则对任意 \(\epsilon> 0\)，
\[\mathbb P \left[\left|\frac 1m \sum_{i=1}^m \theta_i - \mu\right| > \epsilon\right] \leq 2 \exp \left(\frac{-2 m \epsilon^2}{(b - a)^2}\right)
\]
于是对任意 \(\epsilon, \delta \in (0, 1)\)，对每一个 \(h \in \mathcal H\) 考虑 \(\theta\) 取自分布 \(\ell \circ (h \times \mathcal D)\)（即按照分布 \(\mathcal D\) 生成实例，经过假说的判断后的损失的分布），则一定存在某个 \(m_h\) 使得条件满足。接下来所需要的，便是考虑所有分布 \(\ell \circ (\mathcal H \times \mathcal D)\) 关于由 \(\mathcal D\) 生成的随机变量的一致性。即，对于某个固定的 \(S\)，\(\sup_{h \in \mathcal H} |L_{\mathcal D}(h) - L_S(h)| < \epsilon\)。由于这里并不再假设 \(\mathcal H\) 是有限的，不能套用 Union bound，这一条件并不直接满足。
定义 称假设类 \(\mathcal H\) 具有一致收敛性 (Uniform Convergence property)，如果存在函数 \(m^{\text{UC}}_{\mathcal H} : (0, 1)^2 \to \mathbb N\) 满足，对任意 \(\epsilon, \delta \in (0, 1)\)、\(\mathcal Z\) 上的分布 \(\mathcal D\)，长度为 \(m \geq m^{\text{UC}}_{\mathcal H}(\epsilon, \delta)\) 的训练集 \(S\) 有至少 \(1 - \delta\) 的概率是 \(\epsilon\)-representative 的。
推论 假设类 \(\mathcal H\) 关于函数 \(m_{\mathcal H}^{\text{UC}}\) 具有一致收敛性，则该假设类是关于 \(m_{\mathcal H}(\epsilon, \delta) \leq m_{\mathcal H}^{\text{UC}}(\epsilon / 2, \delta)\) 不可知 PAC 可学习的，且 ERM 策略生效。
命题 0-1 loss 下的有限假设类一致收敛的，因此是不可知 PAC 可学习的。
证明 Union bound + Hoeffding's Ineq.
令 \(\theta_{h, i} = \ell(h, x_i)\)，则
\[\begin{aligned}
\mathcal D^m(\{(S|_x) \mid \exists h \in \mathcal H, |L_S(h) - L_{\mathcal D}(h)| > \epsilon\})
&\leq \sum_{h \in \mathcal H} \mathcal D^m(\{(S|_x) \mid |L_S(h) - L_{\mathcal D}(h)| > \epsilon\}) \\
&= \sum_{h \in \mathcal H} \mathbb P\left[\left|\frac 1m \sum_{i=1}^m \theta_{h, i} - \mu\right | > \epsilon\right] \\
&\leq 2 |\mathcal H| \exp(-2m \epsilon^2)
\end{aligned}\]
令
\[m \geq \frac{\log (2 |\mathcal H| / \delta)}{2\epsilon^2}
\]
则有 \(\mathcal D^m(\{S \mid \exists h \in \mathcal H, |L_S(h) - L_{\mathcal D}(h)| > \epsilon\}) \leq \delta\)。故
\[m_{\mathcal H}(\epsilon, \delta) \leq m^{\text{UC}}_{\mathcal H}(\epsilon / 2, \delta) \leq \left\lceil \frac{2 \log(2|\mathcal H| / \delta)}{\epsilon^2}\right\rceil \tag*{$\square$}
\]
需要注意的是，一致收敛性是仅对 \(\mathcal H\) 和 \(\ell\) 说的，\(\mathcal D\) 是任意的。能这么说的底气在于以下几点
根据 Markov's Ineq，
\[\mathbb P_{S \sim \mathcal D^m}\left[\sup_{h \in \mathcal H} |L_{\mathcal D}(h) - L_S(h)| \geq \epsilon\right] \leq \delta
\]
其中
\[\epsilon = \frac {\mathbb E_{S \sim \mathcal D^m}\left[\sup_{h \in \mathcal H} |L_{\mathcal D}(h) - L_S(h)|\right]}{\delta}
\]
- 我们可以由式子中 \(\mathbb E + \sup\) 的机制去除 \(L_{\mathcal D}\)，而转化为两组测试集的差。
定义 \(C = \{c_1, \ldots, c_m\} \subset \mathcal X\) 是实例集合的一个有限子集，称假设类 \(\mathcal H\) 在 \(C\) 上的 restriction 为
\[\begin{aligned}
\mathbb E_{S \sim \mathcal D^m}\left[\sup_{h \in \mathcal H} |L_{\mathcal D}(h) - L_S(h)|\right] &= \mathbb E\left[\sup_{h \in \mathcal H} |(\mathbb E_{S' \sim \mathcal D^m} L_{S'}(h)) - L_S(h)|\right] \\
&\leq \mathbb E_{S \sim \mathcal D^m}\left[\sup_{h \in \mathcal H} \mathbb E_{S' \sim \mathcal D^m} |L_{S'}(h) - L_S(h)|\right] && |\mathbb EX| \leq \mathbb E|X| \\
&\leq \mathbb E_{S \sim \mathcal D^m}\left[\mathbb E_{S' \sim \mathcal D^m}\left[\sup_{h \in \mathcal H} |L_{S'}(h) - L_S(h)|\right]\right] && \sup_{h \in \mathcal H} \mathbb E X(h) \leq \mathbb E \sup_{h \in \mathcal H} X(h) \\
&= \mathbb E_{S, S' \sim \mathcal D^m} \left[\sup_{h \in \mathcal H} \frac 1m \left|\sum_{i=1}^m (\ell(h, x_i') - \ell(h, x_i))\right|\right]
\end{aligned}\]
此时，\(S, S'\) 对称。于是我们可以通过交换两者进行配对，这样每一对的期望是 \(0\)，于是可以用 Hoeffding's Ineq 控制。
- 在有限的测试集上，我们可以仅关心那些出现过的实例。更关键的是，由于是两者相减且经过配对，\(\ell\) 具体为多少无关紧要，因此只要没有重复元素，无论基于什么分布生成的任何实例集都是平等的。
\[\begin{aligned}
\mathbb E_{S, S' \sim \mathcal D^m} \left[\sup_{h \in \mathcal H} \frac 1m \left|\sum_{i=1}^m (\ell(h, x_i') - \ell(h, x_i))\right|\right]
&= \mathbb E_{\bm \sigma \in \{\pm 1\}^m}\mathbb E_{S, S' \sim \mathcal D^m} \left[\sup_{h \in \mathcal H} \frac 1m \left|\sum_{i=1}^m \sigma_i(\ell(h, x_i') - \ell(h, x_i))\right|\right] \\
&= \mathbb E_{S, S' \sim \mathcal D^m}\mathbb E_{\bm \sigma \in \{\pm 1\}^m} \left[\sup_{h \in \mathcal H} \frac 1m \left|\sum_{i=1}^m \sigma_i(\ell(h, x_i') - \ell(h, x_i))\right|\right] && \text{Fubini} \\
&= \mathbb E_{S, S' \sim \mathcal D^m}\mathbb E_{\bm \sigma \in \{\pm 1\}^m} \left[\sup_{h \in \mathcal {\mathcal H}_C} \frac 1m \left|\sum_{i=1}^m \sigma_i(\ell(h, x_i') - \ell(h, x_i))\right|\right] && C = \{x_i\} \cup \{x_i'\} \\
\end{aligned}\]
其中，\(\mathcal H_C = \{(h(c_1), \ldots, h(c_m)) \mid h \in \mathcal H\}\) 称为 \(\mathcal H\) 在 \(C \subset \mathcal X\) 上的 restriction。
令 \(\theta_i = \sigma_i (\ell(h, x_i') - \ell(h, x_i))\)，若 \(\mathcal X\) 为无限集，则 \(\theta_1, \ldots, \theta_m\) 有 \(1\) 的概率是 i.i.d. 的，且 \(\mathbb E_{\sigma_i \sim \{\pm 1\}} [\theta_i] = 0\)，而如果考虑 0-1 loss，则 \(-1 \leq \theta_h \leq 1\)，根据 Hoeffding's Ineq 可知
\[\mathbb P_{\bm \sigma \in \{\pm 1\}^m}\left[\left|\frac 1m\sum_{i=1}^m \sigma_i (\ell(h, x_i') - \ell(h, x_i))\right| > \rho\right] \leq 2 \exp\left(-\frac 12 m \rho^2\right)
\]
\[\mathbb P_{\bm \sigma \in \{\pm 1\}^m}\left[\max_{h \in \mathcal H_C}\left|\frac 1m\sum_{i=1}^m \sigma_i (\ell(h, x_i') - \ell(h, x_i))\right| > \rho\right] \leq 2|\mathcal H_C| \exp\left(-\frac 12 m \rho^2\right)
\]
现在把它积成 \(\mathbb E\) 的形式。
引理 若存在 \(a > 0, b \geq e\) 使得对所有 \(t \geq 0\) 有 \(\mathbb P[|X - x'| > t] \leq 2b \exp(-t^2 / a^2)\)，则 \(\mathbb E[|X - x'|] \leq a\left(2 + \sqrt{\log b}\right)\)。
证明 令 \(t_i = a \left(i + \sqrt{\log b}\right)\)，\(t_i\) 单调增，因此
\[\begin{alignat}{2}
\mathbb E[|X - x'|]
&\leq a \sqrt{\log b} + \sum_{i=1}^{\infty} t_i \mathbb P[|X - x'| > t_{i-1}] \notag \\
&\leq a \sqrt{\log b} + 2ab \sum_{i=1}^{\infty} \left(i + \sqrt{\log b} \right) \exp\left(-\left(i - 1 + \sqrt{\log b}\right)^2\right) \notag \\
&\leq a \sqrt{\log b} + 2ab \int_{1 + \sqrt{\log b}}^{\infty} x \exp(-(x - 1)^2) \mathrm dx \notag \\
&= a \sqrt{\log b} + 2ab \int_{\sqrt{\log b}}^{\infty} (x + 1) e^{-x^2} \mathrm dx \notag \\
&\leq a \sqrt{\log b} + 4ab \int_{\sqrt{\log b}}^{\infty} x e^{-x^2} \mathrm dx & b \geq e \notag \\
&= a \left(2 + \sqrt{\log b}\right) \tag*{$\square$}
\end{alignat}\]
我们不关心常数，直接用 \(4|\mathcal H_C| > e\) 来做，则
\[\mathbb E_{\bm \sigma \in \{\pm 1\}^m}\left[\max_{h \in \mathcal H_C}\left|\frac 1m\sum_{i=1}^m \sigma_i (\ell(h, x_i') - \ell(h, x_i))\right|\right] \leq \frac{\left(2 + \sqrt{2 + \log|\mathcal H_C|}\right)\sqrt 2}{\sqrt m} \leq \frac{4 + 2\sqrt{\log |\mathcal H_C|}}{\sqrt m}
\]
定义 假设类 \(\mathcal H\) 在实例 \(\mathcal X\) 上的增长函数 \(\tau_{\mathcal H} : \mathbb N \to \mathbb N\) 定义为
\[\tau_{\mathcal H}(m) := \max_{|C| = m} |\mathcal H_C|
\]
定理 对任意 \(\mathcal D, \delta \in (0, 1)\)，有至少 \(1 - \delta\) 的概率有
\[|L_{\mathcal D}(h) - L_S(h)| \leq \frac{4 + 2\sqrt{\log(\tau_{\mathcal H}(2m))}}{\delta\sqrt m}
\]
由此，我们得到
定理 对 0-1 loss，若
\[\lim_{m \to \infty} \frac{\log(\tau_{\mathcal H}(m))}{m} = 0
\]
则 \(\mathcal H\) 是不可知 PAC 可学习的。
这是一个相当一般的结论，其不依赖于 \(\mathcal D\)，只与 \(\mathcal H\) 自身的性质有关。
