[机器学习] 4. 没有免费午餐定理 No Free Lunch 与 PAC 可学习性

我们来补习一下统计学习框架的正式模型。

• 输入 一个学习者可以访问以下内容

  • 作用域集合 (Domain set)：一个任意的集合 $\mathcal X$，学习者的目标是对其上面的元素进行标记。
  • 标签集合 (Label set)：所有可能的标签 $\mathcal Y$。许多时候被限制为 $\{0, 1\}$ 或 $\{-1, 1\}$，因为有限标签的问题可以通过多层二标签解决。
  • 训练数据 (Training data)：或称训练集 (Training set)。$S = ((x_1, y_1), \ldots, (x_m, y_m))$ 是一个取自 $\mathcal X \times \mathcal Y$ 的有限序列，即一些带标签的元素。

• 输出 学习者需要输出一个函数 $h: \mathcal X \to \mathcal Y$，称其为 predictor, hypothesis 或者 classifier，作为对所有 $\mathcal X$ 中标签的预测。用 $A(S)$ 表示一个学习算法 $A$ 接收了训练集 $S$ 后得到的函数，不引起歧义的情况下也可直接记作 $h_S$。

• 训练数据的生成 一条训练数据的生成基于一个 $\mathcal X$ 上的概率分布 $\mathcal D$。$\mathcal D$ 是学习者无法得知的。对于标签，我们目前假设存在一个正确的标记函数 $f$，使得 $y_i = f(x_i)$ 被认为是 $x_i$ 正确的标签。$f$ 是学习者无法得知的（因为我们的目标就是拟合 $f$）。

• 成功度的衡量 定义一个 classifier 的误差 (error) 为其预测 $\mathcal X$ 上标签的基于分布 $\mathcal D$ 的错误率。形式化地，定义损失函数 $\pi:\mathcal X \to \{0, 1\}$，$\pi = [h(x) \neq f(x)]$，令 $A = \{\pi(x) = 1 \mid x \in \mathcal X\}$，假设其是一个可测集合，则 $A$ 在 $\mathcal D$ 上的测度 $\mathcal D(A)$ 为 classifier $h$ 在 $(\mathcal D, f)$ 下的其误差。记作

  $$L_{\mathcal D, f}(h) := \mathbb P_{x \sim \mathcal D} [h(x) \neq f(x)] := \mathcal D(\{h(x) \neq f(x) \mid x \in \mathcal X\})$$

  这样的误差称作泛化误差或真实误差 (generalization error, true error or risk)。记号 $L$ 总是代表损失 (loss)。

• 学习者不知道 $\mathcal D, f$，因此也不会知道 $L_{\mathcal D, f}(h)$，不过它可以计算出自己在训练集上的误差，称其为训练误差或经验误差 (training error, empirical error or empirical risk)。记作

  $$L_S(h) := \frac 1m |\{h(x_i) \neq y_i \mid i \in [m]\}|$$

  其中 $S = ((x_1, y_1), \ldots, (x_m, y_m))$，$[m] = \{1, 2, \ldots, m\}$。

泛化理论的研究点就在于，如果 empirical error $L_S$ 很小，我们可以获得什么关于 true error $L_{\mathcal D}$ 的结论。

显然，对任何误差的讨论都依赖于对 $S$ 的选取方式，即 $\mathcal D$ 与 $S$ 的关系。一个常用的假设是每次都基于分布 $\mathcal D$ 随机选取一个元素与其对应标签放入 $S$ 中。这可能会导致 $S$ 中有重复的元素，但这并不会造成太大的影响（如果有要求，每次多采几次样直到获得一个新的就行），并且让这个过程变得简洁。形式化地，

• 独立同分布假设 每一个训练集中的数据都是独立且基于同一个分布 $\mathcal D$ 地采出的。记作

  $$S \sim \mathcal D^m$$

  也就是说，$S$ 不仅仅描述了元素和标签的对应，也描述了元素的分布。

如果我们相信训练集是全体数据的一个快照，即 $L_S, L_{\mathcal D}$ 强相关，那么一个合理的想法是尽可能地减小训练集上的损失。这种最小化 $L_S$ 的策略称为经验风险最小化 (ERM, Empirical Risk Minimization)。

在一般意义下，这个策略是有可能失效的。这种在训练集上表现良好，但是在真实情况下表现糟糕的现象称为过拟合 (overfitting)。直观地说，过拟合出现于函数过度适配于训练集的情形。

不过，与其放弃 ERM 策略，我们更倾向于寻找不会导致过拟合的条件。一个合理的策略是限制函数空间。即，在看到测试集之前就对函数的形态进行一定限制。这个空间称为假设类 (hypothesis class)，记作 $\mathcal H$。形式化地，

$$\mathrm{ERM}_{\mathcal H}(S) \in \mathrm{argmin}_{h \in \mathcal H} L_S(h)$$

泛化理论一个基本的问题便是，应该如何选择假设类，使得过拟合的情况不会出现。即探寻该如何精心挑选 $\mathcal H$，使得 ERM 策略生效。

这种对假设类的限制被称为归纳偏置 (inductive bias)。归纳是指由于学习者是在看到测试集之前就进行限制，这种限制必定基于某种先验的对问题规律的归纳；偏置指的是某种特定的偏好。直观地说，限制越多，过拟合的情况就更难出现，但会导致更多的偏置，因此需要对两者进行平衡。形式化地

$$L_{\mathcal D}(h_S)=\epsilon_{\text{app}}+\epsilon_{\text{est}}$$

其中

$$\epsilon_{\text{app}}:= \min_{h \in \mathcal H}L_{\mathcal D}(h),\ \epsilon_{\text{est}} := L_D(h_S) - \epsilon_{\text{app}}$$

$\epsilon_{\text{app}}$ 表示近似误差 (Approximation Error)，即通用的最好的 hypothesis 的误差。在应用中即所谓模型的限制，比如用线性关系近似非线性关系。

$\epsilon_{\text{est}}$ 表示估计误差 (Estimation Error)，即在测试集上得到的 hypothesis 与假设类中最好的 hypothesis 的误差的差。在应用中，过拟合、欠拟合都会导致估计误差增大。

对泛化能力的把握便是考虑 $\epsilon_{\text{est}}$。对 $\epsilon_{\text{app}}$ 的考虑是另外一件事。

因此，一种假设是，学习者能够得知 $\epsilon_{\text{app}} = 0$，这样即使学习者不知道 $\operatorname{argmin}L_{\mathcal D}(h)$，也知道它离达到有多接近。即

定义（可实现性假设）存在 $h^{\star} \in \mathcal H$ 使得 $L_{\mathcal D, f}(h^{\star}) = 0$。

也就是说，$\mathcal H$ 中是有通用的好的 hypothesis 的，并且在采用 ERM 策略时总是有 $\mathbb P(L_S(h_S) = 0) = 1$，即对几乎所有测试集都能够找到在其之上表现良好的 hypothesis。在许多情况下我们可以直接认作其对所有的 $S$ 成立。

我们意识到，并不是所有的 $S$ 都具有代表性，因此不应该对所有的 $S$ 生成的 hypothesis 提任何要求，而应该用其达到要求的概率。同样，也不应该对所有 $\mathcal X$ 的元素提要求，而应该用其预测正确的测度。形式化地，

定义 一个假设类 $\mathcal H$ 是概率近似正确 (PAC, Probably Approximately Correct) 可学习的，如果存在函数 $m_{\mathcal H} : (0, 1)^2 \to \mathbb N$ 和一个学习算法满足，对任意 $\epsilon, \delta \in (0, 1)$、$\mathcal X$ 上的分布 $\mathcal D$ 以及标签 $f: \mathcal X \to \{0, 1\}$，如果 $\mathcal H, \mathcal D, f$ 满足可实现性假设，则学习算法接收长度为 $m \geq m_{\mathcal H}(\epsilon, \delta)$ 的训练集可以给出一个假设 $h$，使得有至少 $1 - \delta$ 的概率

$$L_{\mathcal D, f}(h) \leq \epsilon$$

我们首先来通过一个著名的定理加深我们的信念。其说明，没有先验知识，就不会有可学习性。

定理 （没有免费午餐定理，No Free Lunch Theorem） 在任务 $\mathcal X \to \{0, 1\}$ 中，对任何学习算法 $A$，若训练集 $S$ 的大小 $m \leq \frac {|\mathcal X|}2$，则存在分布 $\mathcal D$ 使得

• 存在 $f$ 使得 $L_{\mathcal D}(f) = 0$。

• $$P_{S \sim \mathcal D^m}\left(L_{\mathcal D}(A(S)) \geq \frac 18\right) \geq \frac 17$$

注：原定理的第一条要求是由于其已经阐述过下文提到的更一般化的 $\mathcal X \times \{0, 1\}$ 上的分布，这个要求等价于存在正确的标记函数 $f$。

证明

考虑训练集占严格一半的情况，即只使用一个大小为 $2m$ 的 $\mathcal X$ 的子集 $C$ 来说明。由于没有限制，有 $T = 2^{2m}$ 种函数 $\{f_1, \ldots, f_T\}$，对于每一个函数定义一个分布 $\{\mathcal D_1, \ldots, \mathcal D_T\}$，满足

$$\mathcal D_i(\{x, y\}) = \begin{cases}\frac 1{|C|} && y = f_i(x) \\ 0 && \text{otherwise}\end{cases}$$

显然地，$L_{\mathcal D_i}(f_i) = 0$。因此这些 $\mathcal D$ 是符合条件的。我们接下来说明

$$\max_{i \in [T]} \mathbb E_{S \sim \mathcal D_i^m} L_{\mathcal D_i}(A(S)) \geq \frac 14$$

如果这是对的，简单地用 Markov's Ineq 就可以得到定理结论。

直观地讲，这是显然的。因为我们总是可以随机构造那些不在训练集上的标签。但是由于 $S$ 是基于 $\mathcal D_i$ 构造的所以这里并不能直接描述什么是“不在训练集上”。

考虑 $k=(2m)^{m}$ 种不同的测试集 $\{S_1, \ldots, S_k\}$，对 $S_i = (x_1, \ldots, x_m)$ 令 $S_j^i = ((x_1, f_i(x_1)), \ldots, (x_m, f_i(x_m)))$。

$$\begin{aligned} \max_{i \in [T]}\mathbb E_{S \sim \mathcal D_i^m} L_{\mathcal D_i} (A(S)) &= \max_{i \in [T]}\frac 1k \sum_{j=1}^k L_{\mathcal D_i}(A(S_j^i)) \\ &\geq \frac 1T \sum_{i=1}^T \frac 1k \sum_{j=1}^k L_{\mathcal D_i}(A(S_j^i)) \\ &\geq \min_{j \in [k]} \frac 1T \sum_{i=1}^T L_{\mathcal D_i}(A(S_j^i)) \end{aligned}$$

对固定的 $j \in [k]$，考虑 $\{v_1, \ldots, v_p\}$ 是没有出现在 $S_j$ 中的集合。$p \geq m$。

$$L_{\mathcal D_i}(h) = \frac 1{2m} \sum_{x \in C} [h(x) \neq f_i(x)] \geq \frac 1{2m}\sum_{r=1}^p [h(v_r) \neq f_i(v_r)] \geq \frac 1{2p} \sum_{r=1}^p [h(v_r) \neq f_i(v_r)]$$

$$\begin{aligned} \frac 1T \sum_{i=1}^T L_{\mathcal D_i}(A(S_j^i)) &\geq \frac 1T \sum_{i=1}^T \frac 1{2p} \sum_{r=1}^p [(A(S_j^i))(v_r) \neq f_i(v_r)] \\ &= \frac 1{2p} \sum_{r=1}^p \frac 1T \sum_{i=1}^T [(A(S_j^i))(v_r) \neq f_i(v_r)] \\ &\geq \frac 12 \min_{r \in [p]} \frac 1T \sum_{i=1}^T [(A(S_j^i))(v_r) \neq f_i(v_r)] \end{aligned}$$

于是我们可以将 $(f_i, f_i')$ 配对，其中两者只在 $v_r$ 处取值不同，在 $C$ 的其他地方取值完全相同。所以

$$\frac 1T \sum_{i=1}^T [(A(S_j^i))(v_r) \neq f_i(v_r)] = \frac 12$$

$$\min_{j \in [k]}\frac 1T \sum_{i=1}^T L_{\mathcal D_i}(A(S_j^i)) \geq \frac 14 \tag*{$\square$}$$

现在的问题是，对满足何种性质的 $\mathcal H$，才能用 $m$ 限制

$$\mathcal D^m(\{(S|_x) \mid L_{\mathcal D, f}(h_S) > \epsilon\})$$

的上界。其中 $S|_x = (x_1, \ldots, x_m)$ 表示测试集的所有实例。

一个简单的想法是，如果 $\mathcal H$ 是有限的，那么我们可以对每个 $h$ 考虑。如果 $L_{\mathcal D, f}(h) = \theta$，那么采样出的 $S$ 有 $(1 - \theta)^m$ 的概率避开了这些出错的地方。

令

$$\mathcal H_B = \{h \in \mathcal H \mid L_{\mathcal D, f}(h) > \epsilon\}$$

表示那些不好的 hypotheses；

$$M = \{(S|_x) \mid \exists h \in \mathcal H_B, L_S(h) = 0\}$$

表示所有可能导致学习者给出不好 hypothesis 的训练集。则

$$M = \bigcup_{h \in \mathcal H_B} \{(S|_x) \mid L_S(h) = 0\}$$

$$\{(S|_x) \mid L_{\mathcal D, f}(h_S) > \epsilon\} \subseteq M$$

因此

$$\mathcal D^m(\{(S|_x) \mid L_{\mathcal D, f}(h_S) > \epsilon\}) \leq \mathcal D^m(M) = \mathcal D^m\left(\bigcup_{h \in \mathcal H_B} \{(S|_x) \mid L_S(h) = 0\}\right)$$

而根据测度论中的一个引理

引理 (Union Bound) $$\mathcal D\left(\bigcup_{i=1}^{+\infty} A_i\right) \leq \sum_{i=1}^{+\infty}\mathcal D(A_i)$$

可知

$$\begin{aligned} \mathcal D^m(\{(S|_x) \mid L_{\mathcal D, f}(h_S) > \epsilon\}) &\leq \sum_{h \in \mathcal H_B}\mathcal D^m\left(\{(S|_x) \mid L_S(h) = 0\}\right) \\ &= \sum_{h \in \mathcal H_B}\prod_{i=1}^m \mathcal D\left(x_i \mid h(x_i) = f(x_i)\right) \\ &= \sum_{h \in \mathcal H_B}(1 - L_{\mathcal D, f}(h))^m \\ &\leq \sum_{h \in \mathcal H_B}(1 - \epsilon)^m \\ &\leq |\mathcal H_B|e^{-\epsilon m} \\ &\leq |\mathcal H|e^{-\epsilon m} \end{aligned}$$

因此得到

推论 任意有限假设类 $\mathcal H$ 是 PAC 可学习的，且

$$m(\epsilon, \delta) \leq \left\lceil\frac{\ln\left(\frac {|\mathcal H|}\delta\right)}{\epsilon}\right\rceil$$

对于一般的问题，我们并不能保证可实现性假设。因为我们并不一定能够给出精确的范畴，使得每个元素的标签唯一且被明确。形式化地，我们将 $\mathcal X$ 上的概率分布 $\mathcal D$ 和 $f:\mathcal X \to \mathcal Y$ 改为 $\mathcal X \times \mathcal Y$ 上的分布 $\mathcal D$，而 $\mathcal Y$ 通常是 $\{0, 1\}$ 这一点不变。这个联合分布分为两部分，边缘分布 $\mathcal D_x$ 以及条件概率 $\mathcal D((x, y) | x)$。重新定义真实误差

$$L_{\mathcal D}(h) := \mathbb P_{(x, y) \sim \mathcal D} [h(x) \neq y] := \mathcal D(\{(x, y) \mid h(x) \neq y\})$$

经验误差的定义不变。因为其不涉及到 $\mathcal D$。

对任何 $\mathcal X \times \{0, 1\}$ 上的分布 $\mathcal D$，最优的函数将为

$$f_{\mathcal D}(x) = \begin{cases} 1 & \mathbb P[y = 1 | x] \geq \frac 12 \\ 0 & \text{otherwise} \end{cases}$$

称其为 Bayes 最优分类器。可知对一个一般的 $\mathcal D$ 来说，$L_{\mathcal D}(f) \neq 0$，因此其是不可实现的，因此在其之上 PAC 的定义会失效。

定义 一个假设类 $\mathcal H$ 是不可知 PAC 可学习的，如果存在函数 $m_{\mathcal H} : (0, 1)^2 \to \mathbb N$ 和一个学习算法满足，对任意 $\epsilon, \delta \in (0, 1)$、$\mathcal X \times \{0, 1\}$ 上的分布 $\mathcal D$，学习算法接收长度为 $m \geq m_{\mathcal H}(\epsilon, \delta)$ 的训练集可以给出一个假设 $h$，使得有至少 $1 - \delta$ 的概率

$$L_{\mathcal D, f}(h) \leq \min_{h' \in \mathcal H} L_{\mathcal D}(h') + \epsilon$$

这个定义和 PAC 不同之处在于这里不可知 $\epsilon_{\text{app}}$ 的情况，只要求了 $\epsilon_{\text{est}} \leq \epsilon$。

对于更一般的情况，损失函数并不一定定义在 $\mathcal X \times \mathcal Y$ 上（比如无监督学习），我们只是使用一个 $\mathcal Z$ 来描述一个作用域（即之前都是 $\mathcal Z = \mathcal X \times \mathcal Y$ 的特殊情况），并在 $\mathcal H \times \mathcal Z$ 上定义损失函数 $l:\mathcal H \times \mathcal Z \to \mathbb R^+$。真实误差为

$$L_{\mathcal D}(h) := \mathbb E_{z \sim \mathcal D} [l(h, z)]$$

经验误差为

$$L_S(h) := \frac 1m \sum_{i=1}^m l(h, z_i)$$

对 0-1 loss，有

$$\begin{array}{ccc} l:\mathcal H \times (\mathcal X \times \mathcal Y) &\to& \mathbb R^+ \\ l(h, (x, y)) &\mapsto& [h(x) \neq y] \end{array}$$

对回归问题的 square loss，有

$$\begin{array}{ccc} l:\mathcal H \times (\mathcal X \times \mathcal Y) &\to& \mathbb R^+ \\ l(h, (x, y)) &\mapsto & (h(x) - y)^2 \end{array}$$

定义 一个假设类 $\mathcal H$ 是在 $\mathcal Z, l:\mathcal H \times \mathcal Z \to \mathbb R^+$ 下不可知 PAC 可学习的，如果存在函数 $m_{\mathcal H} : (0, 1)^2 \to \mathbb N$ 和一个学习算法满足，对任意 $\epsilon, \delta \in (0, 1)$、$\mathcal Z$ 上的分布 $\mathcal D$，学习算法接收长度为 $m \geq m_{\mathcal H}(\epsilon, \delta)$ 的训练集可以给出一个假设 $h$，使得有至少 $1 - \delta$ 的概率

$$L_{\mathcal D, f}(h) \leq \min_{h' \in \mathcal H} L_D(h') + \epsilon$$

其中 $L_{\mathcal D}(h) = \mathbb E_{z\sim \mathcal D}[l(h, z)]$。